Web-Push-Benachrichtigungen

A/B-Tests für E-Commerce-Push-Benachrichtigungen

Veröffentlicht am July 19, 2026 von

A/B-Tests von Push-Benachrichtigungen funktionieren im Grunde genauso wie das Testen von E-Mails – mit einer harten Einschränkung, die die meisten Anleitungen unterschlagen: Deine Stichprobe ist klein. Eine Push-Nachricht erreicht ein paar tausend Abonnenten, ein paar Prozent klicken, und nur ein Bruchteil davon kauft. Das bedeutet, dass subtile Wortlaut-Tests so gut wie nie ein ablesbares Ergebnis liefern. Teste also große Unterschiede (Angebot vs. kein Angebot, morgens vs. abends, Produktseite vs. Kategorieseite), teile deine Zielgruppe zufällig in zwei Hälften, entscheide über den Gewinner anhand der Bestellungen statt der Klicks, und lass einen Test über mehrere Sendungen laufen, bevor du ihm glaubst. Dieser Artikel zeigt, was du zuerst testen solltest, wie du einen Split ehrlich durchführst und wie du der Falle entgehst, „Gewinner“ auszurollen, die in Wahrheit nur Rauschen sind.

Das Problem: Alle testen, kaum jemand lernt

Testen klingt nach verantwortungsvollem Handeln, also tun Shop-Betreiber es. Sie verschicken Version A mit Emoji und Version B ohne, sehen, dass A 2,4 % Klicks gegen B mit 2,1 % erzielt, rufen den Sieg aus und packen fortan überall Emojis rein. Drei Wochen später steht die Leistung genau da, wo sie vorher war.

Der Aufwand war echt; die Schlussfolgerung nicht. Eine Lücke von 0,3 Punkten bei ein paar tausend Sendungen liegt klar innerhalb der Zufallsschwankung – und Klicks waren ohnehin die falsche Messlatte. Eine Push-Benachrichtigung existiert, um Bestellungen zu erzeugen. Viele Änderungen steigern die Klicks, ohne etwas für den Umsatz zu tun – Titel als Neugier-Köder sind der Klassiker, und genau das ist ein großer Teil davon, warum Push-Benachrichtigungen Klicks, aber keine Bestellungen bringen. Testen ohne ausreichendes Volumen, auf der falschen Kennzahl, ist schlimmer als gar nicht zu testen: Es erzeugt falsches Selbstvertrauen.

Warum der Rat „teste alles“ ausgerechnet bei Push scheitert

Ratschläge zum E-Mail-Testen lassen sich hier schlecht übertragen, und zwar aus zwei Gründen.

Erstens die Volumen-Mathematik. Eine E-Mail-Liste mit 30.000 Adressen und einer Öffnungsrate von 40 % liefert dir 12.000 Menschen, die die Betreffzeile jeder Variante tatsächlich gesehen haben. Eine Push-Liste mit 8.000, bei der ein unbekannter Anteil der Benachrichtigungen nie gesehen wird, liefert dir vielleicht 2.000 echte Impressionen pro Variante. Seltene Ereignisse bei kleinen Stichproben brauchen riesige Unterschiede, um überhaupt erkennbar zu sein. Grob gesagt – und das ist illustrativ, keine Statistikvorlesung: Wenn Version A aus 4.000 Sendungen 20 Käufer bringt und Version B 26, dann könnte sich dieser Unterschied nächste Woche ohne Weiteres umkehren. Du willst diese Lücke über mehrere Sendungen hinweg bestätigt sehen, bevor du danach handelst.

Zweitens hat Push weniger Stellschrauben als E-Mail. Kein Zusammenspiel von Betreff und Preheader, kein Layout, kein langer Fließtext. Ein Titel aus ein paar Dutzend Zeichen, eine kurze Textzeile, auf manchen Plattformen ein Bild, ein Link und ein Sendezeitpunkt. Das ist die gesamte Testfläche. Was eigentlich eine gute Nachricht ist: Weniger Stellschrauben bedeutet, dass du die entscheidenden in ein paar Monaten durcharbeiten kannst.

Wo Shops Geld verlieren, weil sie die falsche Ebene testen

Das habe ich in meinen eigenen Shops eine Zeit lang falsch gemacht: Ich habe den Wortlaut getestet, obwohl ich die Ökonomie hätte testen sollen.

Die Umsatzwirkung von Push-Variablen ist nicht gleichmäßig verteilt. Ob eine Flash-Sale-Push „Endet heute Abend“ oder „Letzte Chance heute“ sagt, verschiebt die Klicks vielleicht ein bisschen. Ob sie auf eine vorgefilterte Sale-Kollektion oder die Startseite verlinkt, verschiebt die Bestellungen enorm. Ob sie an alle geht oder nur an nach Produktinteresse segmentierte Abonnenten, kann den Umsatz pro Sendung um ein Mehrfaches verändern. Wenn du dein begrenztes Testvolumen auf die Wortwahl verwendest, während du alle auf eine generische Landingpage schickst, dann polierst du den Lack, während der Motor klopft.

Die Testreihenfolge, die deine Stichprobengröße respektiert

Arbeite von oben nach unten – von Variablen mit großer erwarteter Wirkung zu kleinen. Meine Reihenfolge:

Zielgruppe – gesamte Liste vs. ein Interessensegment. Das erzeugt in der Regel den größten und am schnellsten ablesbaren Unterschied.
Landingpage – Startseite vs. Kategorie vs. spezifische Produktseite. Günstig zu testen, oft dramatisch.
Angebots-Framing – Rabatt in der Benachrichtigung genannt vs. erst auf der Website; Euro-Betrag vs. Prozentangabe.
Sendezeitpunkt – eine Sendung am Morgen gegen eine am Abend. Lohnt sich zu testen, weil die ehrliche Antwort von Shop zu Shop variiert; wenn du Bürobedarf verkaufst, ist der Browser deiner Zielgruppe um 10 Uhr morgens offen, nicht um 21 Uhr.
Text und Bild – erst, wenn die Ebenen darüber geklärt sind. Es gibt einen ausführlichen Handwerks-Leitfaden zum Schreiben von Push-Benachrichtigungen, die Klicks bringen, und das ist wichtig – aber es ist Ebene fünf, nicht Ebene eins.

Eine Variable pro Test. Änderst du Zielgruppe und Text gleichzeitig, lehrt dich ein Gewinn nichts Wiederholbares.

Wie du einen Split durchführst, der dich nicht täuscht

Die Mechanik, kurz gefasst:

Splitte zufällig, 50/50. Nicht „neue Abonnenten bekommen B“ – das ist ein Segmentvergleich im Test-Kostüm.
Entscheide nach Bestellungen oder Umsatz pro 1.000 Sendungen, mit Klicks als sekundärem Diagnosewert. Dafür brauchst du zuerst ein sauberes Tracking; wenn du das noch nicht eingerichtet hast, mach die Umsatzmessung für Push vor jedem Test, denn ein Test ohne belastbare Umsatzdaten kann nur Klicks messen.
Lege dich vorab auf eine Entscheidungsregel fest. Etwa: „Ich lasse dieses Variantenpaar über vier wöchentliche Sendungen laufen; wenn B beim Umsatz pro 1.000 in mindestens drei von vier führt und die Gesamtlücke bedeutsam ist, gewinnt B.“ Grob, aber es verhindert die klassische Sünde, in dem Moment abzubrechen, in dem der eigene Favorit in Führung geht.
Wiederhole Gewinner einmal, bevor du sie ausrollst. Ein Ergebnis, das sich reproduzieren lässt, ist ein Ergebnis. Eines, das das nicht tut, war nur Wetter.

Und akzeptiere eine Grenze ehrlich: Unterhalb von ein paar tausend Abonnenten funktionieren formale A/B-Tests pro Sendung meistens einfach nicht. In dem Fall teste sequenziell – fahre Ansatz A einen Monat, Ansatz B den nächsten, vergleiche den Umsatz pro 1.000 und behandle die Antwort als starken Hinweis, nicht als Beweis.

Ein Shop-Beispiel (illustrativ)

Ein Kochgeschirr-Shop mit 9.000 Push-Abonnenten testet Landingpages bei seiner wöchentlichen Deal-Benachrichtigung. Version A verlinkt auf die Startseite; Version B verlinkt direkt auf die rabattierte Kategorie. Gleicher Titel, gleiche Zeit, je 4.500 Abonnenten. A bekommt 128 Klicks und 6 Bestellungen; B bekommt 119 Klicks und 14 Bestellungen. Bei den Klicks liegen beide praktisch gleichauf – aber B verdoppelt die Bestellungen mehr als, weil der Klick auf den Produkten landet, die die Benachrichtigung versprochen hat. Läuft er zweimal mehr, hält das Muster. Das ist ein echter Befund, und er kam daher, dass die Ebene getestet wurde, auf der sich das Geld bewegt. (Zahlen illustrativ.)

Beachte, was dieser Test gekostet hat: nichts. Gleiche Sendungen, gleiche Zielgruppe, ein zusätzlicher Link.

Welche Kennzahlen den Gewinner bestimmen

Umsatz pro 1.000 Sendungen – die zentrale Messlatte für jeden Test.
Bestellungen pro Variante – der Plausibilitätscheck hinter der Umsatzzahl, da eine einzelne große Bestellung kleine Stichproben verzerren kann.
Klickrate – nur diagnostisch. Eine Variante, die bei den Klicks gewinnt und beim Umsatz verliert, ist eine Neugier-Falle, kein Gewinner.
Abmelderate pro Variante – das Sicherheitsgeländer. Eine aggressive Variante, die heute beim Umsatz gewinnt und dabei die Abmeldungen verdoppelt, borgt sich vom nächsten Quartal. Wenn ein Test diesen Wert nach oben treibt, sieh dir noch einmal an, wie oft du Push-Benachrichtigungen senden solltest, bevor du den „Gewinner“ skalierst.

Testen innerhalb von Omnisend

Ich führe diese Tests über Omnisend durch, weil Push, E-Mail und SMS dort in einer Plattform sitzen und die Automatisierungs-Workflows geteilte Pfade unterstützen – so kann ich die Hälfte der Zielgruppe eines Flows in den einen Zweig und die andere Hälfte in den anderen leiten, mit Umsatz-Reporting pro Zweig, um das Ergebnis abzulesen. Für einmalige Kampagnensendungen ist die einfachste ehrliche Methode, die Nachricht zu duplizieren, ein Segment in zwei Hälften zu teilen und die Reports der beiden Sendungen nebeneinander zu vergleichen. Der Funktionsumfang unterscheidet sich je nach Tarif, prüfe also, was deine Stufe enthält, statt es vorauszusetzen.

Was kein Tool liefert, ist die Disziplin: eine Variable, eine vorab festgelegte Entscheidungsregel und die Geduld, den Gewinner von den Bestellungen – nicht den Klicks – bestimmen zu lassen.

Dein nächster Schritt

Wähle deine wiederkehrende Push mit dem höchsten Volumen und führe diese Woche den Landingpage-Test durch: die Hälfte auf die Seite, die du aktuell nutzt, die Hälfte auf die spezifischste Seite, die zur Nachricht passt. Es ist der Test mit dem höchsten Erwartungswert, den du zur Verfügung hast, er kostet nichts, und er lehrt dich mehr als ein Monat Emoji-Experimente.

Spletna potisna obvestila

Kako izvajati A/B-teste potisnih obvestil spletne trgovine

Veröffentlicht am July 18, 2026 von

A/B-testiranje potisnih obvestil poteka enako kot testiranje e-pošte, z eno trdo omejitvijo, ki jo večina vodičev preskoči: vaš vzorec je majhen. Potisno sporočilo doseže nekaj tisoč naročnikov, peščica odstotkov jih klikne, in le delček teh kupi — kar pomeni, da subtilni testi besedila skoraj nikoli ne bodo dali berljivega rezultata. Zato testirajte velike razlike (ponudba proti nobeni ponudbi, jutro proti večeru, stran izdelka proti strani kategorije), naključno razdelite svoje občinstvo na pol, o zmagovalcu presojajte po naročilih namesto po klikih in pustite, da test teče čez več pošiljanj, preden mu verjamete. Ta članek pokriva, kaj testirati najprej, kako pošteno izpeljati delitev in kako se izogniti pasti pošiljanja “zmagovalcev”, ki so v resnici šum.

Težava: vsi testirajo, skoraj nihče se ničesar ne nauči

Testiranje zveni odgovorno, zato ga lastniki trgovin počnejo. Pošljejo različico A z emojijem in različico B brez, vidijo, da A dobi 2,4 % klikov proti 2,1 % pri B, razglasijo zmago in emoji dodajo povsod. Tri tedne pozneje je uspešnost natanko tam, kjer je bila.

Trud je bil resničen, sklep ni bil. Razmik 0,3 odstotne točke pri nekaj tisoč pošiljanjih je krepko znotraj naključnega nihanja, kliki pa so bili tako ali tako napačna merilna lestvica. Potisno obvestilo obstaja zato, da ustvari naročila. Marsikatera sprememba dvigne klike, medtem ko za prihodek ne naredi ničesar — naslovi kot vaba za radovednost so klasičen primer, kar je velik del razloga, zakaj potisna obvestila ustvarjajo klike, vendar ne naročil. Testiranje brez zadostnega obsega, na napačni metriki, je slabše kot ne testirati: proizvaja lažno samozavest.

Zakaj nasvet “testiraj vse” ravno pri potisnih obvestilih odpove

Nasveti za testiranje e-pošte se sem slabo prenesejo, iz dveh razlogov.

Prvič, matematika obsega. E-poštni seznam 30.000 s 40-odstotno stopnjo odpiranja vam da 12.000 ljudi, ki so dejansko videli zadevo vsake različice. Seznam za potisna obvestila z 8.000 naročniki, kjer neznan delež obvestil sploh nikoli ni viden, vam morda da 2.000 resničnih prikazov na različico. Redki dogodki na majhnih vzorcih potrebujejo ogromne razlike, da so zaznavni. Grobo rečeno — in to je za ponazoritev, ne predavanje iz statistike — če različica A pretvori 20 kupcev iz 4.000 pošiljanj, različica B pa 26, se ta razlika naslednji teden zlahka obrne. Želeli bi, da se ta razmik ohrani čez več pošiljanj, preden bi po njem ukrepali.

Drugič, potisna obvestila imajo manj vzvodov kot e-pošta. Ni igre med zadevo in predglavo, ni postavitve, ni dolgega telesa. Naslov nekaj deset znakov, kratka vrstica besedila, na nekaterih platformah slika, povezava in čas pošiljanja. To je celotna testna površina. Kar je pravzaprav dobra novica: manj vzvodov pomeni, da lahko tiste, ki štejejo, predelate v nekaj mesecih.

Kje trgovine izgubljajo denar, ker ne testirajo prave plasti

Tole sem v svojih trgovinah nekaj časa počel narobe: testiral sem besedilo, ko bi moral testirati ekonomiko.

Vpliv posameznih spremenljivk potisnih obvestil na prihodek ni enakomerno porazdeljen. Ali obvestilo o bliskoviti razprodaji pravi “Konča se nocoj” ali “Zadnja priložnost danes”, morda malo premakne klike. Ali vodi na predfiltrirano zbirko z razprodajo ali na domačo stran, veliko premakne naročila. Ali gre vsem ali le naročnikom, segmentiranim po zanimanju za izdelke, lahko večkratno spremeni prihodek na pošiljanje. Če svoj omejeni testni obseg porabite za izbiro besed, medtem ko vse pošiljate na splošno pristajalno stran, optimizirate barvo, medtem ko klepeta motor.

Vrstni red testiranja, ki spoštuje velikost vzorca

Delajte od zgoraj navzdol, od spremenljivk z velikimi pričakovanimi učinki k majhnim. Moj vrstni red:

Občinstvo — celoten seznam proti segmentu po zanimanju. To običajno da največjo in najhitreje berljivo razliko.
Pristajalna stran — domača stran proti kategoriji proti konkretni strani izdelka. Poceni za testiranje, pogosto dramatično.
Uokvirjanje ponudbe — popust naveden v obvestilu proti prihranjenemu za spletno stran; znesek v evrih proti odstotku.
Čas pošiljanja — jutranje pošiljanje proti večernemu. Vredno testirati, ker se pošteni odgovor razlikuje od trgovine do trgovine; če prodajate pisarniške potrebščine, je brskalnik vašega občinstva odprt ob 10. uri dopoldne, ne ob 9. zvečer.
Besedilo in slika — šele potem, ko so zgornje plasti urejene. Obstaja cel obrtni vodič v pisanju potisnih obvestil, ki dobijo klike, in šteje — ampak je peta plast, ne prva.

Ena spremenljivka na test. Spremenite občinstvo in besedilo hkrati in zmaga vas ne nauči ničesar ponovljivega.

Kako izpeljati delitev, ki vas ne prevara

Mehanika, na kratko:

Delite naključno, 50/50. Ne “novi naročniki dobijo B” — to je primerjava segmentov, preoblečena v test.
Presojajte po naročilih ali prihodku na 1.000 poslanih, s kliki kot sekundarno diagnostiko. Najprej boste potrebovali čisto sledenje; če ga niste vzpostavili, opravite merjenje prihodka iz potisnih obvestil, preden začnete kakršno koli testiranje, saj lahko test brez zanesljivih podatkov o prihodku meri le klike.
Vnaprej se zavežite pravilu odločanja. Nekaj takega: “Ta par različic bom poganjal čez štiri tedenska pošiljanja; če B vodi po prihodku na 1.000 v vsaj treh od štirih in je skupni razmik smiseln, zmaga B.” Surovo, a preprečuje klasičen greh, da se ustavite v trenutku, ko vaš ljubljenec pridobi prednost.
Zmagovalce enkrat ponovite, preden jih uvedete. Rezultat, ki se ponovi, je rezultat. Tisti, ki se ne, je bil vreme.

In pošteno sprejmite omejitev: pod nekaj tisoč naročniki formalno A/B-testiranje večinoma ne more delovati na ravni posameznega pošiljanja. V tem primeru testirajte zaporedno — mesec dni poganjajte pristop A, naslednjega pristop B, primerjajte prihodek na 1.000 in odgovor obravnavajte kot močan namig, ne kot dokaz.

Primer trgovine (za ponazoritev)

Trgovina s posodo z 9.000 naročniki na potisna obvestila testira pristajalne strani na svojem tedenskem obvestilu o akciji. Različica A vodi na domačo stran; različica B vodi naravnost na kategorijo s popustom. Isti naslov, isti čas, po 4.500 naročnikov. A dobi 128 klikov in 6 naročil; B dobi 119 klikov in 14 naročil. Kliki so tako rekoč izenačeni — a B več kot podvoji naročila, ker klik pristane na izdelkih, ki jih je obvestilo obljubilo. Poženite še dvakrat, vzorec se ohrani. To je resnična ugotovitev, in prišla je iz testiranja plasti, kjer se denar premika. (Številke so za ponazoritev.)

Opazite, koliko je ta test stal: nič. Ista pošiljanja, isto občinstvo, ena dodatna povezava.

Katere metrike odločajo o zmagovalcu

Prihodek na 1.000 poslanih — glavna merilna lestvica za vsak test.
Naročila na različico — preverjanje smiselnosti za številko prihodka, saj lahko eno veliko naročilo popači majhne vzorce.
Stopnja klikov — le diagnostika. Različica, ki zmaga po klikih in izgubi po prihodku, je past radovednosti, ne zmagovalec.
Stopnja odjav na različico — varovalka. Agresivna različica, ki danes zmaga po prihodku, medtem ko podvoji odjave, si izposoja iz naslednjega četrtletja. Če test to dvigne, pred širjenjem “zmagovalca” premislite o tem, kako pogosto naj pošiljate potisna obvestila.

Testiranje znotraj Omnisenda

Te teste poganjam prek Omnisenda, ker potisna obvestila, e-pošta in SMS tam sedijo na eni platformi, njegovi avtomatizacijski delovni tokovi pa podpirajo ločene poti — tako lahko polovico občinstva toka usmerim po eni veji in polovico po drugi, s poročanjem o prihodku po veji, da preberem rezultat. Za enkratna kampanjska pošiljanja je najpreprostejša poštena metoda podvojiti sporočilo, segment razdeliti na pol in primerjati poročili obeh pošiljanj drug ob drugem. Podrobnosti funkcij se razlikujejo po paketu, zato preverite, kaj vključuje vaš nivo, namesto da bi domnevali.

Česar nobeno orodje ne ponudi, je disciplina: ena spremenljivka, vnaprej določeno pravilo odločanja in potrpljenje, da zmagovalca določijo naročila — ne kliki.

Vaš naslednji korak

Izberite svoje potisno obvestilo z največjim obsegom, ki se ponavlja, in ta teden izvedite test pristajalne strani: polovico na stran, ki jo trenutno uporabljate, polovico na najbolj specifično stran, ki se ujema s sporočilom. To je test z najvišjo pričakovano vrednostjo, ki je na voljo, ne stane nič in vas bo naučil več kot mesec eksperimentov z emojiji.

Web Push Notifications

A/B Testing Ecommerce Push Notifications

Veröffentlicht am July 17, 2026 von

A/B testing push notifications works the same way as testing email, with one hard constraint most guides skip: your sample is small. A push message reaches a few thousand subscribers, a handful of percent click, and only a fraction of those buy — which means subtle wording tests will almost never produce a readable result. So test big differences (offer vs. no offer, morning vs. evening, product page vs. category page), split your audience randomly in half, judge the winner on orders rather than clicks, and let a test run across several sends before you believe it. This article covers what to test first, how to run a split honestly, and how to avoid the trap of shipping “winners” that are really noise.

The problem: everyone tests, almost nobody learns

Testing sounds responsible, so store owners do it. They send version A with an emoji and version B without, see A get 2.4% clicks against B’s 2.1%, declare victory, and add emoji to everything. Three weeks later performance is exactly where it was.

The effort was real; the conclusion wasn’t. A 0.3-point gap on a few thousand sends is well inside random variation, and clicks were the wrong scoreboard anyway. A push notification exists to produce orders. Plenty of changes raise clicks while doing nothing for revenue — curiosity-bait titles being the classic case, which is a big part of why push notifications get clicks but no orders. Testing without enough volume, on the wrong metric, is worse than not testing: it manufactures false confidence.

Why “test everything” advice fails on push specifically

Email testing advice transfers badly here, for two reasons.

First, the volume math. An email list of 30,000 with a 40% open rate gives you 12,000 people who actually saw each variant’s subject line. A push list of 8,000, where an unknown share of notifications is never seen at all, might give you 2,000 real impressions per variant. Rare events on small samples need enormous differences to be detectable. Roughly speaking — and this is illustrative, not a statistics lecture — if version A converts 20 buyers from 4,000 sends and version B converts 26, that difference could easily reverse next week. You’d want that gap sustained across several sends before acting on it.

Second, push has fewer knobs than email. No subject-plus-preheader interplay, no layout, no long body. A title of a few dozen characters, a short line of text, an image on some platforms, a link, and a send time. That’s the whole test surface. Which is actually good news: fewer knobs means you can work through the ones that matter in a couple of months.

Where stores lose money by not testing the right layer

Here’s the thing I got wrong for a while in my own stores: I tested wording when I should have tested economics.

The revenue impact of push variables isn’t evenly distributed. Whether a flash-sale push says “Ends tonight” or “Last chance today” might move clicks a little. Whether it links to a pre-filtered sale collection or the homepage moves orders a lot. Whether it goes to everyone or only to subscribers segmented by product interest can change revenue per send several times over. If you spend your limited testing volume on word choice while sending everyone to a generic landing page, you’re optimizing the paint while the engine knocks.

The testing order that respects your sample size

Work top-down, from variables with big expected effects to small ones. My order:

Audience — full list vs. an interest segment. This usually produces the largest and fastest-readable difference.
Landing page — homepage vs. category vs. specific product page. Cheap to test, often dramatic.
Offer framing — discount stated in the notification vs. saved for the site; euro amount vs. percentage.
Send time — a morning send against an evening one. Worth testing because the honest answer varies by store; if you sell office supplies, your audience’s browser is open at 10 a.m., not 9 p.m.
Copy and image — only after the layers above are settled. There’s a full craft guide in writing push notifications that get clicks, and it matters — but it’s layer five, not layer one.

One variable per test. Change the audience and the copy together and a win teaches you nothing repeatable.

How to run a split that doesn’t fool you

The mechanics, briefly:

Split randomly, 50/50. Not “new subscribers get B” — that’s a segment comparison wearing a test costume.
Judge on orders or revenue per 1,000 sent, with clicks as a secondary diagnostic. You’ll need clean tracking first; if you haven’t set that up, do revenue measurement for push before any testing, because a test without trustworthy revenue data can only measure clicks.
Pre-commit to a decision rule. Something like: “I’ll run this variant pairing across four weekly sends; if B leads on revenue per 1,000 in at least three of four and the total gap is meaningful, B wins.” Crude, but it prevents the classic sin of stopping the moment your favorite pulls ahead.
Repeat winners once before rolling out. A result that replicates is a result. One that doesn’t was weather.

And accept a limitation honestly: below a few thousand subscribers, formal A/B testing mostly can’t work on a per-send basis. In that case test sequentially — run approach A for a month, approach B the next, compare revenue per 1,000, and treat the answer as a strong hint rather than proof.

A store example (illustrative)

A cookware store with 9,000 push subscribers tests landing pages on its weekly deal notification. Version A links to the homepage; version B links straight to the discounted category. Same title, same time, 4,500 subscribers each. A gets 128 clicks and 6 orders; B gets 119 clicks and 14 orders. Clicks are basically tied — but B more than doubles orders, because the click lands on the products the notification promised. Run twice more, the pattern holds. That’s a real finding, and it came from testing the layer where money moves. (Numbers illustrative.)

Notice what this test cost: nothing. Same sends, same audience, one extra link.

Which metrics decide the winner

Revenue per 1,000 sent — the primary scoreboard for every test.
Orders per variant — the sanity check behind the revenue number, since one big order can distort small samples.
Click rate — diagnostic only. A variant that wins clicks and loses revenue is a curiosity trap, not a winner.
Opt-out rate per variant — the guardrail. An aggressive variant that wins revenue today while doubling opt-outs is borrowing from next quarter. If a test pushes this up, revisit how often you should send push notifications before scaling the “winner.”

Testing inside Omnisend

I run these tests through Omnisend because push, email, and SMS sit in one platform there, and its automation workflows support split paths — so I can route half of a flow’s audience down one branch and half down another, with per-branch revenue reporting to read the result. For one-off campaign sends, the simplest honest method is to duplicate the message, split a segment in half, and compare the two sends’ reports side by side. Feature details differ by plan, so check what your tier includes rather than assuming.

What no tool provides is the discipline: one variable, a pre-committed decision rule, and the patience to let orders — not clicks — call the winner.

Your next step

Pick your highest-volume recurring push and run the landing-page test this week: half to the page you currently use, half to the most specific page that matches the message. It’s the highest expected-value test available, it costs nothing, and it’ll teach you more than a month of emoji experiments.