Willkommensautomatisierung

Eine E-Commerce-Willkommensserie A/B-testen

Veröffentlicht am July 19, 2026 von

Um eine Willkommensserie richtig A/B zu testen, ändern Sie eine Sache nach der anderen, beurteilen Sie sie nach Umsatz pro Empfänger statt nach Öffnungen und seien Sie ehrlich, ob Sie genug Abonnenten haben, damit das Ergebnis überhaupt etwas bedeutet. Die meisten Shop-Betreiber fahren einen “Test”, sehen, dass eine Version an einem Wochenende eine um 3 % höhere Öffnungsrate erzielt, rufen einen Gewinner aus und ändern ihren Flow auf Basis von Rauschen. Ein echter Test wählt eine einzige Variable – das Angebot, das Sende-Timing, den Blickwinkel der ersten E-Mail –, teilt neue Abonnenten zufällig auf und läuft, bis genug Menschen beide Versionen durchlaufen haben, um dem Unterschied zu trauen. Für einen Shop, der ein paar hundert Abonnenten im Monat gewinnt, kann das Wochen dauern, und manche Tests können Sie schlicht noch nicht fahren. Zu wissen, welche Tests Ihren Traffic wert sind, ist die halbe Kunst.

So machen Sie es, ohne sich selbst zu täuschen.

Warum die meisten Willkommensserien-Tests wertlos sind

Der typische Test läuft so. Sie duplizieren die Willkommens-E-Mail, ändern Betreffzeile, Rabatt und Hero-Bild alle auf einmal, teilen den Traffic und schauen nach drei Tagen zurück. Version B hat eine höhere Öffnungsrate. Ausliefern.

Drei Probleme, alle fatal. Sie haben mehrere Dinge geändert, also wissen Sie nicht, welches die Zahl bewegt hat – falls sie sich überhaupt aus einem echten Grund bewegt hat. Sie haben Öffnungen gemessen, die seit Apples Mail Privacy Protection 2021 aufgebläht und nur lose mit Verkäufen verknüpft sind. Und drei Tage eines Shops mit wenig Traffic sind eine Handvoll Abonnenten pro Seite – klar im Bereich, in dem allein der Zufall einen “Gewinner” erzeugt. Sie haben nichts gelernt. Sie haben sich nur die Erlaubnis gegeben, den Flow zu ändern.

Das eigentliche Problem: Willkommens-Flows haben wenig Volumen, und das ändert alles

A/B-Testing wurde für Seiten mit viel Traffic gebaut, wo Tausende Menschen an einem Tag auf jede Version treffen. Eine Willkommensserie ist das Gegenteil. Nur neue Abonnenten gelangen hinein, und selbst ein gesunder Shop gewinnt vielleicht 300–800 im Monat (illustrativ). Teilen Sie das in zwei, und jede Version sieht ein Rinnsal.

Das bedeutet: Genau das, was Tests vertrauenswürdig macht – die Stichprobengröße –, ist das, wovon Sie zu wenig haben. Sie können das nicht dadurch beheben, dass Sie Ergebnisse schneller wollen. Sie warten entweder, testen etwas mit einem Effekt, der groß genug ist, um in kleinen Zahlen sichtbar zu werden, oder akzeptieren, dass der Test noch nicht machbar ist, und ändern den Flow stattdessen nach Urteilsvermögen. So zu tun, als sei ein 40-Abonnenten-Test schlüssig, ist der Weg, wie Shops sich in schlechtere Flows hineinreden.

Warum “einfach alles testen” scheitert

Der Rat, “immer zu testen”, setzt kostenlosen, unbegrenzten Traffic voraus. In einem Willkommens-Flow gibt jeder Test eine knappe Ressource aus: neue Abonnenten, von denen Sie jeden nur einmal willkommen heißen dürfen. Fahren Sie fünf Tests gleichzeitig, verunreinigen sie sich gegenseitig. Fahren Sie winzige Tests hintereinander, jagen Sie monatelang Rauschen. Testen Sie Belanglosigkeiten – Buttonfarbe, ein Wort in der Betreffzeile –, und selbst ein echter 2-%-Zuwachs ist gegen Ihre Stichprobengröße unsichtbar.

Die Disziplin lautet also nicht “mehr testen.” Sie lautet “wenige Dinge testen, große Dinge testen und lange genug testen.”

Wie man einen Willkommensserien-Test fährt, der etwas bedeutet

1. Testen Sie eine Variable nach der anderen. Angebot gegen kein Angebot. Erste-E-Mail-verkauft-ein-Produkt gegen Erste-E-Mail-baut-Vertrauen-auf. Innerhalb-einer-Stunde-senden gegen Am-nächsten-Morgen-senden. Eine Änderung, sodass ein Ergebnis eine Erklärung hat. Wenn Sie die Betreffzeile und das Angebot ändern, lehrt Sie ein Gewinn nichts Wiederverwendbares.

2. Wählen Sie eine Variable, die groß genug ist, um zu zählen. Bei wenig Volumen tauchen nur große Effekte auf. “Willkommen!” gegen “Willkommen 👋” zu testen ist Verschwendung – der wahre Unterschied, falls es einen gibt, ist zu klein, um ihn zu erkennen. Rabatt gegen kein Rabatt, oder Produkt-zuerst gegen Geschichte-zuerst zu testen, kann einen Ausschlag erzeugen, der groß genug ist, um ihn zu sehen. Geben Sie Ihren begrenzten Traffic für Fragen aus, bei denen die Antwort es wert ist, sie zu haben. Die Angebotsfrage selbst wird in wie man einen Willkommens-Flow ohne Rabattangebot erstellt behandelt.

3. Messen Sie Umsatz pro Empfänger und Konversionsrate – nicht Öffnungen. Der Gewinner ist die Version, die pro Abonnent mehr Geld macht, oder mehr von ihnen zu einer ersten Bestellung bewegt. Öffnungen und selbst Klicks sind Stellvertreter, die oft mit dem Umsatz uneins sind. Wenn Ihr Tool nur Betreffzeilen nach Öffnungsrate split-testen kann, sagt Ihnen das, welche Betreffzeile geöffnet wird, nicht welcher Flow verkauft.

4. Legen Sie Stichprobengröße und Dauer fest, bevor Sie beginnen. Grob: Je kleiner der echte Unterschied und je niedriger Ihre Konversionsrate, desto mehr Abonnenten brauchen Sie pro Seite – oft mehr, als Sie schätzen würden, bei kleinen Effekten bis in die Tausende. Eine praktische Regel für einen Shop mit wenig Volumen: Wählen Sie Tests, von denen Sie erwarten, dass sie den Umsatz pro Empfänger um ein spürbares Stück bewegen, und verpflichten Sie sich, zu laufen, bis mindestens ein paar hundert Abonnenten und eine anständige Zahl echter Bestellungen auf jeder Seite gelandet sind. Wenn Sie sechs Monate bräuchten, um dorthin zu kommen, ist es kein Test, den Sie jetzt fahren können.

5. Spitzeln Sie nicht und stoppen Sie nicht früh. Täglich zu prüfen und in dem Moment zu stoppen, in dem eine Seite führt, ist der häufigste Weg zu einem falschen Gewinner – frühe Führungen kippen ständig. Legen Sie den Endpunkt fest, warten Sie darauf und schauen Sie dann einmal.

6. Fahren Sie einen Test nach dem anderen auf dem Flow. Beenden, die Erkenntnis anwenden, dann den nächsten starten. Überlappende Willkommens-Flow-Tests trüben sich gegenseitig, weil dieselben Abonnenten nicht sauber in beiden sein können.

Was automatisieren

Auslöser: Abonnent tritt der Liste bei – die Testaufteilung passiert am Eintritt.
Segment: zufällige 50/50-Zuweisung neuer Abonnenten zu Version A oder B. Halten Sie es zufällig; teilen Sie nicht versehentlich nach Quelle auf, sonst testen Sie zwei Dinge.
Timing: laufen, bis Ihre voreingestellte Stichprobe und Bestellzahl erreicht sind, nicht eine feste Anzahl Tage.
Kanal: innerhalb eines Kanals nach dem anderen testen. Fügen Sie nicht SMS zu Version B hinzu und nennen dann die E-Mail die Variable.
Inhalt: ein geändertes Element zwischen A und B; alles andere identisch.
Ziel: eine Entscheidung – A behalten, B übernehmen oder “kein klarer Unterschied, hör auf, das zu testen.” Dieses letzte Ergebnis ist ein gültiges, nützliches Resultat, kein Scheitern.

Ein Shop-Beispiel

Ein Haushaltswaren-Shop, der etwa 500 Abonnenten im Monat gewinnt (illustrativ), wollte wissen, ob sein 10-%-Willkommensrabatt sein Geld wert war. Guter Test – große Variable, umsatzrelevant.

Version A: der bestehende Flow mit 10 % Rabatt in E-Mail eins. Version B: derselbe Flow, kein Rabatt, ersetzt durch ein Bestseller-Feature und zwei echte Bewertungen. Sie teilten neue Abonnenten 50/50, maßen Umsatz pro Empfänger und – das ist der Teil, den die meisten überspringen – verpflichteten sich, zu laufen, bis grob 1.000 Abonnenten insgesamt und eine solide Zahl erster Bestellungen aufgelaufen waren. Das dauerte etwa sieben Wochen. Sie schauten einmal, am Ende.

Ich werde Ihnen kein erfundenes Ergebnis in die Hand geben. Der Wert lag in der Disziplin: eine Variable, Umsatz statt Öffnungen, eine voreingestellte Ziellinie, ein ehrlicher Blick. Was auch immer es zeigte, sie konnten danach handeln – einschließlich der möglichen Antwort “kein bedeutsamer Unterschied, also behalt das Geld.” Ein Drei-Tage-Öffnungsraten-Test hätte ihnen das nie sagen können.

Was messen

Umsatz pro Empfänger pro Version – die Schlagzeile; mehr Geld pro Abonnent gewinnt.
Erstbestellungs-Konversionsrate pro Version – Anteil der Eintretenden, die kaufen; fängt ein, wenn Durchschnitte täuschen.
Bestellzahl pro Seite – kein Ergebnis, ein Bereitschaftscheck. Zu wenige Bestellungen heißt, der Test ist nicht fertig, egal wie der Umsatz aussieht.
Abmelderate pro Version – ein Schutzgeländer; eine Version, die etwas mehr verkauft, aber die Liste härter verbrennt, ist kein sauberer Sieg.

Das Detail, das Leute ignorieren: Ein Unterschied, der nicht groß genug ist, um ihm zu trauen, ist kein kleiner Gewinn, es ist kein Ergebnis. Einen Münzwurf als Gewinner zu behandeln, ist der Weg, wie Flows ein Jahr lang seitwärts driften. Wenn Sie den vollständigen Satz an Zahlen wollen, der einen Flow insgesamt beurteilt, legt Messen, ob Ihr Willkommens-Flow funktioniert sie dar.

Wie Omnisend hineinpasst

Um so zu testen, brauchen Sie zufällige Aufteilung innerhalb des Flows, Umsatz- und Konversions-Reporting pro Variante (nicht nur Öffnungsraten-A/B auf Betreffzeilen) und die Fähigkeit, ein sauberes 50/50 zu fahren, ohne Abonnenten von Hand zu sortieren. Ich habe Klaviyo und Omnisend getestet und betreibe meine eigenen Shops auf Omnisend – zum Testen lehne ich mich an die Automatisierungs-Aufteilung, die neue Abonnenten zufällig verzweigt, und das Umsatz-Reporting pro Zweig, sodass ich Geld beurteile, nicht Öffnungen.

Ehrliche Grenze, und es ist die große: Kein Tool schafft Traffic. Wenn Sie 150 Abonnenten im Monat gewinnen, lässt Sie die Plattform bereitwillig einen Test fahren, der nie Signifikanz erreichen kann, und sie warnt Sie nicht. Das Urteil, ob Sie das Volumen haben, liegt bei Ihnen, nicht bei der Software. (Omnisend ist ein Tool, das ich nutze und empfehle; wo dieser Artikel einen Affiliate-Link trägt, ist das offengelegt. Die Methode funktioniert auf jeder Plattform, die echte zufällige Aufteilungen und Umsatz-Reporting pro Variante bietet.)

Ihr nächster Schritt

Bevor Sie irgendetwas bauen, machen Sie eine ehrliche Rechnung: Wie viele Abonnenten gewinnen Sie pro Monat, und wie viele erste Bestellungen erzeugt Ihr Willkommens-Flow derzeit? Wenn beide Zahlen klein sind, ist Ihr erster Schritt kein Test – es ist, eine selbstbewusste Änderung auf Basis von Urteilsvermögen zu machen und sie gegen eine Vorher-Nachher-Baseline zu messen. Wenn Sie das Volumen haben, wählen Sie eine große Variable, und die Rabattfrage ist meist der wertvollste Ansatzpunkt: wie man einen Willkommensrabatt nutzt, ohne Käufer aufs Warten zu trainieren. Bauen Sie dann den stärkeren Flow selbst mit einen Willkommens-Flow bauen, der Abonnenten in Käufer verwandelt.

Pozdravna avtomatizacija

Kako A/B-testirati pozdravno serijo spletne trgovine

Veröffentlicht am July 19, 2026 von

Da pozdravno serijo A/B-testirate pravilno, spreminjajte eno stvar naenkrat, presojajte jo po prihodku na prejemnika in ne po odprtjih ter bodite pošteni glede tega, ali imate dovolj naročnikov, da rezultat sploh kaj pomeni. Večina lastnikov trgovin izvede “test”, opazi, da ena različica čez vikend doseže 3 % višjo stopnjo odprtja, razglasi zmagovalca in svojo avtomatizacijo spremeni na podlagi šuma. Pravi test izbere eno samo spremenljivko — ponudbo, čas pošiljanja, kot prvega emaila — nove naročnike naključno razdeli in teče, dokler skozi obe različici ne gre dovolj ljudi, da razliki lahko zaupamo. Pri trgovini, ki mesečno pridobi nekaj sto naročnikov, to lahko traja tedne, nekaterih testov pa preprosto še ne morete izvesti. Vedeti, kateri testi so vredni vašega prometa, je polovica veščine.

Takole to storite, ne da bi se slepili.

Zakaj je večina testov pozdravne serije brez vrednosti

Tipičen test poteka takole. Podvojite pozdravni email, hkrati spremenite zadevo, popust in glavno sliko, razdelite promet in pogledate nazaj čez tri dni. Različica B ima višjo stopnjo odprtja. Objavite jo.

Tri težave, vse usodne. Spremenili ste več stvari, zato ne veste, katera je premaknila številko — če jo je sploh premaknila iz resničnega razloga. Merili ste odprtja, ki so od Applove Mail Privacy Protection leta 2021 napihnjena in le ohlapno povezana s prodajo. In trije dnevi trgovine z nizkim prometom pomenijo peščico naročnikov na vsako stran — globoko znotraj območja, kjer zgolj naključje ustvari “zmagovalca”. Niste se ničesar naučili. Le sami sebi ste dali dovoljenje, da spremenite avtomatizacijo.

Prava težava: pozdravne avtomatizacije imajo majhen obseg, in to spremeni vse

A/B-testiranje je bilo zasnovano za strani z visokim prometom, kjer na vsako različico v enem dnevu pride na tisoče ljudi. Pozdravna serija je nasprotje. Vanjo vstopajo le novi naročniki in celo zdrava trgovina jih mesečno morda pridobi 300–800 (ponazoritveno). To razdelite na dvoje in vsaka različica vidi le curek.

To pomeni, da je tisto, kar naredi testiranje verodostojno — velikost vzorca — ravno to, česar vam primanjkuje. Tega ne morete popraviti s tem, da bi si rezultate želeli hitreje. Bodisi počakate, testirate nekaj z dovolj velikim učinkom, da se pokaže v majhnih številkah, bodisi sprejmete, da test še ni izvedljiv, in avtomatizacijo spremenite na podlagi presoje. Pretvarjanje, da je test s 40 naročniki dokončen, je način, kako trgovine samih sebe pregovorijo v slabše avtomatizacije.

Zakaj “kar vse testiraj” ne deluje

Nasvet “vedno testiraj” predpostavlja brezplačen, neskončen promet. Pri pozdravni avtomatizaciji vsak test porabi redek vir: nove naročnike, od katerih vsakega lahko pozdravite le enkrat. Zaženite pet testov hkrati in se med seboj onesnažijo. Zaganjajte drobcene teste enega za drugim in mesece lovite šum. Testirajte nepomembne stvari — barvo gumba, besedo v zadevi — in celo resnični 2-odstotni dvig je neviden ob vaši velikosti vzorca.

Disciplina torej ni “testiraj več”. Je “testiraj malo stvari, testiraj velike stvari in jih testiraj dovolj dolgo”.

Kako izvesti test pozdravne serije, ki nekaj pomeni

1. Testirajte eno spremenljivko naenkrat. Ponudba proti brez ponudbe. Prvi email prodaja izdelek proti prvi email gradi zaupanje. Pošlji v roku ene ure proti pošlji naslednje jutro. Ena sprememba, tako da ima rezultat eno razlago. Če spremenite zadevo in ponudbo, vas zmaga ne nauči ničesar, kar bi lahko ponovno uporabili.

2. Izberite dovolj veliko spremenljivko, da bo štela. Pri nizkem obsegu se pokažejo le veliki učinki. Testiranje “Dobrodošli!” proti “Dobrodošli 👋” je zapravljanje — resnična razlika, če sploh obstaja, je premajhna, da bi jo zaznali. Testiranje popusta proti brez popusta ali izdelek na prvem mestu proti zgodbi na prvem mestu lahko ustvari dovolj velik zasuk, da ga vidite. Svoj omejeni promet porabite za vprašanja, kjer je odgovor vreden imeti. Vprašanje o ponudbi konkretno obravnava članek Kako ustvariti pozdravno avtomatizacijo brez ponujanja popusta.

3. Merite prihodek na prejemnika in stopnjo konverzije — ne odprtij. Zmagovalec je različica, ki na naročnika prinese več denarja ali jih več spremeni v prvo naročilo. Odprtja in celo kliki so približki, ki se s prihodkom pogosto ne ujemajo. Če vaše orodje lahko testira le zadeve po stopnji odprtja, vam to pove, katera zadeva se odpre, ne katera avtomatizacija prodaja.

4. O velikosti vzorca in trajanju se odločite, preden začnete. Približno: manjša ko je resnična razlika in nižja ko je vaša stopnja konverzije, več naročnikov potrebujete na vsako stran — pogosto več, kot bi uganili, tudi v tisoče za majhne učinke. Praktično pravilo za trgovino z nizkim obsegom: izberite teste, za katere pričakujete, da bodo prihodek na prejemnika premaknili za pomemben delež, in se zavežite, da jih boste izvajali, dokler na vsako stran ne pade vsaj nekaj sto naročnikov in spodobno število dejanskih naročil. Če bi za to potrebovali šest mesecev, to ni test, ki ga lahko izvedete zdaj.

5. Ne kukajte in ne ustavljajte prezgodaj. Vsakodnevno preverjanje in ustavljanje v trenutku, ko ena stran vodi, je najpogostejši način, kako dobiti lažnega zmagovalca — zgodnje prednosti se nenehno obračajo. Določite končno točko, počakajte nanjo, nato poglejte enkrat.

6. Na avtomatizaciji izvajajte en test naenkrat. Zaključite, uporabite naučeno, nato začnite naslednjega. Prekrivajoči se testi pozdravne avtomatizacije se med seboj kalijo, ker isti naročniki ne morejo čisto biti v obeh.

Kaj avtomatizirati

Sprožilec: naročnik se pridruži seznamu — razdelitev testa se zgodi ob vstopu.
Segment: naključna 50/50 dodelitev novih naročnikov k različici A ali B. Naj ostane naključna; ne razdelite je pomotoma po viru, sicer testirate dve stvari.
Časovni razpored: teče, dokler ni dosežen vaš vnaprej določen vzorec in število naročil, ne fiksno število dni.
Kanal: testirajte znotraj enega kanala naenkrat. Ne dodajte SMS-a k različici B in email imenujte spremenljivka.
Vsebina: en spremenjen element med A in B; vse ostalo enako.
Cilj: odločitev — obdrži A, sprejmi B ali “ni jasne razlike, nehaj testirati to”. Ta zadnji izid je veljaven, uporaben rezultat, ne neuspeh.

Primer trgovine

Trgovina z izdelki za dom, ki mesečno pridobi približno 500 naročnikov (ponazoritveno), je hotela vedeti, ali njihov 10-odstotni pozdravni popust opravlja svoje. Dober test — velika spremenljivka, pomembna za prihodek.

Različica A: obstoječa avtomatizacija z 10 % popusta v prvem emailu. Različica B: ista avtomatizacija, brez popusta, nadomeščenega z izpostavljeno uspešnico in dvema resničnima mnenjema. Nove naročnike so razdelili 50/50, merili prihodek na prejemnika in — to je del, ki ga večina preskoči — se zavezali, da bodo test izvajali, dokler se ne nabere približno 1000 naročnikov skupaj in trdno število prvih naročil. To je trajalo približno sedem tednov. Pogledali so enkrat, na koncu.

Ne bom vam vročil izmišljenega rezultata. Vrednost je bila v disciplini: ena spremenljivka, prihodek namesto odprtij, vnaprej določena ciljna črta, en pošten pogled. Karkoli je pokazalo, so lahko ukrepali — vključno z možnim odgovorom “ni pomembne razlike, torej obdrži denar”. Tridnevni test stopnje odprtja jim tega nikoli ne bi mogel povedati.

Kaj meriti

Prihodek na prejemnika na različico — glavna številka; kdor prinese več denarja na naročnika, zmaga.
Stopnja konverzije prvega naročila na različico — delež vstopajočih, ki kupijo; ujame primere, ko povprečja zavajajo.
Število naročil na stran — ni rezultat, ampak preverjanje pripravljenosti. Premalo naročil pomeni, da test ni končan, ne glede na to, kako izgleda prihodek.
Stopnja odjav na različico — varovalka; različica, ki proda malce več, a bolj kuri seznam, ni čista zmaga.

Podrobnost, ki jo ljudje spregledajo: razlika, ki ni dovolj velika, da bi ji zaupali, ni majhna zmaga, ampak je ni rezultata. Obravnavanje metanja kovanca kot zmagovalca je način, kako avtomatizacije leto dni drsijo vstran. Če želite celoten nabor številk, ki presojajo avtomatizacijo kot celoto, jih razloži članek Merjenje, ali vaša pozdravna avtomatizacija deluje.

Kako se vklaplja Omnisend

Za tovrstno testiranje potrebujete naključno dodeljevanje razdelitve znotraj avtomatizacije, poročanje o prihodku in konverziji na različico (ne le A/B po stopnji odprtja za zadeve) in zmožnost izvedbe čistega 50/50 brez ročnega razvrščanja naročnikov. Preizkusil sem Klaviyo in Omnisend ter svoje trgovine poganjam na Omnisendu — za testiranje se opiram na razdelitev avtomatizacije, ki naključno razveji nove naročnike, in poročanje o prihodku po vejah, da presojam denar, ne odprtja.

Poštena omejitev, in ta je velika: nobeno orodje ne ustvarja prometa. Če mesečno pridobite 150 naročnikov, vam bo platforma z veseljem pustila zagnati test, ki nikoli ne more doseči značilnosti, in vas ne bo opozorila. Presoja o tem, ali imate obseg, je na vas, ne na programski opremi. (Omnisend je orodje, ki ga uporabljam in priporočam; kjer ta članek vsebuje partnersko povezavo, je to razkrito. Metoda deluje na katerikoli platformi, ki izvaja prave naključne razdelitve in poročanje o prihodku po različicah.)

Vaš naslednji korak

Preden karkoli zgradite, naredite en pošten izračun: koliko naročnikov mesečno pridobite in koliko prvih naročil vaša pozdravna avtomatizacija trenutno ustvari? Če sta obe številki majhni, vaša prva poteza ni test — je samozavestna sprememba na podlagi presoje in njeno merjenje glede na izhodišče prej/potem. Če imate obseg, izberite eno veliko spremenljivko, in vprašanje o popustu je običajno najbolj vredno mesto za začetek: Kako uporabiti pozdravni popust, ne da bi kupce naučili čakati. Nato zgradite močnejšo avtomatizacijo samo s pomočjo članka Gradnja pozdravne avtomatizacije, ki naročnike spremeni v kupce.

Welcome Automation

How to A/B Test an Ecommerce Welcome Series

Veröffentlicht am July 10, 2026 von

To A/B test a welcome series, split new subscribers 50/50 as they enter the flow, change exactly one element — the incentive, the first email’s angle, the timing, or the series length — and judge the winner on orders and revenue per recipient, never on opens. Run the test until each branch has at least a few hundred entries or a few weeks of data, whichever takes longer, and test big differences first: 10% off versus free shipping teaches you more than button color ever will. One test at a time, biggest lever first, and a written record of what won. That’s the whole method; the rest is discipline.

The situation: you know the flow could do better, but changes feel like gambling

Your welcome flow makes money — some. You suspect a different incentive or a shorter series would do better, but every time you consider changing it, the same worry appears: what if the change makes it worse and you only find out two months later? So the flow stays frozen, sometimes for years, while you keep buying traffic at rising prices to feed it.

That freeze is the real cost. A welcome flow is usually the highest-revenue automation a store has, and it’s the one place where a structured test directly compounds: every improvement applies to every future subscriber, automatically.

Why guessing and “just trying things” doesn’t work here

The tempting alternative to testing is to just swap something and watch the monthly numbers. The problem: welcome flow performance moves with traffic quality. Launch a new TikTok campaign and your subscriber quality shifts; run a sale and conversion jumps for reasons that have nothing to do with your email copy. Sequential before/after comparisons in ecommerce are contaminated by everything else you’re doing. A split test compares two versions on the same traffic in the same weeks, which is the only comparison that holds up.

The other failure mode is testing trivia. A store doing 500 subscribers a month does not have the volume to detect whether “Hey” beats “Hi.” It does have the volume to detect whether a free-shipping offer beats a percentage discount, because effects that size show up in dozens of entries, not thousands.

What an untested flow costs: an illustrative example

Invented numbers, for shape only. A store gets 700 new subscribers a month at €60 average order value. The current flow converts 3% — 21 orders, €1,260/month. Suppose a different incentive would convert 4%. Without testing, you never find out; with one 6-week test you do, and from then on the flow produces €1,680/month instead. That’s €5,000+ a year from one test. Not every test wins — many are ties — but the losers cost you six weeks, while the winners pay forever.

How to run the program, in order

Get a baseline first. If you don’t know your flow’s current conversion rate and revenue per recipient, measure for a month before testing anything. Measuring whether your welcome flow is working covers exactly which numbers to pull.
Rank your hypotheses by size of lever. Roughly in descending order of impact for most stores: the incentive itself (discount vs. free shipping vs. no discount), the angle of email 1 (product-first vs. story-first), send timing of email 1, series length (3 vs. 5 emails), then subject lines, then design details.
Test one variable. If branch B has a different discount and different timing, a win teaches you nothing usable.
Split at the flow entrance, 50/50. Every new subscriber randomly assigned. Don’t split by week or by signup source — that reintroduces the contamination you’re trying to avoid.
Pre-commit to the finish line. Decide before launch: “we run until each branch has 300 entries, then compare orders and revenue per recipient.” Peeking at day 4 and declaring a winner is how stores end up optimizing toward noise.
Judge on money, not engagement. Opens and clicks are tiebreakers at best. A branch with fewer clicks and more orders wins.
Record the result and roll the winner to 100%. Then start the next test. What you don’t need yet: multivariate testing, statistical significance calculators, or testing every email in the series at once.

Your first test, specified completely

Here’s a concrete first test for a typical store, so “test the incentive” isn’t left vague:

Trigger: subscriber joins the newsletter list via popup. Segment: non-customers only; existing buyers skip this flow.
Split: 50/50 at flow entry.
Branch A (control): current flow — email 1 at 10 minutes with “10% off your first order,” email 2 at day 2 with reviews and objections, email 3 at day 5 with bestsellers and code reminder.
Branch B: identical structure and timing, but the incentive is free shipping on the first order. Same subject style, same design.
Channel: email only for this test — adding SMS mid-test muddies the reading. Whether to add a second channel later is a separate decision; see when a welcome flow should add a second channel.
Duration: until each branch has ~300 entries (at 700 subscribers/month, about 4 weeks).
Goal metric: revenue per recipient, with conversion rate and average order value as supporting reads. Free shipping sometimes wins conversion but loses revenue because it pulls order values down toward the threshold — which is why you look at both. Margin matters too: a 10% discount on a €60 order costs you €6; free shipping might cost €4.50. The “winner” is the branch that makes more contribution margin, not just more revenue.

Good second tests: story-first versus product-first email 1 (if your brand has a genuine story — building trust before asking for the first purchase is relevant background), or 3 emails versus 5.

Metrics that decide the test

Revenue per recipient per branch — the primary verdict.
Conversion rate to first order per branch — the volume side of the story.
Average order value per branch — catches incentives that win orders by shrinking them.
Unsubscribe rate per branch — a branch that converts slightly better while burning the list twice as fast is not a winner.

Running the split in Omnisend

I came to email automation late — I’d written the channel off as spam until ad fatigue on my own stores forced a rethink. I trialed Klaviyo and Omnisend side by side and stayed with Omnisend because I could build and modify flows myself without dreading the interface, at a better price, with email, SMS and push under one roof.

For testing specifically: Omnisend’s automation splits let you branch a flow 50/50 at any point, so the entrance split described above is a drag-in step rather than a workaround with duplicate flows. Each branch reports orders and revenue separately, which gives you the revenue-per-recipient comparison directly. Two honest caveats: the platform won’t stop you from ending a test too early — the discipline about sample size is on you — and if your store’s order tracking isn’t set up cleanly, branch revenue numbers will mislead you regardless of tool.

Your next step

Write down one sentence: “I believe changing [element] to [alternative] will increase revenue per recipient.” Pick the biggest lever you’re genuinely unsure about — for most stores that’s the incentive — and set up that single 50/50 split this week. One test, one variable, one finish line.