So führen Sie A/B-Tests für Kanalsequenzen durch

Um eine Kanalsequenz per A/B-Test zu prüfen, teilen Sie eine Automatisierung in zwei Pfade, die sich in genau einer strukturellen Weise unterscheiden – E-Mail dann SMS gegen SMS dann E-Mail, oder Push hinzugefügt gegen Push entfernt – und bestimmen den Gewinner am Gewinn pro Empfänger nach Nachrichtenkosten, nicht an Öffnungen oder Klicks. Führen Sie den Split innerhalb des Flows selbst durch, damit beide Pfade denselben Auslöser und dasselbe Publikum bekommen, lassen Sie ihn in Ruhe, bis jeder Pfad Traffic im Wert von ein paar hundert Konversionen hat, und ändern Sie sonst nichts im Flow, während der Test läuft. Das ist die ganze Methode. Die Schwierigkeit liegt nicht in der Mechanik; sie liegt in der Geduld, der Stichprobengröße und der Disziplin, die Sequenz zu testen statt der Worte darin.

Ein Hinweis zum Umfang. Dieser Artikel handelt vom Testen der Kanal-Reihenfolge und -Kombination – welcher Kanal zuerst auslöst, ob sich ein zweiter Kanal seinen Platz verdient, wie lang die Lücke sein sollte. Betreffzeilen oder Nachrichtentext zu testen ist gewöhnliches A/B-Testen und funktioniert wie überall sonst. Und wenn Sie Kanäle pro Kunde auf Basis von dessen Verhalten festlegen, statt ein kontrolliertes Experiment durchzuführen, ist das ein anderes Werkzeug für einen anderen Zweck: Engagement-Daten nutzen, um den nächsten Kanal zu wählen.

Warum Sequenztests wichtiger sind als Texttests

Die meisten Shops testen ewig Betreffzeilen und testen nie die Struktur. Dabei sind die strukturellen Entscheidungen größer. Ob Ihr Warenkorbabbruch-Flow mit einer kostenlosen E-Mail oder einer kostenpflichtigen SMS beginnt, verändert die Wirtschaftlichkeit jedes Warenkorbs, den Sie je zurückgewinnen werden. Ein Betreffzeilentest bewegt vielleicht die Öffnungsrate um ein paar Punkte; eine SMS zu streichen, die keine Bestellungen brachte, verändert Ihre Kostenposition bei jedem Versand, dauerhaft.

Struktur wird zudem meist einmal per Vermutung festgelegt und nie überprüft. Jemand hat den Flow vor zwei Jahren gebaut, die SMS an zweite Stelle gesetzt, weil ein Blogbeitrag das sagte, und seither feuert er so. Niemand weiß, ob es richtig ist. Genau die Art von Entscheidung, die ein Test klärt.

Die Falle: Kanäle nach Kanalkennzahlen zu beurteilen

Hier laufen diese Tests schief, bevor sie beginnen. Jeder Kanal meldet seine eigenen schmeichelhaften Zahlen. SMS-Klickraten sehen meist weit besser aus als E-Mail-Klickraten, also „gewinnt“ der Pfad mit SMS beim Engagement – während er bei jedem Versand Geld kostet und möglicherweise Leute konvertiert, die ohnehin eine Stunde später aus der E-Mail gekauft hätten.

Das einzig faire Wertungssystem liegt auf der Pfadebene: Gesamtumsatz, den alle erzeugt haben, die in Pfad A eingetreten sind, minus der Nachrichtenkosten von Pfad A, geteilt durch die Anzahl der Eingetretenen. Gewinn pro Empfänger. Beide Pfade auf dieselbe Weise gemessen, vom selben Eintrittspunkt, über denselben Zeitraum. Ein Pfad, der weniger klickt, aber mehr netto einbringt, gewinnt. Das kanalübergreifende Beanspruchen von Verdiensten ist ein eigenes Wespennest – wie man Verkäufe über E-Mail, SMS und Push zuordnet entwirrt es –, aber bei einem kontrollierten Split können Sie das meiste davon umgehen: Sie müssen nicht wissen, welche Nachricht den Verkauf verursacht hat, nur welcher Pfad mehr Gewinn erzeugt hat.

Welche Sequenztests sich lohnen

Nicht jede Permutation verdient einen Test. Vier, die es meist tun:

Verdient sich der zweite Kanal seinen Platz? Pfad A: Ihr aktueller E-Mail-plus-SMS-Flow. Pfad B: identisch, SMS entfernt. Das ist für die meisten Shops der wertvollste Test, weil SMS bei jedem Versand Geld kostet. Wenn die Pfade innerhalb des Rauschens gleich konvertieren, war die SMS Dekoration mit Preisschild.

Welcher Kanal geht zuerst? E-Mail-zuerst gegen SMS-zuerst in einem Warenkorb-Flow. Meine Tendenz, in meinen eigenen Shops getestet, ist E-Mail zuerst, mit zurückgehaltener SMS für hochwertige Warenkörbe, die die E-Mail nicht zurückgewonnen hat – die Begründung ist dargelegt in wie man zuerst E-Mail einsetzt und SMS nur bei Bedarf –, aber Ihre Warenkorbwerte und Ihr Publikum sagen vielleicht etwas anderes. Deshalb testen Sie, statt die Regel von jemandem zu übernehmen, auch meine.

Bringt ein Push-Schritt etwas? Push ist ungefähr kostenlos, also ist die Hürde niedrig – er darf nur nicht schaden. Aber „nicht schaden“ schließt ein, keine Abmeldungen auszulösen und keine E-Mail zu kannibalisieren, die kurz vor der Konversion stand. Pfad A mit dem Push-Schritt, Pfad B ohne.

Lückenlänge zwischen Kanälen. SMS 1 Stunde nach der ungeöffneten E-Mail gegen 24 Stunden danach. Gleiche Kanäle, gleicher Inhalt, anderer Rhythmus.

Führen Sie sie einzeln durch. Ein Test, der die Reihenfolge und das Timing ändert, sagt Ihnen am Ende nichts, weil Sie nicht sagen können, welche Änderung die Arbeit geleistet hat.

Wie Sie den Split sauber einrichten

  • Splitten Sie innerhalb der Automatisierung, am ersten Punkt, an dem die Pfade divergieren – ein zufälliger 50/50-Split-Schritt nach dem Auslöser. Führen Sie keine „diesen Monat gegen letzten Monat“-Vergleiche durch; Saisonalität und Kampagnenkalender verunreinigen die bis zur Unbrauchbarkeit.
  • Beide Pfade müssen für beide Kanäle in Frage kommen. Wenn Pfad B SMS enthält, beschränken Sie den gesamten Test auf Kontakte mit SMS-Einwilligung, beide Pfade. Sonst ist Pfad B heimlich „Leute, die Ihnen ihre Telefonnummer gegeben haben“ – eine engagiertere Gruppe – und der Test ist manipuliert, bevor er beginnt.
  • Frieren Sie den Flow ein. Keine Textänderungen, keine neuen Schritte, keine Verzögerungsanpassungen mitten im Test. Jede Bearbeitung setzt die Uhr zurück.
  • Legen Sie die Ziellinie vor dem Start fest: die Kennzahl (Gewinn pro Empfänger), die Mindestzahl an Konversionen pro Pfad und die maximale Laufzeit. Nach einem Blick auf die Ergebnisse zu entscheiden, ist der Weg, den Pfad zu krönen, den Sie insgeheim wollten.

Die Stichprobengrößen-Realität für kleinere Shops

Das ist der Teil, den niemand mag. Ein Sequenztest wird an Konversionen gemessen, und Konversionen sind knapp. Wenn Ihr Warenkorbabbruch-Flow 600 Eintritte im Monat sieht und um die 8 % konvertiert, sind das rund 24 Konversionen pro Pfad und Monat. Bei diesem Volumen alles außer einem dramatischen Unterschied zu erkennen, dauert Monate. (Beispielhafte Rechnung – setzen Sie Ihre eigenen Eintrittszahlen ein, bevor Sie einen Test planen.)

Seien Sie also wählerisch:

  • Testen Sie bei Ihrem trafficstärksten Flow. Für die meisten Shops ist das der Warenkorbabbruch – einen omnichannel-fähigen Warenkorbabbruch-Flow aufbauen behandelt die testenswerte Struktur. Willkommens-Flows sind oft der zweite.
  • Testen Sie große Unterschiede, nicht kleine. Einen ganzen Kanal hinzuzufügen oder zu entfernen erzeugt Effekte, die groß genug zum Erkennen sind. Eine Anpassung der Verzögerung von 1 Stunde auf 2 Stunden meist nicht, bei kleinem Shop-Volumen.
  • Wenn die Zahlen keinen Test tragen, täuschen Sie keinen vor. Ein „Test“ mit 15 Konversionen pro Pfad ist ein Münzwurf mit Dashboard. Sie fahren besser, wenn Sie einen sinnvollen Standard anwenden – E-Mail zuerst, kostenpflichtige Kanäle nach Wert und Engagement gestaffelt, gemäß wie man Kanalprioritäten in der E-Commerce-Automatisierung festlegt – und das wieder aufgreifen, wenn das Volumen wächst.

Das Ergebnis lesen, einschließlich des langweiligen

Drei Ausgänge:

  • Klarer Gewinner beim Gewinn pro Empfänger. Auf 100 % hochstufen, notieren, was Sie gelernt haben, zum nächsten Test übergehen.
  • Kein bedeutsamer Unterschied. Das ist ein Sieg, den Leute als Misserfolg fehldeuten. Wenn der SMS-freie Pfad gleich abschneidet, haben Sie soeben reine Ersparnis gefunden – gleicher Umsatz, geringere Kosten, eine Nachricht weniger im Tag Ihres Kunden. Unentschieden gehen an den einfacheren, günstigeren Pfad. Immer.
  • Gewinner beim Umsatz, Verlierer beim Gewinn. Der SMS-lastige Pfad verkauft etwas mehr, aber die Marge deckt die Versandkosten nicht. Vertrauen Sie der Gewinnlinie; deshalb haben Sie sie gewählt.

Was auch immer gewinnt, schreiben Sie es auf – Flow, Daten, Pfade, Ergebnis, Entscheidung. In sechs Monaten wird jemand (möglicherweise Sie) vorschlagen, die SMS wieder hinzuzufügen, „weil SMS super konvertiert“, und die Notiz ist das, was den Flow davon abhält, zurück in die Rätelei zu driften.

Wo Omnisend ins Spiel kommt

Jede Plattform mit einem Split-Schritt innerhalb von Automatisierungen kann diese Tests durchführen. Ich nutze Omnisend in meinen Shops – nach dem Ausprobieren beider gegenüber Klaviyo gewählt, vor allem dafür, wie viel einfacher es sich selbst verwalten lässt –, und die relevanten Teile hier sind der A/B-Split-Schritt innerhalb von Flows, alle drei Kanäle im selben Builder, sodass ein Pfad E-Mail, SMS und Push ohne Klebeband mischen kann, und Umsatzberichte pro Flow, die Sie pro Pfad lesen können. Der ehrliche Vorbehalt: Keine Plattform berechnet den Gewinn pro Empfänger für Sie. Die SMS-Kosten und die Marge ziehen Sie selbst in eine Tabelle. Zehn Minuten am Testende, und jede davon wert. (Omnisend ist ein Affiliate-Partner von Shopimation; die Empfehlung stammt aus dem täglichen Gebrauch.)

Ihr nächster Schritt

Wählen Sie Ihren eintrittsstärksten Flow und führen Sie den Test „verdient sich der zweite Kanal seinen Platz?“ durch: die aktuelle Version gegen eine Kopie mit entferntem kostenpflichtigem Kanal, 50/50, beurteilt am Gewinn pro Empfänger. Legen Sie die Ziellinie vor dem Start fest. Es ist der eine Sequenztest, der sich selbst bezahlt macht, sogar wenn er unentschieden endet.

Kako izvajati A/B-teste zaporedja kanalov

Za A/B-test zaporedja kanalov razdelite eno avtomatizacijo v dve poti, ki se razlikujeta v točno eni strukturni stvari — e-pošta pa SMS proti SMS pa e-pošti, ali dodano potisno sporočilo proti odstranjenemu — in zmagovalca sodite po dobičku na prejemnika po stroških sporočil, ne po odprtjih ali klikih. Razdelitev poženite znotraj samega toka, da obe poti dobita isti sprožilec in isto občinstvo, pustite jo pri miru, dokler vsaka pot ne zbere prometa za nekaj sto konverzij, in med tekom testa v toku ne spreminjajte nič drugega. To je celotna metoda. Težava niso mehanizmi; sta potrpljenje, velikost vzorca in disciplina, da testirate zaporedje namesto besed v njem.

Ena opomba o obsegu. Ta članek govori o testiranju vrstnega reda in kombinacije kanalov — kateri kanal se sproži prvi, ali si drugi kanal zasluži svoje mesto, kako dolg naj bo razmik. Testiranje zadev ali besedila sporočil je običajno A/B-testiranje in deluje enako kot povsod. In če se za kanale odločate glede na posameznega kupca na podlagi njegovega vedenja, ne pa vodite nadzorovanega poskusa, je to drugo orodje za drugo nalogo: uporaba podatkov o angažiranosti za izbiro naslednjega kanala.

Zakaj je testiranje zaporedja pomembnejše od testiranja besedila

Večina trgovin večno testira zadeve in nikoli ne testira strukture. A strukturne odločitve so večje. Ali vaš tok za zapuščeno košarico vodi z brezplačno e-pošto ali s plačljivim SMS-om, spremeni ekonomiko vsake košarice, ki jo boste kdaj pridobili nazaj. Test zadeve morda premakne stopnjo odprtja za nekaj točk; opustitev SMS-a, ki ni dodajal naročil, spremeni vašo stroškovno linijo pri vsakem pošiljanju, trajno.

Struktura se tudi ponavadi nastavi enkrat, po občutku, in nikoli ne pregleda znova. Nekdo je tok zgradil pred dvema letoma, dal SMS na drugo mesto, ker je tako pisalo v neki objavi, in tako se sproža vse odtlej. Nihče ne ve, ali je prav. Prav to je vrsta odločitve, ki jo test razreši.

Past: soditi kanale po kanalskih metrikah

Tu gredo ti testi narobe, še preden se začnejo. Vsak kanal poroča o svojih laskavih številkah. Stopnje klikov pri SMS-u običajno izgledajo precej boljše od stopenj klikov pri e-pošti, zato pot s SMS-om »zmaga« pri angažiranosti — medtem ko stane denar pri vsakem pošiljanju in morda konvertira ljudi, ki bi tako ali tako uro pozneje kupili prek e-pošte.

Edini pošten seznam rezultatov je na ravni poti: celoten prihodek, ki ga ustvarijo vsi, ki so vstopili v pot A, minus stroški sporočil poti A, deljeno s številom ljudi, ki so vstopili. Dobiček na prejemnika. Obe poti merjeni enako, iz iste vstopne točke, v istem obdobju. Pot, ki manj klika, a prinese več neto, zmaga. Medkanalno lastenje zaslug je svoja zgodba — kako pripisati prodajo prek e-pošte, SMS-a in potisnih sporočil jo razplete — a pri nadzorovani razdelitvi se lahko večini tega izognete: ni vam treba vedeti, katero sporočilo je povzročilo prodajo, le katera pot je ustvarila več dobička.

Kateri testi zaporedja so vredni izvedbe

Ni vsaka permutacija vredna testa. Štiri, ki običajno so:

Ali si drugi kanal zasluži svoje mesto? Pot A: vaš trenutni tok e-pošta + SMS. Pot B: enak, SMS odstranjen. To je test z najvišjo vrednostjo za večino trgovin, ker SMS stane denar pri vsakem pošiljanju. Če poti konvertirata znotraj šuma druga druge, je bil SMS okras s ceno.

Kateri kanal gre prvi? Najprej e-pošta proti najprej SMS-u v toku za košarico. Moja nagnjenost, preizkušena v mojih trgovinah, je najprej e-pošta s SMS-om, zadržanim za košarice visoke vrednosti, ki jih e-pošta ni pridobila nazaj — utemeljitev je razložena v kako uporabiti najprej e-pošto in SMS le, ko je potrebno — a vaše vrednosti košaric in vaše občinstvo lahko povedo drugače. Prav zato testirate, namesto da prevzamete tuje pravilo, tudi moje.

Ali korak s potisnim sporočilom kaj doda? Potisno sporočilo je približno brezplačno, zato je meja nizka — le škoditi ne sme. A »ne škoditi« vključuje, da ne sproža odjav in ne kanibalizira e-pošte, ki se je pravkar konvertirala. Pot A s korakom potisnega sporočila, pot B brez.

Dolžina razmika med kanali. SMS 1 uro po neodprti e-pošti proti 24 uram pozneje. Isti kanali, ista vsebina, drugačen ritem.

Izvajajte jih po enega naenkrat. Test, ki spremeni vrstni red in časovnico, vam ob koncu ne pove ničesar, ker ne morete reči, katera sprememba je opravila delo.

Kako čisto nastaviti razdelitev

  • Razdelite znotraj avtomatizacije, na prvi točki, kjer se poti razhajata — korak naključne razdelitve 50/50 za sprožilcem. Ne izvajajte primerjav »ta mesec proti prejšnjemu«; sezonskost in koledarji kampanj jih onesnažijo do neuporabnosti.
  • Obe poti morata biti upravičeni do obeh kanalov. Če pot B vsebuje SMS, omejite celoten test na kontakte s soglasjem za SMS, obe poti. Sicer je pot B na skrivaj »ljudje, ki so vam dali svojo telefonsko številko« — bolj zavzeta skupina — in test je prirejen, še preden se začne.
  • Zamrznite tok. Brez urejanja besedila, brez novih korakov, brez prilagajanja zamikov med testom. Vsaka sprememba ponastavi uro.
  • Ciljno črto določite pred zagonom: metriko (dobiček na prejemnika), najmanjše število konverzij na pot in najdaljši čas teka. Odločanje po tem, ko ste že pogledali rezultate, je način, kako okronate pot, ki ste si jo na skrivaj želeli.

Resničnost velikosti vzorca za manjše trgovine

To je del, ki ni všeč nikomur. Test zaporedja se sodi po konverzijah, konverzije pa so redke. Če vaš tok za zapuščeno košarico vidi 600 vstopov na mesec in konvertira približno 8 %, je to grobo 24 konverzij na pot na mesec. Zaznati karkoli drugega kot dramatično razliko pri tem obsegu traja mesece. (Ponazoritvena matematika — pred načrtovanjem testa poženite svoje vstopne številke.)

Zato bodite izbirčni:

  • Testirajte na svojem toku z najvišjim prometom. Za večino trgovin je to zapuščena košarica — gradnja večkanalnega toka za zapuščeno košarico pokrije strukturo, ki jo je vredno testirati. Pozdravni tokovi so pogosto na drugem mestu.
  • Testirajte velike razlike, ne majhnih. Dodajanje ali odstranjevanje celega kanala povzroči učinke, dovolj velike za zaznavo. Prilagoditev zamika z 1 ure na 2 uri običajno ne, pri obsegu majhne trgovine.
  • Če številke ne zdržijo testa, ga ne ponarejajte. »Test« s 15 konverzijami na pot je met kovanca z nadzorno ploščo. Bolje se vam obnese, da uporabite razumno privzeto nastavitev — najprej e-pošta, plačljivi kanali zamejeni z vrednostjo in angažiranostjo, po kako določiti prioritete kanalov v avtomatizaciji spletne trgovine — in se vrnete, ko obseg zraste.

Branje rezultata, vključno z dolgočasnim

Trije izidi:

  • Jasen zmagovalec pri dobičku na prejemnika. Napredujte ga na 100 %, zabeležite, kaj ste se naučili, pojdite na naslednji test.
  • Nobene pomembne razlike. To je zmaga, ki jo ljudje napačno berejo kot neuspeh. Če pot brez SMS-a deluje enako, ste pravkar našli čist prihranek — isti prihodek, nižji strošek, eno sporočilo manj v dnevu vaše kupke. Izenačenja pripadejo enostavnejši, cenejši poti. Vedno.
  • Zmagovalec pri prihodku, poraženec pri dobičku. Pot z veliko SMS-a proda nekoliko več, a marža ne pokrije stroškov pošiljanja. Zaupajte liniji dobička; zato ste jo izbrali.

Karkoli zmaga, zapišite si — tok, datumi, poti, rezultat, odločitev. Čez šest mesecev bo nekdo (morda vi) predlagal ponovno dodajanje SMS-a, »ker SMS odlično konvertira«, in zapis je tisto, kar prepreči, da bi tok zdrsel nazaj v ugibanje.

Kje se umešča Omnisend

Vsaka platforma s korakom razdelitve znotraj avtomatizacij lahko poganja te teste. V svojih trgovinah uporabljam Omnisend — izbran namesto Klaviya po preizkusu obeh, večinoma zaradi tega, koliko lažje ga upravljam sam — in tu so pomembni deli korak A/B-razdelitve znotraj tokov, vsi trije kanali živijo v istem graditelju, tako da lahko pot meša e-pošto, SMS in potisna sporočila brez lepilnega traku, ter poročanje o prihodku na tok, ki ga lahko berete po posamezni poti. Pošten pridržek: nobena platforma vam ne izračuna dobička na prejemnika. Stroške SMS-a in maržo boste v preglednico potegnili sami. Deset minut ob koncu testa, in vredno vsake. (Omnisend je partnerski pridruženec Shopimationa; priporočilo izhaja iz vsakodnevne uporabe.)

Vaš naslednji korak

Izberite svoj tok z največ vstopi in poženite test »ali si drugi kanal zasluži svoje mesto?«: trenutna različica proti kopiji z odstranjenim plačljivim kanalom, 50/50, sojeno po dobičku na prejemnika. Ciljno črto določite pred zagonom. To je edini test zaporedja, ki se izplača, tudi ko se konča z izenačenjem.

How to A/B Test Channel Sequences

To A/B test a channel sequence, split one automation into two paths that differ in exactly one structural way — email then SMS versus SMS then email, or push added versus push removed — and judge the winner on profit per recipient after message costs, not on opens or clicks. Run the split inside the flow itself so both paths get the same trigger and the same audience, leave it alone until each path has a few hundred conversions’ worth of traffic, and change nothing else in the flow while the test runs. That’s the entire method. The difficulty isn’t the mechanics; it’s the patience, the sample size, and the discipline to test the sequence rather than the words inside it.

One scope note. This article is about testing channel order and combination — which channel fires first, whether a second channel earns its place, how long the gap should be. Testing subject lines or message copy is ordinary A/B testing and works the same as anywhere else. And if you’re deciding channels per customer based on their behavior rather than running a controlled experiment, that’s a different tool for a different job: using engagement data to choose the next channel.

Why sequence testing matters more than copy testing

Most stores test subject lines forever and never test structure. Yet the structural decisions are bigger. Whether your abandoned-cart flow leads with a free email or a paid SMS changes the economics of every cart you’ll ever recover. A subject line test might move open rate a few points; dropping an SMS that wasn’t adding orders changes your cost line on every send, permanently.

Structure also tends to be set once, by guess, and never revisited. Someone built the flow two years ago, put SMS second because a blog post said so, and it’s been firing that way ever since. Nobody knows if it’s right. That’s exactly the kind of decision a test settles.

The trap: judging channels by channel metrics

Here’s where these tests go wrong before they start. Each channel reports its own flattering numbers. SMS click rates usually look far better than email click rates, so the path with SMS “wins” on engagement — while costing money on every send and possibly converting people who would have bought from the email an hour later anyway.

The only fair scoreboard is at the path level: total revenue generated by everyone who entered path A, minus the message costs of path A, divided by the number of people who entered. Profit per recipient. Both paths measured the same way, from the same entry point, over the same period. A path that clicks less but nets more wins. Cross-channel credit-claiming is its own can of worms — how to attribute sales across email, SMS, and push untangles it — but for a controlled split you can sidestep most of it: you don’t need to know which message caused the sale, only which path produced more profit.

Which sequence tests are worth running

Not every permutation deserves a test. Four that usually do:

Does the second channel earn its place? Path A: your current email + SMS flow. Path B: identical, SMS removed. This is the highest-value test for most stores because SMS costs money on every send. If the paths convert within noise of each other, the SMS was decoration with a price tag.

Which channel goes first? Email-first versus SMS-first in a cart flow. My bias, tested in my own stores, is email first with SMS held back for high-value carts that email didn’t recover — the reasoning is laid out in how to use email first and SMS only when needed — but your cart values and your audience may say otherwise. That’s why you test instead of adopting someone’s rule, including mine.

Does a push step add anything? Push is roughly free, so the bar is low — it only has to not hurt. But “not hurt” includes not triggering opt-outs and not cannibalizing an email that was about to convert. Path A with the push step, path B without.

Gap length between channels. SMS 1 hour after the unopened email versus 24 hours after. Same channels, same content, different rhythm.

Run them one at a time. A test that changes the order and the timing tells you nothing when it ends, because you can’t say which change did the work.

How to set the split up cleanly

  • Split inside the automation, at the first point where the paths diverge — a 50/50 random split step after the trigger. Don’t run “this month versus last month” comparisons; seasonality and campaign calendars pollute those beyond use.
  • Both paths must be eligible for both channels. If path B contains SMS, restrict the whole test to contacts with SMS consent, both paths. Otherwise path B is secretly “people who gave you their phone number” — a more committed group — and the test is rigged before it starts.
  • Freeze the flow. No copy edits, no new steps, no delay tweaks mid-test. Every edit resets the clock.
  • Decide the finish line before you launch: the metric (profit per recipient), the minimum conversions per path, and the maximum runtime. Deciding after you’ve peeked at results is how you crown the path you secretly wanted.

The sample-size reality for smaller stores

This is the part nobody likes. A sequence test is judged on conversions, and conversions are scarce. If your abandoned-cart flow sees 600 entries a month and converts around 8%, that’s roughly 24 conversions per path per month. Detecting anything but a dramatic difference at that volume takes months. (Illustrative math — run your own entry numbers before planning a test.)

So be selective:

  • Test on your highest-traffic flow. For most stores that’s abandoned cart — building an omnichannel abandoned-cart flow covers the structure worth testing. Welcome flows are often second.
  • Test big differences, not small ones. Adding or removing a whole channel produces effects large enough to detect. A 1-hour-versus-2-hour delay tweak usually doesn’t, at small-store volume.
  • If the numbers can’t support a test, don’t fake one. A “test” with 15 conversions per path is a coin flip with a dashboard. You’re better off applying a sensible default — email first, paid channels gated by value and engagement, per how to set channel priorities in ecommerce automation — and revisiting when volume grows.

Reading the result, including the boring one

Three outcomes:

  • Clear winner on profit per recipient. Promote it to 100%, note what you learned, move to the next test.
  • No meaningful difference. This is a win people misread as failure. If the SMS-free path performs the same, you just found pure savings — same revenue, lower cost, one less message in your customer’s day. Ties go to the simpler, cheaper path. Always.
  • Winner on revenue, loser on profit. The SMS-heavy path sells slightly more but the margin doesn’t cover the send costs. Trust the profit line; that’s why you chose it.

Whatever wins, write it down — flow, dates, paths, result, decision. Six months from now someone (possibly you) will suggest re-adding the SMS “because SMS converts great,” and the note is what stops the flow from drifting back to guesswork.

Where Omnisend fits

Any platform with a split step inside automations can run these tests. I use Omnisend in my stores — chosen over Klaviyo after trying both, mostly for how much easier it is to self-manage — and the relevant parts here are the A/B split step inside flows, all three channels living in the same builder so a path can mix email, SMS, and push without duct tape, and per-flow revenue reporting you can read per path. The honest caveat: no platform computes profit per recipient for you. You’ll pull SMS costs and margin into a spreadsheet yourself. Ten minutes at test-end, and worth every one. (Omnisend is an affiliate partner of Shopimation; the recommendation comes from daily use.)

Your next step

Pick your highest-entry flow, and run the “does the second channel earn its place?” test: current version against a copy with the paid channel removed, 50/50, judged on profit per recipient. Set the finish line before you launch. It’s the one sequence test that pays for itself even when it ends in a tie.

Leave a Reply

Your email address will not be published. Required fields are marked *