So führen Sie A/B-Tests für E-Commerce-SMS durch

Das A/B-Testen von SMS funktioniert wie das Testen von E-Mails, mit zwei wichtigen Unterschieden: Ihre Stichprobe ist kleiner und jede Variante kostet Geld. Also ändert sich die Methode. Testen Sie jeweils eine Variable, küren Sie Sieger nach Umsatz pro Nachricht statt nach Klicks und – das ist der Teil, den die meisten Anleitungen überspringen – testen Sie nur Änderungen, die groß genug sind, um auf einer SMS-großen Liste erkennbar zu sein. Eine 2.000-Abonnenten-Liste, halbiert, kann eine Klickrate von 9 % nicht von einer von 10 % unterscheiden; das Rauschen überflutet das Signal. Was sie erkennen kann, ist Angebot gegen kein Angebot, morgens gegen abends, ein Segment gegen zwei. Testen Sie große Sprünge in Kampagnen, fahren Sie dauerhaft laufende Splits innerhalb Ihrer Automatisierungen, wo sich über Monate Stichproben ansammeln, und lassen Sie die Umsatzzahl – nicht die Klickzahl – den Sieger bestimmen.

Warum Ihre SMS-„Tests“ immer wieder Münzwurf-Antworten liefern

Das Muster, das ich sehe und dem ich selbst früh begegnet bin: Ein Shop teilt eine Kampagne, Variante A bekommt 41 Klicks, Variante B bekommt 48, B wird zum Sieger erklärt, und im nächsten Monat verliert der „gewinnende“ Stil. Nichts wurde gelernt; eine Münze wurde mit Zusatzschritten geworfen.

Die Grundursache ist die Stichprobengröße. E-Mail-Listen sind groß genug, dass moderate Unterschiede zuverlässig zutage treten. SMS-Listen sind typischerweise ein Fünftel so groß oder kleiner, weil die Opt-in-Hürde höher ist. Teilen Sie 1.800 Abonnenten in zwei Hälften, und bei einer Klickrate von 10 % vergleichen Sie rund 90 Klicks gegen 90. Ein Unterschied von sieben Klicks liegt deutlich innerhalb der Zufallsschwankung. Die Mathematik kümmert es nicht, wie überzeugt das grüne Häkchen des Dashboards aussieht.

Es gibt eine zweite SMS-spezifische Falle: Klicks sind ohnehin die falsche Anzeigetafel. Ein Text, der „70 % AUF ALLES“ schreit, wird eine maßvolle Nachricht jedes Mal überklicken und kann trotzdem bei Umsatz, Marge und Abmeldungen verlieren. Wären Klicks das Ziel, wären wir alle einen einzigen Ausverkaufsrabatt vom Reichtum entfernt. Die Lücke zwischen Klick und Verkauf ist eine eigene Diagnose für sich – warum Ihre SMS-Kampagne Klicks, aber keine Verkäufe bekommt –, aber für Testzwecke ist die Regel einfach: Die gewinnende Variante ist die, die pro gesendeter Nachricht mehr Geld eingebracht hat, abzüglich jeglichen Rabatts, den sie trug.

Warum das Kopieren von E-Mail-Testgewohnheiten hier scheitert

Die E-Mail-Testkultur ist auf günstige Versände und Betreffzeilen gebaut. Keins von beidem überträgt sich.

In SMS gibt es keine Betreffzeile. Die ganze Nachricht landet auf dem Sperrbildschirm, also testen Sie immer das gesamte Kreativ, nicht einen Teaser dafür. Und jede Variante, die Sie senden, wird abgerechnet – ein schlampiger Test einer verlierenden Variante hat eine echte Rechnung angehängt, was genau der Grund ist, warum die Kostenrechnung in die echten Kosten von SMS-Marketing berechnen neben Ihren Testplan gehört. Und eine Zwei-Segment-Variante, gegen eine Ein-Segment-Variante getestet, trägt ein Handicap: Die lange Version muss um genug übertreffen, um die doppelten Kosten pro Versand zu decken. Das ist eine Latte, die das E-Mail-Testen niemandem beizubringen lehrte.

Die Gewohnheit, die es zu behalten lohnt, aus E-Mail: die Disziplin, jeweils eine Sache auf einmal zu ändern. Ändern Sie Angebot, Versandzeit und Wortlaut auf einmal, und ein Sieg lehrt Sie nichts, das Sie wiederverwenden können.

Was Sie testen sollten, in Reihenfolge der erwarteten Wirkung

Arbeiten Sie sich diese Leiter hinunter. Testen Sie nicht Sprosse vier, während Sprosse eins unerforscht ist – die oberen Sprossen bewegen den Umsatz um ein Vielfaches, die unteren um Prozente.

  1. Angebot. Rabatt gegen kein Rabatt. Prozent gegen kostenlosen Versand. Code gegen kein Code. Das ist der größte Hebel und der mit Margenkonsequenzen, also lohnt es sich, ihn sorgfältig zu testen, statt anzunehmen.
  2. Timing. Morgens gegen abends, Wochentag und für Flows die Verzögerung nach dem Trigger. Timing-Sprünge sind meist groß genug, dass kleine Listen sie erkennen, und Ruhezeiten-Regeln schränken ein, was Sie überhaupt testen können.
  3. Länge und Struktur. Ein knappes Segment gegen eine vollere Zwei-Segment-Nachricht. Meine Erfahrung: Die kurze Version gewinnt öfter, als sie verliert, und kostet die Hälfte, selbst wenn sie gleichzieht – ein Gleichstand ist hier ein Sieg.
  4. Dringlichkeits-Framing. Echte Frist klar benannt („endet heute um 22 Uhr“) gegen sanften Anstoß. Echte Fristen sind tendenziell SMS’ Heimspiel – die Mechanik steht in So nutzen Sie SMS für zeitkritische E-Commerce-Angebote.
  5. Personalisierung und Absenderidentität. Vorname gegen keiner; Platzierung des Shopnamens am Anfang gegen am Ende. Kleine Effekte – nur testbar, sobald Ihre Flows Ihnen Volumen liefern.

Die zwei Testarenen: Kampagnen für große Sprünge, Flows für alles andere

Kampagnen-Splits

Nutzen Sie Broadcast-Kampagnen, um Sprossen eins und zwei zu testen – Änderungen, von denen Sie erwarten, dass sie die Ergebnisse um die Hälfte oder mehr verschieben. Praktische Regeln:

  • 50/50-Aufteilung, ganzes Listensegment, dieselbe Minute. Testen Sie nicht 10 % gegen 10 % und „rollen Sie den Sieger aus“, wie es die E-Mail-Leute tun; auf einer SMS-Liste ist eine 10-%-Zelle statistisch nutzlos.
  • Entscheiden Sie die Kennzahl vor dem Versand. Umsatz pro Nachricht, aufgeschrieben. Sonst reden Sie sich diejenige Variante schön, die der Idee schmeichelt, die Ihnen gefiel.
  • Lassen Sie das Attributionsfenster schließen, bevor Sie urteilen. Ergebnisse eine Stunde nach dem Versand zu lesen, krönt die Impuls-Variante und verbirgt den langsamen Umwandler.
  • Wiederholen Sie den Sieger einmal. Ein Ergebnis, das sich bei einer zweiten Kampagne reproduziert, ist ein Befund; ein Einzelfall ist Wetter.

Flow-Splits – wo kleine Shops den Großteil ihres Testens tun sollten

Ein A/B-Split innerhalb einer Automatisierung (Warenkorbabbruch, Willkommen, Wieder-auf-Lager) schickt jeden Eintretenden für immer einen von zwei Zweigen hinunter und sammelt Woche für Woche Stichprobe an. Ein Shop, der zu klein ist, um aus einem Kampagnen-Split etwas zu lernen, kann durchaus aus einem Warenkorb-Flow-Split lernen, der drei Monate läuft. Das ist die einzelne nützlichste Anpassung für Shops unter ein paar Tausend SMS-Abonnenten: Hören Sie auf, Kampagnen zu testen, für die Sie nicht das Volumen haben, und parken Sie stattdessen einen guten Test in Ihrem trafficstärksten Flow.

Eine Warnung: Beenden Sie einen Flow-Test niemals mitten in der Saison. Ein Split, der durch eine Sale-Periode lief, hat Sale-Perioden-Daten in demjenigen Zweig eingebacken, der Glück hatte; fahren Sie ihn über vergleichbare Wochen.

Ein durchgerechnetes Beispiel (illustrativ)

Ein Shop mit 2.400 SMS-Abonnenten will wissen, ob sein Warenkorb-Rückholtext einen Rabatt braucht.

  • Variante A: „Dein Warenkorb wartet – der Checkout dauert 30 Sekunden: [link]“
  • Variante B: Dasselbe, plus „10 % Rabatt mit Code BACK10.“
  • Arena: 50/50-Split im Warenkorb-Flow, 10 Wochen lang gefahren, ~600 Eintretende pro Zweig.
  • Ergebnis: A konvertiert 6,1 % der Eintretenden bei 58 € Durchschnittsbestellwert; B konvertiert 7,4 % bei 52 € nach Rabatt. Umsatz pro Eintretendem: A 3,54 €, B 3,85 €.

B gewinnt beim Umsatz – aber um 9 %, während es jedem Käufer einen Code gibt. Wenn die Marge dünn ist, könnte A’s rabattfreie 3,54 € trotzdem das bessere Geschäft sein. Diese Ermessensentscheidung ist der Punkt: Die Aufgabe des Tests ist es, die Wirkung des Rabatts zu bepreisen, damit Sie mit Zahlen statt mit Bauchgefühl entscheiden können. (Alle Zahlen erfunden, um die Mechanik zu zeigen.)

Kennzahlen: die Anzeigetafel, der Reihe nach

  • Umsatz pro gesendeter Nachricht – der Sieger-Bestimmer, abzüglich Rabatten.
  • Conversion-Rate pro Klick – sagt Ihnen, ob die Nachricht oder die Landingpage der Engpass ist.
  • Klickrate – nur zur Diagnose. Krönt niemals allein einen Sieger.
  • Abmelderate pro Variante – das Veto. Eine Variante, die den Umsatz um 5 % gewinnt, während sie die Abmeldungen verdoppelt, borgt sich vom nächsten Quartal.

Und messen Sie alles gegen ein konsistentes Attributions-Setup – wenn Sie nicht festgenagelt haben, wie Ihre Plattform SMS-Umsatz zählt, tun Sie das zuerst über So messen Sie den Umsatz aus E-Commerce-SMS-Marketing, sonst erben Ihre Testergebnisse dessen Mehrdeutigkeit.

Wo Omnisend hineinpasst

Ich führe diese Tests in Omnisend in meinen eigenen Shops durch. Die relevante Mechanik: Kampagnen-A/B-Testing teilt einen SMS-Versand auf und berichtet Umsatz pro Variante, nicht nur Klicks – was angesichts all des Obigen wichtig ist – und die Split-Blöcke des Flow-Builders machen die dauerhaft laufenden Automatisierungstests zu einer Drag-and-drop-Angelegenheit, mit Umsatz pro Zweig im Flow-Report. Dass E-Mail und SMS in einem Workflow zusammenleben, bedeutet außerdem, dass ein Test die Kanallogik respektieren kann, etwa nur Leute anzutexten, die die E-Mail ignoriert haben.

Was das Tool nicht tun wird, ist Sie davon abzuhalten, einen unterdimensionierten Test zu fahren. Es wird bereitwillig 400 Leute aufteilen und ein selbstsicher aussehendes Diagramm rendern. Die Zurückhaltung – nur große Sprünge, Flows statt Kampagnen bei kleinem Maßstab, Umsatz statt Klicks – muss von Ihnen kommen.

Ihr nächster Schritt

Wählen Sie Ihre trafficstärkste SMS-Automatisierung und richten Sie diese Woche einen Split ein: Rabatt gegen keinen oder Ihre aktuelle Nachricht gegen eine Ein-Segment-Neufassung. Stellen Sie eine Kalendererinnerung auf acht Wochen hin und spähen Sie nicht, bevor sie ausgelöst wird. Während dieser Test sich ansammelt, stellen Sie sicher, dass die Nachrichten selbst von einer soliden Grundlinie ausgehen, mit Wann sollte ein Onlineshop SMS versenden.

Kako izvajati A/B-teste SMS-sporočil spletne trgovine

A/B-testiranje SMS-ov deluje kot testiranje emaila z dvema pomembnima razlikama: vaš vzorec je manjši in vsaka različica stane denar. Zato se metoda spremeni. Testirajte eno spremenljivko naenkrat, zmagovalce presojajte po prihodku na sporočilo namesto po klikih in — to je del, ki ga večina vodičev preskoči — testirajte samo spremembe, dovolj velike, da jih je na seznamu velikosti SMS mogoče zaznati. Seznam 2.000 naročnikov, razdeljen na pol, ne more ločiti 9 % stopnje klikov od 10 %; šum preplavi signal. Kar lahko zazna, je ponudba proti nobeni ponudbi, jutro proti večeru, en segment proti dvema. Testirajte velike zamahe v kampanjah, poganjajte vedno vklopljene razcepitve znotraj svojih avtomatizacij, kjer se vzorec nabira mesece, in naj prihodkovna številka — ne število klikov — določi zmagovalca.

Zakaj vaši SMS »testi« nenehno dajejo odgovore, kot da bi metali kovanec

Vzorec, ki ga vidim in sem vanj sam zašel na začetku: trgovina razdeli kampanjo, različica A dobi 41 klikov, različica B dobi 48, B se razglasi za zmagovalca, naslednji mesec pa »zmagovalni« slog izgubi. Nič se ni naučilo; kovanec je bil vržen z dodatnimi koraki.

Osnovni vzrok je velikost vzorca. Email seznami so dovolj veliki, da se zmerne razlike zanesljivo pokažejo. SMS seznami so običajno petino velikosti ali manj, ker je vstopni prag za prijavo višji. Razdelite 1.800 naročnikov na pol in pri 10 % stopnji klikov primerjate približno 90 klikov proti 90. Razlika sedmih klikov je krepko znotraj naključnega odstopanja. Matematiki je vseeno, kako samozavestno izgleda zelena kljukica na nadzorni plošči.

Obstaja druga past, značilna za SMS: kliki so tako ali tako napačna lestvica. Sporočilo, ki kriči »70 % POPUST NA VSE«, bo vsakič prekašalo umirjeno sporočilo po klikih in lahko vseeno izgubi na prihodku, marži in odjavah. Če bi bili kliki cilj, bi bili vsi en velik razprodajni popust stran od bogastva. Vrzel med klikom in prodajo je cela samostojna diagnoza — zakaj vaša SMS kampanja dobi klike, a ne prodaje — a za namene testiranja je pravilo preprosto: zmagovalna različica je tista, ki je zaslužila več denarja na poslano sporočilo, neto od kakršnegakoli popusta, ki ga je nosila.

Zakaj kopiranje email testnih navad tu ne uspe

Kultura email testiranja je zgrajena na poceni pošiljanjih in zadevah sporočil. Nobeno se ne prenese.

V SMS-u ni zadeve sporočila. Celotno sporočilo pristane na zaklenjenem zaslonu, tako da vedno testirate celotno kreativo, ne napovednika zanjo. In vsaka različica, ki jo pošljete, se meri — površen test na izgubljajoči različici ima priložen pravi račun, kar je natanko razlog, da matematika stroškov v kako izračunati dejanske stroške SMS marketinga sodi zraven vašega načrta testiranja. In dvosegmentna različica, testirana proti enosegmentni, nosi hendikep: dolga različica mora prekašati za dovolj, da pokrije, da stane dvakrat toliko na pošiljanje. To je meja, ki je email testiranje nikogar ni naučilo postaviti.

Navada, ki jo je vredno obdržati iz emaila: disciplina glede spreminjanja ene stvari naenkrat. Spremenite ponudbo, čas pošiljanja in besedilo naenkrat, in zmaga vas ne nauči nič, kar bi lahko ponovno uporabili.

Kaj testirati, po vrsti pričakovanega vpliva

Delajte se navzdol po tej lestvi. Ne testirajte četrte prečke, dokler je prva neraziskana — zgornje prečke premaknejo prihodek za večkratnike, spodnje za odstotke.

  1. Ponudba. Popust proti nobenemu popustu. Odstotek proti brezplačni dostavi. Koda proti nobeni kodi. To je največji vzvod in tisti z maržnimi posledicami, zato ga je vredno skrbno testirati, namesto predpostavljati.
  2. Čas. Jutro proti večeru, dan v tednu, in za tokove zakasnitev po prožilcu. Časovni zamahi so običajno dovolj veliki, da jih majhni seznami zaznajo, pravila tihih ur pa omejujejo, kaj sploh lahko testirate.
  3. Dolžina in struktura. En tesen segment proti polnejšemu dvosegmentnemu sporočilu. Moja izkušnja: kratka različica pogosteje zmaga, kot izgubi, in stane pol toliko tudi ob izenačenju — izenačenje je tu zmaga.
  4. Uokvirjanje nujnosti. Pravi rok, naveden preprosto (»konča se nocoj ob 22h«) proti mehki spodbudi. Pristni roki so ponavadi domači teren SMS-a — mehanika je v kako uporabiti SMS za časovno občutljive ponudbe spletne trgovine.
  5. Personalizacija in identiteta pošiljatelja. Ime proti nobenemu; postavitev imena trgovine na začetku proti koncu. Majhni učinki — testljivi šele, ko vam tokovi dajo obseg.

Dve testni prizorišči: kampanje za velike zamahe, tokovi za vse ostalo

Razcepitve kampanj

Uporabite množične kampanje za testiranje prve in druge prečke — sprememb, za katere bi pričakovali, da premaknejo rezultate za polovico ali več. Praktična pravila:

  • 50/50 razcepitev, celoten segment seznama, ista minuta. Ne testirajte 10 % proti 10 % in »uvedite zmagovalca«, kot to počnejo email ljudje; na SMS seznamu je 10 % celica statistično neuporabna.
  • Odločite se za metriko pred pošiljanjem. Prihodek na sporočilo, zapisan. Sicer boste racionalizirali katerokoli različico, ki laska ideji, ki vam je bila všeč.
  • Pustite oknu pripisovanja, da se zapre, preden sodite. Branje rezultatov uro po pošiljanju okrona impulzivno različico in skrije počasnega pretvornika.
  • Ponovite zmagovalca enkrat. Rezultat, ki se ponovi na drugi kampanji, je ugotovitev; enkraten je vreme.

Razcepitve tokov — kjer naj majhne trgovine opravijo večino svojega testiranja

A/B-razcepitev znotraj avtomatizacije (zapuščena košarica, pozdrav, ponovna zaloga) vsakega vstopnika pošlje po eni od dveh vej za vedno, kopičeč vzorec teden za tednom. Trgovina, premajhna, da bi se iz ene razcepitve kampanje kaj naučila, se lahko vsekakor nauči iz razcepitve toka košarice, puščene teči tri mesece. To je edina najbolj koristna prilagoditev za trgovine pod nekaj tisoč SMS naročniki: nehajte testirati kampanje, za katere nimate obsega, in namesto tega parkirajte en dober test v svojem najbolj obiskanem toku.

Eno opozorilo: nikoli ne končajte testa toka sredi sezone. Razcepitev, ki je tekla skozi razprodajno obdobje, ima podatke razprodajnega obdobja vpečene v tisto vejo, ki je imela srečo; poganjajte jo skozi primerljive tedne.

Predelan primer (ponazoritveno)

Trgovina z 2.400 SMS naročniki želi vedeti, ali njeno sporočilo za obnovitev košarice potrebuje popust.

  • Različica A: »Tvoja košarica čaka — blagajna vzame 30 sekund: [link]«
  • Različica B: Enako, plus »10 % popusta s kodo BACK10.«
  • Prizorišče: 50/50 razcepitev v toku košarice, teče 10 tednov, ~600 vstopnikov na vejo.
  • Rezultat: A pretvori 6,1 % vstopnikov ob 58 € povprečnega naročila; B pretvori 7,4 % ob 52 € po popustu. Prihodek na vstopnika: A 3,54 €, B 3,85 €.

B zmaga na prihodku — a za 9 %, medtem ko vsakemu kupcu daje kodo. Če je marža tanka, je lahko A-jevih 3,54 € brez popusta vseeno boljši posel. Ta odločitvena presoja je bistvo: naloga testa je oceniti učinek popusta, da se lahko odločate s številkami namesto z občutki. (Vse številke izmišljene, da prikažejo mehaniko.)

Metrike: lestvica, po vrsti

  • Prihodek na poslano sporočilo — izbiralec zmagovalca, neto od popustov.
  • Stopnja pretvorbe na klik — pove vam, ali je ozko grlo sporočilo ali pristajalna stran.
  • Stopnja klikov — samo diagnostično. Nikoli sama ne okrona zmagovalca.
  • Stopnja odjav na različico — veto. Različica, ki zmaga na prihodku za 5 %, medtem ko podvoji odjave, si sposoja od naslednjega četrtletja.

In vse merite proti dosledni nastavitvi pripisovanja — če niste določili, kako vaša platforma šteje prihodek od SMS-a, to najprej naredite prek kako meriti prihodek iz SMS marketinga spletne trgovine, sicer vaši rezultati testov podedujejo njeno dvoumnost.

Kje se vključi Omnisend

Te teste poganjam v Omnisendu v svojih trgovinah. Pomembna mehanika: A/B-testiranje kampanj razdeli SMS pošiljanje in poroča prihodek na različico, ne le klikov — kar šteje glede na vse zgoraj — pa razcepitveni bloki v graditelju tokov naredijo vedno vklopljene teste avtomatizacij za opravilo povleci-in-spusti, s prihodkom na vejo v poročilu toka. Ker email in SMS živita v enem delovnem toku, lahko test tudi spoštuje logiko kanala, kot je pošiljanje SMS-a samo ljudem, ki so email prezrli.

Česar orodje ne bo naredilo, je, da bi vas ustavilo pri poganjanju premalo zmogljivega testa. Z veseljem bo razdelilo 400 ljudi in izrisalo samozavesten graf. Zadržanost — samo veliki zamahi, tokovi pred kampanjami pri majhnem obsegu, prihodek pred kliki — mora priti od vas.

Vaš naslednji korak

Izberite svojo najbolj obiskano SMS avtomatizacijo in ta teden nastavite eno razcepitev: popust proti nobenemu ali vaše trenutno sporočilo proti prepisu v en segment. Nastavite koledarski opomnik za osem tednov naprej in ne kukajte, preden se sproži. Medtem ko se ta test nabira, poskrbite, da sporočila sama izhajajo iz zdravega izhodišča s kdaj naj spletna trgovina pošilja SMS-sporočila.

How to A/B Test Ecommerce SMS Messages

A/B testing SMS works like testing email with two important differences: your sample is smaller and every variant costs money. So the method changes. Test one variable at a time, judge winners on revenue per message rather than clicks, and — this is the part most guides skip — only test changes big enough to detect on an SMS-sized list. A 2,000-subscriber list split in half cannot tell a 9% click rate from a 10% one; the noise swamps the signal. What it can detect is offer versus no offer, morning versus evening, one segment versus two. Test big swings in campaigns, run always-on splits inside your automations where sample accumulates for months, and let the revenue number — not the click count — call the winner.

Why your SMS “tests” keep producing coin-flip answers

The pattern I see, and ran into myself early on: a store splits a campaign, variant A gets 41 clicks, variant B gets 48, B is declared the winner, and next month the “winning” style loses. Nothing was learned; a coin got flipped with extra steps.

The root cause is sample size. Email lists are big enough that modest differences surface reliably. SMS lists are typically a fifth the size or less, because the opt-in bar is higher. Split 1,800 subscribers in half, and at a 10% click rate you’re comparing roughly 90 clicks against 90. A difference of seven clicks is well inside random variation. The math doesn’t care how confident the dashboard’s green checkmark looks.

There’s a second SMS-specific trap: clicks are the wrong scoreboard anyway. A text that screams “70% OFF EVERYTHING” will out-click a measured message every time and can still lose on revenue, margin, and opt-outs. If clicks were the goal, we’d all be one blowout discount from rich. The click-to-sale gap is a whole diagnosis of its own — why your SMS campaign gets clicks but no sales — but for testing purposes the rule is simple: the winning variant is the one that made more money per message sent, net of any discount it carried.

Why copying email testing habits fails here

Email testing culture is built on cheap sends and subject lines. Neither transfers.

There is no subject line in SMS. The whole message lands on the lock screen, so you’re always testing the entire creative, not a teaser for it. And every variant you send is metered — a sloppy test on a losing variant has a real invoice attached, which is exactly why the cost math in calculating the real cost of SMS marketing belongs next to your testing plan. And a two-segment variant tested against a one-segment one carries a handicap: the long version has to outperform by enough to cover costing twice as much per send. That’s a bar email testing never taught anyone to set.

The habit worth keeping from email: discipline about changing one thing at a time. Change the offer, the send time, and the wording at once, and a win teaches you nothing you can reuse.

What to test, in order of expected impact

Work down this ladder. Don’t test rung four while rung one is unexplored — the top rungs move revenue by multiples, the bottom ones by percent.

  1. Offer. Discount versus no discount. Percentage versus free shipping. Code versus no code. This is the biggest lever and the one with margin consequences, so it’s worth testing carefully rather than assuming.
  2. Timing. Morning versus evening, day of week, and for flows, the delay after the trigger. Timing swings are usually large enough for small lists to detect, and quiet-hours rules constrain what you can test at all.
  3. Length and structure. One tight segment versus a fuller two-segment message. My experience: the short version wins more often than it loses, and it costs half as much even when it ties — a tie is a win here.
  4. Urgency framing. Real deadline stated plainly (“ends 10pm tonight”) versus soft nudge. Genuine deadlines tend to be SMS’s home turf — the mechanics are in how to use SMS for time-sensitive ecommerce offers.
  5. Personalization and sender identity. First name versus none; store name placement at the start versus the end. Small effects — only testable once your flows give you volume.

The two testing venues: campaigns for big swings, flows for everything else

Campaign splits

Use broadcast campaigns to test rungs one and two — changes you’d expect to shift results by half or more. Practical rules:

  • 50/50 split, whole list segment, same minute. Don’t test 10% versus 10% and “roll out the winner” the way email folks do; on an SMS list, a 10% cell is statistically useless.
  • Decide the metric before sending. Revenue per message, written down. Otherwise you’ll rationalize whichever variant flatters the idea you liked.
  • Let the attribution window close before judging. Reading results an hour after send crowns the impulse variant and hides the slow converter.
  • Repeat the winner once. A result that reproduces on a second campaign is a finding; a one-off is weather.

Flow splits — where small stores should do most of their testing

An A/B split inside an automation (abandoned cart, welcome, back-in-stock) sends each entrant down one of two branches forever, accumulating sample week after week. A store too small to learn anything from one campaign split can absolutely learn from a cart-flow split left running for three months. This is the single most useful adjustment for stores under a few thousand SMS subscribers: stop testing campaigns you don’t have the volume for, and park one good test in your highest-traffic flow instead.

One caution: never end a flow test mid-season. A split that ran through a sale period has sale-period data baked into whichever branch got lucky; run it across comparable weeks.

A worked example (illustrative)

A store with 2,400 SMS subscribers wants to know whether its cart-recovery text needs a discount.

  • Variant A: “Your cart’s waiting — checkout takes 30 seconds: [link]”
  • Variant B: Same, plus “10% off with code BACK10.”
  • Venue: 50/50 split in the cart flow, run for 10 weeks, ~600 entrants per branch.
  • Result: A converts 6.1% of entrants at €58 average order; B converts 7.4% at €52 after discount. Revenue per entrant: A €3.54, B €3.85.

B wins on revenue — but by 9%, while giving every buyer a code. If margin is thin, A’s discount-free €3.54 may still be the better business. That judgment call is the point: the test’s job is to price the discount’s effect so you can decide with numbers instead of vibes. (All figures invented to show the mechanics.)

Metrics: the scoreboard, in order

  • Revenue per message sent — the winner-picker, net of discounts.
  • Conversion rate per click — tells you whether the message or the landing page is the bottleneck.
  • Click rate — diagnostic only. Never crowns a winner alone.
  • Opt-out rate per variant — the veto. A variant that wins revenue by 5% while doubling opt-outs is borrowing from next quarter.

And measure everything against a consistent attribution setup — if you haven’t pinned down how your platform counts SMS revenue, do that first via how to measure revenue from ecommerce SMS marketing, or your test results inherit its ambiguity.

Where Omnisend fits

I run these tests in Omnisend in my own stores. The relevant mechanics: campaign A/B testing splits an SMS send and reports revenue per variant, not just clicks — which matters given everything above — and the flow builder’s split blocks make the always-on automation tests a drag-and-drop job, with per-branch revenue in the flow report. Email and SMS living in one workflow also means a test can respect channel logic, like only texting people who ignored the email.

What the tool won’t do is stop you from running an underpowered test. It will cheerfully split 400 people and render a confident-looking chart. The restraint — big swings only, flows over campaigns at small scale, revenue over clicks — has to come from you.

Your next step

Pick your highest-traffic SMS automation and set up one split this week: discount versus none, or your current message versus a one-segment rewrite. Set a calendar reminder for eight weeks out and don’t peek before it fires. While that test accumulates, make sure the messages themselves start from a sound baseline with when should an online store send SMS messages.

Leave a Reply

Your email address will not be published. Required fields are marked *