So führen Sie A/B-Tests für Produktabbruch-Nachrichten durch

Um einen Produktabbruch-Flow per A/B-Test zu prüfen, ändern Sie jeweils eine Sache, teilen Sie den Trigger gleichmäßig zwischen zwei Versionen auf und warten Sie lange genug, um eine aussagekräftige Zahl an Versänden zu sammeln, bevor Sie ihn entscheiden – was bei diesem Flow Geduld erfordert, weil das Volumen an Produktaufrufen niedriger ist als das an Warenkörben. Testen Sie die Dinge, die den Ausschlag geben: die Betreffzeile, das Timing des Versands, ob Sie mit dem angesehenen Produkt oder mit Empfehlungen einsteigen und ob der Text auf Beruhigung oder auf Nutzen setzt. Beurteilen Sie jeden Test nach Umsatz pro Empfänger, nicht nach Öffnungsrate. Und akzeptieren Sie von vornherein, dass viele Ihrer Tests ergebnislos zurückkommen, weil die Zahlen dünn sind. Das ist hier normal. Testen Sie die großen Hebel, geben Sie ihnen Zeit und ignorieren Sie das Kleinzeug.

So führen Sie einen sauberen Test auf einem Flow durch, der nicht viel Traffic bekommt.

Das Problem beim Testen dieses Flows

Warenkorb-Flows sind leicht zu testen, weil Warenkörbe heiß und häufig sind. Ein geschäftiger Shop bricht vielleicht Hunderte Warenkörbe pro Woche ab – reichlich Volumen, um aufzuteilen und schnell abzulesen. Produktabbruch ist anders. Sie mailen nur an qualifizierte Produktaufrufe, was, nachdem Sie die Aufrufe mit geringer Kaufabsicht ausgeschlossen haben (und das sollten Sie), ein kleinerer Pool ist. Teilen Sie den in zwei Hälften, und jede Variante bekommt ein Rinnsal.

Die Falle ist also, Sieger auf Rauschen zu küren. Sie senden Version A an 60 Leute und Version B an 55, A bekommt drei Bestellungen und B eine, und Sie erklären A zum Sieger. Das ist kein Ergebnis. Das ist ein Münzwurf. Führen Sie Ihren Shop nach solchen Schlussfolgerungen, und Sie verbringen Monate damit, Unterschieden hinterherzujagen, die nie echt waren.

Die ehrliche Reaktion ist nicht, das Testen zu überspringen. Es ist, weniger, größere Dinge zu testen und zu warten.

Testen Sie jeweils eine Variable

Diese Regel zählt mehr, wenn das Volumen niedrig ist, nicht weniger. Wenn Sie die Betreffzeile und den Produktblock und das Timing alle auf einmal ändern und die neue Version gewinnt, haben Sie nichts über das Warum gelernt. Sie können es nicht wiederholen und nicht darauf aufbauen. Mit dünnen Daten können Sie es sich erst recht nicht leisten, einen Test zu verschwenden, indem Sie nichts lernen.

Also eine Änderung pro Test. Dieselbe Zielgruppe, derselbe Trigger, alles gleich außer dem einen Element, das Sie messen. Es ist langsamer. Es ist auch die einzige Möglichkeit, dass das Ergebnis irgendetwas bedeutet. Dieselbe Disziplin gilt für Warenkorb-Flows – A/B-Testen eines Warenkorbabbruch-Flows geht sie durch –, aber die Low-Volume-Version der Regel ist strenger, weil Sie weniger Versuche haben.

Was sich zu testen lohnt, der Reihe nach

Nicht alles verdient einen Test. Ordnen Sie nach wahrscheinlicher Wirkung und beginnen Sie oben.

1. Die Betreffzeile. Der günstigste Test, und sie ist das Tor zu allem – kein Öffnen, kein Klick, kein Verkauf. Wert eines Versuchs: das spezifische Produkt zu benennen („Denken Sie noch über den Merino-Pullover nach?“) gegen eine Neugier-Zeile („Etwas hat Ihr Auge erwischt“). Produktspezifisch gewinnt meist, weil es genau das Verlangen erneut auslöst, aber testen Sie es auf Ihrer Liste, statt der Regel zu vertrauen.

2. Timing. Wann die Nachricht ausgelöst wird, verändert die Ergebnisse stärker als die meisten Text-Änderungen. Ein Anstoß ein paar Stunden nach dem Aufruf gegen einen am nächsten Morgen ist ein echter Test mit echtem Einsatz. Kühlere Produktaufruf-Absicht belohnt manchmal eine etwas längere Wartezeit, als Sie einem Warenkorb geben würden. Wann Sie eine Produktabbruch-E-Mail senden sollten behandelt die Zeitfenster, die es lohnt, gegeneinander antreten zu lassen.

3. Produktblock vs. Empfehlungen. Schlägt es, mit dem exakt angesehenen Produkt einzusteigen, das Einsteigen mit einer Reihe ähnlicher Artikel? Das angesehene Produkt ist der offensichtliche Aufhänger, aber für Stöberer, die noch verglichen haben, zieht ein „hier sind drei ähnliche“-Layout manchmal besser. Echte Frage, einen Test wert – richten Sie die Empfehlungsversion ordentlich ein, bevor Sie sie gegen den schlichten Produktblock antreten lassen.

4. Beruhigung vs. Nutzen. Dasselbe Produkt, zwei Blickwinkel. Eine Version beantwortet den Zweifel – Rücksendungen, Größe, eine Top-Bewertung. Die andere schiebt den Nutzen des Produkts und was es leistet. Welche eröffnet die Entscheidung besser neu? Das ist tendenziell der interessanteste Test im Flow, weil er Ihnen sagt, warum die Leute gezögert haben. So nutzen Sie Preis, Bewertungen und Nutzen in Produktabbruch-E-Mails entfaltet beide Blickwinkel.

Beachten Sie die Reihenfolge. Betreff und Timing zuerst, weil sie günstig sind und das Tor zu allem bilden. Der Inhalts-Blickwinkel später, weil er mehr Volumen braucht, um lesbar zu sein.

So führen Sie ihn sauber durch bei niedrigem Volumen

Ein paar Anpassungen machen einen trafficschwachen Test überlebensfähig.

  • Teilen Sie den Trigger auf, nicht einen einmaligen Versand. Stellen Sie die Automatisierung so ein, dass sie jeden qualifizierenden Aufruf beim Eintritt zufällig A oder B zuweist. Über Wochen gleicht sich die Aufteilung aus. Versuchen Sie nicht, auf einer einzelnen Charge zu testen.
  • Geben Sie ihm echte Zeit. Wo ein Warenkorb-Test sich in einer Woche auflösen mag, braucht ein Produktaufruf-Test oft drei bis vier, manchmal mehr. Setzen Sie das Enddatum, wenn Sie ihn starten, und spähen-und-stoppen Sie nicht in dem Moment, in dem eine Version vorne liegt. Frühe Führungen kehren sich bei kleinen Zahlen ständig um.
  • Entscheiden Sie Ihr Minimum, bevor Sie starten. Wählen Sie einen Boden – sagen wir, mindestens ein paar Hundert Versände und ein paar Dutzend Bestellungen pro Variante, bevor Sie überhaupt hinschauen. (Beispielhafte Schwellen; Ihr Boden hängt von Ihrem Traffic ab.) Wenn Sie ihn nie erreichen, ist die ehrliche Entscheidung „ergebnislos“, und Sie behalten die einfachere Version.
  • Testen Sie auf Ihren trafficstärksten Produkten. Wenn ein oder zwei Produkte den Großteil Ihrer qualifizierten Aufrufe treiben, fahren Sie den Test dort zuerst. Dort erreichen Sie tatsächlich eine lesbare Zahl.

Lesen Sie das Ergebnis am Umsatz, nicht an Öffnungen

Eine höhere Öffnungsrate, die nicht mehr Bestellungen erzeugt, ist ein Eitelkeitssieg. Die Betreffzeile, die mehr Öffnungen bekommt, aber dieselben Verkäufe, hat nur mehr Gaffer angezogen. Was Ihnen wichtig ist, ist der Umsatz pro Empfänger – der der Variante zugeordnete Gesamtumsatz, geteilt durch die Anzahl der Leute, an die sie ging. Diese eine Zahl faltet Öffnungen, Klicks und Conversion auf einmal ein, und sie ist die, die Ihre Rechnungen bezahlt.

Behalten Sie auch die Abmeldungen im Auge. Eine Variante, die beim Umsatz gewinnt, aber die Abmeldungen verdoppelt, verbrennt Liste, die Sie später wollen werden. Und seien Sie vorsichtig mit der Attribution: Wenn jemand die Produkt-E-Mail bekommt, dann später in den Warenkorb legt und vor dem Kauf eine Warenkorb-E-Mail bekommt, lassen Sie nicht beide Flows den Verkauf beanspruchen. Die Messlogik in So verfolgen Sie den Umsatz aus Produktabbruch hält das sauber.

Ein konkreter Test zum ersten Durchführen

Hier ist ein Starttest für einen Shop, der Haushaltswaren im mittleren Preissegment verkauft. (Illustrativ.) Version A: Der Betreff benennt das Produkt, die E-Mail steigt mit dem angesehenen Artikel und einer Top-Bewertung ein, die die häufigste Frage beantwortet. Version B: Der Betreff ist eine sanfte Neugier-Zeile, die E-Mail steigt mit dem angesehenen Artikel plus zwei ähnlichen Empfehlungen ein. Eine Variable wäre noch sauberer – aber wenn Sie einen einzigen entscheidenden ersten Test wollen, stellt dieser „spezifisch + Beruhigung“ gegen „Neugier + Auswahl“, was die beiden Instinkte sind, über die die meisten Shop-Betreiber streiten. Fahren Sie ihn vier Wochen auf Ihren drei Top-Produkten, beurteilen Sie nach Umsatz pro Empfänger, isolieren Sie dann das Element, das gewonnen hat, und testen Sie das als Nächstes allein.

Was Sie messen sollten

  • Umsatz pro Empfänger pro Variante – die Schlagzeile, die, auf die Sie sich festlegen.
  • Klickrate (CTR) – nützliche Diagnose; wenn eine Variante Klicks, aber keine Bestellungen bekommt, ist das Leck die Produktseite, nicht die E-Mail.
  • Abmelderate pro Variante – ein Stichentscheider und ein Schutzgeländer.
  • Erreichte Stichprobengröße – berichten Sie sie immer neben dem Ergebnis, damit Sie wissen, ob Sie der Entscheidung trauen können.

Wie Omnisend hineinpasst

Die Mechanik eines Low-Volume-Tests ist der lästige Teil: einen Trigger zufällig aufzuteilen, ihn wochenlang laufen zu lassen und Umsatz pro Empfänger pro Variante zu lesen, ohne Tabellen von Hand zu bauen. Ich nutze Omnisend in meinen eigenen Shops, nachdem ich es gegen Klaviyo getestet habe, teils weil ich eine Automatisierung aufteilen und sie über die Zeit auflaufen lassen kann, statt einen einzelnen Blast zu testen, und das Umsatz-Reporting pro Variante ist eingebaut.

Kein Tool behebt jedoch dünne Daten. Wenn Ihr qualifiziertes Produktaufruf-Volumen wirklich winzig ist, ist der ehrliche Zug, den Flow zu reparieren und zu vereinfachen, statt ihn zu testen, und das Testen erneut aufzugreifen, sobald der Traffic wächst. (Omnisend ist ein Tool, das ich nutze und empfehle; jeder Affiliate-Link hier wird offengelegt – die Testmethode funktioniert in jeder leistungsfähigen Plattform.)

Ihr nächster Schritt

Wählen Sie Ihr einzelnes trafficstärkstes Produkt und richten Sie diese Woche einen Betreffzeilentest auf dem Produktabbruch-Flow ein – Produktname gegen Neugier-Zeile, sonst nichts geändert. Entscheiden Sie Ihre Mindeststichprobe, bevor Sie starten, setzen Sie ein Enddatum vier Wochen hin und fassen Sie ihn bis dahin nicht an. Wenn Sie einen sauberen Sieger haben, führen Sie ihn in die breitere Checkliste zur Produktabbruch-Automatisierung ein und wählen Sie Ihre nächste einzelne Variable zum Testen.

Kako A/B-testirati sporočila po zapuščenem ogledu izdelka

Da A/B-testiraš tok po zapuščenem ogledu izdelka, spreminjaj eno stvar naenkrat, sprožilec enakomerno razdeli med dve različici in počakaj dovolj dolgo, da zbereš smiselno število pošiljanj, preden razsodiš — kar pri tem toku zahteva potrpežljivost, ker je obseg ogledov izdelkov manjši od obsega košaric. Testiraj stvari, ki premikajo iglo: zadevo sporočila, čas pošiljanja, ali vodiš z ogledanim izdelkom ali s priporočili, in ali se telo naslanja na pomiritev ali na koristi. Vsak test presoji po prihodku na prejemnika, ne po stopnji odpiranja. In vnaprej sprejmi, da se bo veliko tvojih testov vrnilo neodločenih, ker so številke tanke. To je tukaj normalno. Testiraj velike vzvode, daj jim čas in prezri malenkosti.

Takole izpelješ čist test na toku, ki nima veliko prometa.

Težava s testiranjem tega toka

Toke košaric je lahko testirati, ker so košarice vroče in pogoste. Prometna trgovina lahko opusti stotine košaric na teden — dovolj obsega za razdelitev in hitro branje. Zapuščen ogled izdelka je drugačen. Emaile pošiljaš le kvalificiranim ogledom izdelkov, kar je po tem, ko izločiš tiste z nizko namero (in bi jih moral), manjši bazen. Razdeli ga na pol in vsaka različica dobi le curek.

Zato je past razglašanje zmagovalcev na šumu. Različico A pošlješ 60 ljudem in različico B 55, A dobi tri naročila in B eno, in razglasiš A za zmagovalca. To ni rezultat. To je met kovanca. Vodi svojo trgovino po takih zaključkih in mesece boš lovil razlike, ki nikoli niso bile resnične.

Pošten odziv ni preskočiti testiranje. Je testirati manj, večjih stvari, in počakati.

Testiraj eno spremenljivko naenkrat

To pravilo šteje bolj, ko je obseg nizek, ne manj. Če hkrati spremeniš zadevo sporočila in blok izdelka in časovnico in nova različica zmaga, nisi izvedel ničesar o tem, zakaj. Ne moreš je ponoviti in ne moreš graditi na njej. S tankimi podatki si še posebej ne moreš privoščiti, da bi zapravil test in se ne naučil ničesar.

Torej ena sprememba na test. Ista publika, isti sprožilec, vse isto razen enega elementa, ki ga meriš. Počasneje je. A tudi edini način, da rezultat kaj pomeni. Ista disciplina velja za toke košaric — A/B-testiranje toka zapuščene košarice jo predela — a nizkoobsežna različica pravila je strožja, ker imaš manj poskusov.

Kaj je vredno testirati, po vrsti

Ni vse vredno testa. Razvrsti po verjetnem vplivu in začni na vrhu.

1. Zadeva sporočila. Najcenejši test in vse zapira — brez odprtja ni klika, ni prodaje. Vredno preizkusiti: poimenovanje konkretnega izdelka (“Še vedno razmišljate o puloverju Merino Crew?”) proti vrstici radovednosti (“Nekaj vam je padlo v oči”). Za izdelek specifično običajno zmaga, ker znova sproži natanko željo, a to testiraj na svojem seznamu in ne zaupaj pravilu.

2. Časovnica. Kdaj se sporočilo sproži, spremeni rezultate bolj kot večina urejanj besedila. Spodbuda nekaj ur po ogledu proti tisti naslednje jutro je resničen test z resničnimi vložki. Hladnejša namera pri ogledu izdelka včasih nagradi nekoliko daljše čakanje, kot bi ga dal košarici. Kdaj poslati email po zapuščenem ogledu izdelka pokrije okna, ki jih velja soočiti.

3. Blok izdelka proti priporočilom. Ali vodenje z natanko ogledanim izdelkom premaga vodenje z vrsto podobnih izdelkov? Ogledani izdelek je očitna vaba, a za brskalce, ki so še vedno primerjali, včasih bolje potegne postavitev “tukaj so trije podobni”. Pristno vprašanje, vredno testa — pravilno postavi različico s priporočili, preden jo soočiš z golim blokom izdelka.

4. Pomiritev proti koristim. Isti izdelek, dva kota. Ena različica odgovori na dvom — vračila, velikosti, vrhunska ocena. Druga potisne koristi izdelka in kaj počne. Katera bolje znova odpre odločitev? To je ponavadi najzanimivejši test v toku, ker ti pove, zakaj so ljudje oklevali. Kako uporabiti ceno, ocene in koristi v emailih po zapuščenem ogledu izdelka razčleni oba kota.

Opazi vrstni red. Zadeva in časovnica najprej, ker sta poceni in vse zapirata. Vsebinski kot pozneje, ker potrebuje več obsega za branje.

Kako ga izpeljati čisto pri nizkem obsegu

Nekaj prilagoditev naredi nizkoprometni test preživljiv.

  • Razdeli sprožilec, ne enkratnega pošiljanja. Nastavi avtomatizacijo, da vsak kvalificirajoči ogled ob vstopu naključno dodeli v A ali B. Skozi tedne se razdelitev izravna. Ne poskušaj testirati na eni sami seriji.
  • Daj mu pravi čas. Kjer se test košarice lahko razreši v tednu, test ogleda izdelka pogosto potrebuje tri do štiri, včasih več. Nastavi končni datum, ko ga začneš, in ne pokukaj-in-ustavi v trenutku, ko ena različica povede. Zgodnje prednosti se pri majhnih številkah nenehno obračajo.
  • Odloči svoj minimum, preden začneš. Izberi spodnjo mejo — recimo vsaj nekaj sto pošiljanj in nekaj deset naročil na različico, preden boš sploh pogledal. (Ilustrativni pragovi; tvoja meja je odvisna od tvojega prometa.) Če je nikoli ne dosežeš, je pošten sklep “neodločeno” in obdržiš preprostejšo različico.
  • Testiraj na izdelkih z največ prometa. Če enega ali dva izdelka poganjata večino tvojih kvalificiranih ogledov, tam test izpelji najprej. Tam boš dejansko dosegel berljivo številko.

Beri rezultat po prihodku, ne po odpiranjih

Višja stopnja odpiranja, ki ne proizvede več naročil, je ničevna zmaga. Zadeva sporočila, ki dobi več odpiranj, a enako prodaj, je zgolj pritegnila več radovednežev. Zanima te prihodek na prejemnika — skupni prihodek, pripisan različici, deljen s tem, koliko ljudem je šla. Ta ena številka naenkrat zloži odpiranja, klike in pretvorbo, in je tista, ki plača tvoje račune.

Opazuj tudi odjave. Različica, ki zmaga po prihodku, a podvoji odjave, žge seznam, ki ga boš pozneje želel. In bodi previden pri pripisovanju: če nekdo dobi email o izdelku, nato pozneje doda v košarico in dobi email o košarici pred nakupom, ne dovoli, da bi oba tokova zahtevala prodajo. Logika merjenja v kako slediti prihodku iz zapuščenega ogleda izdelka to ohranja čisto.

Konkreten test, ki ga izvedi prvega

Tukaj je začetni test za trgovino, ki prodaja srednje cenovne izdelke za dom. (Ilustrativno.) Različica A: zadeva poimenuje izdelek, email vodi z ogledanim izdelkom in vrhunsko oceno, ki odgovarja na najpogostejše vprašanje. Različica B: zadeva je mehka vrstica radovednosti, email vodi z ogledanim izdelkom plus dvema podobnima izbirama. Ena spremenljivka bi bila še čistejša — a če želiš en odločilen prvi test, to sooči “specifično + pomiritev” proti “radovednost + izbira”, ki sta dva nagona, o katerih se lastniki trgovin največ prepirajo. Izpelji ga štiri tedne na svojih treh najprometnejših izdelkih, presoji po prihodku na prejemnika, nato izoliraj tisti element, ki je zmagal, in tega testiraj samega naslednjič.

Kaj meriti

  • Prihodek na prejemnika na različico — glavna številka, tista, po kateri se odločiš.
  • Stopnja klikov — koristna diagnostika; če različica dobi klike, a nič naročil, uhajanje je stran izdelka, ne email.
  • Stopnja odjav na različico — razsodnik in varovalo.
  • Doseženi obseg vzorca — vedno ga poročaj ob rezultatu, da veš, ali odločitvi zaupati.

Kako se ujame Omnisend

Mehanika nizkoobsežnega testa je nadležni del: naključno razdeliti sprožilec, ga pustiti teči tedne in brati prihodek na prejemnika na različico brez ročno grajenih preglednic. Omnisend uporabljam v svojih trgovinah po testiranju proti Klaviyu, deloma zato, ker lahko razdelim avtomatizacijo in jo pustim, da se nabira skozi čas, namesto da testiram en izstrelek, poročanje o prihodku na različico pa je vgrajeno.

Nobeno orodje pa ne popravi tankih podatkov. Če je tvoj obseg kvalificiranih ogledov izdelkov res majhen, je pošten poteza popraviti in poenostaviti tok, namesto da ga testiraš, in se k testiranju vrniti, ko promet zraste. (Omnisend je orodje, ki ga uporabljam in priporočam; vsaka pridružena povezava tukaj je razkrita — metoda testiranja deluje v vsaki zmogljivi platformi.)

Tvoj naslednji korak

Izberi svoj en izdelek z največ prometa in ta teden postavi en test zadeve sporočila na toku po zapuščenem ogledu izdelka — ime izdelka proti vrstici radovednosti, nič drugega spremenjeno. Odloči svoj minimalni vzorec, preden začneš, postavi končni datum štiri tedne stran in se ga ne dotikaj do takrat. Ko imaš čistega zmagovalca, ga vnesi v širši kontrolni seznam avtomatizacije po zapuščenem ogledu izdelka in izberi naslednjo spremenljivko za test.

How to A/B Test Product Abandonment Messaging

To A/B test product abandonment messaging, change one element at a time in this order: subject line first, then the main persuasion angle (price reminder vs. review vs. benefit), then the call-to-action, then send timing. Split recipients 50/50 inside the flow, judge the winner on revenue per recipient — not open rate — and only call it after at least 150–200 recipients per variant have passed through. One test at a time, two to four weeks per test for most stores. That’s the whole method. The rest of this article is about doing it without fooling yourself, because most abandoned-flow “tests” fail on sample size or measure the wrong number.

Why you’re guessing right now, and why that’s expensive

Your product abandonment flow sends the same email it sent the day you built it. Maybe it earns something. But you have no idea whether a different subject line would double the click rate, or whether the “customers also say” block is doing anything at all. Every recipient who gets a mediocre version instead of a better one is a shopper you already paid Meta or Google to bring in — and for a store doing €40,000 a month, a flow that converts 1.5% of recipients instead of 2.5% quietly costs real orders every single week.

Ads have made everyone comfortable with testing creatives. Almost nobody applies the same discipline to the emails that catch the traffic those ads buy.

Why “just add a discount and see” isn’t a test

The lazy version of optimization is to bolt a 10% code onto the email and watch orders go up. Orders will go up — discounts convert. But you haven’t learned whether the messaging works; you’ve bought conversions with margin, including from shoppers who’d have paid full price. And you’ve taught repeat visitors that leaving a product page produces a coupon. If you want to know whether you can convert without giving margin away, that’s its own experiment — creating product abandonment without offering a discount walks through the non-discount angles worth testing first.

The math that decides whether you can test at all

Illustrative numbers: your flow reaches 400 recipients a month and converts 2% — 8 orders. To detect that variant B converts at 3% instead of 2% with any confidence, you need several hundred recipients per variant. At 400/month split two ways, that’s a month or two per test, minimum. This is the single most ignored fact in flow testing. If your flow reaches 80 recipients a month, don’t run conversion-based A/B tests yet — you’ll be reading noise. Test click-through rate instead (more events, faster signal), or grow the flow’s reach first by fixing your signup capture.

What to test, in order of likely payoff

  1. Subject line. Cheapest test, fastest signal. Test the product name in the subject (“Still thinking about the Oslo desk?”) against curiosity or benefit framings. Judge on clicks, not opens — Apple Mail privacy inflates opens.
  2. Persuasion angle. One variant leads with a customer review, the other with a concrete benefit or shipping promise. This is where price, reviews and benefits in product abandonment emails gives you the candidate angles.
  3. Call-to-action. “Back to the product” vs. “See it again” vs. a button plus a text link. Small effect usually, but free to test.
  4. Timing. 4 hours vs. 20 hours after the view. Technically a flow-structure test, not a message test, but it often moves results more than copy does.
  5. Message count. One email vs. a second nudge two days later — covered in how many product abandonment emails you should send. Test this last; it multiplies whatever messaging you’ve already proven.

What’s not worth testing yet: button colors, emoji in subject lines, font choices. The effect sizes are too small for your traffic to detect.

The exact test setup

  • Trigger and segment: unchanged — same product-view trigger, same intent filters, same exit conditions as your live flow. Never change targeting and messaging in the same test.
  • Split: 50/50 random assignment inside the flow.
  • Variants: identical except the one element under test.
  • Duration: minimum two weeks and minimum ~150–200 recipients per variant, whichever takes longer. Run full weeks so weekday/weekend mix stays fair.
  • Primary metric: revenue per recipient. Tie-breaker: conversion rate, then click rate.
  • Decision rule: promote the winner, archive the loser, log what you learned in a simple spreadsheet, start the next test. If the difference is under ~10–15% relative, call it a tie and move on.

A worked example (invented numbers, for illustration)

A store selling ceramic cookware tests two versions of message one. Variant A subject: “Forgot something?” Variant B: “The Lisboa pan is still waiting.” Both go to ~180 recipients over three weeks. A: 4.1% click rate, 3 orders, €210. B: 7.3% click rate, 6 orders, €430. Revenue per recipient: €1.17 vs. €2.39. B wins, becomes the control, and the next test pits B’s subject against B-plus-a-review-quote in the body. These figures are made up — the structure of the decision is the point.

Metrics that keep the test honest

  • Revenue per recipient per variant — the decision metric
  • Click-through rate per variant — your early signal while orders accumulate
  • Flow conversion rate — recipients purchasing within the attribution window
  • Unsubscribe rate per variant — a “winner” that doubles unsubscribes is borrowing from future revenue

Make sure attribution is set up before the first test, or the revenue numbers mean nothing — how to track revenue from product abandonment covers the setup.

Running the tests in Omnisend

When I compared Klaviyo and Omnisend for my own stores, testing workflow was one of the deciding factors — Omnisend let me set up an A/B split inside an automation without reading documentation for an afternoon, and I could actually see per-variant revenue side by side. In practice: open the flow, add an A/B split step before the email, set the 50/50 distribution, and duplicate the message with your one change. The flow report shows sends, clicks, orders and revenue per variant. Limitations worth knowing: Omnisend won’t stop you from ending a test too early — the discipline on sample size is on you — and per-variant results only mean something if your store’s order tracking is connected cleanly.

Your next step

Count how many recipients entered your product abandonment flow in the last 30 days. Over 300: set up a subject line test this week. Under 300: skip testing for now and widen the flow’s reach first — a bigger pipe beats a better message you can’t measure.

Leave a Reply

Your email address will not be published. Required fields are marked *