A/B-Tests und Optimierung

Wie lange sollte ein A/B-Test für E-Commerce-E-Mails laufen?

Veröffentlicht am July 19, 2026 von

Bei einem Kampagnentest warten Sie mindestens 24 Stunden, bevor Sie Öffnungen und Klicks beurteilen, und drei bis fünf Tage, bevor Sie Bestellungen beurteilen — bei den meisten Shops trudeln Käufe noch Tage nach einem Versand ein. Bei einem Test innerhalb einer Automatisierung lassen Sie ihn laufen, bis ein paar Hundert Menschen jede Variante durchlaufen haben, was bei einem typischen Shop zwei bis sechs Wochen bedeutet, manchmal länger. Und was auch immer Sie testen: Decken Sie mindestens eine volle Woche ab, damit das Verhalten jedes Wochentags in den Daten steckt. Der ehrliche Kern der Antwort: Die Uhr ist nur ein Stellvertreter für die Zahl der Menschen, die durch den Test gegangen sind. Ein großer Shop schafft an einem Tag, was ein kleiner Shop einen Monat braucht zu lernen. Dieser Artikel behandelt, wie lange Sie warten sollten; wie viele Menschen Sie überhaupt brauchen, ist eine eigene Frage, beantwortet in wie groß eine E-Mail-Liste für A/B-Tests sein muss.

Das eigentliche Problem: Tests werden in Stunden entschieden, nicht in Wochen

Hier das Muster, das ich ständig sehe und selbst eine Weile praktiziert habe. Ein Händler setzt einen Betreffzeilentest auf, schaut am Abend aufs Dashboard, sieht Variante B bei den Öffnungen vorn und erklärt sie zum Sieger. Gesamte Testdauer: etwa sechs Stunden.

Dieses Ergebnis ist nahezu wertlos, und nicht, weil der Händler etwas Ungewöhnliches getan hätte. Jede E-Mail-Plattform zeigt Ihnen Live-Ergebnisse, und Live-Ergebnisse betteln geradezu darum, dass man handelt. Aber die Menschen, die eine E-Mail in den ersten sechs Stunden öffnen, sind Ihre aktivsten Abonnenten — die, die fast alles öffnen. Sie sind nicht das Publikum, über das Sie etwas lernen wollen. Die Abonnenten, die über Ihren Umsatz entscheiden, öffnen am zweiten Tag, in der Mittagspause, am Wochenende. Beenden Sie den Test, bevor sie auftauchen, haben Sie Ihre Fans getestet, nicht Ihre Liste.

Warum „einfach länger warten” auch nicht die ganze Lösung ist

Die verlockende Korrektur ist eine pauschale Regel: Lass jeden Test zwei Wochen laufen. Das scheitert in die andere Richtung.

Lassen Sie einen Kampagnentest zu lange laufen, verändert sich die Welt darunter. Ein Zahltag kommt, ein Wettbewerber startet einen Sale, Ihre Meta-Ads verschieben Zielgruppen, eine Jahreszeit wechselt. Jetzt ist der Unterschied zwischen Ihren Varianten von allem anderen verunreinigt, was passiert ist. Lange Tests bei Automatisierungen sind in Ordnung, weil beide Varianten die ganze Zeit vergleichbaren Traffic nebeneinander erhalten. Lange Entscheidungsfenster bei einem einzelnen Kampagnenversand fügen nach Tag fünf meist nur Rauschen hinzu, da fast alle Öffnungen und Bestellungen, die diese E-Mail je produzieren wird, bereits eingetroffen sind.

Das Können besteht also darin, die Dauer an die Art des Tests anzupassen, den Sie fahren, statt an Geduld um ihrer selbst willen.

Kampagnentests: Das Publikum teilt sich auf einmal, also bedeutet Dauer das Entscheidungsfenster

Wenn Sie eine Kampagne per A/B-Test prüfen, bekommt das gesamte Publikum die E-Mail auf einen Schlag, aufgeteilt zwischen den Varianten. Nach dem Versand „läuft” nichts weiter — Sie entscheiden nur, wie lange Sie warten, bevor Sie das Ergebnis lesen.

Richtwerte, aus dem Verhalten des Bestell-Timings bei den meisten Shops, mit denen ich gearbeitet habe:

Öffnungen und Klicks: Warten Sie mindestens 24 Stunden. Wenn Sie Freitagnachmittag senden, warten Sie das Wochenende ab — Wochentags- und Wochenendöffner verhalten sich unterschiedlich.
Bestellungen und Umsatz: Warten Sie drei bis fünf Tage. E-Commerce-Käufe hinken hinterher; jemand klickt Dienstag und kauft Donnerstag, nachdem er seinen Kontostand geprüft hat.
Entscheiden Sie ihn nie in den ersten paar Stunden, egal wie groß die Lücke aussieht. Frühe Lücken schrumpfen. Manchmal kippen sie.

Eine Warnung zur automatischen Siegerauswahl: Die meisten Plattformen lassen einen Kampagnentest nach einem von Ihnen gewählten Fenster — oft standardmäßig etwas wie zwei Stunden — seinen eigenen Sieger küren und senden dann die Siegervariante an den Rest der Liste. Praktisch für Betreffzeilen bei großen Versänden, aber verstehen Sie, was Sie da gekauft haben: einen Sieger, gewählt auf zwei Stunden Öffnungsdaten, was der unzuverlässigste Eindruck ist, den es gibt. Wenn der Test wichtig ist, wählen Sie den Sieger selbst, später, nach Bestellungen. Mehr zu dieser Entscheidung in den Sieger eines E-Mail-Tests wählen.

Automatisierungstests: Traffic sickert, also misst sich die Dauer in Wochen

Innerhalb einer Strecke zu testen — Warenkorbabbruch, Willkommen, Post-Purchase — funktioniert anders. Niemand erhält die E-Mail in einem Schwung. Menschen betreten die Strecke einer nach dem anderen, während sie einen Warenkorb abbrechen oder eine Bestellung aufgeben, und der Split weist sie einer Variante zu, sobald sie ankommen.

Das heißt, der Test sammelt sich langsam an, in dem Tempo, in dem Ihr Shop den Trigger erzeugt. Die Frage lautet nicht mehr „wie lange warte ich nach dem Versand”, sondern „wie lange, bis genug Menschen hindurchgeflossen sind”.

Ein durchgerechnetes Beispiel, durchweg veranschaulichende Zahlen. Sagen wir, Ihr Shop bekommt 20 Warenkorbabbrüche pro Tag. Das sind rund 600 Menschen im Monat, die die Strecke betreten, 300 pro Variante. Wenn die Strecke etwa 5 % der Teilnehmer konvertiert, produziert jede Variante etwa 15 Bestellungen im Monat. Fünfzehn Bestellungen gegen fünfzehn Bestellungen können Ihnen nicht viel sagen — ein paar glückliche Käufe kippen den ganzen Vergleich. Um einen echten Eindruck von einem Conversion-Unterschied zu haben, wollen Sie jede Variante in den Hunderterbereich an Bestellungen bringen, und bei dem Volumen dieses Shops sind das mehrere Monate für eine feine Änderung, oder ein paar Wochen, wenn die Änderung dramatisch genug ist, um eine breite Lücke zu erzeugen. Je größer der echte Unterschied zwischen den Varianten, desto weniger Daten brauchen Sie, um ihn zu sehen. Was ein weiteres Argument dafür ist, zuerst mutige Änderungen zu testen — siehe was ein E-Commerce-Shop zuerst per A/B-Test prüfen sollte.

Wenn die Rechnung sagt, ein Test braucht sechs Monate, sagt Ihnen der Test, dass Ihr Volumen ihn nicht tragen kann, und Sie sollten stattdessen etwas mit mehr Traffic oder einem größeren erwarteten Effekt testen.

Zwei Kalenderregeln, die für jeden Test gelten

Was auch immer die Stichproben-Rechnung sagt, legen Sie diese obendrauf:

Decken Sie immer ganze Wochen ab. Sonntagabend-Stöberer und Dienstagmorgen-Käufer sind verschiedene Menschen in verschiedenen Stimmungen. Ein Test, der von Montag bis Donnerstag läuft, hat das Wochenende stillschweigend komplett ausgeschlossen. Lassen Sie mindestens sieben Tage laufen und enden Sie am selben Wochentag, an dem Sie begonnen haben, damit kein Wochentag doppelt gezählt wird.

Testen Sie nicht über einen unnormalen Zeitraum und verallgemeinern Sie dann. Ein Test, der durch den Black Friday, einen shopweiten Sale oder Ihre geschäftigste Saisonspitze läuft, sagt Ihnen, wie sich Varianten während dieses Ereignisses verhalten. Nützlich, wenn das die Frage ist. Irreführend, wenn Sie eine rabattlastige Variante nehmen, die während eines Sale-Rausches gewonnen hat, und sie als ganzjährigen Standard einsetzen. Das ist eine der leiseren Arten, wie Tests schieflaufen — den breiteren Katalog davon finden Sie in warum die meisten E-Commerce-A/B-Tests irreführende Ergebnisse liefern.

Die Peeking-Falle, klar benannt

Der mit Abstand häufigste Dauerfehler ist nicht die Wahl des falschen Enddatums. Es ist, gar keines zu haben.

Wenn Sie täglich die Ergebnisse prüfen und in dem Moment stoppen, in dem Ihre Lieblingsvariante in Führung geht, werden Sie weit mehr Tests „gewinnen”, als Sie sollten — Sie lassen zufälliges Wackeln den Stopp-Zeitpunkt wählen. Jede verrauschte Kennzahl driftet auf ihrem Weg zur Wahrheit wiederholt vor und zurück; stoppen Sie in einem Aufschwung, haben Sie Rauschen eingefangen, gerahmt und als Ergebnis bezeichnet.

Die Lösung kostet nichts: Legen Sie die Endbedingung fest, bevor der Test startet. Entweder ein Datum („wir lesen das den folgenden Freitag”) oder ein Volumen („wenn jede Variante 200 Bestellungen hat”). Schreiben Sie es dort auf, wo Sie Ihre Tests protokollieren — eine Gewohnheit, die sich ohnehin lohnt und in wie man E-Commerce-Marketing-Experimente dokumentiert behandelt wird. Rühren Sie den Test dann nicht an, bis die Bedingung erfüllt ist. Schauen Sie ruhig — handeln Sie nur nicht.

Was Sie einrichten, damit die Dauer sich von selbst regelt

Kampagnentests: Wenn Sie automatische Siegerauswahl überhaupt nutzen, dehnen Sie das Entscheidungsfenster auf das Maximum, das Ihre Plattform erlaubt, und urteilen Sie nach Klicks statt nach Öffnungen. Für Tests mit hohem Einsatz deaktivieren Sie die Auto-Siegerauswahl und entscheiden manuell, nachdem sich die Bestelldaten gesetzt haben.
Automatisierungstests: Setzen Sie den Split, notieren Sie Startdatum und Zielvolumen pro Variante und fügen Sie eine Kalendererinnerung für Ihren ersten ehrlichen Zwischencheck hinzu — ich nutze bei Strecken mit mittlerem Volumen vier Wochen als Standard.
Beide: Halten Sie die vordefinierte Endbedingung vor dem Start in Ihrem Experimentprotokoll fest. Wenn sie nicht aufgeschrieben ist, wird die Peeking-Falle Sie finden.

Woran Sie erkennen, dass die Dauer richtig war

Im Nachhinein sagen Ihnen drei Prüfungen, ob Sie lange genug gewartet haben:

Stabilität: Hielt sich die Lücke zwischen den Varianten über die letzte Strecke einigermaßen stabil, oder schwankte sie noch? Ein Ergebnis, das sich noch bewegt, war nicht fertig.
Volumen: Erreichte jede Variante mindestens ein paar Hundert Empfänger — und für Umsatzschlüsse einen nennenswerten Stapel an Bestellungen je? (Richtwert, kein Gesetz.)
Wiederholbarkeit: Würden Sie den Versand des nächsten Monats darauf verwetten? Wenn nicht, fahren Sie den Test einmal erneut. Ein echter Sieger gewinnt zweimal.

Wo Omnisend hineinpasst

Ich betreibe meine eigenen Shops mit Omnisend, gewählt nach dem parallelen Test von Klaviyo, und die dauerrelevanten Teile sind unkompliziert: Kampagnen-A/B-Tests lassen Sie das Siegerauswahl-Fenster selbst festlegen, statt einen kurzen Standard hinzunehmen, und Automatisierungs-Splits leiten Teilnehmer so lange zu jedem Zweig, wie Sie den Test laufen lassen — Wochen oder Monate — mit sichtbarer Leistung pro Zweig, wann immer Sie nachschauen. Was kein Werkzeug tut, ist Ihre Disziplin durchzusetzen. Das Dashboard zeigt Ihnen bereitwillig einen Sechs-Stunden-„Sieger”; darauf nicht zu handeln, liegt an Ihnen.

Ihr nächster Schritt

Schreiben Sie vor Ihrem nächsten Test einen Satz: „Dieser Test endet am [Datum] oder wenn jede Variante [Zahl] von [Kennzahl] erreicht, je nachdem, was zuletzt eintritt.” Dieser Satz ist das gesamte Können der Testdauer. Sorgen Sie dann dafür, dass Ihre Liste den Test auch wirklich speisen kann — beginnen Sie mit wie groß eine E-Mail-Liste für A/B-Tests sein muss.

A/B-testiranje in optimizacija

Kako dolgo naj traja A/B-test emaila spletne trgovine?

Veröffentlicht am July 18, 2026 von

Pri testu kampanje počakajte vsaj 24 ur, preden sodite o odprtjih in klikih, in tri do pet dni, preden sodite o naročilih — v večini trgovin nakupi kapljajo še dneve po pošiljanju. Pri testu znotraj avtomatizacije naj test teče, dokler skozi vsako različico ne pride nekaj sto ljudi, kar v tipični trgovini pomeni dva do šest tednov, včasih tudi dlje. In karkoli že testirate, pokrijte vsaj en cel teden, da bo v podatkih zajeto vedenje vsakega dne v tednu. Iskreno bistvo odgovora: ura je le nadomestek za število ljudi, ki so šli skozi test. Velika trgovina se lahko v enem dnevu nauči tega, za kar mala potrebuje mesec. Ta članek govori o tem, kako dolgo čakati; koliko ljudi sploh potrebujete, pa je svoje vprašanje, na katero odgovarja kako velika mora biti email baza za A/B-testiranje.

Pravi problem: teste zaključimo v urah, ne v tednih

Tu je vzorec, ki ga nenehno vidim in sem ga nekaj časa uporabljal tudi sam. Trgovec nastavi test naslovne vrstice, tisti večer preveri nadzorno ploščo, vidi različico B v prednosti pri odprtjih in jo razglasi za zmagovalko. Skupno trajanje testa: kakih šest ur.

Ta rezultat je skoraj brez vrednosti, in ne zato, ker bi trgovec naredil kaj nenavadnega. Vsaka email platforma vam kaže rezultate v živo, ti pa kar kličejo po ukrepanju. A ljudje, ki email odprejo v prvih šestih urah, so vaši najbolj angažirani naročniki — tisti, ki odprejo skoraj vse. To ni občinstvo, o katerem se poskušate kaj naučiti. Naročniki, ki odločajo o vašem prometu, odprejo email drugi dan, med malico, čez vikend. Če test končate, preden se ti pojavijo, ste testirali svoje oboževalce, ne pa svoje baze.

Zakaj tudi “kar počakaj dlje” ni cela rešitev

Mikavna korekcija je splošno pravilo: vsak test naj teče dva tedna. To odpove v drugo smer.

Če test kampanje teče predolgo, se svet pod njim spremeni. Prispe plača, konkurent zažene razprodajo, vaši oglasi na Meti zamenjajo občinstvo, letni čas se obrne. Zdaj je razlika med vašima različicama onesnažena z vsem drugim, kar se je zgodilo. Dolgi testi na avtomatizacijah so v redu, saj obe različici ves čas prejemata primerljiv promet vzporedno. Dolga okna odločanja pri posamezni kampanji pa po petem dnevu večinoma le dodajajo šum, saj je skoraj vseh odprtij in naročil, ki jih bo email kdaj ustvaril, že prispelo.

Veščina je torej v tem, da trajanje prilagodite vrsti testa, ki ga izvajate, ne pa v potrpljenju samem po sebi.

Testi kampanj: občinstvo se razdeli naenkrat, zato trajanje pomeni okno odločanja

Ko A/B-testirate kampanjo, celotno občinstvo dobi email hkrati, razdeljeno med različici. Po pošiljanju nič več ne “teče” — le odločate se, kako dolgo počakati, preden preberete rezultat.

Usmerjevalna napotila, izpeljana iz tega, kako se časovnica naročil obnaša v večini trgovin, s katerimi sem delal:

Odprtja in kliki: počakajte vsaj 24 ur. Če pošljete v petek popoldne, počakajte čez vikend — tisti, ki odpirajo med tednom, in tisti čez vikend, se vedejo drugače.
Naročila in promet: počakajte tri do pet dni. Nakupi v spletni trgovini zamujajo; nekdo klikne v torek in kupi v četrtek, ko preveri stanje na računu.
Nikoli ne odločajte v prvih nekaj urah, naj se razlika zdi še tako velika. Zgodnje razlike se skrčijo. Včasih se obrnejo.

Eno opozorilo glede samodejne izbire zmagovalca: večina platform pusti testu kampanje, da po oknu, ki ga izberete — pogosto privzeto nekaj takega kot dve uri — sam izbere zmagovalca in nato zmagovalno različico pošlje preostanku baze. Priročno za naslovne vrstice pri velikih pošiljkah, a razumite, kaj ste kupili: zmagovalca, izbranega na podlagi dveh ur podatkov o odprtjih, kar je najmanj zanesljiv pokazatelj, kar jih je. Če je test pomemben, zmagovalca izberite sami, pozneje, na podlagi naročil. Več o tej presoji v kako izbrati zmagovalno različico email testa.

Testi avtomatizacij: promet kaplja, zato trajanje merimo v tednih

Testiranje znotraj toka — opuščena košarica, dobrodošlica, ponakupni tok — deluje drugače. Nihče ne prejme emaila v svežnju. Ljudje vstopajo v tok drug za drugim, ko opustijo košarico ali oddajo naročilo, in razdelitev jih ob prihodu dodeli različici.

To pomeni, da se test nabira počasi, s hitrostjo, s katero vaša trgovina generira sprožilec. Vprašanje ni več “kako dolgo čakam po pošiljanju”, ampak “kako dolgo, dokler skozi ne pride dovolj ljudi”.

Konkreten primer, vse številke ponazoritvene. Recimo, da vaša trgovina dobi 20 opuščenih košaric na dan. To je približno 600 ljudi na mesec, ki vstopijo v tok, 300 na različico. Če tok pretvori okrog 5 % vstopnikov, vsaka različica ustvari približno 15 naročil na mesec. Petnajst naročil proti petnajstim vam ne pove kaj dosti — nekaj srečnih nakupov premakne celotno primerjavo. Za resnično branje razlike v pretvorbi želite vsako različico v stotinah naročil, kar pri obsegu te trgovine pomeni več mesecev za subtilno spremembo ali nekaj tednov, če je sprememba dovolj drastična, da ustvari veliko razliko. Večja kot je resnična razlika med različicama, manj podatkov potrebujete, da jo vidite. To je še en argument za to, da najprej testirate drzne spremembe — glejte kaj naj spletna trgovina A/B-testira najprej.

Če matematika pravi, da test potrebuje šest mesecev, vam test sporoča, da ga vaš obseg ne more podpreti, in raje testirajte kaj z več prometa ali večjim pričakovanim učinkom.

Dve koledarski pravili, ki veljata za vsak test

Karkoli že pravi matematika vzorca, na to naložite še tole:

Vedno pokrijte cele tedne. Nedeljski večerni brskalci in torkovi dopoldanski kupci so različni ljudje v različnem razpoloženju. Test, ki teče od ponedeljka do četrtka, je tiho popolnoma izpustil vikend. Naj teče vsaj sedem dni in končajte na istem dnevu v tednu, kot ste začeli, da noben dan ni štet dvakrat.

Ne testirajte čez nenavadno obdobje in nato posplošujte. Test, ki teče čez črni petek, razprodajo po vsej strani ali vaš najbolj obremenjen sezonski vrhunec, vam pove, kako se različice obnašajo med tem dogodkom. Uporabno, če je to vprašanje. Zavajajoče, če različico z veliko popusti, ki je zmagala med razprodajno mrzlico, postavite za svojo celoletno privzeto možnost. To je eden tišjih načinov, kako gredo testi narobe — širši katalog jih najdete v zakaj večina A/B-testov spletnih trgovin daje zavajajoče rezultate.

Past pokukovanja, poimenovana naravnost

Najpogostejša napaka pri trajanju ni izbira napačnega končnega datuma. Je odsotnost tega datuma.

Če rezultate preverjate vsak dan in ustavite v trenutku, ko vaša najljubša različica stopi v prednost, boste “zmagali” veliko več testov, kot bi jih smeli — dovolite naključnemu nihanju, da izbere točko ustavitve. Vsaka šumna metrika se na poti do resnice večkrat premakne naprej in nazaj; ustavite se na vzponu in ujeli ste šum, ga uokvirili in razglasili za rezultat.

Rešitev nič ne stane: pogoj za konec določite pred začetkom testa. Bodisi datum (“to preberemo naslednji petek”) bodisi obseg (“ko ima vsaka različica 200 naročil”). Zapišite ga tja, kamor beležite svoje teste — navada, ki jo je tako ali tako vredno graditi, opisana v kako dokumentirati marketinške eksperimente spletne trgovine. Nato se testa ne dotikajte, dokler ni pogoj izpolnjen. Poglejte, prav — samo ne ukrepajte.

Kaj nastaviti, da trajanje poskrbi zase

Testi kampanj: če sploh uporabljate samodejno izbiro zmagovalca, raztegnite okno odločanja na najvišjo vrednost, ki jo vaša platforma dovoli, in sodite po klikih namesto po odprtjih. Pri testih z velikimi vložki izklopite samodejnega zmagovalca in odločite ročno, ko se podatki o naročilih umirijo.
Testi avtomatizacij: nastavite razdelitev, zabeležite datum začetka in ciljni obseg na različico ter dodajte koledarski opomnik za svoj prvi pošteni pregled — na tokovih srednjega obsega privzeto uporabljam štiri tedne.
Oboje: pred zagonom v svoj dnevnik eksperimentov zapišite vnaprej določen pogoj za konec. Če ni zapisan, vas bo past pokukovanja našla.

Kako veste, da je bilo trajanje pravo

Za nazaj vam tri preverbe povedo, ali ste čakali dovolj dolgo:

Stabilnost: je razlika med različicama v zadnjem delu ostala precej stabilna ali je še nihala? Rezultat, ki se še premika, ni bil dokončan.
Obseg: je vsaka različica dosegla vsaj nekaj sto prejemnikov — in za sklepe o prometu smiselno količino naročil na vsako? (Usmerjevalni prag, ne zakon.)
Ponovljivost: bi nanj stavili pošiljko naslednjega meseca? Če ne, test enkrat ponovite. Pravi zmagovalec zmaga dvakrat.

Kje se vključi Omnisend

Svoje trgovine vodim na Omnisendu, ki sem ga izbral po tem, ko sem ob njem testiral tudi Klaviyo, in deli, ki so pomembni za trajanje, so preprosti: A/B-testi kampanj vam pustijo, da okno izbire zmagovalca nastavite sami namesto kratke privzete vrednosti, razdelitve avtomatizacij pa usmerjajo vstopnike v vsako vejo tako dolgo, kolikor dolgo pustite test teči — tedne ali mesece — z vidno uspešnostjo posamezne veje, kadarkoli preverite. Česar noben pripomoček ne stori, je, da bi uveljavil vašo disciplino. Nadzorna plošča vam bo z veseljem pokazala šesturnega “zmagovalca”; to, da nanj ne ukrepate, je na vas.

Vaš naslednji korak

Pred svojim naslednjim testom napišite en stavek: “Ta test se konča na [datum] ali ko vsaka različica doseže [število] [metrike], kar nastopi pozneje.” Ta stavek je celotna veščina trajanja testa. Nato poskrbite, da vaša baza test sploh lahko napaja — začnite s kako velika mora biti email baza za A/B-testiranje.

A/B Testing and Optimization

How Long Should an Ecommerce Email A/B Test Run

Veröffentlicht am July 17, 2026 von

For a campaign test, wait at least 24 hours before judging opens and clicks, and three to five days before judging orders — most stores see purchases straggle in for days after a send. For a test inside an automation, run it until a few hundred people have passed through each variant, which on a typical store means two to six weeks, sometimes longer. And whatever you’re testing, cover at least one full week so every weekday’s behavior is in the data. The honest core of the answer: the clock is only a stand-in for the number of people who’ve been through the test. A big store can finish in a day what a small store needs a month to learn. This article covers how long to wait; how many people you need in the first place is its own question, answered in how large does an email list need to be for A/B testing.

The real problem: tests get called in hours, not weeks

Here’s the pattern I see constantly, and ran myself for a while. A merchant sets up a subject-line test, checks the dashboard that evening, sees variant B ahead on opens, and declares it the winner. Total test duration: about six hours.

That result is close to worthless, and not because the merchant did anything unusual. Every email platform shows you live results, and live results beg to be acted on. But the people who open an email in the first six hours are your most engaged subscribers — the ones who open nearly everything. They aren’t the audience you’re trying to learn about. The subscribers who decide your revenue open on day two, on their lunch break, on the weekend. End the test before they show up and you’ve tested your fans, not your list.

Why “just wait longer” isn’t the whole fix either

The tempting correction is a blanket rule: run every test for two weeks. That fails in the other direction.

Run a campaign test too long and the world changes underneath it. A payday lands, a competitor launches a sale, your Meta ads shift audiences, a season turns. Now the difference between your variants is polluted by everything else that happened. Long tests on automations are fine, because both variants keep receiving comparable traffic side by side the whole time. Long decision windows on a single campaign send mostly add noise after day five, since nearly all the opens and orders that email will ever produce have already arrived.

So the skill is matching the duration to the kind of test you’re running, rather than patience for its own sake.

Campaign tests: the audience splits at once, so duration means the decision window

When you A/B test a campaign, the whole audience gets the email in one go, split between variants. Nothing more “runs” after the send — you’re just deciding how long to wait before reading the result.

Directional guidance, from how order timing behaves on most stores I’ve worked with:

Opens and clicks: wait a minimum of 24 hours. If you send Friday afternoon, wait through the weekend — weekday and weekend openers behave differently.
Orders and revenue: wait three to five days. Ecommerce purchases lag; someone clicks Tuesday and buys Thursday after checking their bank balance.
Never call it inside the first few hours, no matter how wide the gap looks. Early gaps shrink. Sometimes they flip.

One warning about automated winner selection: most platforms let a campaign test pick its own winner after a window you choose — often defaulting to something like two hours — and then send the winning variant to the rest of the list. Handy for subject lines on big sends, but understand what you bought: a winner chosen on two hours of open data, which is the least reliable read there is. If the test matters, choose the winner yourself, later, on orders. More on that judgment call in choosing a winning email test.

Automation tests: traffic trickles, so duration is measured in weeks

Testing inside a flow — abandoned cart, welcome, post-purchase — works differently. Nobody receives the email in a batch. People enter the flow one at a time as they abandon a cart or place an order, and the split assigns them to a variant as they arrive.

That means the test accumulates slowly, at whatever rate your store generates the trigger. The question stops being “how long do I wait after sending” and becomes “how long until enough people have flowed through.”

A worked example, illustrative numbers throughout. Say your store gets 20 abandoned carts a day. That’s roughly 600 people a month entering the flow, 300 per variant. If the flow converts around 5% of entrants, each variant produces about 15 orders a month. Fifteen orders against fifteen orders can’t tell you much — a couple of lucky purchases swings the whole comparison. To have a real read on a conversion difference you want each variant into the hundreds of orders, and at this store’s volume that’s several months for a subtle change, or a few weeks if the change is dramatic enough to produce a wide gap. The bigger the true difference between variants, the less data you need to see it. Which is one more argument for testing bold changes first — see what should an ecommerce store A/B test first.

If the math says a test needs six months, the test is telling you your volume can’t support it, and you should test something with more traffic or a bigger expected effect instead.

Two calendar rules that apply to every test

Whatever the sample math says, layer these on top:

Always cover full weeks. Sunday-evening browsers and Tuesday-morning buyers are different people in different moods. A test that runs Monday to Thursday has quietly excluded the weekend entirely. Run seven days minimum, and end on the same weekday you started so no day of the week is counted twice.

Don’t test across an abnormal period and generalize. A test that runs through Black Friday, a site-wide sale, or your busiest seasonal spike tells you how variants perform during that event. Useful if that’s the question. Misleading if you take a discount-heavy variant that won during a sale frenzy and install it as your year-round default. This is one of the quieter ways tests go wrong — the broader catalog of them is in why most ecommerce A/B tests produce misleading results.

The peeking trap, named plainly

The single most common duration mistake isn’t picking the wrong end date. It’s not having one.

If you check results daily and stop the moment your favorite variant pulls ahead, you will “win” far more tests than you should — you’re letting random wobble pick the stopping point. Any noisy metric drifts ahead and behind repeatedly on its way to the truth; stop on an upswing and you’ve captured noise, framed it, and called it a result.

The fix costs nothing: decide the end condition before the test starts. Either a date (“we read this the following Friday”) or a volume (“when each variant has 200 orders”). Write it down where you log your tests — a habit worth building anyway, covered in how to document ecommerce marketing experiments. Then don’t touch the test until the condition is met. Look, even — just don’t act.

What to set up so duration takes care of itself

Campaign tests: if you use automatic winner selection at all, stretch the decision window to the maximum your platform allows and judge on clicks rather than opens. For high-stakes tests, disable auto-winner and decide manually after the order data settles.
Automation tests: set the split, note the start date and the target volume per variant, and add a calendar reminder for your first honest check-in — I use four weeks as a default on mid-volume flows.
Both: record the predefined end condition in your experiment log before launch. If it’s not written down, the peeking trap will find you.

How to know the duration was right

After the fact, three checks tell you whether you waited long enough:

Stability: did the gap between variants hold roughly steady over the final stretch, or was it still swinging? A result that’s still moving wasn’t done.
Volume: did each variant clear at least a few hundred recipients — and for revenue conclusions, a meaningful pile of orders each? (Directional threshold, not a law.)
Repeatability: would you bet next month’s send on it? If not, re-run the test once. A real winner wins twice.

Where Omnisend fits

I run my own stores on Omnisend, chosen after testing Klaviyo alongside it, and the duration-relevant parts are straightforward: campaign A/B tests let you set the winner-selection window yourself instead of accepting a short default, and automation splits keep routing entrants to each branch for as long as you leave the test running — weeks or months — with per-branch performance visible whenever you check. What no tool does is enforce your discipline. The dashboard will happily show you a six-hour “winner”; declining to act on it is on you.

Your next step

Before your next test, write one sentence: “This test ends on [date] or when each variant reaches [number] of [metric], whichever comes second.” That sentence is the entire skill of test duration. Then make sure your list can actually feed the test — start with how large does an email list need to be for A/B testing.