A/B-Tests und Optimierung

E-Mail-Betreffzeilen richtig per A/B-Test testen

Veröffentlicht am July 19, 2026 von

Ein richtiger Betreffzeilen-Test vergleicht zwei wirklich unterschiedliche Ansätze – nicht zwei Formulierungen derselben Idee – auf einem zufälligen 50/50-Split, läuft mindestens 24 Stunden, bevor irgendetwas beurteilt wird, und wird bei knappen Öffnungsraten anhand der Klicks oder Bestellungen entschieden. Die meisten Betreffzeilen-„Tests“ scheitern an allen drei Bedingungen: Sie stellen nahezu identische Zeilen gegeneinander, rufen nach zwei Stunden einen Gewinner aus und vertrauen Öffnungsraten, die Apples Datenschutzfunktionen unscharf gemacht haben. Das Ergebnis ist ein Strom von Schein-Gewinnern, der dich nach und nach nichts lehrt. Richtig gemacht lohnt sich das Testen von Betreffzeilen trotzdem – es ist günstig, wiederholbar, und über Monate verschiebt es tatsächlich, wie viele Menschen deine Angebote sehen. Hier ist die Version, die wirklich funktioniert.

Warum das der Test ist, den jeder macht und fast niemand gut macht

Betreffzeilen-Tests sind der übliche erste Test, weil jedes E-Mail-Tool sie zu einer Checkbox macht. Genau diese Bequemlichkeit ist das Problem. Das Tool splittet bereitwillig 2.000 Leute, wartet zwei Stunden, krönt die Zeile, die gerade vorne liegt, und schickt sie an den Rest der Liste – und bei diesem Umfang und dieser Geschwindigkeit ist der „Gewinner“ nah an einem Münzwurf.

Ich habe das in meinen eigenen Shops über ein Jahr lang getan. Emoji vs. kein Emoji. Frage vs. Aussage. „Letzte Chance“ vs. „Endet heute Abend“. Jeder Test brachte einen Gewinner hervor. Über ein Jahr voller Gewinner hatte sich meine Öffnungsrate nicht bewegt. Die Tests maßen nicht meine Betreffzeilen; sie maßen Rauschen, und Rauschen ruft immer einen Champion aus.

Die drei Arten, wie Betreffzeilen-Tests schiefgehen

Die Stichprobe ist zu klein für die gemessene Lücke. Betreffzeilen-Effekte sind meist bescheiden – eine gute Zeile schlägt eine mittelmäßige vielleicht um ein, zwei Punkte Öffnungsrate. Eine so kleine Lücke zu erkennen braucht Tausende Öffnungen pro Variante, nicht Hunderte. Bei 800 Leuten pro Seite liegt ein 20-%- gegen-22-%-Split klar innerhalb der Zufallsschwankung. Grobe Regel: Je kleiner der Unterschied, den du jagst, desto größer die Stichprobe, die du brauchst – und Wort-Feinjustierungen sind winzig. Mehr zur Mathematik, in einfachen Worten, unter wie groß eine E-Mail-Liste für A/B-Tests sein muss.

Der Test wird zu früh entschieden. Ein Zwei-Stunden-Fenster erfasst nur deine schnellsten Öffner – oft deine treuesten Abonnenten, die in einer Arbeitspause aufs Handy schauen. Menschen, die am Abend oder am nächsten Morgen öffnen, verhalten sich anders und werden nie mitgezählt. Ein um 14 Uhr entschiedener Test kann bis morgen früh um 9 Uhr kippen.

Öffnungen selbst sind verrauscht. Seit Apple 2021 Mail Privacy Protection eingeführt hat, lädt Apple Mail Nachrichten für viele Nutzer vor, was Öffnungen registriert, die kein Mensch ausgelöst hat. Wie stark das deine Zahlen aufbläht, hängt davon ab, wie viel deiner Liste auf Apple Mail liest – du kannst das nicht vollständig korrigieren, aber du kannst aufhören, eine Öffnungsraten-Lücke von einem halben Punkt als bedeutsam zu behandeln. Bei knappen Ergebnissen sind Klicks und Bestellungen der ehrliche Stichentscheid.

Was eine Betreffzeile leisten kann und was nicht

Hier lohnt sich Klarsicht, denn sie steckt die Obergrenze dessen ab, wofür du testest. Die Betreffzeile (zusammen mit dem Absendernamen und dem Vorschautext) entscheidet eine Sache: ob die E-Mail geöffnet wird. Sie kann ein schwaches Angebot nicht reparieren, und eine „siegreiche“ Zeile, die zu viel verspricht, kann sogar aktiv schaden – Neugier-Köder-Zeilen heben manchmal die Öffnungen, während die Klicks flach bleiben oder sinken, weil der Inhalt den Scheck, den der Betreff ausgestellt hat, nicht einlösen kann. Wenn du im selben Test Öffnungen hoch und Klicks runter siehst, ist das kein Gewinn. Das ist eine Warnung.

Das bedeutet auch, dass Betreffzeilen selten der wertvollste erste Test für einen Shop mit begrenztem Traffic sind. Wenn du deine Kernangebote noch nicht getestet hast, beginne mit was ein E-Commerce-Shop zuerst per A/B-Test testen sollte und komm dann zurück.

Teste Ansätze, nicht Adjektive

Die Lösung für winzige Effekte ist, aufzuhören, winzige Unterschiede zu testen. Vergleiche Ansätze, die plausibel ein sichtbar unterschiedliches Verhalten hervorrufen könnten:

Nutzen vs. Neugier: „Kostenloser Versand auf alles diese Woche“ vs. „Das sollten wir eigentlich nicht tun“
Produkt vs. Problem: „Der 20-Liter-Daypack ist zurück“ vs. „Für alle, deren Tasche mitten auf der Reise den Geist aufgegeben hat“
Persönlich vs. Shop-Stimme: „kurze Frage zu deiner letzten Bestellung“ vs. „Neu eingetroffen: Frühlings-Wanderausrüstung“
Sachlich vs. werblich: „dein Warenkorb“ vs. „15 % Rabatt auf das, was du zurückgelassen hast“

„Großer Frühlings-Sale“ vs. „Riesiger Frühlings-Sale“ ist kein Test. Das ist ein Horoskop.

Und beschränke dich auf eine Variable. Wenn Variante B den Ansatz ändert und ein Emoji hinzufügt und den Vorschautext umschreibt, lehrt dich ein Gewinn nichts Wiederverwendbares. Die Disziplin ist dieselbe wie überall sonst beim Testen – wie du eine Variable nach der anderen testest.

Wie du den Test durchführst, Schritt für Schritt

Wähle den Ort. Eine Kampagne an deine gesamte engagierte Liste oder eine hochvolumige automatisierte E-Mail wie den Warenkorbabbruch. Automatisierungen sammeln die Stichprobe langsam an, testen aber dieselbe Nachricht wiederholt unter gleichbleibenden Bedingungen, was im Stillen ein großer Vorteil ist.
Splitte 50/50, nicht 10/10/80. Das beliebte Muster „teste an 20 %, sende den Gewinner an 80 %“ maximiert die kurzfristigen Öffnungen, produziert aber unzuverlässige Antworten, weil das Test-Segment klein ist und schnell beurteilt wird. Wenn du testest, um zu lernen, gib dem Test die ganze Sendung und lege das Wissen für jede künftige Kampagne auf die hohe Kante.
Halte alles andere konstant. Gleicher Inhalt, gleiche Sendezeit, gleicher Absendername.
Lass ihn mindestens 24 Stunden laufen – länger bei Automatisierungen, die genügend Menschen erreichen müssen. Wann man stoppt, ist eine eigene Frage; wie lange ein E-Commerce-E-Mail-A/B-Test laufen sollte behandelt sie.
Entscheide in dieser Reihenfolge: Bestellungen, Klicks, Öffnungen. Öffnungen brechen ein Unentschieden nur, wenn sie nicht knapp sind. Ein paar Dutzend Öffnungen Unterschied auf einer mittelgroßen Liste sind ein Unentschieden, egal was der grüne Pfeil im Dashboard sagt.
Protokolliere es. Gewinner, Verlierer, die Lücke, das Datum. Ein Testergebnis ist ein schwaches Indiz; fünf Tests, in denen der persönliche Ansatz immer wieder gewinnt, sind ein echter Befund über deine Zielgruppe.

Wie das in der Praxis aussieht (illustrativ)

Ein Shop verschickt eine wöchentliche Kampagne an 9.000 engagierte Abonnenten. Variante A, „Neu im Sortiment: Leinenhemden für den Sommer“, geht an 4.500. Variante B, „das Hemd, das laut unserer Retourenquote bei dir bleibt“, geht an die anderen 4.500. Nach 48 Stunden: A hat 1.020 Öffnungen und 39 Klicks; B hat 1.080 Öffnungen und 61 Klicks. Die Öffnungslücke ist dünn – klein genug, dass Apples Auto-Öffnungen sie erklären könnten. Die Klick-Lücke ist das eigentliche Signal: Bs Ansatz zog anderthalb Mal so viele Menschen auf die Website. B gewinnt, und – noch nützlicher – der Shop hat jetzt den Beleg, dass ein spezifischer, leicht ungewöhnlicher Produktwahrheit-Ansatz die generische Ankündigung schlägt – eine Lektion, die er in jeder künftigen Kampagne wiederverwenden kann. (Zahlen erfunden, um die Denkweise zu zeigen.)

Kennzahlen, die du über ein Programm von Tests verfolgen solltest

Klickrate pro Variante – das primäre Urteil bei den meisten Betreffzeilen-Tests, da sie Öffnungsqualität mal Öffnungsmenge ist.
Bestellungen und Umsatz pro Variante – das letzte Wort, wenn der Test an ein Angebot gekoppelt ist.
Öffnungsrate – nur richtungsweisend; achte auf Trends über Monate statt auf Lücken einzelner Tests.
Abmeldungen und Spam-Beschwerden pro Variante – eine „siegreiche“ Zeile, die die Beschwerden hochtreibt, ist auf einem Sechs-Monats-Horizont ein Verlierer.

Einen Gewinner zu bestimmen, wenn die Kennzahlen sich widersprechen – Öffnungen hoch, Klicks runter, Umsatz flach –, verdient eigene Regeln; das wird in einen Gewinner beim E-Mail-Test auswählen behandelt.

So machst du das in Omnisend

Omnisends Kampagnen-A/B-Test erledigt die Mechanik: zwei Betreffzeilen, ein zufälliger Split, Reporting pro Variante zu Öffnungen, Klicks und Verkäufen. Ich nutze es in meinen eigenen Shops – ich habe mich hauptsächlich wegen des Preises und weil die Oberfläche so wenig Zeit kostet für Omnisend statt Klaviyo entschieden, und Shopimation verdient eine Affiliate-Provision, wenn du dich über diese Seite anmeldest, gewichte meine Meinung also entsprechend. Die Einstellung, die Beachtung verdient: Wenn du die Auto-Sende-Option für den Gewinner nutzt, dehne das Testfenster so weit aus, wie es dein Zeitplan zulässt, statt einen kurzen Standardwert zu akzeptieren, und bevorzuge Klicks vor Öffnungen als Siegkriterium. Das Tool führt aus, welche Regeln du ihm auch gibst. Gib ihm geduldige.

Dein nächster Schritt

Schreibe vor deiner nächsten Kampagne zwei Betreffzeilen aus wirklich unterschiedlichen Ansätzen – eine sachlich und konkret, eine mit Stimme – und splitte sie 50/50 auf die gesamte Sendung. Entscheide nach Klicks, nach mindestens 24 Stunden, und schreib das Ergebnis irgendwo hin, wo du es in drei Monaten wiedersiehst. Ein protokollierter Test pro Woche schlägt ein Jahr voller Zwei-Stunden-Münzwürfe.

A/B-testiranje in optimizacija

Kako pravilno A/B-testirati zadeve emailov

Veröffentlicht am July 18, 2026 von

Pravilen test zadeve primerja dva resnično različna pristopa — ne dve ubeseditvi iste ideje — na naključni delitvi 50/50, teče vsaj 24 ur, preden karkoli sodimo, in se ob tesnih odpiranjih razsodi po klikih ali naročilih. Večina »testov« zadev pade na vseh treh pogojih: soočijo skoraj enaki vrstici, razglasijo zmagovalca po dveh urah in zaupajo odpiranjem, ki jih je Applova zasebnost zabrisala. Rezultat je tok lažnih zmagovalcev, ki vas počasi nauči ničesar. Če se izvede pravilno, je testiranje zadev še vedno vredno truda — je poceni, ponovljivo in v mesecih zares premakne to, koliko ljudi vidi vaše ponudbe. Tu je različica, ki dejansko deluje.

Zakaj to test, ki ga izvaja vsak, a skoraj nihče dobro

Testiranje zadev je privzeti prvi test, ker ga vsako email orodje spremeni v kljukico. Prav ta udobnost je težava. Orodje bo z veseljem razdelilo 2.000 ljudi, počakalo dve uri, okronalo tisto vrstico, ki je v prednosti, in jo poslalo preostanku seznama — pri tem obsegu in tej hitrosti pa je »zmagovalec« blizu metanju kovanca.

To sem počel več kot leto dni v svojih trgovinah. Emoji proti brez emojija. Vprašanje proti trditvi. »Zadnja priložnost« proti »Konča se nocoj«. Vsak test je prinesel zmagovalca. Skozi leto zmagovalcev se moja stopnja odpiranj ni premaknila. Testi niso merili mojih zadev; merili so šum, šum pa vedno razglasi prvaka.

Trije načini, kako gredo testi zadev narobe

Vzorec je premajhen za razliko, ki jo merimo. Učinki zadev so običajno skromni — dobra vrstica lahko premaga povprečno za točko ali dve odpiranj. Da zaznate tako majhno razliko, potrebujete tisoče odpiranj na različico, ne stotine. Pri 800 ljudeh na stran je delitev 20 % proti 22 % povsem znotraj naključnega nihanja. Groba pravilo: manjša ko je razlika, ki jo lovite, večji vzorec potrebujete — razlike pri drobnem popravljanju besed pa so majhne. Več o računici, povedano preprosto, v kako velik mora biti email seznam za A/B-testiranje.

Test je razsojen prezgodaj. Dvourno okno zajame le vaše najhitrejše odpiralce — pogosto vaše najbolj zveste naročnike, ki odpirajo na telefonih med odmorom na delu. Ljudje, ki odprejo zvečer ali naslednje jutro, se vedejo drugače in nikoli niso šteti. Test, razsojen ob 14. uri, se lahko do jutri ob 9. uri obrne.

Odpiranja so sama po sebi šumna. Odkar je Apple leta 2021 uvedel Mail Privacy Protection, Apple Mail za mnoge uporabnike vnaprej naloži sporočila, kar zabeleži odpiranja, ki jih ni naredil noben človek. Koliko to napihne vaše številke, je odvisno od tega, kolikšen del vašega seznama bere na Apple Mailu — ne morete tega povsem popraviti, lahko pa nehate razliko pol točke pri odpiranjih obravnavati kot pomembno. Pri tesnih rezultatih so kliki in naročila pošten razsodnik.

Kaj zadeva zmore in česa ne

Tu je vredno biti trezen, saj to postavi zgornjo mejo tega, za kaj testirate. Zadeva (skupaj z imenom pošiljatelja in besedilom predogleda) odloči eno stvar: ali bo email odprt. Ne more popraviti šibke ponudbe, »zmagovalna« vrstica, ki preveč obljublja, pa lahko aktivno škoduje — vrstice, ki lovijo radovednost, včasih dvignejo odpiranja, medtem ko kliki ostanejo pri miru ali padejo, ker vsebina ne more vnovčiti čeka, ki ga je izdala zadeva. Če vidite dvig odpiranj in padec klikov v istem testu, to ni zmaga. To je opozorilo.

To tudi pomeni, da so zadeve za trgovino z omejenim prometom redko prvi test z najvišjo vrednostjo. Če svojih osrednjih ponudb še niste testirali, začnite s kaj naj spletna trgovina najprej preveri z A/B-testom in se vrnite.

Testirajte pristope, ne pridevnikov

Rešitev za drobne učinke je, da nehate testirati drobne razlike. Primerjajte pristope, ki bi verjetno lahko prinesli vidno različno vedenje:

Korist proti radovednosti: »Brezplačna dostava za vse ta teden« proti »Verjetno tega ne bi smeli početi«
Izdelek proti problemu: »Nahrbtnik 20 L je spet na voljo« proti »Za vse, ki jim je torba crknila sredi potovanja«
Osebni glas proti glasu trgovine: »kratko vprašanje o vašem zadnjem naročilu« proti »Novosti: pomladanska pohodniška oprema«
Golo proti promocijskemu: »vaša košarica« proti »15 % popusta na tisto, kar ste pustili«

»Velika pomladanska razprodaja« proti »Ogromna pomladanska razprodaja« ni test. To je horoskop.

In držite se ene spremenljivke. Če različica B spremeni pristop in doda emoji in prepiše besedilo predogleda, vas zmaga ne nauči ničesar ponovljivega. Disciplina je enaka kot povsod drugod pri testiranju — kako testirati eno spremenljivko naenkrat.

Kako izvesti test, korak za korakom

Izberite prizorišče. Kampanjo za ves vaš angažirani seznam ali email z velikim obsegom, kot je opuščena košarica. Avtomatizacije zbirajo vzorec počasi, a testirajo isto sporočilo večkrat pod enakimi pogoji, kar je tiho velika prednost.
Delite 50/50, ne 10/10/80. Priljubljeni vzorec »testiraj na 20 %, zmagovalca pošlji 80 %« maksimira kratkoročna odpiranja, a prinaša nezanesljive odgovore, ker je testna rezina majhna in hitro razsojena. Če testirate zato, da bi se učili, dajte testu celoten razpošiljanj in shranite znanje za vsako prihodnjo kampanjo.
Vse ostalo držite nespremenjeno. Ista vsebina, isti čas pošiljanja, isto ime pošiljatelja.
Naj teče vsaj 24 ur — dlje pri avtomatizacijah, ki morajo doseči dovolj ljudi. Kdaj ustaviti, je svoje vprašanje; kako dolgo naj teče A/B-test emaila v spletni trgovini ga obravnava.
Sodite po vrsti: naročila, kliki, odpiranja. Odpiranja razrešijo neodločen izid le takrat, ko niso tesna. Nekaj deset odpiranj razlike na srednje velikem seznamu je neodločeno, ne glede na to, kaj kaže zelena puščica na nadzorni plošči.
Zabeležite. Zmagovalec, poraženec, razlika, datum. En rezultat testa je šibek dokaz; pet testov, kjer osebni glas nenehno zmaguje, je resnična ugotovitev o vašem občinstvu.

Kako to izgleda v praksi (ponazoritveno)

Trgovina pošlje tedensko kampanjo 9.000 angažiranim naročnikom. Različica A, »Novo: lanene srajce za poletje«, gre 4.500 ljudem. Različica B, »srajca, za katero naša stopnja vračil pravi, da jo boste obdržali«, gre drugim 4.500. Po 48 urah: A ima 1.020 odpiranj in 39 klikov; B ima 1.080 odpiranj in 61 klikov. Razlika v odpiranjih je tanka — dovolj majhna, da bi jo lahko pojasnila Applova samodejna odpiranja. Razlika v klikih je pravi signal: pristop različice B je pripeljal za polovico več ljudi na stran. B zmaga, in kar je bolj koristno, trgovina ima zdaj dokaz, da specifičen, nekoliko nenavaden pristop z resnico o izdelku premaga generično obvestilo — nauk, ki ga lahko ponovno uporabi v vsaki prihodnji kampanji. (Številke so izmišljene, da prikažejo razmislek.)

Metrike, ki jih spremljate skozi program testov

Stopnja klikov na različico — glavna razsodba pri večini testov zadev, saj je kakovost odpiranj krat količina odpiranj.
Naročila in prihodek na različico — zadnja beseda, ko je test vezan na ponudbo.
Stopnja odpiranj — le usmerjevalna; opazujte trende skozi mesece, ne razlik posameznega testa.
Odjave in pritožbe zaradi neželene pošte na različico — »zmagovalna« vrstica, ki poviša pritožbe, je v šestmesečnem obzorju poraženka.

Odločanje o zmagovalcu, ko se metrike ne ujemajo — odpiranja gor, kliki dol, prihodek pri miru — si zasluži svoja pravila; to je obravnavano v kako izbrati zmagovalca email testa.

Kako to početi v Omnisendu

Omnisendovo A/B-testiranje kampanj poskrbi za mehaniko: dve zadevi, naključna delitev, poročanje po različicah o odpiranjih, klikih in prodaji. Uporabljam ga v svojih trgovinah — Omnisend sem izbral pred Klaviyom predvsem zaradi cene in tega, kako malo časa mi vzame vmesnik, Shopimation pa zasluži provizijo iz pridruženega programa, če se prijavite prek te strani, zato moje mnenje ustrezno pretehtajte. Nastavitev, ki ji je vredno posvetiti pozornost: če uporabljate možnost samodejnega pošiljanja zmagovalca, raztegnite testno okno tako daleč, kot dopušča vaš urnik, namesto da sprejmete kratko privzeto vrednost, in raje kot odpiranja izberite klike kot merilo zmage. Orodje izvede pravila, ki mu jih daste. Dajte mu potrpežljiva.

Vaš naslednji korak

Pred svojo naslednjo kampanjo napišite dve zadevi iz resnično različnih pristopov — eno golo in specifično, eno z glasom — in ju razdelite 50/50 na celoten razpošiljanj. Sodite po klikih, po vsaj 24 urah, in rezultat zapišite nekam, kjer ga boste videli čez tri mesece. En zabeležen test na teden premaga leto dvournih metanj kovanca.

A/B Testing and Optimization

A/B Testing Email Subject Lines Properly

Veröffentlicht am July 17, 2026 von

A proper subject line test compares two genuinely different angles — not two wordings of the same idea — on a 50/50 random split, runs at least 24 hours before anything is judged, and gets called on clicks or orders when the open rates are close. Most subject line “tests” fail all three conditions: they pit near-identical lines against each other, declare a winner after two hours, and trust open rates that Apple’s privacy features have made blurry. The result is a stream of fake winners that slowly teaches you nothing. Done properly, subject line testing is still worth it — it’s cheap, repeatable, and over months it genuinely shifts how many people see your offers. Here’s the version that actually works.

Why this is the test everyone runs and almost nobody runs well

Subject line testing is the default first test because every email tool makes it a checkbox. That convenience is exactly the problem. The tool will happily split 2,000 people, wait two hours, crown whichever line is ahead, and send it to the rest of the list — and at that scale and speed, the “winner” is close to a coin flip.

I did this for over a year in my own stores. Emoji vs. no emoji. Question vs. statement. “Last chance” vs. “Ends tonight.” Each test produced a winner. Across a year of winners, my open rate hadn’t moved. The tests weren’t measuring my subject lines; they were measuring noise, and noise always declares a champion.

The three ways subject line tests go wrong

The sample is too small for the gap being measured. Subject line effects are usually modest — a good line might beat a mediocre one by a point or two of open rate. Detecting a gap that small takes thousands of opens per variant, not hundreds. With 800 people per side, a 20% vs. 22% split is well within random wobble. Rough rule: the smaller the difference you’re hunting, the bigger the sample you need — and word-tweak differences are tiny. More on the math, in plain terms, in how large does an email list need to be for A/B testing.

The test is called too early. A two-hour window samples only your fastest openers — often your most loyal subscribers, opening on phones during a work break. People who open that evening or next morning behave differently and never get counted. A test called at 2 p.m. can flip by 9 a.m. tomorrow.

Opens themselves are noisy. Since Apple introduced Mail Privacy Protection in 2021, Apple Mail preloads messages for many users, which registers opens no human made. How much this inflates your numbers depends on how much of your list reads on Apple Mail — you can’t fully correct for it, but you can stop treating a half-point open-rate gap as meaningful. For close results, clicks and orders are the honest tiebreaker.

What a subject line can and can’t do

Worth being clear-eyed here, because it sets the ceiling on what you’re testing for. The subject line (with the sender name and preview text) decides one thing: whether the email gets opened. It cannot fix a weak offer, and a “winning” line that overpromises can actively hurt — curiosity-bait lines sometimes lift opens while clicks stay flat or drop, because the content can’t cash the check the subject wrote. If you see opens up and clicks down on the same test, that’s not a win. That’s a warning.

This also means subject lines are rarely the highest-value first test for a store with limited traffic. If you haven’t tested your core offers yet, start with what should an ecommerce store A/B test first and come back.

Test angles, not adjectives

The fix for tiny effects is to stop testing tiny differences. Compare approaches that could plausibly produce visibly different behavior:

Benefit vs. curiosity: “Free shipping on everything this week” vs. “We probably shouldn’t be doing this”
Product vs. problem: “The 20L daypack is back” vs. “For everyone whose bag died mid-trip”
Personal vs. store voice: “quick question about your last order” vs. “New arrivals: spring hiking gear”
Plain vs. promotional: “your cart” vs. “15% off what you left behind”

“Big spring sale” vs. “Huge spring sale” is not a test. It’s a horoscope.

And keep it to one variable. If variant B changes the angle and adds an emoji and rewrites the preview text, a win teaches you nothing reusable. The discipline is the same as everywhere else in testing — how to test one variable at a time.

How to run the test, step by step

Pick the venue. A campaign to your full engaged list, or a high-volume automated email like abandoned cart. Automations accumulate sample slowly but test the same message repeatedly under consistent conditions, which is quietly a big advantage.
Split 50/50, not 10/10/80. The popular “test on 20%, send the winner to 80%” pattern maximizes short-term opens but produces unreliable answers, because the test slice is small and judged fast. If you’re testing to learn, give the test the whole send and bank the knowledge for every future campaign instead.
Hold everything else constant. Same content, same send time, same sender name.
Let it run at least 24 hours — longer for automations, which need to reach enough people. When to stop is its own question; how long should an ecommerce email A/B test run covers it.
Judge in order: orders, clicks, opens. Opens break ties only when they’re not close. A few dozen opens of difference on a mid-sized list is a tie, whatever the dashboard’s green arrow says.
Log it. Winner, loser, the gap, the date. One test result is weak evidence; five tests where the personal-voice angle keeps winning is a real finding about your audience.

What this looks like in practice (illustrative)

A store sends a weekly campaign to 9,000 engaged subscribers. Variant A, “New in: linen shirts for summer,” goes to 4,500. Variant B, “the shirt our returns rate says you’ll keep,” goes to the other 4,500. After 48 hours: A has 1,020 opens and 39 clicks; B has 1,080 opens and 61 clicks. The open gap is thin — small enough that Apple’s auto-opens could account for it. The click gap is the real signal: B’s angle pulled half again more people to the site. B wins, and more usefully, the store now has evidence that a specific, slightly odd, product-truth angle beats the generic announcement — a lesson it can reuse in every future campaign. (Numbers invented to show the reasoning.)

Metrics to track over a program of tests

Click rate per variant — the primary verdict on most subject tests, since it’s open quality times open quantity.
Orders and revenue per variant — the final word when the test is attached to an offer.
Open rate — directional only; watch trends across months rather than single-test gaps.
Unsubscribes and spam complaints per variant — a “winning” line that spikes complaints is a loser on a six-month horizon.

Deciding a winner when metrics disagree — opens up, clicks down, revenue flat — deserves its own rules; that’s covered in choosing a winning email test.

Doing this in Omnisend

Omnisend’s campaign A/B testing handles the mechanics: two subject lines, a random split, per-variant reporting on opens, clicks, and sales. I use it in my own stores — I picked Omnisend over Klaviyo mainly for price and how little time the interface costs me, and Shopimation earns an affiliate commission if you sign up through this site, so weigh my opinion accordingly. The setting worth attention: if you use the winner-autosend option, stretch the test window as far as your schedule allows rather than accepting a short default, and prefer clicks over opens as the winning criterion. The tool executes whatever rules you give it. Give it patient ones.

Your next step

Before your next campaign, write two subject lines from genuinely different angles — one plain and specific, one with a voice — and split them 50/50 to the whole send. Judge on clicks, after 24 hours minimum, and write the result down somewhere you’ll see it in three months. One logged test per week beats a year of two-hour coin flips.