A/B-Tests und Optimierung

E-Mail-Design testen, ohne die Ergebnisse zu verfälschen

Veröffentlicht am July 19, 2026 von

Design-Tests verfälschen ihre Ergebnisse auf zwei typische Arten: Die Varianten unterscheiden sich in mehr als einem Punkt, sodass niemand weiß, was die Veränderung verursacht hat, und das Ergebnis wird an einer Kennzahl gemessen, die das Design gar nicht beeinflussen kann. Um E-Mail-Design sauber zu testen, änderst du pro Test genau ein strukturelles Element – Layout, Bildanteil, Format des Produktrasters –, hältst jedes Wort des Textes in beiden Versionen identisch und entscheidest anhand der Klickrate als primärer Kennzahl, mit dem Umsatz pro Empfänger als Stichentscheid. Beurteile einen Design-Test niemals nach der Öffnungsrate: Empfänger öffnen die E-Mail, bevor sie überhaupt ein Design gesehen haben – Öffnungen messen also deine Betreffzeile und deinen Absendernamen, sonst nichts. Bring diese zwei Regeln in Ordnung, und Design-Tests werden ganz gewöhnlich. Bring eine davon durcheinander, und du gestaltest deine E-Mails auf Basis von Rauschen neu.

Zwei benachbarte Themen haben ihre eigenen Leitfäden und bleiben hier außen vor: die ganze Frage Plain-Text vs. gestaltete E-Mails und das Testen von Handlungsaufrufen – Button-Text und CTA-Platzierung sind eher ein Text- und Conversion-Problem als ein Design-Problem. In diesem Artikel geht es darum, visuelle Struktur zu testen, ohne die eigenen Daten zu ruinieren.

Der Relaunch, der „funktioniert“ hat, und niemand weiß, warum

So läuft das in echten Shops ab. Der Newsletter bekommt ein neues Gesicht: neues Hero-Bild, kompakteres Layout, anderer Button-Stil, kürzerer Text, Produkte nach oben gerückt. Er geht als A/B-Test gegen das alte Design raus, die neue Version gewinnt bei den Klicks, und das Team schließt daraus, dass die Kunden den neuen Look lieben.

Vielleicht. Oder es lag am kürzeren Text. Oder daran, dass die Produkte nach oben gerückt wurden, und der neue Button-Stil hat in Wahrheit geschadet – du kannst einen Bremseffekt innerhalb eines Bündels von Änderungen nicht sehen, wenn das Ganze unterm Strich positiv rauskommt. Sechs Monate später verwendet jemand „den siegreichen Button-Stil“ im Warenkorb-Flow wieder, er bewirkt nichts, und das Vertrauen ins Testen stirbt still. Ein gebündelter Relaunch-Test bringt eine Entscheidung hervor, aber kein Wissen. Wenn du wiederverwendbare Antworten willst, muss jede visuelle Änderung allein vor Gericht stehen – den allgemeinen Fall dazu findest du unter wie du eine Variable nach der anderen testest.

Warum die naheliegenden Kennzahlen dich hier verraten

Design-Tests werden häufiger an der falschen Messlatte beurteilt als jeder andere Testtyp, und zwar aus drei konkreten Gründen.

Öffnungen können das Design nicht sehen. Die Öffnung passiert, bevor das Design lädt. Jeder Öffnungsraten-Unterschied zwischen zwei Design-Varianten ist entweder zufälliges Rauschen oder ein Leck in deinem Test-Aufbau (unterschiedliche Sendezeiten, unterschiedliche Betreffzeilen). Wenn dein Report zeigt, dass Variante B „bei den Öffnungen gewinnt“, stimmt etwas mit dem Test nicht – und nicht etwas mit dem Design.

Öffnungen sind ohnehin aufgebläht. Seit Apple 2021 Mail Privacy Protection eingeführt hat, lädt Apple Mail E-Mail-Inhalte für einen großen Anteil der Empfänger vor und registriert dabei Öffnungen, die kein Mensch ausgelöst hat. Die Öffnungsrate ist seither eine unscharfe Kennzahl – ein weiterer Grund, warum sie beim Beurteilen von Visuellem nichts verloren hat.

Klicks und Umsatz können in entgegengesetzte Richtungen zeigen. Ein dramatisches, bildgetriebenes Design kann Klicks aus Neugier gewinnen und bei den Bestellungen verlieren, weil es beim Klick um das Bild ging, nicht um Kaufabsicht. Umgekehrt passiert es auch: Ein schlichteres Layout bekommt weniger, aber bessere Klicks. Klicks sind die richtige primäre Kennzahl fürs Design – die Aufgabe des Designs ist es, Menschen aus der E-Mail in den Shop zu bringen –, aber bevor du einen Gewinner ausrufst, prüfe, ob der Umsatz pro Empfänger zumindest in die gleiche Richtung deutet. Wenn beide sich widersprechen, vertrau dem Geld. Diese Klicks-gegen-Umsatz-Falle ist eine der klassischen Arten, wie E-Commerce-A/B-Tests irreführende Ergebnisse produzieren.

Das Design, das du getestet hast, ist nicht das Design, das sie gesehen haben

Noch eine Quelle der Verwirrung, spezifisch für Design-Tests: E-Mail-Design ist kein einzelnes Artefakt. Dieselbe Vorlage wird in verschiedenen Postfächern unterschiedlich dargestellt, und die Unterschiede sind groß genug, um Ergebnisse zu verändern.

Bildblockierung. Manche geschäftlichen und datenschutzorientierten Postfächer laden Bilder nicht standardmäßig. Eine bildlastige Variante erscheint dort als ein Feld leerer Kästchen; eine textbetonte Variante übersteht das intakt. Ein Teil jedes Ergebnisses „bildlastig vs. textbetont“ misst in Wahrheit, wie viele deiner Abonnenten Bilder blockieren.
Dark Mode. Postfächer im Dark Mode invertieren oder verfärben Hintergründe und können den Kontrast verhunzen – ein Button, der auf Weiß hervorsticht, kann auf Dunkelgrau je nach Aufbau der Vorlage beinahe verschwinden. Sieh dir beide Varianten vor dem Test im Dark Mode an, sonst wird die Dark-Mode-Darstellung zu einer unsichtbaren dritten Variante.
Abschneiden (Clipping). Gmail kürzt Nachrichten, die eine Größengrenze überschreiten – ein seit Langem bekanntes Verhalten bei rund 100 KB E-Mail-Code – und ersetzt den Rest durch einen Link „gesamte Nachricht anzeigen“. Wenn eine Variante abgeschnitten wird und die andere nicht, misst der Test teils das Abschneiden, nicht das Design. Code-lastige Vorlagen stoßen früher daran, als ihre optische Länge vermuten lässt.

Du musst das Rendering nicht perfekt lösen. Du musst aber sicherstellen, dass beide Varianten ähnlich degradieren, damit der Vergleich fair bleibt.

Design-Tests, die die Stichprobe wert sind – und solche, die es nicht sind

Design-Effekte sind meist kleiner als Angebots- oder Timing-Effekte, und kleine Effekte brauchen große Stichproben, bevor ein Unterschied irgendetwas bedeutet. Das hat eine schlichte praktische Konsequenz: Auf einer typischen Händlerliste lohnen sich Mikro-Tests nicht. Button-Farbe, Eckenradius, eine Schrift gegen eine andere – auf einer Liste mit 15.000 Abonnenten ertrinken diese Unterschiede im Rauschen, und der „Gewinner“ ist ein Münzwurf, den du als Strategie behandeln wirst. Wenn deine Liste überschaubar ist, prüfe, wie groß eine Liste für A/B-Tests sein muss, bevor du Wochen in einen Blauton verbrennst.

Verwende deine Stichprobe für strukturelle Kontraste, grob in dieser Reihenfolge der erwarteten Wirkung:

Layout-Hierarchie: einzelnes Hero-Produkt vs. Raster mit mehreren Produkten.
Bildanteil: bildgetrieben vs. textgetrieben (aber nicht bis hin zum vollen Plain-Text, das ist ein eigener Test).
E-Mail-Länge als Struktur: eine Botschaft und ein Button vs. Botschaft plus ergänzende Abschnitte.
Produktdarstellung: Lifestyle-Fotografie vs. schlichte Produktaufnahmen.

Große, sichtbare Kontraste erzeugen Unterschiede, die bei realen Listengrößen groß genug sind, um erkennbar zu sein. Als Faustregel: Ziele bei strukturellen Tests auf mindestens ein paar tausend Empfänger pro Variante, fahre Kampagnen als echte, zufällige 50/50-Splits, die zur selben Zeit versendet werden, und gib Automatisierungen ein paar Wochen in vollen Wochenblöcken.

Ein sauberer Design-Test, von Anfang bis Ende

Ein illustrativer Aufbau. Ein Shop verschickt einen wöchentlichen Newsletter an 20.000 Abonnenten; das aktuelle Design beginnt mit einem vollflächigen Lifestyle-Hero, die Produkte darunter. Die Theorie: Der Hero schiebt die Produkte auf dem Handy zu weit nach unten. Der Test: Variante A ist das aktuelle Design; Variante B ist identisch – gleicher Betreff, gleicher Text, gleiche Produkte, gleiche Buttons – nur ohne den Hero, das Produktraster beginnt sofort. Split 50/50, gleiche Sendezeit. Primäre Kennzahl: Klickrate. Kontroll-Kennzahlen: Umsatz pro Empfänger und Abmelderate. Dauer: vier aufeinanderfolgende wöchentliche Sendungen statt einer, denn jede einzelne Sendung trägt den Fingerabdruck der Produkte und der Promo genau dieser Woche. Nach vier Wochen ist eine Variante, die bei den Klicks führt und bei der der Umsatz in die gleiche Richtung deutet, ein Ergebnis, nach dem du handeln kannst. Eine Variante, die bei den Klicks führt, während der Umsatz widerspricht, bedeutet: länger laufen lassen und untersuchen, worauf die Klicks landen. (Illustratives Beispiel – setz deine eigenen Volumen ein.)

Was du pro Variante verfolgen solltest

Klickrate – das Urteil fürs Design.
Umsatz pro Empfänger – der Stichentscheid und Plausibilitätscheck.
Abmelde-/Spam-Beschwerderate – ein lauteres Design, das Klicks und Beschwerden gemeinsam anhebt, ist kein Gewinner.
Klick-Map – wo in der E-Mail die Klicks passieren; eine Variante kann insgesamt gewinnen, während ihr neuer Abschnitt ignoriert wird, was verändert, was du schlussfolgerst.

Wo Omnisend hineinpasst

Ich teste Designs in Omnisend, der Plattform, auf der ich meine eigenen Shops betreibe, nachdem ich Klaviyo und Omnisend nebeneinander ausprobiert habe. Die nützlichen Teile für diese Aufgabe: Kampagnen-A/B-Tests teilen die Zielgruppe zufällig und versenden gleichzeitig, sodass eine Verunreinigung durch die Sendezeit ausgeschlossen ist; die Reports weisen Klicks und Verkäufe pro Variante getrennt aus; und die Klick-Map zeigt, wo die Klicks jeder Variante gelandet sind – so entlarvst du ein „siegreiches“ Design, dessen neues Element in Wahrheit totes Gewicht ist. Was keine Plattform automatisiert, ist die Disziplin – sie lässt dich bereitwillig fünf Dinge zwischen den Varianten ändern und das einen Test nennen. Offenlegung: Shopimation ist Affiliate-Partner von Omnisend; die Empfehlung stammt aus der täglichen Nutzung.

Dein nächster Schritt

Wähle deine wiederkehrende E-Mail mit dem höchsten Volumen und schreib eine strukturelle Theorie über ihr Design auf – „der Hero schiebt die Produkte unter die Falz“, „das Raster begräbt mein bestes Produkt“. Baue eine Variante, die nur das ändert, mit einer vorab festgelegten primären Kennzahl von Klicks und einem Umsatz-Plausibilitätscheck. Eine Theorie, eine Änderung, eine saubere Antwort. Diese Antwort darfst du, anders als die eines Relaunchs, behalten.

A/B-testiranje in optimizacija

Kako A/B-testirati oblikovanje emaila, ne da bi zameglili rezultate

Veröffentlicht am July 18, 2026 von

Testi oblikovanja zameglijo svoje rezultate na dva običajna načina: različici se razlikujeta v več kot eni stvari, tako da nihče ne ve, kaj je povzročilo spremembo, in izid se ocenjuje po merilu, na katero oblikovanje ne more vplivati. Za čisto testiranje oblikovanja emaila spremenite točno en strukturni element na test — postavitev, težo slik, obliko mreže izdelkov — vsako besedo besedila obdržite enako v obeh različicah in razsodite po stopnji klikov kot primarnem merilu, s prihodkom na prejemnika kot razsodnikom ob izenačenju. Testa oblikovanja nikoli ne razsojajte po stopnji odprtja: prejemniki odprejo email, preden so videli kakršno koli oblikovanje, zato odprtja merijo vašo zadevo in ime pošiljatelja, nič drugega. Če ti dve pravili dobite prav, testiranje oblikovanja postane vsakdanje. Če katero koli zgrešite, boste svoje emaile preoblikovali na podlagi šuma.

Dve sosednji temi imata svoja vodnika in ostaneta zunaj obsega: celotno vprašanje kako testirati golo besedilo proti oblikovanim emailom in testiranje pozivov k dejanju — besedilo gumba in umestitev poziva sta bolj problem besedila in pretvorbe kot oblikovanja. Ta članek govori o testiranju vizualne strukture, ne da bi uničili svoje lastne podatke.

Preoblikovanje, ki je “delovalo”, in nihče ne ve, zakaj

Tukaj je različica tega, ki se dogaja v resničnih trgovinah. Novičnik dobi prenovo: nova glavna slika, tesnejša postavitev, drugačen slog gumba, krajše besedilo, izdelki premaknjeni nad pregib. Gre ven proti stari zasnovi kot A/B-test, nova različica zmaga po klikih in ekipa sklene, da kupci obožujejo nov videz.

Mogoče. Ali pa je bilo krajše besedilo. Ali pa premik izdelkov navzgor, in nov slog gumba je pravzaprav škodil — zaviranja znotraj svežnja sprememb, ki se izniči v pozitivno, ne morete videti. Šest mesecev kasneje nekdo ponovno uporabi “zmagovalni slog gumba” v avtomatizaciji za košarico, ta ne naredi ničesar in zaupanje v testiranje tiho umre. Test s prenovo v svežnju proizvede odločitev, ne proizvede pa znanja. Če želite ponovno uporabne odgovore, mora vsaka vizualna sprememba na sojenje sama — splošni argument za to je v kako testirati eno spremenljivko naenkrat.

Zakaj vas očitna merila tukaj izdajo

Testi oblikovanja se ocenjujejo po napačni lestvici bolj kot kateri koli drug tip testa, iz treh konkretnih razlogov.

Odprtja ne vidijo oblikovanja. Odprtje se zgodi, preden se oblikovanje naloži. Vsaka razlika v stopnji odprtja med dvema različicama oblikovanja je bodisi naključen šum bodisi puščanje v nastavitvi testa (različni časi pošiljanja, različne zadeve). Če vaše poročilo kaže, da različica B “zmaguje po odprtjih”, je nekaj narobe s testom, ne prav z oblikovanjem.

Odprtja so tako ali tako napihnjena. Odkar je Apple leta 2021 uvedel Mail Privacy Protection, Apple Mail za velik delež prejemnikov prednalaga vsebino emaila in beleži odprtja, ki jih ni naredil noben človek. Stopnja odprtja je od takrat zamegljeno merilo — še en razlog, da nima kaj razsojati o vizualu.

Kliki in prihodek lahko kažeta v nasprotni smeri. Dramatična, s sliko vodena zasnova lahko zmaga po klikih iz radovednosti in izgubi po naročilih, ker je bil klik namenjen sliki, ne nameri po nakupu. Zgodi se tudi obratno: preprostejša postavitev dobi manj, a boljših klikov. Kliki so pravo primarno merilo za oblikovanje — naloga oblikovanja je spraviti ljudi iz emaila v trgovino — a preden razglasite zmagovalca, preverite, ali se prihodek na prejemnika vsaj strinja v smeri. Kadar se ta dva ne strinjata, zaupajte denarju. Ta past klikov proti prihodku je eden od klasičnih načinov, kako A/B-testi v e-trgovini proizvedejo zavajajoče rezultate.

Zasnova, ki ste jo testirali, ni zasnova, ki so jo videli

Še en vir zmede, specifičen za teste oblikovanja: oblikovanje emaila ni en sam artefakt. Ista predloga se v različnih poštnih predalih upodobi drugače, in razlike so dovolj velike, da spremenijo rezultate.

Blokiranje slik. Nekateri korporativni in zasebnosti naklonjeni poštni predali slik privzeto ne naložijo. Različica, obtežena s slikami, se tam upodobi kot polje praznih okvirjev; različica, usmerjena v besedilo, ostane nedotaknjena. Del vsakega rezultata “veliko slik proti veliko besedila” v resnici meri, koliko vaših naročnikov blokira slike.
Temni način. Poštni predali v temnem načinu obrnejo ali prebarvajo ozadja in lahko pokvarijo kontrast — gumb, ki izstopa na belem, lahko skoraj izgine na temno sivi, odvisno od tega, kako je bila zgrajena predloga. Predoglejte si obe različici v temnem načinu pred testom, sicer postane upodobitev v temnem načinu nevidna tretja različica.
Odrezovanje. Gmail obreže sporočila nad velikostno mejo — dolgoletno vedenje pri približno 100 KB email kode — in preostanek nadomesti s povezavo “prikaži celotno sporočilo”. Če se ena različica odreže, druga pa ne, test delno meri odrezovanje, ne oblikovanja. Predloge s težko kodo to zadenejo hitreje, kot nakazuje njihova vizualna dolžina.

Ni vam treba popolnoma rešiti upodabljanja. Morate pa poskrbeti, da se obe različici podobno razgradita, da primerjava ostane poštena.

Testi oblikovanja, ki so vredni vzorca — in tisti, ki niso

Učinki oblikovanja so običajno manjši od učinkov ponudb ali časovnice, majhni učinki pa potrebujejo velike vzorce, preden razlika kaj pomeni. To ima topo praktično posledico: na tipičnem seznamu trgovca mikro-testi niso vredni izvedbe. Barva gumba, zaokroženost vogalov, ena pisava proti drugi — na seznamu 15.000 naročnikov se te razlike utopijo v šumu in “zmagovalec” je met kovanca, ki ga boste obravnavali kot strategijo. Če je vaš seznam skromen, preverite kako velik mora biti seznam za A/B-testiranje, preden zapravite tedne za odtenek modre.

Svoj vzorec porabite za strukturne kontraste, v grobem po tem vrstnem redu pričakovanega vpliva:

Hierarhija postavitve: en junaški izdelek proti mreži več izdelkov.
Teža slik: vodeno s sliko proti vodeno z besedilom (razen popolnoma golega besedila, kar je svoj test).
Dolžina emaila kot struktura: eno sporočilo in en gumb proti sporočilu z dodatnimi razdelki.
Predstavitev izdelka: življenjska fotografija proti golim posnetkom izdelka.

Veliki, vidni kontrasti proizvedejo razlike, dovolj velike, da jih je mogoče zaznati pri resničnih velikostih seznamov. Kot delovno pravilo ciljajte na vsaj nekaj tisoč prejemnikov na različico za strukturne teste, kampanje izvajajte kot pristne naključne razcepe 50/50, poslane ob istem času, avtomatizacijam pa dajte nekaj tednov v celotedenskih blokih.

Čist test oblikovanja, od začetka do konca

Ilustrativna postavitev. Trgovina pošilja tedenski novičnik 20.000 naročnikom; trenutna zasnova se odpre s celozaslonsko življenjsko glavno sliko, izdelki spodaj. Teorija: glavna slika potisne izdelke na telefonih predaleč navzdol. Test: različica A je trenutna zasnova; različica B je enaka — enaka zadeva, enako besedilo, enaki izdelki, enaki gumbi — le da je glavna slika odstranjena in se mreža izdelkov začne takoj. Razcep 50/50, enak čas pošiljanja. Primarno merilo: stopnja klikov. Zaščitni merili: prihodek na prejemnika in stopnja odjav. Trajanje: štiri zaporedna tedenska pošiljanja namesto enega, ker vsako posamezno pošiljanje nosi prstni odtis izdelkov in promocije tistega tedna. Po štirih tednih je ena različica, ki vodi po klikih ob prihodku, ki se strinja v smeri, rezultat, po katerem lahko ukrepate. Ena različica, ki vodi po klikih, medtem ko se prihodek ne strinja, pomeni, da jo izvajajte dlje in raziščite, na kaj kliki pristajajo. (Ilustrativni primer — vstavite svoje obsege.)

Kaj spremljati, po različicah

Stopnja klikov — razsodba za oblikovanje.
Prihodek na prejemnika — razsodnik ob izenačenju in preverjanje smiselnosti.
Stopnja odjav/pritožb zaradi neželene pošte — glasnejša zasnova, ki hkrati dvigne klike in pritožbe, ni zmagovalec.
Zemljevid klikov — kje v emailu se kliki dogajajo; različica lahko zmaga na splošno, medtem ko njen nov razdelek ostaja prezrt, kar spremeni to, kar sklenete.

Kam sodi Omnisend

Zasnove testiram v Omnisendu, platformi, na kateri poganjam svoje trgovine, potem ko sem Klaviyo in Omnisend preizkusil enega ob drugem. Uporabni deli za to nalogo: A/B-testi kampanj razcepijo občinstvo naključno in pošljejo hkrati, tako da je onesnaženje s časom pošiljanja izključeno; poročila ločeno prikažejo klike in prodajo po različicah; zemljevid klikov pa pokaže, kje so pristali kliki vsake različice, kar je način, kako ujamete “zmagovalno” zasnovo, katere nov element je pravzaprav mrtev tovor. Česar nobena platforma ne avtomatizira, je disciplina — z veseljem vam bo pustila spremeniti pet stvari med različicama in to imenovati test. Razkritje: Shopimation je Omnisendov partner; priporočilo izhaja iz dnevne uporabe.

Vaš naslednji korak

Izberite svoj email z najvišjim obsegom, ki se ponavlja, in zapišite eno strukturno teorijo o njegovi zasnovi — “glavna slika potisne izdelke pod pregib”, “mreža pokoplje moj najboljši izdelek”. Zgradite različico, ki spremeni le to, z vnaprej zavezanim primarnim merilom klikov in preverjanjem smiselnosti prihodka. Ena teorija, ena sprememba, en čist odgovor. Ta odgovor, za razliko od odgovora prenove, smete obdržati.

A/B Testing and Optimization

A/B Testing Email Design Without Confusing the Results

Veröffentlicht am July 17, 2026 von

Design tests confuse their results in two standard ways: the variants differ in more than one thing, so nobody knows what caused the change, and the outcome gets judged on a metric design can’t influence. To test email design cleanly, change exactly one structural element per test — layout, image weight, product-grid format — keep every word of copy identical in both versions, and judge on click rate as the primary metric with revenue per recipient as the tiebreaker. Never judge a design test on open rate: recipients open the email before they’ve seen any design, so opens measure your subject line and sender name, nothing else. Get those two rules right and design testing becomes ordinary. Get either wrong and you’ll redesign your emails based on noise.

Two neighboring topics have their own guides and stay out of scope here: the full plain-text vs. designed emails question, and testing calls to action — button copy and CTA placement are a copy-and-conversion problem more than a design one. This article is about testing visual structure without wrecking your own data.

The redesign that “worked” and nobody knows why

Here’s the version of this that happens in real stores. The newsletter gets a facelift: new hero image, tighter layout, different button style, shorter copy, products moved above the fold. It goes out against the old design as an A/B test, the new version wins on clicks, and the team concludes customers love the new look.

Maybe. Or the shorter copy did it. Or moving products up did it, and the new button style actually hurt — you can’t see a drag inside a bundle of changes that nets out positive. Six months later someone reuses “the winning button style” in the cart flow, it does nothing, and confidence in testing quietly dies. A bundled redesign test produces a decision, but it produces no knowledge. If you want reusable answers, each visual change has to stand trial alone — the general case for this is in how to test one variable at a time.

Why the obvious metrics betray you here

Design tests get judged on the wrong scoreboard more than any other test type, for three concrete reasons.

Opens can’t see design. The open happens before the design loads. Any open-rate difference between two design variants is either random noise or a leak in your test setup (different send times, different subject lines). If your report shows variant B “winning opens,” something is wrong with the test, not right with the design.

Opens are inflated anyway. Since Apple rolled out Mail Privacy Protection in 2021, Apple Mail preloads email content for a large share of recipients, registering opens no human made. Open rate has been a blurry metric ever since — one more reason it has no place judging visuals.

Clicks and revenue can point in opposite directions. A dramatic image-led design can win clicks on curiosity and lose on orders, because the click was about the picture, not purchase intent. The reverse happens too: a plainer layout gets fewer, better clicks. Clicks are the right primary metric for design — design’s job is to get people from the email to the store — but before declaring a winner, check that revenue per recipient at least agrees in direction. When the two disagree, trust the money. This clicks-vs-revenue trap is one of the classic ways ecommerce A/B tests produce misleading results.

The design you tested isn’t the design they saw

One more confusion source, specific to design tests: email design isn’t one artifact. The same template renders differently across inboxes, and the differences are big enough to change results.

Image blocking. Some corporate and privacy-focused inboxes don’t load images by default. An image-heavy variant renders there as a field of empty boxes; a text-forward variant survives intact. Part of any image-heavy vs. text-forward result is really measuring how many of your subscribers block images.
Dark mode. Inboxes in dark mode invert or recolor backgrounds and can mangle contrast — a button that pops on white can nearly vanish on dark gray, depending on how the template was built. Preview both variants in dark mode before the test, or dark-mode rendering becomes an invisible third variant.
Clipping. Gmail truncates messages past a size limit — long-standing behavior at roughly 100KB of email code — replacing the rest with a “view entire message” link. If one variant clips and the other doesn’t, the test partly measures clipping, not design. Code-heavy templates hit this faster than their visual length suggests.

You don’t have to solve rendering perfectly. You do have to make sure both variants degrade similarly, so the comparison stays fair.

Design tests that are worth the sample — and ones that aren’t

Design effects are usually smaller than offer or timing effects, and small effects need large samples before a difference means anything. That has a blunt practical consequence: on a typical merchant list, micro-tests aren’t worth running. Button color, corner radius, one font against another — on a 15,000-subscriber list these differences drown in noise, and the “winner” is a coin flip you’ll treat as strategy. If your list is modest, check how large a list needs to be for A/B testing before burning weeks on a shade of blue.

Spend your sample on structural contrasts, roughly in this order of expected impact:

Layout hierarchy: single hero product vs. multi-product grid.
Image weight: image-led vs. text-led (short of full plain-text, which is its own test).
Email length as structure: one message and one button vs. message plus supporting sections.
Product presentation: lifestyle photography vs. plain product shots.

Big, visible contrasts produce differences large enough to detect at real-world list sizes. As a working rule, aim for at least a couple of thousand recipients per variant for structural tests, run campaigns as true random 50/50 splits sent at the same time, and give automations a few weeks in full-week blocks.

A clean design test, start to finish

An illustrative setup. A store sends a weekly newsletter to 20,000 subscribers; the current design opens with a full-width lifestyle hero, products below. Theory: the hero pushes products too far down on phones. Test: variant A is the current design; variant B is identical — same subject, same copy, same products, same buttons — except the hero is removed and the product grid starts immediately. Split 50/50, same send time. Primary metric: click rate. Guard metrics: revenue per recipient and unsubscribe rate. Duration: four consecutive weekly sends rather than one, because any single send carries the fingerprint of that week’s products and promo. After four weeks, one variant leading on clicks with revenue agreeing in direction is a result you can act on. One variant leading on clicks while revenue disagrees means run it longer and investigate what the clicks are landing on. (Illustrative example — swap in your own volumes.)

What to track, per variant

Click rate — the verdict for design.
Revenue per recipient — the tiebreaker and sanity check.
Unsubscribe/spam-complaint rate — a louder design that lifts clicks and complaints together is not a winner.
Click map — where in the email the clicks happen; a variant can win overall while its new section gets ignored, which changes what you conclude.

Where Omnisend fits

I test designs in Omnisend, the platform I run my own stores on after trying Klaviyo and Omnisend side by side. The useful parts for this job: campaign A/B tests split the audience randomly and send simultaneously, so send-time contamination is off the table; the reports break out clicks and sales per variant; and the click map shows where each variant’s clicks landed, which is how you catch a “winning” design whose new element is actually dead weight. What no platform automates is the discipline — it will happily let you change five things between variants and call it a test. Disclosure: Shopimation is an Omnisend affiliate partner; the recommendation comes from daily use.

Your next step

Pick your highest-volume recurring email and write down one structural theory about its design — “the hero pushes products below the fold,” “the grid buries my best product.” Build a variant that changes only that, with a pre-committed primary metric of clicks and a revenue sanity check. One theory, one change, one clean answer. That answer, unlike a redesign’s, you get to keep.