A/B-Tests und Optimierung

So testen Sie Produktempfehlungen per A/B-Test

Veröffentlicht am July 19, 2026 von

Wenn Sie Produktempfehlungen in Ihren E-Mails per A/B-Test prüfen wollen, verändern Sie immer nur eine Dimension des Empfehlungsblocks: die Quelle (Bestseller vs. personalisiert vs. passend zum letzten Kauf), die Position in der E-Mail oder die Anzahl der gezeigten Produkte. Und beurteilen Sie das Ergebnis am Umsatz pro Empfänger, nicht an den Klicks. Führen Sie den Test in einer konkreten E-Mail oder Automation durch, nicht „über alle E-Mails hinweg“, und prüfen Sie vorab eine Sache: ob Ihre Testkontakte überhaupt genug Historie haben, damit sich ein personalisierter Block von einem generischen unterscheiden kann. Bei brandneuen Abonnenten greifen die meisten Empfehlungs-Engines klammheimlich auf beliebte Produkte zurück, wenn ihnen die Daten fehlen – was bedeuten kann, dass beide Ihrer Varianten fast dasselbe Raster zeigen und Ihr „Test“ eine Sache mit sich selbst vergleicht.

Zur Abgrenzung: Hier geht es um das Testen des Empfehlungsblocks – welche Produkte erscheinen und wo. Ob Ihre E-Mails aufwendig gestaltet oder schlicht sein sollten oder wie lang sie sein dürfen, sind eigene Fragen mit eigenen Leitfäden; am nächsten liegt E-Mail-Design per A/B-Test prüfen, ohne die Ergebnisse zu verfälschen.

Das Bestseller-Raster auf Autopilot

Fast jede Shop-E-Mail endet gleich: eine Vierer-Reihe mit Bestsellern, eingefügt an dem Tag, an dem die Vorlage gebaut wurde. Das ist nicht falsch. Bestseller sind aus gutem Grund Bestseller. Aber dieser Block belegt die wertvollste Fläche, die Sie nach der Hauptbotschaft besitzen, er geht in jedem Versand mit raus, und in den meisten Shops hat sich nie jemand gefragt, ob eine andere Produktauswahl an dieser Stelle mehr verkaufen würde.

Der Einsatz wächst mit der Sortimentsgröße. Ein Shop mit 12 Produkten verliert wenig durch ein generisches Raster – die meisten Kunden haben ohnehin schon alles gesehen. Ein Shop mit 800 SKUs sitzt auf einem Zuordnungsproblem: Die vier gezeigten Produkte sind fast nie die vier Produkte, die dieser Empfänger am ehesten kaufen würde.

Warum „Personalisierung einschalten“ allein nicht die Antwort ist

Der übliche Rat lautet, den Block von statischen Bestsellern auf algorithmische Personalisierung umzustellen und die Sache damit für erledigt zu erklären. Manchmal hilft das. Aber Personalisierung ist eine Wette darauf, dass Ihre Daten zu jedem Kontakt gut genug sind, um den Durchschnittsgeschmack der Masse zu schlagen – und diese Wette geht an vorhersehbaren Stellen verloren.

Neue Abonnenten haben keine Browsing- oder Kaufhistorie, also gibt es nichts zu personalisieren. Käufer von Einmal-Produkten (ein Sofa, eine Drohne) erzeugen eine Historie, die auf Dinge verweist, die sie nie wieder kaufen. Und in schmalen Sortimenten sind „ähnliche Produkte“ und „Bestseller“ im Grunde dieselbe Liste. Die Funktion ohne Test einzuschalten heißt, dass Sie womöglich (in Komplexität und manchmal in Tarifstufe) für einen Block bezahlen, der genauso abschneidet wie der kostenlos gebaute – oder schlechter. Deshalb ist das ein Test, kein Schalter.

Wo sich der Umsatzunterschied versteckt

Der Empfehlungsblock verdient auf zwei Wegen Geld: durch direkte Klicks, die in Bestellungen münden, und durch stille Sortimentsentdeckung – der Kunde, der ein Produkt sieht, von dessen Existenz er nichts wusste, und es nächste Woche über die Suche kauft. Nur das Erste lässt sich leicht messen, weshalb die entscheidende Kennzahl der Umsatz pro Empfänger über einen Zeitraum sein muss, nicht die Conversion in derselben Sitzung allein.

Ein anschaulicher Fall: eine Nachkauf-E-Mail, die monatlich an 4.000 Käufer geht. Das Bestseller-Raster erreicht eine Produkt-Klickrate von 1,5 % und bringt sagen wir 800 € pro Monat an zugeordneten Bestellungen. Wenn ein Block mit „passend zum Kauf“ das um ein Drittel steigert, sind das rund 260 € mehr pro Monat, 3.100 € pro Jahr – aus einem Block in einer Automation. Und Sie haben fünf weitere E-Mails mit demselben Block darin. (Beispielzahlen; Ihre Mengen bestimmen den tatsächlichen Einsatz.)

Die drei Tests, die sich lohnen – in dieser Reihenfolge

Test 1: die Quelle. Bestseller vs. personalisiert (auf Basis der Browse-/Kaufhistorie) vs. passend zum letzten Kauf. Das ist der größte Hebel. Führen Sie ihn dort aus, wo Historie existiert – Nachkauf- und Win-Back-Automationen sind ideal, weil jeder Empfänger mindestens einmal gekauft hat. Lassen Sie den Willkommensflow für diesen Test aus; das ist die datenlose Zone.

Test 2: die Position. Derselbe Block, verschoben: unter der Hauptbotschaft vs. weiter oben. In Warenkorb- und Browse-Abandonment-E-Mails sollte das Hauptprodukt der Held bleiben, aber in Newslettern kann die Position der Empfehlungsreihe verändern, wie viele Menschen überhaupt so weit nach unten scrollen.

Test 3: die Anzahl. Vier Produkte vs. acht, oder ein einzelnes hervorgehobenes Produkt vs. eine Reihe. Mehr Produkte heißt mehr Chancen auf einen Treffer – und mehr visuelles Rauschen, das jedes einzelne verwässert. Kleine Sortimente fahren meist besser mit weniger, aber besser gewählten Plätzen.

Führen Sie diese Tests einzeln und nacheinander durch. Quelle und Position in einem Test zu ändern sagt Ihnen über keines von beiden etwas – die Logik ist dieselbe wie überall sonst beim Testen, dargelegt in wie man jeweils nur eine Variable testet.

So richten Sie den Test sauber ein

Wählen Sie eine E-Mail oder eine Automations-Nachricht als Testfeld. Eine Automation mit hohem Volumen schlägt einen monatlichen Newsletter, weil sie täglich Stichprobengröße ansammelt.
Teilen Sie 50/50 beim Versand (Kampagnen) oder am Flow-Schritt (Automationen). Alles außer dem Empfehlungsblock bleibt identisch – gleicher Betreff, gleicher Text, gleiches Layout.
Prüfen Sie zuerst das Fallback-Verhalten. Schicken Sie sich die personalisierte Variante aus einem frischen Testprofil ohne Historie zu. Zeigt sie Bestseller, sehen Ihre datenlosen Kontakte in beiden Zweigen die Kontroll-Erfahrung – schließen Sie dann entweder Kontakte ohne Historie vom Test aus oder akzeptieren Sie, dass der gemessene Unterschied den realen untertreibt.
Legen Sie die Kennzahlen vorab fest: Umsatz pro Empfänger (Urteil), Klickrate des Produktblocks (Diagnose), durchschnittlicher Bestellwert (ein Block mit ähnlichen Produkten kann größere Warenkörbe ziehen als ein Raster aus billigen Bestsellern, oder umgekehrt).
Lassen Sie laufen, bis jeder Zweig ein paar tausend Empfänger hat oder mehrere Wochen Automations-Traffic – was zuerst eintritt –, in vollen Wochenblöcken. Empfehlungseffekte sind meist kleiner als Angebotseffekte, und kleinere Effekte brauchen mehr Daten, bevor man ihnen glaubt – die Logik zur Laufzeit steht in wie lange ein E-Commerce-E-Mail-A/B-Test laufen sollte.

Das Ergebnis lesen, ohne sich selbst zu täuschen

Klicks sind hier die verführerische Kennzahl, und sie führen auf eine bestimmte Weise in die Irre: durch Neuheit. Ein personalisierter Block gewinnt oft schlicht deshalb Klicks, weil er Produkte zeigt, die der Kunde nicht schon vier Mal gesehen hat – und Neugier-Klicks werden nicht alle zu Bestellungen. Wenn die Klicks um 40 % steigen, sich der Umsatz pro Empfänger aber kaum bewegt, ist der neue Block interessanter, nicht profitabler – gut zu wissen, aber kein Grund zu feiern.

Der umgekehrte Fall kommt ebenfalls vor: bescheidener Klickzuwachs, solider Umsatzzuwachs, weil die Klicks, die kommen, aus besser passender Kaufabsicht stammen. Urteilen Sie nach dem Geld. Und wenn die Zweige knapp beieinander landen, behalten Sie den, der einfacher zu pflegen ist – ein statisches Raster, das Sie quartalsweise aktualisieren, ist aufmerksamkeitstechnisch günstiger als ein Algorithmus, den Sie ständig auf Plausibilität prüfen müssen. Mehr zu dieser Entscheidung in den Gewinner eines E-Mail-Tests wählen.

Empfehlungen in Omnisend testen

In meinen eigenen Shops läuft das über Omnisend, das ich nach dem Test beider Tools Klaviyo vorgezogen habe – vor allem wegen des Preises und der Geschwindigkeit, mit der ich Dinge selbst erledige. Relevant hier: Der Produktempfehlungs-Block lässt sich auf Bestseller, Neuheiten oder personalisiert pro Empfänger einstellen, sodass das Bauen der zwei Varianten schlicht heißt, die E-Mail zu duplizieren und die Quelle des Blocks umzuschalten. In Automationen schickt ein A/B-Split-Schritt jedem Zweig seine eigene Version und meldet den Umsatz pro Zweig. Ein ehrlicher Hinweis aus der Praxis: Sehen Sie sich einen personalisierten Block vor dem Start mit mehreren echten Kontaktprofilen an, denn was der Algorithmus für einen Einmalkäufer eines Geschenkartikels auswählt, kann wirklich schräg sein – und das wollen Sie sehen, bevor 2.000 Kunden es tun. Offenlegung: Shopimation verdient eine Affiliate-Provision an Omnisend-Anmeldungen; die Empfehlung war vor der Provision da.

Ihr nächster Schritt

Öffnen Sie die Automation mit der höchsten monatlichen Empfängerzahl und sehen Sie sich ihren Empfehlungsblock an. Ist es dasselbe Bestseller-Raster wie beim Start, haben Sie Ihren Test gefunden: dieses Raster vs. ein Block mit „passend zum Kauf“, beurteilt am Umsatz pro Empfänger über den nächsten Monat. Richten Sie den Split diese Woche ein. Wenn Sie dann einen Gewinner haben, übertragen Sie dieselbe Erkenntnis in Ihre anderen Flows und halten Sie fest, was Sie gelernt haben – wie man Testergebnisse in dauerhafte Automations-Verbesserungen verwandelt zeigt, wie sich ein Test über das ganze System auszahlt.

A/B-testiranje in optimizacija

Kako A/B-testirati priporočila izdelkov

Veröffentlicht am July 18, 2026 von

Če želite A/B-testirati priporočila izdelkov v svojih emailih, naenkrat spremenite eno dimenzijo bloka s priporočili — vir (uspešnice proti prilagojenim proti povezanim z zadnjim nakupom), položaj v emailu ali število prikazanih izdelkov — in rezultat ocenite po prihodku na prejemnika, ne po klikih. Test izvajajte znotraj enega določenega emaila ali avtomatizacije, ne “čez vse emaile”, in preverite eno stvar, preden začnete: ali imajo kontakti v vašem testu dovolj zgodovine, da bi se prilagojen blok sploh razlikoval od splošnega. Pri povsem novih naročnikih večina priporočilnih algoritmov tiho preklopi na priljubljene izdelke, ko nima podatkov — kar lahko pomeni, da obe veji prikazujeta skoraj enako mrežo in da vaš “test” primerja stvar samo s sabo.

Opomba o obsegu: tukaj gre za testiranje bloka s priporočili — kateri izdelki se pojavijo in kje. Testiranje, ali naj bodo vaši emaili oblikovani ali preprosti oziroma kako dolgi naj bodo, so ločena vprašanja s svojimi vodniki; najbližji sosed je A/B-testiranje oblikovanja emaila brez zameglitve rezultatov.

Mreža uspešnic na samodejnem pilotu

Skoraj vsak email trgovine se konča enako: vrsta štirih uspešnic, vstavljena na dan, ko je bila zgrajena predloga. Ni napačno. Uspešnice so uspešnice z razlogom. A ta blok zaseda najbolj dragoceno nepremičnino, ki jo imate za glavnim sporočilom, gre ven v vsakem pošiljanju in v večini trgovin se nihče nikoli ni vprašal, ali bi drugačen nabor izdelkov v tem prostoru prodal več.

Vložek narašča z velikostjo kataloga. Trgovina z 12 izdelki s splošno mrežo izgubi malo — večina kupcev je tako ali tako videla vse. Trgovina z 800 SKU-ji pa sedi na težavi ujemanja: štirje prikazani izdelki so skoraj nikoli tisti štirje, ki jih ta prejemnik najverjetneje kupi.

Zakaj “vklopi prilagajanje” sam po sebi ni odgovor

Običajen nasvet je, da blok preklopite s statičnih uspešnic na algoritemsko prilagajanje in zaključite. Včasih to pomaga. A prilagajanje je stava, da so vaši podatki o vsakem kontaktu dovolj dobri, da premagajo povprečen okus množice, in ta stava propade na predvidljivih mestih.

Novi naročniki nimajo zgodovine brskanja ali nakupov, torej ni ničesar, iz česar bi prilagajali. Kupci izdelkov “kupiš enkrat in nikoli več” (kavč, dron) ustvarijo zgodovino, ki kaže na stvari, ki jih ne bodo nikoli več kupili. In v ozkih katalogih sta “povezani izdelki” in “uspešnice” v bistvu isti seznam. Vklop funkcije brez testiranja pomeni, da morda plačujete (v zapletenosti in včasih v višji naročnini) za blok, ki deluje enako kot tisti, ki ga zgradite zastonj — ali slabše. Zato je to test, ne stikalo.

Kje se skriva razlika v prihodku

Blok s priporočili služi denar na dva načina: z neposrednimi kliki, ki se končajo z naročili, in s tihim odkrivanjem kataloga — kupec, ki vidi izdelek, za katerega ni vedel, da obstaja, in ga naslednji teden kupi prek iskanja. Le prvo je enostavno meriti, zato mora biti merilo razsodbe prihodek na prejemnika čez neko obdobje, ne le pretvorba v isti seji.

Ilustrativni primer: poprodajni email, ki gre 4.000 kupcem na mesec. Mreža uspešnic dobi 1,5-odstotno stopnjo klikov na izdelek in ustvari, recimo, 800 € pripisanih naročil na mesec. Če bi blok “povezano s tem, kar ste kupili” to dvignil za tretjino, je to približno 260 € več na mesec, 3.100 € na leto, iz enega bloka v eni avtomatizaciji — in imate še pet drugih emailov z istim blokom. (Ilustrativne številke; vaši obsegi odločajo o pravem vložku.)

Trije testi, vredni izvedbe, po vrsti

Test 1: vir. Uspešnice proti prilagojenim (na podlagi zgodovine brskanja/nakupov) proti povezanim z zadnjim nakupom. To je največja ročica. Izvajajte ga tam, kjer zgodovina obstaja — poprodajne avtomatizacije in avtomatizacije za ponovno pridobivanje so idealne, ker je vsak prejemnik vsaj enkrat kupil. Pri tem testu preskočite pozdravno avtomatizacijo; to je območje brez podatkov.

Test 2: položaj. Isti blok, premaknjen: pod glavnim sporočilom proti blizu vrha. V emailih za košarico in opuščeno brskanje naj glavni izdelek ostane junak, v novičnikih pa lahko položaj vrste s priporočili spremeni, koliko ljudi sploh zdrsi do nje.

Test 3: število. Štirje izdelki proti osmim ali en izpostavljen izdelek proti vrsti. Več izdelkov pomeni več priložnosti za ujemanje — in več vizualnega hrupa, ki vsakega razredči. Manjši katalogi običajno bolje delujejo z manj, a bolje izbranimi prostori.

Te izvajajte enega naenkrat, zaporedno. Sprememba vira in položaja v enem testu vam ne pove ničesar o nobenem — razmislek je enak kot povsod drugod pri testiranju, opisan v kako testirati eno spremenljivko naenkrat.

Kako test čisto nastaviti

Izberite en email ali eno sporočilo avtomatizacije kot testno okolje. Avtomatizacija z velikim obsegom premaga mesečni novičnik, ker vzorec nabira vsak dan.
Razcepite 50/50 ob pošiljanju (kampanje) ali ob koraku avtomatizacije (avtomatizacije). Vse razen bloka s priporočili ostane enako — enaka zadeva, enako besedilo, enaka postavitev.
Najprej preverite vedenje ob pomanjkanju podatkov. Pošljite si prilagojeno različico iz svežega testnega profila brez zgodovine. Če prikaže uspešnice, bodo vaši kontakti brez podatkov v obeh vejah videli kontrolno izkušnjo — bodisi kontakte brez zgodovine izključite iz testa bodisi sprejmite, da bo izmerjena razlika podcenila pravo.
Merila določite vnaprej: prihodek na prejemnika (razsodba), stopnja klikov na blok izdelkov (diagnoza), povprečna vrednost naročila (blok povezanih izdelkov lahko privleče večje košarice kot mreža poceni uspešnic ali obratno).
Testirajte, dokler vsaka veja ne zbere nekaj tisoč prejemnikov ali več tednov prometa avtomatizacije, kar pride prej, v celotedenskih blokih. Učinki priporočil so običajno manjši od učinkov ponudb, manjši učinki pa potrebujejo več podatkov, preden jim je verjeti — logika trajanja je v kako dolgo naj traja A/B-test emailov v e-trgovini.

Kako brati rezultat, ne da bi zavajali samega sebe

Kliki so tukaj zapeljivo merilo in zavajajo na specifičen način: novost. Prilagojen blok pogosto zmaga po klikih preprosto zato, ker prikazuje izdelke, ki jih kupec ni že štirikrat videl, in radovedni kliki se ne spremenijo vsi v naročila. Če kliki poskočijo za 40 %, prihodek na prejemnika pa se komaj premakne, je nov blok bolj zanimiv, ne bolj dobičkonosen — vredno vedeti, ne vredno slaviti.

Zgodi se tudi obratno: skromen dvig klikov, trden dvig prihodka, ker so kliki, ki pridejo, iz bolje ujete namere. Razsodite po denarju. In če veji končata blizu, obdržite tisto, ki jo je lažje vzdrževati — statična mreža, ki jo posodobite četrtletno, je z vidika pozornosti cenejša kot algoritem, ki ga morate preverjati za smiselnost. Več o tej presoji v kako izbrati zmagovalca email testa.

Testiranje priporočil v Omnisendu

V mojih trgovinah to teče prek Omnisenda, ki sem ga izbral pred Klaviyom, potem ko sem preizkusil oba — večinoma zaradi cene in hitrosti, s katero stvari opravim sam. Pomembno tukaj: blok priporočilnika lahko nastavite na uspešnice, najnovejše ali prilagojeno na prejemnika, tako da je gradnja obeh različic stvar podvojitve emaila in preklopa vira bloka. V avtomatizacijah korak A/B-razcepa vsaki veji pošlje svojo različico in poroča prihodek po vejah. Iskren pridržek iz uporabe: prilagojen blok si oglejte s predogledom pri več resničnih profilih kontaktov pred zagonom, saj je to, kar algoritem izbere za enkratnega kupca darilnega izdelka, lahko resnično nenavadno, in to želite videti, preden vidi 2.000 kupcev. Razkritje: Shopimation prejme partnersko provizijo za prijave v Omnisend; priporočilo je starejše od provizije.

Vaš naslednji korak

Odprite avtomatizacijo z najvišjim mesečnim številom prejemnikov in poglejte njen blok s priporočili. Če je to ista mreža uspešnic, s katero se je zagnala, ste našli svoj test: ta mreža proti bloku “povezano z nakupom”, ocenjeno po prihodku na prejemnika v naslednjem mesecu. Razcep nastavite ta teden. Ko potem imate zmagovalca, isto ugotovitev prenesite v svoje druge avtomatizacije in zapišite, kaj ste se naučili — kako spremeniti rezultate testov v trajne izboljšave avtomatizacij pokaže, kako en test poplača čez celoten sistem.

A/B Testing and Optimization

How to A/B Test Product Recommendations

Veröffentlicht am July 17, 2026 von

To A/B test product recommendations in your emails, change one dimension of the recommendation block at a time — the source (bestsellers vs. personalized vs. related-to-last-purchase), the position in the email, or the number of products shown — and judge the result on revenue per recipient, not clicks. Run the test inside one specific email or automation, not “across all emails,” and check one thing before you start: whether the contacts in your test actually have enough history for a personalized block to differ from a generic one. For brand-new subscribers, most recommendation engines quietly fall back to popular products when they have no data — which can mean both of your branches are showing nearly the same grid, and your “test” is comparing a thing to itself.

Scope note: this is about testing the recommendation block — which products appear and where. Testing whether your emails should be designed or plain, or how long they should be, are separate questions with their own guides; the closest neighbor is A/B testing email design without confusing the results.

The bestseller grid on autopilot

Almost every store email ends the same way: a four-product row of bestsellers, inserted on the day the template was built. It’s not wrong. Bestsellers are bestsellers for a reason. But that block occupies the most valuable real estate you own after the main message, it goes out in every send, and in most stores nobody has ever asked whether a different set of products in that slot would sell more.

The stakes scale with catalog size. A store with 12 products loses little to a generic grid — most customers have seen everything anyway. A store with 800 SKUs is sitting on a matching problem: the four products shown are almost never the four products this recipient is most likely to buy.

Why “turn on personalization” isn’t the answer by itself

The usual advice is to switch the block from static bestsellers to algorithmic personalization and call it done. Sometimes that helps. But personalization is a bet that your data on each contact is good enough to beat the crowd’s average taste, and that bet fails in predictable places.

New subscribers have no browsing or purchase history, so there’s nothing to personalize from. Buyers of one-and-done products (a sofa, a drone) generate history that points at things they’ll never buy again. And in narrow catalogs, “related products” and “bestsellers” are basically the same list. Turning on the feature without testing it means you might be paying (in complexity, and sometimes in plan tier) for a block that performs the same as the free-to-build one — or worse. That’s why this is a test, not a toggle.

Where the revenue difference hides

The recommendation block earns money two ways: direct clicks that end in orders, and quiet catalog discovery — the customer who sees a product they didn’t know existed and buys it next week from a search. Only the first is easy to measure, which is why the verdict metric has to be revenue per recipient over a window, not same-session conversion alone.

An illustrative case: a post-purchase email going to 4,000 buyers a month. The bestseller grid gets a 1.5% product-click rate and produces, say, €800 a month in attributed orders. If a related-to-what-you-bought block lifted that by a third, that’s roughly €260 more a month, €3,100 a year, from one block in one automation — and you have five other emails with the same block in them. (Illustrative figures; your volumes decide the real stakes.)

The three tests worth running, in order

Test 1: the source. Bestsellers vs. personalized (based on browse/purchase history) vs. related-to-last-purchase. This is the biggest lever. Run it where history exists — post-purchase and win-back automations are ideal, because every recipient has bought at least once. Skip the welcome flow for this test; that’s the no-data zone.

Test 2: the position. Same block, moved: below the main message vs. near the top. In cart and browse-abandonment emails the main product should stay the hero, but in newsletters the recommendation row’s position can change how many people ever scroll to it.

Test 3: the count. Four products vs. eight, or a single featured product vs. a row. More products means more chances to match — and more visual noise diluting each one. Small catalogs usually do better with fewer, better-chosen slots.

Run these one at a time, sequentially. Changing source and position in one test tells you nothing about either — the reasoning is the same as everywhere else in testing, laid out in how to test one variable at a time.

How to set the test up cleanly

Pick one email or one automation message as the test bed. A high-volume automation beats a monthly newsletter, because it accumulates sample size daily.
Split 50/50 at send (campaigns) or at the flow step (automations). Everything except the recommendation block stays identical — same subject, same copy, same layout.
Check the fallback behavior first. Send yourself the personalized variant from a fresh test profile with no history. If it shows bestsellers, your no-data contacts will see the control experience in both branches — either exclude contacts without history from the test, or accept that the measured difference will understate the real one.
Decide the metrics up front: revenue per recipient (verdict), product-block click rate (diagnosis), average order value (a related-products block can pull bigger baskets than a cheap-bestseller grid, or the reverse).
Run until each branch has a few thousand recipients or several weeks of automation traffic, whichever comes first, in full-week blocks. Recommendation effects are usually smaller than offer effects, and smaller effects need more data before they’re believable — the duration logic is in how long an ecommerce email A/B test should run.

Reading the result without fooling yourself

Clicks are the seductive metric here, and they mislead in a specific way: novelty. A personalized block often wins clicks simply because it shows products the customer hasn’t already seen four times, and curiosity clicks don’t all become orders. If clicks jump 40% and revenue per recipient barely moves, the new block is more interesting, not more profitable — worth knowing, not worth celebrating.

The reverse also happens: modest click lift, solid revenue lift, because the clicks that do come are from better-matched intent. Judge on the money. And if the branches finish close, keep whichever is simpler to maintain — a static grid you update quarterly is cheaper attention-wise than an algorithm you have to sanity-check. More on making that call in choosing a winning email test.

Testing recommendations in Omnisend

In my own stores this runs through Omnisend, which I picked over Klaviyo after testing both — mostly for price and the speed of doing things myself. Relevant here: the product recommender block can be set to bestsellers, newest, or personalized per recipient, so building the two variants is a matter of duplicating the email and switching the block’s source. In automations, an A/B split step sends each branch its own version and reports revenue per branch. One honest caveat from use: preview a personalized block with several real contact profiles before launch, because what the algorithm picks for a one-time buyer of a gift item can be genuinely odd, and you want to see that before 2,000 customers do. Disclosure: Shopimation earns an affiliate commission on Omnisend signups; the recommendation predates the commission.

Your next step

Open the automation with your highest monthly recipient count and look at its recommendation block. If it’s the same bestseller grid it launched with, you’ve found your test: that grid vs. a related-to-purchase block, judged on revenue per recipient over the next month. Set the split up this week. Then, when you have a winner, roll the same finding into your other flows and write down what you learned — turning test results into permanent automation improvements shows how to make one test pay off across the whole system.