Večina A/B-testov spletnih trgovin zavaja zaradi petih ponavljajočih se napak: vzorci so premajhni, da bi ločili signal od sreče, testi so ustavljeni v trenutku, ko najljubša različica stopi v prednost, zmagovalci so sojeni po odprtjih, medtem ko promet pripoveduje drugačno zgodbo, več sprememb je zvezanih v en test, tako da nihče ne ve, kaj je povzročilo rezultat, in testi tečejo med nenavadnimi tedni, nato pa se posplošijo na normalne. Nobena od teh ne ustvari sporočila o napaki. Nadzorna plošča tako ali drugače poroča o čistem zmagovalcu, kar je ravno nevarnost — zavajajoč test se ne zdi zavajajoč. Zdi se kot znanje. Ta članek se sprehodi skozi vsak način odpovedi, kako ga opaziti v svojih preteklih testih in poceni rešitev za vsakega.

Zakaj je zavajajoč test slabši od nobenega testa

Trgovec, ki nikoli ne testira, ima še vedno privzete nastavitve, instinkt in zdravo pamet. Trgovec s predalom, polnim napačnih rezultatov testov, ima samozavest — usmerjeno v napačno smer.

To je pravi strošek. Napačni sklepi ne sedijo tiho v preglednici; povišajo se v politiko. “Emojiji pri našem občinstvu delujejo.” “Naša baza kupuje ob torkih.” “Ponudba 15 % premaga 10 %.” Vsaka napačna lekcija oblikuje na desetine prihodnjih pošiljk, in ker je prišla oblečena v kostum podatkov, je nihče ne pregleda znova. V svojih trgovinah sem se moral odučiti sklepov, ki jih je en sam srečen teden postavil za dejstvo — in odučenje je počasnejše od učenja, ker moraš najprej opaziti, da je prepričanje nosilno.

Bistvo tega članka torej ni pesimizem glede testiranja. Teste je vredno izvajati. A pošten “ne vemo” vsakič premaga samozavesten napačen odgovor, in večina spodnjih rešitev stane disciplino, ne denarja.

Odpoved 1: vzorec je bil premajhen, da bi kaj vedeli

Najpogostejša in najmanj vidna, ker jo odstotki skrivajo. Nadzorna plošča, ki kaže 2,3 % proti 1,7 % pretvorbe, je videti kot razsodba. Če te stopnje počivajo na 14 naročilih proti 10, je razsodba prišla iz štirih nakupov — štirih ljudi, katerih plača, razpoloženje ali obstoječi nakupovalni načrti niso imeli nič z vašim emailom.

Majhni vzorci ne dajejo očitno pokvarjenih rezultatov. Dajejo verjetne, naključno dodeljene. Prav to jih naredi nevarne.

Hitra preverba: vsako preteklo “zmago” pretvorite iz stopnje nazaj v število. Vsak sklep, ki počiva na manj kot nekaj deset pretvorbah na različico, si zasluži degradacijo iz dejstva v slutnjo — in karkoli, na kar bi ukrepali, naj bo v stotinah. (Usmerjevalni pragovi, ne statistični zakon.) Rešitev: poznajte svojo zmogljivost, preden zasnujete test — kako velika mora biti email baza za A/B-testiranje — in če vaša baza testa ne more napajati, spremenite test, ne merila.

Odpoved 2: test je bil ustavljen, ko je bil rezultat videti dober

Opazujte katerikoli A/B-test uro za uro in prednost se na poti do resnice večkrat menja. To je normalen šum. Zdaj dodajte človeka, ki vsak dan preverja nadzorno ploščo, upa, da zmaga različica B, in ima moč, da test poljubno ustavi.

Ustavil bo na vzponu. Vsi to počnejo. Ne zdi se kot goljufija — zdi se, kot da se je test končal. A dovoliti trenutnemu rezultatu, da odloči, kdaj se igra konča, pomeni, da šum izbira vaše zmagovalce, in nabrali boste vtisljive rezultate, ki ob ponovnem testu izpuhtijo.

Rešitev stane en stavek, napisan pred zagonom: “Ta test se konča na [datum] ali pri [X] pretvorbah na različico.” Nato odloči pogoj za konec, ne semafor. Celotno razmišljanje o trajanju, vključno z razliko med testi kampanj in avtomatizacij, je v kako dolgo naj traja A/B-test emaila spletne trgovine.

Odpoved 3: zmagovalec je bil okronan po napačni metriki

Odprtja so najglasnejša številka v vsaki email nadzorni plošči in najmanj povezana z denarjem. Naslovna vrstica z okusom po klikvabi lahko odločilno zmaga pri odprtjih, medtem ko izgublja promet — pritegnila je radovednost, ne nakupovalne namere. Medtem je preprosta različica tiho zaslužila več.

Tu je še druga plast: same stopnje odprtja so nezanesljive od takrat, ko je Applova zaščita zasebnosti pošte (Mail Privacy Protection) leta 2021 začela predhodno prenašati emaile in beležiti “odprtja”, ki jih ni izvedel noben človek. Metrika, ki je hkrati plitka in popačena, ne bi smela izbirati zmagovalcev pri ničemer, kar je pomembno.

In testi popustov imajo svojo različico pasti: različica z 20 % popusta “zmaga” pri naročilih, medtem ko izgublja pri dobičku, ker nihče ni pomnožil z maržo.

Rešitev: odločilno metriko razglasite pred zagonom in naj bo tako globoka v lijaku, kot dovoljuje vaš obseg — kliki pred odprtji, promet na prejemnika pred kliki, dobiček pred prometom za vsak test ponudbe. Celotna metoda presoje je v kako izbrati zmagovalno različico email testa.

Odpoved 4: test je spremenil tri stvari naenkrat

Nova naslovna vrstica, prepisano telo, drugačen popust — odposlano kot “različica B”. Različica B zmaga. In kaj zdaj v resnici veste? Nekaj v svežnju je delovalo, morda kljub drugima dvema spremembama. Lekcije ne morete prevaljati naprej, ker lekcije ni, le sveženj.

Zvezani testi se zdijo učinkoviti. So ravno nasprotno: porabili ste promet celega testa in odšli, ne da bi rezultat lahko kjerkoli znova uporabili. Disciplina osamitve ene same spremembe — in ozka izjema za testiranje celih konceptov drug proti drugemu — je obravnavana v kako testirati eno spremenljivko naenkrat.

Odpoved 5: test je tekel v tednu, ki ni bil normalen

Test je vzorec trenutka in se posploši le, če trenutek spominja na prihodnost, na katero ga boste uporabili. Testi, ki tečejo med črnim petkom, razprodajo po vsej strani, virusnim skokom prometa ali vrhuncem sezone, odgovarjajo na vprašanje “kaj deluje med nenavadnim tednom” — vredno vedeti, a redno napačno shranjeno kot “kaj deluje”.

Klasična različica: različica z veliko nujnosti zmaga med resničnim rokom razprodaje, se namesti v vedno zeleni tok, kjer ni roka, in nedoločen čas dosega slabše rezultate, medtem ko jo rezultat testa ščiti pred sumom.

Rešitev: kontekst zabeležite v dnevnik testa, karkoli je namenjeno celoletnim privzetim nastavitvam, izvajajte med običajnimi tedni, in pokrijte cele tedne, da sta zastopana tako vedenje med tednom kot čez vikend.

Petminutna revizija vašega obstoječega “znanja”

Vzemite svojih zadnjih pet sklepov testov in vsakega ocenite proti štirim vprašanjem:

1. Koliko pretvorb — kot število — je imela vsaka različica?
2. Sta bila končni datum ali obseg določena, preden se je test začel?
3. Je bila odločilna metrika razglašena vnaprej in je bila globlja od odprtij?
4. Je test v svojem obdobju prekrilo kaj nenavadnega?

Po mojih izkušnjah večina trgovcev ugotovi, da dve ali tri od njihovih petih “dejstev” ne prestanejo revizije. Ta degradirajte v slutnje. Nič ni izgubljeno — slutnja je še vedno lepa izhodiščna točka za pravilno izvedeni revanš, revanš pa je najcenejša poštena preverba, kar je je: pravi zmagovalci zmagajo dvakrat.

Prav tako je v redu — pogosto pravilno — skleniti, da danega testa sploh ne bi smeli ponoviti, ker trgovini manjka obsega ali pa vprašanje ni vredno prometa. Ta presoja ima svoj vodnik: kdaj emaila spletne trgovine ne A/B-testirati.

Kako v praksi izgleda vredno zaupanja testiranje

Ne diploma iz statistike. Kratek predpoletni obred, napisan tam, kamor beležite eksperimente:

• Ena sprememba na test (ali en jasno uokvirjeni koncept proti konceptu).
• Odločilna metrika poimenovana vnaprej, tako globoko v lijaku, kot dovoljuje obseg.
• Pogoj za konec — datum ali število pretvorb — določen pred zagonom.
• Angažiran segment občinstva, običajen koledarski teden, pokriti cele tedne.
• Števila zabeležena poleg stopenj, ko se rezultat prebere.
• Velike odločitve enkrat ponovno preizkušene, preden postanejo politika.

Pet vrstic discipline. Iz istega prometa in istega orodja naredijo iz generatorja naključnih prepričanj dejanski sistem učenja.

Kje se vključi Omnisend

Platforma ne more preskrbeti discipline, se pa neha boriti proti vam. V Omnisendu — ki ga uporabljam v svojih trgovinah po tem, ko sem ga primerjal s Klaviyem — poročila kampanj razčlenijo klike, naročila in promet na različico, tako da presoja globlje od odprtij ne zahteva dodatnega dela, razdelitve avtomatizacij pa trgovinam z malo prometa omogočajo, da tedne dolgo nabirajo prave vzorce, namesto da bi vsak test silile v posamezno pošiljko. Ena nastavitev, ki jo je treba obravnavati s sumom, je samodejna izbira zmagovalca pri kampanjah: odloči na podlagi zgodnjega angažmaja znotraj kratkega okna, kar je ravno avtomatizirani odpovedi 2 in 3. V redu za rutinske naslovne vrstice pri velikih pošiljkah; izklopite jo za karkoli, kar vključuje denar.

Vaš naslednji korak

Zaženite zgornjo revizijo petih vprašanj na svojih najnovejših testih — traja pet minut in se ponavadi takoj izplača z upokojitvijo vsaj ene napačne lekcije, preden naredi več škode. Nato svojemu naslednjemu testu dajte enostavčni predpoletni obred, ki si ga zasluži, in če gradite svoje testne navade od začetka, začnite zaporedje pri kaj naj spletna trgovina A/B-testira najprej.