Nujnost lahko testirate pošteno tako, da se sklicujete izključno na roke in omejitve, ki so resnične: razprodaja, ki se zares konča v nedeljo, zaloga, ki je dejansko nizka, rok za oddajo pošiljke, ki resnično določa dostavo pred prazniki. Test nato primerja navedbo prave omejitve proti ne navedbi — isti email, ista ponudba, ena različica poimenuje […]
Testiranje preprostih tekstovnih emailov proti oblikovanim je test formata, ne običajen A/B-test — različici se hkrati razlikujeta v ducatih stvari, zato boste izvedeli, kateri format zmaga za to vrsto emaila, ne pa zakaj. To je v redu, dokler s tem ravnate v skladu s tem: test izvedite ločeno za vsako vrsto emaila (sporočilo za ponovno […]
Kratke proti dolgim testirajte tako, da najprej odločite, kje naj se zgodi odločitev za nakup. Kratek email potisne odločitev na vaše spletno mesto: ena ideja, ena povezava, minimalno branja. Dolg email skuša skleniti prodajo kar v nabiralniku: koristi, ugovori, družbeni dokaz, nato povezava. Obe različici istega emaila zgradite okoli te razlike, občinstvo razdelite 50/50 in […]
Če želite pravilno testirati pozive k dejanju, ob vsakem testu spremenite en sam element — število gumbov, besedilo na gumbu ali njegovo umestitev — enakomerno razdelite občinstvo in rezultat presojajte po metriki, na katero sprememba dejansko vpliva. Teste umestitve in vidnosti lahko presojate po klikih. Testov besedila ne, saj bo bolj ohlapen gumb (“Poglejte novosti”) […]
Veje avtomatizacije A/B-testiraš tako, da znotraj toka na točki, ki jo želiš testirati, dodaš naključno delitev, vsaki veji pošlješ drugačno različico koraka — drug zamik, sporočilo, ponudbo ali kanal — in pustiš tok teči nedotaknjen, dokler vsaka veja ne nabere dovolj prejemnikov za primerjavo po prihodku na prejemnika. Mehanika vzame deset minut. Del, ki loči […]
Popuste testiraš brez uničevanja marže tako, da izpostavljenost eksperimenta omejiš, še preden se začne: popust zaženi na majhni naključni rezini enega toka namesto na celotnem seznamu, testiraj manjše popuste nasproti svojemu trenutnemu namesto večjih, postavi necenovne spodbude (brezplačna dostava, darilo, zgodnji dostop) nasproti znižanjem cen, uporabljaj enkratne kode, da ponudba ne more uiti, in vsak […]
Email proti SMS-u kot nadaljnje sporočilo testiraš tako, da stike, ki so privolili v oba kanala, naključno razdeliš v dve veji iste avtomatizacije, skozi vsak kanal z enakim zamikom pošlješ sporočilo z enakim namenom in rezultat sodiš po dobičku na prejemnika — nikoli po stopnji klikov, ker SMS nosi strošek na sporočilo, email pa komajda. […]
Testiranje ene spremenljivke naenkrat pomeni, da med različico A in različico B spremeniš natanko en element — zadevo sporočila, ali popust, ali glavno sliko, nikoli dveh hkrati — vse ostalo pa pustiš popolnoma enako in prepustiš enemu vnaprej izbranemu merilu, da razglasi zmagovalca. To je celotno pravilo. Zveni skoraj preveč preprosto, da bi zaslužilo članek, […]
Večina A/B-testov spletnih trgovin zavaja zaradi petih ponavljajočih se napak: vzorci so premajhni, da bi ločili signal od sreče, testi so ustavljeni v trenutku, ko najljubša različica stopi v prednost, zmagovalci so sojeni po odprtjih, medtem ko promet pripoveduje drugačno zgodbo, več sprememb je zvezanih v en test, tako da nihče ne ve, kaj je […]
Izbira zmagovalca email testa se zvede na tri odločitve, vse sprejete v pravem vrstnem redu: odločilno metriko izberite, preden se test začne (pri večini testov spletnih trgovin je to promet ali naročila na prejemnika — ne odprtja), zahtevajte, da je prednost hkrati smiselna v denarju in stabilna do konca testa, in vse, kar je tesno, […]