Pri testu kampanje počakajte vsaj 24 ur, preden sodite o odprtjih in klikih, in tri do pet dni, preden sodite o naročilih — v večini trgovin nakupi kapljajo še dneve po pošiljanju. Pri testu znotraj avtomatizacije naj test teče, dokler skozi vsako različico ne pride nekaj sto ljudi, kar v tipični trgovini pomeni dva do […]

Uradne meje ni, a tu je pošteno, usmerjevalno napotilo: pod približno 1.000 angažiranimi prejemniki na pošiljko lahko A/B-testi kampanj zaznajo le velike, očitne razlike — močno naslovno vrstico proti šibki, popust proti brez popusta. Za karkoli subtilnega ali karkoli, kar sodite po naročilih namesto po odprtjih, želite nekaj sto pretvorb na različico, in za večino […]

Testi oblikovanja zameglijo svoje rezultate na dva običajna načina: različici se razlikujeta v več kot eni stvari, tako da nihče ne ve, kaj je povzročilo spremembo, in izid se ocenjuje po merilu, na katero oblikovanje ne more vplivati. Za čisto testiranje oblikovanja emaila spremenite točno en strukturni element na test — postavitev, težo slik, obliko […]

Če želite A/B-testirati ponudbe v pozdravni avtomatizaciji, nove naročnike na začetku avtomatizacije razcepite 50/50, vsaki veji dajte drugačno spodbudo — recimo 10 % popusta proti brezplačni dostavi ali popust proti nobenemu popustu — in rezultat ocenite po dobičku na naročnika v prvih 30 dneh, ne po tem, katera koda za popust je bila večkrat unovčena. […]

Če želite A/B-testirati priporočila izdelkov v svojih emailih, naenkrat spremenite eno dimenzijo bloka s priporočili — vir (uspešnice proti prilagojenim proti povezanim z zadnjim nakupom), položaj v emailu ali število prikazanih izdelkov — in rezultat ocenite po prihodku na prejemnika, ne po klikih. Test izvajajte znotraj enega določenega emaila ali avtomatizacije, ne “čez vse emaile”, […]

Če želite testirati časovnico emailov za zapuščeno košarico, avtomatizacijo razcepite takoj ob sprožilcu: polovica tistih, ki zapustijo košarico, dobi vaš trenutni zamik do prvega emaila, druga polovica pa občutno drugačnega — vse ostalo pa naj v obeh vejah ostane enako: zadeva, vsebina, ponudba. Zmagovalca ocenite po številu naročil na prejemnika, ne po odprtjih. Začnite z […]

Za A/B-test časa pošiljanja razdelite eno kampanjo na dve naključni polovici, vsaki polovici pošljite enak email ob različnem času in to isto primerjavo ponovite skozi štiri do šest kampanj, preden odgovoru verjamete. Rezultat enega samega teka je tu skoraj brez vrednosti, ker so učinki časa pošiljanja majhni, tedenski šum pa velik. Česar ne smete storiti, […]

Avtomatizacijo razdelite 50/50 na njenem vstopu, med vejama ne spremenite ničesar razen ponudbe, vsaki veji dajte svojo kodo za popust, da se naročila čisto pripišejo, in zmagovalca sodite po dobičku na prejemnika — nikoli po stopnji konverzije. To zadnje pravilo je bistvo vse igre. Večji popust bo skoraj vsakič premagal manjšega po konverziji; vprašanje, na […]

Pravilen test zadeve primerja dva resnično različna pristopa — ne dve ubeseditvi iste ideje — na naključni delitvi 50/50, teče vsaj 24 ur, preden karkoli sodimo, in se ob tesnih odpiranjih razsodi po klikih ali naročilih. Večina »testov« zadev pade na vseh treh pogojih: soočijo skoraj enaki vrstici, razglasijo zmagovalca po dveh urah in zaupajo […]