A/B-testiranje in optimizacija

Kako dokumentirati marketinške poskuse spletne trgovine

Posted on July 18, 2026 by

Vsak poskus zapišite v en sam skupni dnevnik — navadna preglednica povsem zadostuje — pri čemer ima vsak test svojo vrstico z datumom, hipotezo, natančnim opisom tega, kaj se je spremenilo, kdo je prejel sporočilo, koliko časa je test tekel, številčnim rezultatom in odločitvijo, ki ste jo na podlagi tega sprejeli. Prav zadnji stolpec je tisti, ki ga večina trgovcev preskoči, in ravno ta šteje največ: rezultat, na katerega nihče ni reagiral, je zgolj zanimivost. Dnevnik naj bo zunaj vaše e-poštne platforme, saj so poročila v platformah narejena za izvajanje testov, ne za to, da si jih čez leto dni še vedno zapomnite. Predvidite deset minut na test: pet pred zagonom in pet po odločitvi. Ta članek pokriva, kaj beležiti, kdaj to beležiti in kako poimenovati stvari, da bo dnevnik smiseln tudi naslednjo pomlad.

Težava: znova in znova plačujete za odgovore, ki ste jih že kupili

Nekje v arhivu vaše e-poštne platforme verjetno tiči A/B-test, ki je že odgovoril na vprašanje, ki ga nameravate spet testirati. Izvedli ste ga pred osemnajstimi meseci. Nihče ni zapisal, kaj se je zgodilo, oseba, ki ga je pripravila, je odšla ali pozabila, poročilo pa je zakopano pod sto kampanjami z imeni, kot je “marčevska akcija v2 KONČNA”.

Zato ga testirate znova. Šest tednov prometa, razpolovljenega na pol, pri čemer polovica namerno prejema slabšo različico — samo da bi znova odkrili nekaj, kar ste že vedeli.

To je tihi strošek nedokumentiranih poskusov. Vsak test porabi pravi denar: izgubljena naročila slabše različice, marža, ki jo žrtvujete v roki s popustom, in koledarski tedni, ki jih test zasede. Test izvedete enkrat in ta strošek vam kupi znanje. Izvedete ga drugič, ker se nihče ne spomni prvega, in ta drugi nakup vam ne prinese ničesar.

Zakaj poročila vaše e-poštne platforme niso evidenca

Očiten ugovor: “rezultati so vsi v orodju — zakaj bi sploh kaj zapisoval?”

Trije razlogi, iz izkušenj in ne iz teorije.

Prvič, poročilo vam pokaže številke brez konteksta. Povedalo vam bo, da je različica B dosegla 4,1-odstotni delež klikov, ne pa tudi, da se je test prekrival z vašo akcijo za materinski dan, da je tekmec tisti teden izvajal ogromno akcijo ali zakaj ste to sploh testirali. Čez šest mesecev številka preživi, pomen pa izgine. In prav kontekst odloča, ali je bil rezultat vreden zaupanja — zakaj večina A/B-testov spletnih trgovin daje zavajajoče rezultate je v veliki meri seznam prav takih težav s kontekstom.

Drugič, imena različic zgnijejo. “Različica A proti različici B” prihodnjemu vam ne pove nič. Če ne odprete vsake različice posebej in je ne preberete — ob predpostavki, da vam platforma to sploh še omogoča — je test neberljiv.

Tretjič, testi se ne selijo. Če boste kdaj zamenjali e-poštno platformo, kot to počne veliko rastočih trgovin, boste svoje stike in predloge običajno lahko izvozili. Zgodovine vaših poskusov pa po mojih izkušnjah dejansko ne morete — ta živi v zaslonih s poročili, ne v izvozljivih podatkih, ki bi jih realno prenesli s seboj. Vsak nedokumentiran test umre skupaj s starim računom.

Koliko stane en pozabljen test, v številkah

Ilustrativen primer z izmišljenimi, a realnimi številkami. Trgovina ustvari 50.000 € na mesec, njen tok za opuščeno košarico pa od tega prinese 4.000 €. Lani je testirala 10- proti 15-odstotnemu popustu na košarico in ugotovila, da dodatnih 5 odstotnih točk skorajda ni prineslo ničesar. Nihče tega ni zapisal.

Letos nekdo test ponovi. Šest tednov, polovica občinstva košarice na 15 %. Če tok tako in tako pretvarja približno enako — kar je pokazal pozabljeni test —, potem je teh šest tednov razdalilo dodatnih 5 % popusta na približno 3.000 € naročil brez kakršne koli nove informacije. Recimo temu 150 € marže, plus šest tednov vašega testnega koledarja, ki bi lahko odgovorili na kakšno svežo dilemo. Majhna trgovina, majhen test, pa vseeno zaboli. Povečajte prihodek in to preneha biti majhno.

Večja izguba je običajno koledar. Večina trgovin lahko na posameznem toku izvede le peščico vrednih testov na leto, saj vsak potrebuje tedne prometa. Termin, zapravljen za ponovitev, je termin, ki ga nov poskus nikoli ne dobi.

Dnevnik poskusov: devet stolpcev, ki opravijo celotno delo

Za to ne potrebujete programske opreme. Preglednica, deljena z vsemi, ki se dotikajo marketinga, povsem zadostuje. Ena vrstica na test, devet stolpcev:

Oznaka in datum. Kratka koda, kot je AC-2026-03, in datum zagona. Koda gre tudi v platformo — o tem več spodaj.
Lokacija. Kateri tok ali kampanja, kateri email v zaporedju. “Opuščena košarica, email 1.”
Hipoteza. En stavek v ustaljeni obliki: Ker smo opazili X, verjamemo, da bo sprememba Y izboljšala Z. “Ker je delež odprtja emaila 1 za košarico pod 35 %, verjamemo, da bo zadeva v obliki vprašanja dvignila odprtja.”
Kaj se je spremenilo — natančno. Prilepite obe zadevi. Prilepite oba zneska popusta. Za teste oblikovanja povežite posnetke zaslona. “Izboljšal sem besedilo” ni evidenca.
Občinstvo in razdelitev. Kateri segment, kolikšen odstotek v vsako smer.
Vzorec in trajanje. Koliko prejemnikov na roko, datum začetka in konca.
Rezultat. Glavna metrika za obe roki, v številkah, plus opomba o čemer koli nenavadnem, kar se je prekrivalo (akcija, praznik, razprodano blago).
Odločitev. Objavil B. Obdržal A. Neodločeno — ponoviti po sezoni razprodaj. Ta stolpec je celoten smisel dnevnika.
Kje zdaj živi zmagovalec. “B je zdaj aktivna zadeva v toku za košarico, spremenjeno 14. maja.” Brez tega imajo zmagovalne različice navado, da nikoli zares ne zaživijo — mehanika te predaje je opisana v članku kako rezultate testov spremeniti v trajne izboljšave avtomatizacij.

Uprite se skušnjavi po dodajanju stolpcev. Dnevnik, ki ga ljudje res izpolnjujejo, prekaša prelepega, ki ga do junija opustijo.

Hipotezo napišite pred zagonom, ne po njem

Polovica dnevnika se izpolni, preden se test začne: oznaka, lokacija, hipoteza, različice, občinstvo, načrtovano trajanje. Ta vrstni red je disciplina, ne administrativna muha.

Napišite hipotezo naknadno in jo boste, ne da bi tako želeli, prikrojili tistemu, kar se je zgodilo. “Pričakovali smo, da bo B zmagal” je enostavno verjeti, ko je B že zmagal. Šele zaveza k napovedi vnaprej naredi rezultat poučen — pove vam, ali so vaši občutki o lastnih strankah umerjeni, kar je čez mnogo testov vredno več kot kateri koli posamezen zmagovalec.

Poznejšo polovico — rezultat, odločitev, kam je bilo objavljeno — izpolnite na dan, ko test zaprete. Isti dan. Čez teden dni se boste spominjali le na pol, napol pozabljen dnevnik pa je začetek gnitja.

Poimenujte stvari v platformi tako, da se izvozi ujemajo z dnevnikom

Znotraj vašega e-poštnega orodja poimenujte test in njegove različice z oznako iz dnevnika in opisom: AC-2026-03 — zadeva vprašanje proti AC-2026-03 — zadeva trditev. Ne “A” in “B”.

To vas stane pet sekund in se obrestuje vsakič, ko čez mesece mežikate v zaslon s poročilom. Pomeni tudi, da lahko kdor koli iz vaše ekipe poročilo iz platforme sledi nazaj do vrstice v dnevniku — in do razmisleka — ne da bi vas vprašal.

Primer vrstice v dnevniku (ilustrativno)

Oznaka/datum: WF-2026-02, zagnano 3. marca
Lokacija: Pozdravni tok, email 2
Hipoteza: Ker delež klikov emaila 2 močno zaostaja za emailom 1, verjamemo, da bo začetek s kategorijo najbolje prodajanih izdelkov namesto z zgodbo znamke dvignil klike.
Spremenjeno: Popolna zamenjava vsebine; posnetki zaslona povezani.
Občinstvo: Vsi novi naročniki, 50/50.
Vzorec/trajanje: ~1.900 na roko v 5 tednih.
Rezultat: Zgodba 2,9 % klikov, najbolje prodajani 4,0 %. Brez prekrivajočih akcij.
Odločitev: Objavi različico z najbolje prodajanimi. Ponovno preveri, ko pride nova spomladanska kolekcija.
Živi: Aktivno v pozdravnem toku od 9. aprila.

Številke so izmišljene za ilustracijo — bistvo je oblika vrstice. Bodite pozorni, da stolpec z rezultatom ostaja usmerjevalen; ali je razlika, kakršna je ta, pri vašem obsegu odločilna, je svoje vprašanje, ki ga izbira zmagovalnega email testa razčleni.

Kje se vklopi Omnisend

Omnisend, ki ga uporabljam v svojih trgovinah, za vsak A/B-test poroča o odprtjih, klikih in prihodku na različico — to so vaši izvorni podatki za stolpec z rezultatom, njegova poročila o avtomatizacijah pa dajejo prihodek na ravni toka, ki vam pove, kateri testi so bili sploh vredni izvedbe. A platformo obravnavajte kot instrument, ne kot arhiv. Ko se test zapre, prepišite številke v svoj dnevnik in za vse, kar bi kdaj lahko izpodbijali, shranite posnetek zaslona poročila. Dve minuti in vaša zgodovina zdaj preživi zamenjave orodij, kadrovske spremembe in vaš lastni spomin.

Ena poštena omejitev: nobeno orodje namesto vas ne bo napisalo hipoteze ali zabeležilo odločitve. Dnevnik je navada, navade pa so vaše, da jih ohranjate.

Vaš naslednji korak

Preglednico ustvarite še danes — devet stolpcev, nič posebnega —, nato pa vpišite nazaj zadnja dva ali tri teste, ki jih še lahko rekonstruirate iz poročil platforme in spomina, pri čemer označite vse, česar niste več gotovi. Od naslednjega testa naprej: brez zagona, dokler ni napisana prva polovica vrstice. Nato uporabite dnevnik, da odločite, kaj si zasluži naslednji termin: kateri poskus izvesti najprej vam ponudi način razvrščanja zaostankov glede na prihodek.

A/B Testing and Optimization

How to Document Ecommerce Marketing Experiments

Posted on July 17, 2026 by

Document every experiment in one shared log — a plain spreadsheet is enough — with a row per test recording the date, the hypothesis, exactly what changed, who received it, how long it ran, the numeric result, and the decision you made because of it. That last column is the one most merchants skip and the one that matters most: a result nobody acted on is trivia. Keep the log outside your email platform, because platform reports are built for running tests, not for remembering them a year later. Budget ten minutes per test: five before launch, five after the decision. This article covers what to record, when to record it, and how to name things so the log still makes sense next spring.

The problem: you keep paying for answers you already bought

Somewhere in your email platform’s archive there is probably an A/B test that already answered a question you’re about to test again. You ran it eighteen months ago. Nobody wrote down what happened, the person who set it up has moved on or forgotten, and the report is buried under a hundred campaigns with names like “March promo v2 FINAL.”

So you test it again. Six weeks of traffic, split in half, half of it deliberately receiving the worse version — to rediscover something you already knew.

That’s the quiet cost of undocumented experiments. Every test spends real money: the losing variant’s lost orders, the margin given up in a discount arm, the calendar weeks the test occupied. Run a test once and that spend buys knowledge. Run it twice because nobody remembers the first time, and the second purchase buys nothing.

Why your email platform’s reports aren’t a system of record

The obvious objection: “the results are all in the tool — why write anything down?”

Three reasons, from experience rather than theory.

First, the report shows you numbers without context. It will tell you Variant B got a 4.1% click rate, but not that the test overlapped your Mother’s Day sale, that a competitor was running a huge promotion that week, or why you were testing this in the first place. Six months later the number survives and the meaning is gone. Context is exactly the thing that decides whether a result was trustworthy — why most ecommerce A/B tests produce misleading results is largely a list of context problems.

Second, variant names rot. “Version A vs Version B” tells future-you nothing. Unless you open each variant and read it — assuming the platform still lets you — the test is unreadable.

Third, tests don’t migrate. Switch email platforms someday, as plenty of growing stores do, and your contacts and templates can usually be exported. Your experiment history, in my experience, effectively can’t — it lives in report screens, not in exportable data you’d realistically carry over. Every undocumented test dies with the old account.

What one forgotten test costs, in numbers

An illustrative example, with made-up but realistic figures. A store does €50,000 a month, and its abandoned cart flow generates €4,000 of that. Last year it tested a 10% versus 15% cart discount and learned the extra 5 points bought almost nothing. Nobody wrote it down.

This year, someone re-runs it. Six weeks, half the cart audience on 15%. If the flow converts roughly the same either way — which is what the forgotten test found — those six weeks handed out an extra 5% discount on around €3,000 of orders for no new information. Call it €150 of margin, plus six weeks of your testing calendar that could have answered a fresh question. Small store, small test, and it still stings. Scale the revenue up and it stops being small.

The bigger loss is usually the calendar. Most stores can only run a handful of trustworthy tests per year on any given flow, because each one needs weeks of volume. A slot wasted on a rerun is a slot a new experiment never gets.

The experiment log: nine columns that do the whole job

You don’t need software for this. A spreadsheet shared with whoever touches marketing works fine. One row per test, nine columns:

ID and date. A short code like AC-2026-03 and the launch date. The code goes into the platform too — more on that below.
Location. Which flow or campaign, which email in the sequence. “Abandoned cart, email 1.”
Hypothesis. One sentence in a fixed shape: Because we observed X, we believe changing Y will improve Z. “Because open rates on cart email 1 sit under 35%, we believe a question-style subject will lift opens.”
What changed — exactly. Paste both subject lines. Paste both discount amounts. Link screenshots for design tests. “Improved the copy” is not a record.
Audience and split. Which segment, what percentage each way.
Sample and duration. How many recipients per arm, start and end dates.
Result. The primary metric for both arms, in numbers, plus a note on anything odd that overlapped (promo, holiday, stockout).
Decision. Shipped B. Kept A. Inconclusive — rerun after the sale season. This column is the whole point of the log.
Where the winner lives now. “B is now the live subject in the cart flow, changed 14 May.” Without this, winning variants have a way of never actually shipping — the mechanics of that handoff are covered in turning test results into permanent automation improvements.

Resist adding more columns. A log people actually fill in beats a beautiful one they abandon by June.

Write the hypothesis before launch, not after

Half the log gets filled in before the test starts: ID, location, hypothesis, variants, audience, planned duration. This ordering is a discipline, not an admin preference.

Write the hypothesis afterward and you will, without meaning to, bend it toward whatever happened. “We expected B to win” is easy to believe once B has won. Committing to a prediction up front is what makes the result informative — it tells you whether your instincts about your own customers are calibrated, which over many tests is worth more than any single winner.

The after-launch half — result, decision, where it shipped — gets filled in the day you close the test. Same day. A week later you’ll half-remember, and a half-remembered log is how the rot starts.

Name things in the platform so exports match the log

Inside your email tool, name the test and its variants with the log ID and a description: AC-2026-03 — subj question versus AC-2026-03 — subj statement. Not “A” and “B.”

This costs five seconds and pays off every time you’re squinting at a report screen months later. It also means anyone on your team can trace a platform report back to the log row — and the reasoning — without asking you.

An example log row (illustrative)

ID/date: WF-2026-02, launched 3 March
Location: Welcome flow, email 2
Hypothesis: Because email 2’s click rate trails email 1 badly, we believe leading with the bestseller category instead of the brand story will lift clicks.
Changed: Full body swap; screenshots linked.
Audience: All new subscribers, 50/50.
Sample/duration: ~1,900 per arm over 5 weeks.
Result: Story 2.9% clicks, bestseller 4.0%. No overlapping promos.
Decision: Ship bestseller version. Re-examine once the new spring range lands.
Lives: Live in welcome flow since 9 April.

Numbers invented for illustration — the shape of the row is the point. Note the result column stays directional; whether a gap like that is decisive at your volume is its own question, and choosing a winning email test walks through that call.

Where Omnisend fits

Omnisend, which I use in my own stores, reports each A/B test’s opens, clicks, and revenue per variant — that’s your source data for the result column, and its automation reports give the flow-level revenue that tells you which tests were worth running at all. But treat the platform as the instrument, not the archive. When a test closes, copy the numbers into your log and, for anything you might dispute later, keep a screenshot of the report. Two minutes, and your history now survives tool changes, staff changes, and your own memory.

One honest limit: no tool will write the hypothesis or record the decision for you. The log is a habit, and habits are yours to keep.

Your next step

Create the spreadsheet today — nine columns, nothing fancy — then backfill the last two or three tests you can still reconstruct from platform reports and memory, flagging anything you’re no longer sure of. From the next test onward, no launch until the row’s first half is written. Then use the log to decide what earns the next slot: which experiment should you run first gives you a revenue-based way to rank the backlog.