Anmeldeformulare und Popups

E-Commerce-Popups richtig A/B-testen

Veröffentlicht am von

Sie A/B-testen ein Popup, indem Sie jeweils eine Sache auf einmal ändern, echten Traffic gleichzeitig an beide Versionen schicken und warten, bis Sie genug Anmeldungen haben, um dem Ergebnis zu trauen – und dann den Sieger nach dem Umsatz beurteilen, den diese Anmeldungen später ausgeben, nicht nach der Anmelderate des Popups selbst. Dieser letzte Teil ist der Punkt, an dem die meisten Shops es falsch machen. Eine Version kann mehr E-Mails gewinnen und Sie trotzdem Geld kosten, weil die zusätzlichen E-Mails von einem größeren Rabatt oder einem breiteren Angebot kamen, das Leute anzieht, die nie kaufen. Testen Sie also richtig: eine Variable, geteilter Traffic, eine ausreichend große Stichprobe, eine ausreichend lange Laufzeit und nachgelagerter Umsatz als Anzeigetafel. Alles andere ist Raten in Daten verkleidet.

So führen Sie tatsächlich einen durch.

Warum „wir haben ein neues Popup probiert und es lief besser“ kein Test ist

Die meisten Popup-„Tests“ sind keine Tests. Sie tauschen am Montag die Überschrift, werfen am Freitag einen Blick aufs Dashboard, die Zahl ist oben, Sie behalten es. Aber das Wetter hat sich geändert. Vielleicht war Freitags Traffic ein Zahltag, oder ein anderes Anzeigen-Set war aktiv, oder letzte Woche erwischte eine Flaute. Sie haben das Popup und die Woche geändert, also können Sie nicht sagen, welches die Zahl bewegt hat.

Ein echter A/B-Test fährt beide Versionen im selben Zeitfenster, für dieselbe Art Traffic, zufällig aufgeteilt. Version A und Version B sind im selben Moment live. Die Hälfte Ihrer Besucher sieht die eine, die Hälfte die andere, und das Tool entscheidet, wer in welcher Gruppe ist. Das ist die einzige Möglichkeit, den Tag, den Anzeigen-Mix, die Jahreszeit und die Stimmung des Internets herauszurechnen und nur das übrig zu lassen, was Sie geändert haben.

Wenn Ihr Popup- oder E-Mail-Tool den Traffic nicht nativ aufteilen kann – A automatisch der einen Hälfte, B der anderen zeigen –, haben Sie noch kein echtes Test-Setup, und keine noch so aufwendige manuelle Vorher-Nachher-Betrachtung wird das beheben.

Ändern Sie eine Sache, sonst lernen Sie nichts

Das ist die Regel, die die Leute hassen, weil sie langsam ist. Eine Variable pro Test.

Wenn Version B eine neue Überschrift und ein neues Angebot und ein neues Bild hat und gewinnt – was hat gewonnen? Sie werden es nie erfahren. Sie schreiben es dem Teil zu, auf den Sie stolz sind, und tragen die anderen beiden Änderungen mit sich, als hätten sie geholfen, während eine davon Sie vielleicht still nach unten zieht. Beim nächsten Test ist dieser versteckte Verlierer in Ihrer Kontrolle eingebacken, und Sie bauen auf Sand.

Wählen Sie also einen einzelnen Hebel:

Eins nach dem anderen. Ja, es ist langsamer. Es ist auch der Unterschied zwischen einem Shop, der weiß, warum sein Popup konvertiert, und einem, der ein Popup hat, das „einfach funktioniert“, bis es plötzlich nicht mehr funktioniert und niemand sagen kann, warum.

Testen Sie in Prioritätsreihenfolge – größte Hebel zuerst

Sie haben begrenzten Traffic, was begrenzte Tests pro Quartal bedeutet. Verschwenden Sie sie nicht an Button-Farben. Testen Sie die Dinge, die die Zahl am stärksten bewegen, ungefähr in dieser Reihenfolge.

1. Das Angebot. Nichts anderes am Popup zählt so sehr wie das, was Sie im Austausch für die E-Mail geben. Das ist auch der gefährlichste Hebel, denn ein größerer Rabatt gewinnt fast immer bei der Anmelderate und kann trotzdem beim Gewinn verlieren. Mehr dazu weiter unten – und es gibt ein ganzes Stück zum Gewinnen, ohne sich auf den Rabatt zu stützen, unter So steigern Sie die Popup-Conversion, ohne den Rabatt zu erhöhen.

2. Die Überschrift und das Versprechen. Was der Besucher in der ersten Sekunde liest. Das entscheidet, ob er das Formular überhaupt in Betracht zieht.

3. Die Anzahl der Felder. Jedes zusätzliche Feld kostet Sie Anmeldungen. Ob dieser Handel es wert ist, hängt davon ab, was Ihnen die zusätzlichen Daten später einbringen.

4. Der Trigger und das Timing. Wann es ausgelöst wird – nach Verzögerung, beim Scrollen, beim Verlassen.

5. Die visuellen Details. Layout, Bild, Button-Text, Farben. Echt, aber klein. Heben Sie sie auf, bis die großen Hebel geklärt sind.

Wenn Ihr Popup gesehen wird, sich aber fast niemand anmeldet, fangen Sie nicht mit dem A/B-Testen von Kosmetik an – diagnostizieren Sie erst die Ursache. Warum Ihr E-Mail-Popup Aufrufe, aber wenige Anmeldungen bekommt behandelt das, und es erspart Ihnen einen Monat sinnloser Tests.

Wie groß eine Stichprobe und wie lang – ehrlich

Ich werde Ihnen keine magische Zahl in die Hand geben, denn die ehrliche Antwort lautet „es kommt auf Ihren Traffic an und darauf, wie groß der Unterschied ist“. Aber so denken Sie darüber, ohne ein Statistikstudium.

Kleine Unterschiede brauchen riesige Stichproben, um belegt zu werden. Wenn Version B A um Haaresbreite schlägt – sagen wir 4,0 % Anmeldung vs. 4,2 % –, brauchen Sie vielleicht Zehntausende Besucher pro Version, bevor Sie darauf vertrauen können, dass es echt ist und kein Rauschen. Ein großer Unterschied – 4 % vs. 6 % – zeigt sich viel schneller. Je gröber also Ihr Traffic, desto kühner sollten die Änderungen sein, die Sie testen, denn subtile Feinheiten erreichen bei bescheidenem Volumen nie Signifikanz.

Zwei praktische Regeln, an denen ich festhalten würde:

  • Warten Sie auf eine Mindestanzahl an Conversions pro Version, nicht nur an Besuchern. Ein gängiger Boden, den Leute nutzen, sind ein paar Hundert Anmeldungen pro Seite, bevor sie irgendetwas entscheiden. Darunter schwanken die Zahlen von Tag zu Tag wild.
  • Fahren Sie mindestens eine volle Woche, idealerweise zwei. Wochenend-Shopper verhalten sich anders als Dienstags-Shopper. Ein Test, der mitten in der Woche endet, kann Ihnen einen falschen Sieger liefern, der ganz auf Wochentags-Traffic aufgebaut ist.

Die meisten Popup- und E-Mail-Tools zeigen Ihnen eine „Konfidenz“- oder „Signifikanz“-Zahl. Lassen Sie sie eine hohe Schwelle erreichen – 90–95 % sind die übliche Grenze –, bevor Sie etwas erklären. Wenn sie nach einer Woche bei 70 % sitzt, haben Sie keinen Sieger. Sie haben eine Münze, die ein paar Mal extra Kopf gezeigt hat.

Der falsche Sieg, der Sie Geld kostet

Das ist die Falle, und sie ist einen eigenen Abschnitt wert.

Angenommen, Sie testen ein 15-%-Angebot gegen ein 10-%-Angebot. Die 15-%-Version zieht eine höhere Anmelderate – natürlich tut sie das, es ist ein besseres Angebot. Auf dem Popup-Dashboard gewinnt sie klar. Also bringen Sie sie raus.

Aber die 15-%-Menge enthält mehr Schnäppchenjäger: Leute, die sich den Code geschnappt, ihn einmal bei dünnerer Marge genutzt haben und nie zurückkamen. Die 10-%-Menge war etwas kleiner, aber etwas engagierter. Sechs Wochen später hat die 10-%-Liste mehr pro Abonnent ausgegeben. Das „verlierende“ Popup war das profitable.

Die Anmelderate hat Sie belogen, weil sie den falschen Moment gemessen hat. Was Ihnen tatsächlich wichtig ist, ist der Umsatz pro Abonnent über die folgenden Wochen und die Marge auf den Bestellungen, die diese Abonnenten aufgeben. Ein Test, der nur das Popup liest, kann nichts davon sehen.

Messen Sie nachgelagert, nicht nur den Klick

Die Anzeigetafel für einen Popup-Test ist also nicht die Anmelderate. Sie ist:

  • Anmelderate – die Startzahl, aber nur die Startzahl.
  • Umsatz pro Abonnent über 30–60 Tage – Gesamtumsatz aus den Anmeldungen einer Version, geteilt durch die Anzahl der Anmeldungen. Das ist das ehrliche Maß.
  • Marge, wenn der Test ein Angebot betrifft – eine Version, die beim Umsatz gewinnt, aber bei einem fetteren Rabatt, kann beim Gewinn trotzdem verlieren.
  • Listenqualität – Spam-Beschwerden, Abmeldungen und Bounce-Rate pro Version. Ein schlechtes Angebot zieht schlechte Adressen an.

Um diese Zahlen zu lesen, müssen Sie jede Anmeldung mit dem verknüpfen, was sie später ausgegeben hat, was eine eigene Disziplin ist. Ich habe die Anleitung in Umsatz durch Anmeldeformulare messen untergebracht – lesen Sie sie, bevor Sie irgendeinem Popup-Test trauen, denn sie ist es, die „mehr E-Mails“ in „mehr Geld“ verwandelt oder die Lücke dazwischen offenlegt.

Was automatisiert werden sollte

Das Test-Setup selbst ist größtenteils Konfiguration, aber zwei Dinge sollten ohne Ihr Zutun laufen:

  • Traffic-Aufteilung und Sieger-Tracking – das Tool liefert A oder B zufällig aus und protokolliert Conversions pro Version. Teilen Sie den Traffic niemals von Hand.
  • Nachgelagertes Tagging – markieren oder segmentieren Sie jeden Abonnenten danach, welche Popup-Version ihn erfasst hat, damit Sie Wochen später vergleichen können, was jede Gruppe tatsächlich gekauft hat. Ohne dieses Tag ist der Umsatzvergleich im Nachhinein unmöglich. Setzen Sie es bei der Erfassung, nicht später.

Wie Omnisend hineinpasst

Speziell fürs Popup-Testen wollen Sie, dass der Split-Test und das E-Mail-Tool dasselbe System sind, damit das Versions-Tag dem Abonnenten in seine Kaufhistorie folgt. Das ist der Hauptgrund, warum ich das in Omnisend über meine eigenen Shops hinweg fahre – nachdem ich es gegen Klaviyo getestet hatte, ließ es mich das Popup A/B-testen und dann am selben Ort sehen, was die Anmeldungen jeder Version im nächsten Monat ausgaben, ohne zwei Tools zusammenzuflicken. Die Bausteine, die hier zählen: natives Popup-Split-Testing, Segmentierung, die Sie auf der Erfassungsquelle aufbauen können, und Umsatz-Reporting, das zum Formular zurückführt. (Omnisend ist ein Tool, das ich nutze und empfehle; falls dieser Artikel einen Affiliate-Link trägt, ist das die Beziehung – die obige Testmethode funktioniert auf jeder Plattform, die Traffic aufteilen und nachgelagerten Umsatz berichten kann.)

Eine ehrliche Grenze: In einem kleineren Shop haben Sie womöglich schlicht nicht den Traffic, um bei subtilen Tests in irgendeinem Tool Signifikanz zu erreichen. Wenn das auf Sie zutrifft, testen Sie nur große, offensichtliche Änderungen, geben Sie jeder mehrere Wochen und akzeptieren Sie, dass Ihr Volumen manche Fragen noch nicht beantworten kann. Besser, das zu wissen, als einem „Sieger“ mit 60 % Konfidenz zu trauen.

Ihr nächster Schritt

Wählen Sie eine Variable – beginnen Sie mit dem Angebot oder der Überschrift – und richten Sie diese Woche einen einzelnen sauberen Split-Test ein, mit beiden Versionen gleichzeitig live und einem Plan, in 30 Tagen den Umsatz pro Abonnent zu lesen, nicht am Freitag die Anmelderate. Taggen Sie jede Version bei der Erfassung. Während er läuft, widerstehen Sie dem Drang, sonst etwas am Popup anzufassen. Wenn Sie vor dem Start einen breiteren Rundumblick auf Ihr gesamtes Setup wollen, ist Die Checkliste zum E-Commerce-Popup-Audit der richtige Ort, um zuerst nachzusehen.

Prijavni obrazci in pojavna okna

Kako pravilno A/B-testirati pojavna okna spletne trgovine

Veröffentlicht am von

Pojavno okno A/B-testiraš tako, da spreminjaš eno stvar naenkrat, hkrati usmerjaš pravi promet na obe različici in počakaš, dokler nimaš dovolj prijav, da rezultatu lahko zaupaš — nato pa zmagovalca oceniš po prihodku, ki ga te prijave kasneje ustvarijo, ne po stopnji prijave na samem oknu. Ravno pri zadnjem delu se večina trgovin zmoti. Različica lahko pridobi več e-poštnih naslovov in ti hkrati prinese izgubo, ker je dodatne naslove prinesel večji popust ali širša ponudba, ki privabi ljudi, ki nikoli ne kupijo. Zato testiraj pravilno: ena spremenljivka, razdeljen promet, dovolj velik vzorec, dovolj dolg tek in prihodek po prijavi kot merilo. Vse ostalo je ugibanje, preoblečeno v podatke.

Takole se ga dejansko lotiš.

Zakaj “poskusili smo novo pojavno okno in šlo je bolje” ni test

Večina “testov” pojavnih oken sploh ni testov. V ponedeljek zamenjaš naslov, v petek pogledaš nadzorno ploščo, številka je višja, pa ga obdržiš. A vreme se je spremenilo. Morda je bil petek dan izplačila plač, ali pa je tekel drug oglasni sklop, ali pa je prejšnji teden ujel počasno obdobje. Spremenil si pojavno okno in teden, zato ne moreš vedeti, kaj je premaknilo številko.

Pravi A/B-test poganja obe različici v istem oknu, na isto vrsto prometa, naključno razdeljeno. Različica A in različica B sta v živo v istem trenutku. Polovica obiskovalcev vidi eno, polovica drugo, orodje pa odloči, kdo je v kateri skupini. To je edini način, da izločiš dan, mešanico oglasov, sezono in razpoloženje interneta ter pustiš le tisto, kar si spremenil.

Če tvoje orodje za pojavna okna ali e-pošto ne zna samodejno razdeliti prometa — polovici prikazati A, drugi polovici B — potem pravega testnega okolja še nimaš in noben ročni primerjalni “prej-potem” tega ne bo popravil.

Spreminjaj eno stvar, sicer se ne naučiš ničesar

To je pravilo, ki ga ljudje sovražijo, ker je počasno. Ena spremenljivka na test.

Če ima različica B nov naslov in novo ponudbo in novo sliko ter zmaga, kaj je zmagalo? Nikoli ne boš vedel. Zaslugo boš pripisal delu, na katerega si ponosen, drugi dve spremembi pa poneseš naprej, kot da sta pomagali, čeprav te ena od njiju morda tiho vleče navzdol. Pri naslednjem testu je ta skriti poraženec že vgrajen v tvojo kontrolo in gradiš na pesku.

Zato izberi en vzvod:

Eno naenkrat. Da, počasneje je. A to je tudi razlika med trgovino, ki ve, zakaj njeno pojavno okno pretvarja, in tisto, ki ima pojavno okno, ki “pač deluje”, dokler nenadoma ne preneha in nihče ne zna povedati, zakaj.

Testiraj po prednostnem vrstnem redu — najprej največji vzvodi

Imaš omejen promet, kar pomeni omejeno število testov na četrtletje. Ne zapravljaj jih za barve gumbov. Testiraj stvari, ki najbolj premaknejo številko, približno v tem vrstnem redu.

1. Ponudba. Nič drugega na pojavnem oknu ni tako pomembno kot to, kaj ponudiš v zameno za e-poštni naslov. To je tudi najnevarnejši vzvod, saj večji popust skoraj vedno zmaga po stopnji prijave in kljub temu lahko izgubi po dobičku. Več o tem spodaj — celoten prispevek o tem, kako zmagati brez naslanjanja na popust, pa najdeš na Kako povečati konverzijo pojavnega okna brez povečanja popusta.

2. Naslov in obljuba. Kar obiskovalec prebere v prvi sekundi. To odloči, ali sploh razmisli o obrazcu.

3. Število polj. Vsako dodatno polje te stane prijav. Ali se ta menjava splača, je odvisno od tega, kaj ti dodatni podatek prinese kasneje.

4. Sprožilec in čas. Kdaj se sproži — z zakasnitvijo, ob drsenju, ob odhodu.

5. Vizualne podrobnosti. Postavitev, slika, besedilo gumba, barve. Resnične, a majhne. Prihrani jih za takrat, ko so veliki vzvodi urejeni.

Če je tvoje pojavno okno vidno, a se skoraj nihče ne prijavi, ne začni A/B-testirati kozmetike — najprej ugotovi vzrok. Zakaj tvoje e-poštno pojavno okno dobi oglede, a malo prijav to pokrije in prihranilo ti bo mesec nesmiselnih testov.

Kako velik vzorec in kako dolgo — pošteno

Ne bom ti dal čarobne številke, ker je pošten odgovor “odvisno od tvojega prometa in kako velika je razlika”. A takole razmišljaj o tem brez diplome iz statistike.

Majhne razlike potrebujejo ogromne vzorce za dokaz. Če različica B premaga A za las — recimo 4,0 % prijav proti 4,2 % — boš morda potreboval več deset tisoč obiskovalcev na različico, preden lahko zaupaš, da je to resnično in ne šum. Velika razlika — 4 % proti 6 % — se pokaže veliko hitreje. Torej, bolj kot je tvoj promet skromen, bolj drzne spremembe testiraj, saj subtilni popravki na skromnem obsegu nikoli ne dosežejo pomembnosti.

Dve praktični pravili, ki bi se ju držal:

  • Počakaj na najmanjše število konverzij na različico, ne le obiskovalcev. Pogosto uporabljeno spodnjo mejo predstavlja nekaj sto prijav na stran, preden karkoli razglasiš. Pod tem številke iz dneva v dan divje nihajo.
  • Poganjaj vsaj en cel teden, idealno dva. Vikendni kupci se vedejo drugače kot torkovi. Test, ki se konča sredi tedna, ti lahko podtakne lažnega zmagovalca, zgrajenega povsem na tednu.

Večina orodij za pojavna okna in e-pošto ti pokaže številko “zaupanja” ali “pomembnosti”. Pusti, da doseže visoko mejo — običajna črta je 90–95 % — preden karkoli razglasiš. Če po tednu obstane pri 70 %, nimaš zmagovalca. Imaš kovanec, ki je nekajkrat več padel na glavo.

Lažna zmaga, ki te stane denarja

To je past in zasluži svoj razdelek.

Recimo, da testiraš ponudbo 15 % proti ponudbi 10 %. Različica s 15 % ima višjo stopnjo prijave — seveda jo, boljša ponudba je. Na nadzorni plošči pojavnega okna zmaga na celi črti. Zato jo uvedeš.

A množica pri 15 % vključuje več lovcev na popuste: ljudi, ki so pograbili kodo, jo enkrat uporabili pri tanjši marži in se nikoli več vrnili. Množica pri 10 % je bila nekoliko manjša, a nekoliko bolj zavezana. Šest tednov kasneje je seznam pri 10 % porabil več na naročnika. “Poraženo” pojavno okno je bilo dobičkonosno.

Stopnja prijave ti je lagala, ker je merila napačen trenutek. Kar te v resnici zanima, je prihodek na naročnika v naslednjih tednih in marža na naročilih, ki jih ti naročniki oddajo. Test, ki bere le pojavno okno, ničesar od tega ne vidi.

Meri po prijavi, ne le klika

Merilo za test pojavnega okna torej ni stopnja prijave. To je:

  • Stopnja prijave — začetna številka, a le začetna številka.
  • Prihodek na naročnika v 30–60 dneh — celoten prihodek od prijav neke različice, deljen s številom prijav. To je poštena mera.
  • Marža, kadar test vključuje ponudbo — različica, ki zmaga po prihodku, a na debelejšem popustu, lahko še vedno izgubi po dobičku.
  • Kakovost seznama — pritožbe zaradi neželene pošte, odjave in stopnja zavrnitev po različici. Slaba ponudba privabi slabe naslove.

Da bi prebral te številke, moraš vsako prijavo povezati nazaj s tem, kar je kasneje porabila, kar je svoja disciplina. Navodila sem zapisal v Merjenje prihodka, ki ga ustvarijo prijavni obrazci — preberi jih, preden zaupaš kateremukoli testu pojavnega okna, ker so tisto, kar “več e-poštnih naslovov” spremeni v “več denarja” ali pa razkrije razliko med njima.

Kaj avtomatizirati

Sama nastavitev testa je večinoma konfiguracija, a dve stvari naj tečeta brez tebe:

  • Delitev prometa in sledenje zmagovalcu — orodje naključno postreže A ali B in beleži konverzije po različici. Nikoli ne deli prometa ročno.
  • Označevanje po prijavi — vsakega naročnika označi ali segmentiraj po tem, katera različica pojavnega okna ga je ujela, da lahko tedne kasneje primerjaš, kaj je vsaka skupina dejansko kupila. Brez te oznake je primerjava prihodka za nazaj nemogoča. Nastavi jo ob prijavi, ne kasneje.

Kako se v to vklopi Omnisend

Prav za testiranje pojavnih oken želiš, da sta orodje za deljene teste in orodje za e-pošto isti sistem, tako da oznaka različice spremlja naročnika v njegovo zgodovino nakupov. To je glavni razlog, da to v svojih trgovinah poganjam v Omnisendu — potem ko sem ga preizkusil proti Klaviyu, mi je omogočil A/B-testirati pojavno okno in nato na istem mestu videti, koliko so prijave vsake različice porabile v naslednjem mesecu, ne da bi šival dve orodji skupaj. Deli, ki tu štejejo: vgrajeno deljeno testiranje pojavnih oken, segmentacija, ki jo lahko gradiš na viru prijave, in poročanje o prihodku, ki se navezuje na obrazec. (Omnisend je orodje, ki ga uporabljam in priporočam; če ta članek nosi partnersko povezavo, je to ta odnos — zgornja metoda testiranja deluje na kateri koli platformi, ki zna razdeliti promet in poročati o prihodku po prijavi.)

Ena poštena omejitev: na manjši trgovini morda preprosto nimaš prometa, da bi v katerem koli orodju dosegel pomembnost pri subtilnih testih. Če si to ti, testiraj le velike, očitne spremembe, vsaki daj več tednov in sprejmi, da nekaterih vprašanj tvoj obseg še ne more odgovoriti. Bolje je to vedeti kot zaupati “zmagovalcu” s 60-odstotnim zaupanjem.

Tvoj naslednji korak

Izberi eno spremenljivko — začni s ponudbo ali naslovom — in ta teden nastavi en čist deljeni test, z obema različicama v živo hkrati in z načrtom, da čez 30 dni prebereš prihodek na naročnika, ne stopnje prijave v petek. Vsako različico označi ob prijavi. Medtem ko teče, se upri, da bi se dotaknil česarkoli drugega na pojavnem oknu. Če želiš pred začetkom širši pregled celotne nastavitve, je Kontrolni seznam za pregled pojavnih oken spletne trgovine pravo mesto, kamor pogledati najprej.

Leave a Reply

Your email address will not be published. Required fields are marked *