Egyre többen használják az A/B tesztelés remek eszközét. Nemrég a Facebook oldalunkon is közzétettük, hogy még maga Obama elnök és csapata is használt A/B tesztet egy hírlevélkampány során (a legjobb és legrosszabb e-mail tárgy pedig megdöbbentő 2.000.000 $-os különbséget produkált bevételben).
Ha esetleg nem tudod, mi az az A/B teszt: itt egy cikk, amiben írunk róla.
A mai bejegyzésben pedig a legnagyobb olyan hiba, amit sokszor látok ügyfeleknél elkövetni és ami totálisan megöli az egész teszt eredményességét! A hiba forrásának szakmai neve a korreláció vs. kauzalizás problémája:
Vagy magyarul, a tyúk és a tojás esete. Mondok egy példát: Létrehozunk egy prémium hírlevél csatornát azoknak a felhasználóknak, akik szeretnének személyre szabott ajánlatot kapni tőlünk. Tőlük több adatot kérünk be, cserébe azt ígérjük nekik, hogy jobban az igényeikhez illeszkedő levelet fognak kapni. Nevezzük ezt perszonalizált hírlevélnek csoportnak. Majd létrehozunk egy egyszerű hírlevél csatornát azoknak a felhasználóknak, akik csak gyorsan regisztrálni szeretnének. Ők az átlagos, tömegesen kiküldött hírlevelet fogják kapni. Legyenek ők az átlagos hírlevél csoport. Jönnek a feliratkozók, mindkét csoportban van 1000-1000 ember. Kiküldjük az első hírleveleket, a perszonalizált hírlevél csoportnak (személyre szabott tartalommal) és az átlagos hírlevél csoportnak (átlagos tartalommal) is – és azt tapasztaljuk, hogy a perszonalizált hírlevelet 29% nyitotta meg, az átlagosat pedig csak 10%. Tehát a perszonalizált hírlevél az A/B teszt alapján egy óriási siker. Kivéve, hogy… hibás volt a mérésünk.
De miért is?
A hiba egyszerű: a perszonalizált hírlevélre feliratkozni sokkal „nehezebb”, hiszen sokkal több adatot kell megadnunk. Egyszerű belátni, hogy aki ebbe a csoportba iratkozik fel, az egész egyszerűen elkötelezettebb felhasználó, mint aki az átlagos hírlevélre kér regisztrációt. Márpedig, aki elkötelezettebb, az nagyobb eséllyel nyitja meg a hírlevelet. Innentől fogva pedig nem tudjuk, hogy a 29%-ból mennyi az elköteleződés és mennyi a perszonalizált tartalom ereje.
De mi a megoldás?
Az A/B teszt lényege, hogy két közel azonos célcsoporton kísérletezzünk egy lehetőség szerint csak egy elemben eltérő tartalommal. Azaz a korrekt A/B teszt itt úgy nézne ki, hogy:
1. Csak a perszonalizált hírlevél feliratkozókat felbontjuk két egyenlő létszámú csoportra (500-500 fő).
2. Az egyik csoport megkapja a perszonalizált hírlevelet, a másik csoport pedig az átlagos hírlevelet.
3. Megnézzük az így létrejövő különbséget a két csoport között.
Mivel mindkét csoport hasonló elkötelezettségű feliratkozókat tartalmazott, biztosak lehetünk benne, hogy az eredménybeli különbség a tartalom minőségéből származik. Ha itt azt látjuk, hogy a perszonalizált tartalom 29%-ra teljesít, az átlagos tartalom pedig szintén 29%-ra – akkor bizony semmit nem ér a perszonalizált tartalom. De ha az átlagos csoport csak 17%-ot ér el, akkor joggal mondhatjuk, hogy sikeres a perszonalizált hírlevélkampány.
Ennyike.
Ha esetleg feliratkoznál az Adatlabor-hírlevélre, akkor KATT! :-))
Mester Tomi
