Az egyik leggyakoribb kérdés, amit AB-teszteléssel kapcsolatban kapni szoktam, hogy ugyan hány felhasználóra van szükség a teszteléshez? Természetesen, mint a kérdések 99%-ra, itt is az a válasz: attól függ!
Mitől függ?
Alapvetően 3 dologtól:
- Az alapkonverziós arányodtól (%)
- A javulás nagyságától, amit elvársz a teszttől (%)
- A szignifikancia-mutatótól, amit elvársz a teszttől (~95%)
Ha ezek megvannak, akkor dobd be az Optimizely – Sample Size Calculator-ba és már meg is kapod a bűvös számot:
Ahogy látod, az adott példában, a 3%-os alapkonverzió, 20%-os növekedésének 95%-os biztonságához: 10170 ember kell verziónként!
Azaz, ha hetente 10.000 látogatód van, akkor egy 2 verziós AB-teszt 2 hét alatt fog kipörögni.
3 egyéb mód a szignifikáns kontra nem szignifikáns kérdés eldöntésére:
Azt tudni kell, hogy az Optimizely motorja elég szigorúan méri, hogy egy eredmény szignifikáns vagy sem.
Ez így jól is van, de én azért 3 egyéb módon szoktam még ellenőrizni, hogy biztonsággal valós eredményeket kaptunk-e. Egyébként ha ez a 3 mérés mind pozitív eredményt hoz, akkor gyakran nem is várom meg az Optimizely szuper-szigorú méréseit. Íme:
1. T-próba:
A legklasszikusabb AB-teszt ellenőrző művelet. Van online elérhető felhasználó-barát, kitölthetős verziója (pl. ITT). Száraz tudomány – ha itt kapsz egy P-value < 0.05, akkor 95%+ eséllyel valóban az lesz a nyertes, akit jelenleg nyerésre áll. De önmagában ez még nem elég.
2. Trend chart-ok:
Az Optimizely mutatja azt is, hogy hogyan alakulnak a trendek. Ez nem egy nagy varázslat. Ha 2 héten keresztül végig ugyanazt látod és még a T-próbád is jó eredményt dob, akkor már majdnem biztos lehetsz benne, hogy nyertél.
3. AAB(B) teszt:
Ez egy expert-trükk! ;-)
Már a kísérlet elejétől érdemes az eredeti verziónak egy változtatás nélküli verzióját is elkészíteni. Így lesz 2 A verziód – vagy akár akár 2 B verziód is. Ha a két hasonló verzió között nincs eltérés eredményben, akkor az már jót jelent! Ezt kombinálva a trend-chart és a T-próba módszerrel, padlóra küldted a szignifikáns kontra nem-szignifikáns kérdést!
Azt hiszem, ezzel mindent tudsz, amit az AB-teszt eredményének a biztonságosságáról tudnod kell!
Ha szeretnél hasonló bejegyzéseket olvasni, iratkozz fel a Hírlevélre!
Ha részletesen érdekel a téma, gyere el az Adatvezérelt Marketing Tréningünkre!
Tomi
