Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét

Az egyik leggyakoribb kérdés, amit AB-teszteléssel kapcsolatban kapni szoktam, hogy ugyan hány felhasználóra van szükség a teszteléshez? Természetesen, mint a kérdések 99%-ra, itt is az a válasz: attól függ!

Mitől függ?

Alapvetően 3 dologtól:

  1. Az alapkonverziós arányodtól (%)
  2. A javulás nagyságától, amit elvársz a teszttől (%)
  3. A szignifikancia-mutatótól, amit elvársz a teszttől (~95%)

Ha ezek megvannak, akkor dobd be az Optimizely – Sample Size Calculator-ba és már meg is kapod a bűvös számot:

Optimizely - Sample Size Calculator
Optimizely – Sample Size Calculator

Ahogy látod, az adott példában, a 3%-os alapkonverzió, 20%-os növekedésének 95%-os biztonságához: 10170 ember kell verziónként!

Azaz, ha hetente 10.000 látogatód van, akkor egy 2 verziós AB-teszt 2 hét alatt fog kipörögni.

3 egyéb mód a szignifikáns kontra nem szignifikáns kérdés eldöntésére:

Azt tudni kell, hogy az Optimizely motorja elég szigorúan méri, hogy egy eredmény szignifikáns vagy sem.
Ez így jól is van, de én azért 3 egyéb módon szoktam még ellenőrizni, hogy biztonsággal valós eredményeket kaptunk-e. Egyébként ha ez a 3 mérés mind pozitív eredményt hoz, akkor gyakran nem is várom meg az Optimizely szuper-szigorú méréseit. Íme:

1. T-próba:

A legklasszikusabb AB-teszt ellenőrző művelet. Van online elérhető felhasználó-barát, kitölthetős verziója (pl. ITT). Száraz tudomány – ha itt kapsz egy P-value < 0.05, akkor 95%+ eséllyel valóban az lesz a nyertes, akit jelenleg nyerésre áll. De önmagában ez még nem elég.

AB-teszt szignifikancia kalkulátor, szignifikáns vagy sem?
VWO, AB-teszt szignifikancia kalkulátor

2. Trend chart-ok:

Az Optimizely mutatja azt is, hogy hogyan alakulnak a trendek. Ez nem egy nagy varázslat. Ha 2 héten keresztül végig ugyanazt látod és még a T-próbád is jó eredményt dob, akkor már majdnem biztos lehetsz benne, hogy nyertél.

AB teszt trendek, szignifikáns vagy sem?
AB teszt trendek

3. AAB(B) teszt:

Ez egy expert-trükk! ;-)
Már a kísérlet elejétől érdemes az eredeti verziónak egy változtatás nélküli verzióját is elkészíteni. Így lesz 2 A verziód – vagy akár akár 2 B verziód is. Ha a két hasonló verzió között nincs eltérés eredményben, akkor az már jót jelent! Ezt kombinálva a trend-chart és a T-próba módszerrel, padlóra küldted a szignifikáns kontra nem-szignifikáns kérdést!

AABB teszt - konverziók, szignifikáns vagy sem?
AABB teszt – konverziók

Azt hiszem, ezzel mindent tudsz, amit az AB-teszt eredményének a biztonságosságáról tudnod kell!

Ha szeretnél hasonló bejegyzéseket olvasni, iratkozz fel a Hírlevélre!

Ha részletesen érdekel a téma, gyere el az Adatvezérelt Marketing Tréningünkre!

Tomi