optimizely címkével jelölt bejegyzések

Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét

Az egyik leggyakoribb kérdés, amit AB-teszteléssel kapcsolatban kapni szoktam, hogy ugyan hány felhasználóra van szükség a teszteléshez? Természetesen, mint a kérdések 99%-ra, itt is az a válasz: attól függ!

Mitől függ?

Alapvetően 3 dologtól:

  1. Az alapkonverziós arányodtól (%)
  2. A javulás nagyságától, amit elvársz a teszttől (%)
  3. A szignifikancia-mutatótól, amit elvársz a teszttől (~95%)

Ha ezek megvannak, akkor dobd be az Optimizely – Sample Size Calculator-ba és már meg is kapod a bűvös számot:

Optimizely - Sample Size Calculator
Optimizely – Sample Size Calculator

Ahogy látod, az adott példában, a 3%-os alapkonverzió, 20%-os növekedésének 95%-os biztonságához: 10170 ember kell verziónként!

Azaz, ha hetente 10.000 látogatód van, akkor egy 2 verziós AB-teszt 2 hét alatt fog kipörögni.

3 egyéb mód a szignifikáns kontra nem szignifikáns kérdés eldöntésére:

Azt tudni kell, hogy az Optimizely motorja elég szigorúan méri, hogy egy eredmény szignifikáns vagy sem.
Ez így jól is van, de én azért 3 egyéb módon szoktam még ellenőrizni, hogy biztonsággal valós eredményeket kaptunk-e. Egyébként ha ez a 3 mérés mind pozitív eredményt hoz, akkor gyakran nem is várom meg az Optimizely szuper-szigorú méréseit. Íme:

1. T-próba:

A legklasszikusabb AB-teszt ellenőrző művelet. Van online elérhető felhasználó-barát, kitölthetős verziója (pl. ITT). Száraz tudomány – ha itt kapsz egy P-value < 0.05, akkor 95%+ eséllyel valóban az lesz a nyertes, akit jelenleg nyerésre áll. De önmagában ez még nem elég.

AB-teszt szignifikancia kalkulátor, szignifikáns vagy sem?
VWO, AB-teszt szignifikancia kalkulátor

2. Trend chart-ok:

Az Optimizely mutatja azt is, hogy hogyan alakulnak a trendek. Ez nem egy nagy varázslat. Ha 2 héten keresztül végig ugyanazt látod és még a T-próbád is jó eredményt dob, akkor már majdnem biztos lehetsz benne, hogy nyertél.

AB teszt trendek, szignifikáns vagy sem?
AB teszt trendek

3. AAB(B) teszt:

Ez egy expert-trükk! ;-)
Már a kísérlet elejétől érdemes az eredeti verziónak egy változtatás nélküli verzióját is elkészíteni. Így lesz 2 A verziód – vagy akár akár 2 B verziód is. Ha a két hasonló verzió között nincs eltérés eredményben, akkor az már jót jelent! Ezt kombinálva a trend-chart és a T-próba módszerrel, padlóra küldted a szignifikáns kontra nem-szignifikáns kérdést!

AABB teszt - konverziók, szignifikáns vagy sem?
AABB teszt – konverziók

Azt hiszem, ezzel mindent tudsz, amit az AB-teszt eredményének a biztonságosságáról tudnod kell!

Ha szeretnél hasonló bejegyzéseket olvasni, iratkozz fel a Hírlevélre!

Ha részletesen érdekel a téma, gyere el az Adatvezérelt Marketing Tréningünkre!

Tomi

Top-Adatelemző/BI eszközök (, amelyekről nem gondolnád, hogy ingyenesek)

Micsoda!? Ingyenes A/B tesztelő szoftver? Ingyenes hírlevél motor? Ingyenes funnel-metrika/KPI-metrika építő eszköz?
Nos, igen. Létezik. Minden cégnek és minden projektnek más-más adatelemző/big data/BI eszközcsomag az optimális. Azonban vannak tool-ok, amelyek mindenkinek alapvetés kellene, hogy legyenek. A vicc pedig az, hogy ezek ingyenesek. Legalábbis egy bizonyos cégméretig. Pl. ott az Optimizely – mindenki csak annyit tud róla, hogy kb 30.000$-nál kezdődik az éves előfizetésük, de azt már kevesen tudják, hogy 50.000 egyedi látogató/hó méretig (ami lássuk be, nem kevés) teljesen ingyenes. Nézzük szépen sorban a legmenőbb eszközöket, amelyeknek hasonlóan barátságos az árazási modelljük.

Mixpanel
mixpanel logoVan Google Analytics-ed? Szuper. Mi hiányzik belőle? Pl. az egyedi mérések és definíciók. Vagy az, hogy minden egyes felhasználót/felhasználói szegmenst vagy csoportot e-mail cím szerint láss. Vagy az, hogy ha egy user-ed eljutott valameddig a vásárlásban, de utána abbahagyta folyamatot, autamatikusan kapjon egy visszacsábító e-mail-t (, aminek a tartalmát akár A/B tesztelheted is)?
Ezt mind-mind tudja a Mixpanel. Sőt ennél még sokkal többet. Gyakorlatilag mindent, amit egy saját big data adatbázissal meg tudsz csinálni.
Az ára pedig 25.000 egyedi felhasználóig ingyenes.
Implementálás – megfelelő szakértelemmel – pár óra.mixpanel
Optimize.ly
Optimizely logoA/B tesztelő motor. A legjobb. Komolyan, az Adatlaborral sok ügyfélnél, sok fajta A/B tesztelő eszközt használtunk és végül az Optimizely mellett tettük le a voksunkat. (A VWO a második a sorban, de ott gyakran váratlan bug-okba, kis hibákba futottunk, ami bizony elég idegesítő tud lenni.) Ami csábító benne, hogy WYSIWYG, azaz “What you see is what you get” (azt kapod, amit látsz), tehát ha egy egyszerűbb tesztet össze akarunk dobni, akkor nem kell programoznunk, hanem elég egy grafikus felületen dobozokat tologatnunk.
Emellett kb. minden integrálható bele, pl. a fent említett Mixpanel, de a Google Analytics, a CrazyEgg, a Mouseflow és minden egyéb tool is.
Persze egy-két trükkel és best practice-szel még jobban ki tudjuk aknázni a tudását (pl. honlapátirányításos A/B teszt), de ha az árazáshoz jutunk megint meglepő fordulatot látunk (ahogy fent is írtam):
50.000 egyedi user/hó méretig ingyenes. (Ha pedig ezt túlléped, egyszerűen csak leáll a teszt.) Ebben az a szép, hogy 50.000 user-ből 100-ból 99 projektben már simán jönnek ki szignifikáns eredmények, úgyhogy ennél nagyobb motorra – legalábbis magyar viszonylatban – nincs is szükség.

Mouseflow
A Mouseflow-val 3 dolgot tehetsz meg:
1. Felveszed a látogatóid egérmozgását és visszanézed.
2. Ezekből kattintási/egérmozgatási hőtérképet készítesz.
3. Görgőzési hőtérképet készítesz.
Mind a három iszonyatosan fontos ahhoz, hogy megértsd, hogy mi miért és hogyan történik a honlapodon. Meglepődnél, hogy mennyire máshogy rajzolódik ki egy-egy kattintáshőtérkép egy-egy CTA gomb körül, ahhoz képest ahogy az a dizájnered vagy a Te fejedben megjelenik. Itt egy rövid videó a Mouseflow-ról:

A Mouseflow-nak is van ingyenes verziója, amiért 100 képernyőfelvételt nézhetsz végig havonta. Ez amúgy önmagában érdekes és hasznos is, azért egy hőtérképre inkább jobb a small csomagjuk (1000 felvétel/hó 15$-ért) vagy esetleg a medium (10000 felvétel/hó 60$-ért).
Implementálás – kb. 10 perc. :-)

Összefoglalás
Ez a 3 eszköz általában minden igényesebb adatelemzési/online termékkutatási projektnél jelen van. Azt hozzá kell tenni, hogy alternatíváik vannak. Egyrészről, amit tudni kell, hogy egy bizonyos méret után a házon belül fejleszett big data eszközök már jobban megérik anyagilag. Másrészt pedig más ár-érték arányban az alábbi tool-ok szolgálhatnak még jó példaként:
1. Mixpanel helyett: KISSmetrics
2. Optimizely helyett: VWO
3. Mouseflow helyett: ClickTale vagy CrazyEgg

Ha arra vagy kíváncsi, hogy hogyan lehet ezeket az eszközöket stratégiailag is alkalmazni, ne hagyd ki a ma esti (hétfő 04.13. 19:00) Big Data Adatstratégia webináriumunkat!

Mester Tomi