Visszatérő felhasználók mérése

Ha online bizniszben mozogsz, akkor az alábbi 2 cél biztosan szerepel a listádon:
1. Minél több új felhasználót behozni.
2. Minél több már meglévő felhasználót többszörösen visszatérő felhasználóvá konvertálni.

A visszatérő felhasználók mérése az egyik olyan terület, ahol már a definíciók szintjén is kérdésekbe fogsz ütközni, illetve ahol esetleges rossz definíciók okán a legkönnyebben becsaphatod magad. Ez a cikk ezt a problémát próbálja megelőzni! :-)

PROBLÉMA #1: Mi legyen a 2 visszatérés között eltelt ideális idő?

Miért jó ezt tudni? Rögtön egy cselekvési pont: Mennyi inaktivitás után küldd ki az oldalra win-back kampányaidat (e-mail, akciós kupon, bónusz egy hónap, stb, stb)? Ha túl korán küldöd, idegesítő leszel, ha túl későn, akkor pedig már végleg elveszíthetsz sok-sok a user-t! De ha tudod, hogy milyen gyakran térnek vissza a „jól viselkedő felhasználóid”, akkor fogod tudni azt is, hogy a kevésbé jókat mikor érdemes ping-elni.

De a válasz elengedhetetlen bonyolultabb metrikákhoz is, hogy mást ne írjak: Customer LifeTime Value.

Szóval mi az ideális időablak két visszatérés között? Fogas kérdés. Ha egy zene-stream-elő szolgáltatásod van (pl. Spotify), akkor nyilván annak örülnél, ha minden nap használnák a cuccod. De ha egy repjegy foglaló app-ot fejlesztesz, akkor számolnod kell vele, hogy félévente csak egyszer veszik elő az alkalmazásodat.

Hogyan tudod eldönteni, hogy mi a számodra megfelelő idő? Ebben 4 dolog segíthet:
1. Először is döntsd el, hogy Te mit szeretnél elérni ÉS ehhez képest mit tartasz a terméked alapján reálisnak?
2. Nézd meg a meglévő adataidat! Mindenképpen néhány adott napon regisztrált csoportot (ún. kohorszot) vizsgálj! (Pl. a 2015. február 1-én regisztrált emberek visszatérésének vizsgálata.) Utána nézd meg, hogy hányan térnek vissza közülük – bizonyos időbontásokban. Pl. itt látod az XY app-ba a 2015. január 1-én beregisztrált felhasználók havi bontású visszatérését.

Visszatérés havi bontás
Visszatérés havi bontás

Úgy tűnik, ez túl sűrű bontás, csak az látszik, hogy havonta csökken a user-ek száma, de a visszatérés periodikája nem igazán. Nézzünk, akkor ugyanerre a kohorszra egy heti bontást.

Visszatérés heti bontás
Visszatérés heti bontás

Itt is hasonló a helyzet, nem látunk periodikát, csak csökkenést. Menjünk le napi felbontásra.

Visszatérés napi bontás
Visszatérés napi bontás

Na itt már látszik az ingadozás! Kb. 3 naponta van egy peak-ünk, tehát (most persze leegyszerűsítve, de) megállapíthatjuk, hogy az ideális két visszatérés között eltelt idő 3 nap.
3. Ha nem ennyire egyértelmű a Te ábrád, mint a fenti chart – és mondjuk kb. valahova 8 és 20 nap közé tennéd be a visszatérési periódust, akkor javaslom, hogy mindig a lehető legkisebb, de még reális számot válaszd. Egyrészt, Neked is jó cél, hogy minél gyakoribb visszatérést célozz. Másrészt, mérés szempontjából is látni fogod: ha 20 napos visszatérést vizsgálsz, akkor akármit változtatsz (vagy AB-tesztelsz) a jövőben a projekteden, várnod kell 20 napot, hogy a visszatérésre-gyakorolt-hatásról megérkezzen az első adatpont. 8 nap sokkal kellemesebb várakozási idő…
4. Nézd meg a piaci benchmark-okat! Néha ez a legtriviálisabb megoldás, mégis kifelejtjük. :-)

Tehát megvan a tökéletes időkeret! Jöhet a…

PROBLÉMA #2: Hogyan mérjem a visszatérési arányt?

Ha próbálkoztál ilyesmivel és mélyebben is belementél, mint mondjuk egy automatikus Google Analytics riport, biztos, hogy sok-sok kérdés felvetődött benned!

Nézzünk egy példát, ahol a feltevés kedvéért egy napi rendszerességű visszatérési arányt, angolul Daily Retention Rate-et vizsgálunk!
A legtöbbször elkövetett hiba, hogy a Daily Retention-t sokan tévesen a Daily Active User-ek számának arányosításából számolják ki. Pl.:
– ha 2016.01.12-én 10.000 daily active user-em van,
– 2016.01.13-án pedig 9.000 daily active user-em van,
– akkor a daily retention rate: 90%…
NEM! Ez az állítás TÉVES!

Gondolj csak bele: mi van, ha 2016.01.12-én regisztrált 10.000 ember, aztán senki nem jött vissza közülük. Majd 2016.01.13-án regisztrált újabb 9.000 ember. Feltéve, hogy a célod tényleg a napi rendszerességű visszatérés elérése, akkor ez egy nagyon rossz hír (hiszen tolod a pénzt a regisztrálók számába, de senki nem jön vissza mégegyszer). Pedig a tévesen definiált Daily Retention Rate-ed 90%-ot jelzett, ami pedig éppen, hogy nagyon jó hír lenne.

Úgyhogy figyelj, nehogy becsapd magad!

Eggyel jobb megoldás, hogy ha a Daily Retention Rate-et úgy számítjuk, hogy:
– 01.12-én volt 10.000 daily active user-em, de ebből levonom a frissen regisztráltak számát (pl. 2.000)
– 01.13-án volt 9.000 daily active user-em, de ebből szintén levonom az aznap regisztráltak számát (pl. 3.000)
– Így a daily retention rate-em = ((9.000 – 3.000) / (10.000 – 2.000)) = 75%
Persze még ez sem az igazi, mert itt összemossuk azokat a visszatérő felhasználókat, akik akár már egy éve is nap mint nap velünk vannak (tehát nagyon hűségesek) azokkal, akik lehet, hogy tegnapelőtt regisztráltak és véletlen még visszataláltak az oldalra (tehát nem feltétlen elkötelezettek).

Az egyetlen és teljes értékű igazi megoldásnak a visszatérés mérésére az évek során én: a kohorsz analízist találtam. Elsőre nem a legkönnyebben áttekinthető vizualizációs módszer, de ha rááll az ember agya, akkor a legprecízebb infokat innen kaphatja.

A kohorsz analízis lényege, hogy egy időben összetartozó csoport elemeit (pl. az ugyanazon a napon regisztrált user-eket) vizsgálja. Így akármilyen változást csinálunk/tesztelünk a termékünkön, külön tudjuk mérni azt, hogy ez hogyan hat a régóta velünk levő user-ek visszatérésére (pl. a 2014. augusztus 31-es kohorszra), vagy a frissen regisztráltakéra. A kohorszokat állíthatjuk napi, heti, havi („a márciusban regisztrált user-ek”) vagy tetszőleges keretekre.

Nézzünk egy minta kohorsz analízist:

Minta kohorsz analízis
Minta kohorsz analízis (Mixpanel-ben)

Ahogy látod, itt 9 kohorszot vizsgálunk egymás alatt:
– a január 26-i héten regisztráltakat (9.6 millió user)
– a február 2-i héten regisztráltakat (9.6 millió user)
– a február 9-i héten regisztráltakat
… stb, stb

Az első sorból leolvasható, hogy a jan26-os kohorsznak az első héten 84,63%-a tért vissza, a második héten már csak 79.08%, a harmadik héten 73,52% és így tovább. Az egymás alatt levő sorok ugyanazokat a trendeket mutatják, ami megerősíti, hogy ez általánosan jellemző az adott app user-eire.
Ha összevetjük az egymás alatt levő sorokat, akkor még egy kis romlást is megfigyelhetünk, ami lehet szezonalitás, de lehet egy hibás termék vagy marketing döntés következménye is.
Akárhogy is a riport tiszta és informatív.

Konklúzió – hogyan mérd a visszatérő látogatóidat?

1. Határozd meg az ideális visszatérési időkeretet! Ez legyen minél kisebb, de vedd figyelembe az eddigi adataidat, a piaci benchmark-okat és a saját elvárásaidat is!

2. Próbálj meg minél inkább kohorsz-analízis módszertannal elemezni, ez lesz a legpontosabb és a legtisztább elemzés, amit megcsinálhatsz!

Tomi

ps1. ha a kohorsz analízis gyönyöreiben még jobban szeretnél elmélyedni, ajánlom ezt a TopTal-os cikket: http://www.toptal.com/data-science/growing-growth-perform-your-own-cohort-analysis

ps2. (Schmidt G. tanácsára: ) Szeretnéd a Google Analytics-ben megnézni a saját visitor megtartásodat? Próbáld ki ezt a linket (még csak bétaverziós, de már elég sok funkció van benne): https://analytics.google.com/analytics/web/#report/visitors-cohort/