Egy jól működő, hosszútávon is életképes startup egyik alappillére a tesztelés. A tesztelés általában két dolog összehasonlításáról szól – szegmentálással, kohort-analízissel vagy A/B teszttel. Ezekkel az módszerekkel meg tudjuk mondani, hogy a két elképzelés, koncepció közül melyik teljesít jobban és melyiket érdemes továbbfejleszteni. A lenti cikkben ezt a 3 módszert fogom bemutatni (a cikk struktúráját és példáit a Lean Analytics című könyvből vettem kölcsön).
SZEGMENTÁLÁS
Egy szegmens nem más, mint egy csoport, aminek a tagjai közös tulajdonságokkal rendelkeznek. Ezek lehetnek a 20 és 25 év közötti felhasználók, Kalocsa város lakosai, a Windows8 használók vagy éppen azok, akik piros tollat vettek az ápiszban. A szegmentáció lényege, hogy összehasonlítsunk két valamilyen módon jól megkülönböztethető csoportot (a férfiakat a nőkkel vagy a budapestieket a szegediekkel, a piros toll vásárlókat a kék toll vásárlókkal, stb.) és megnézzük, hogy mi különbözik a felhasználói szokásaikban. Például ha látod, hogy a budapestiek a többiekhez képest nagyobb arányban nyitották meg a „Regisztrálj 10%-kal olcsóbban” e-mail kampányodat, a szegediek pedig a „Regisztrálj és kapsz egy kék pólót” leveledet, akkor sejtheted, hogy Budapestre és Szegedre más-más marketing stratégiával kell rámenned.
A szegmentálás amúgy nem az internet gyermeke, a marketingben és minden más iparágban is már nagyon régóta használják nagy sikerrel.
KOHORT ANALÍZIS
A kohort elemzés az időbeli összehasonlításról szól. Egy startup-ban folyamatosan változik a termék, a modell és a piacelérés stratégiája. Ehhez mérten azok a user-ek, akik az első héten regisztrálnak, teljesen más élményben részesülnek, mint azok, akik az ötödik hónapban. A probléma az, hogy a legtöbb startup (de nagyobb cégek is) elégedettek a havi átlagokkal, ami a példa kedvéért így nézhet ki:
Ezen a táblázaton azt látjuk, hogy nagyjából minden rendben van, májusig volt egy kis esés, de az érték elindult visszafelé. Ha mindezt kohort analízissel nézzük, rögtön kiderül, hogy a kölünböző hónapokban regisztrált csoportok (a lenti táblázatban az új sorok), hogyan teljesítettek külön-külön. Zölddel kiemeltem minden csoport első hónapját, sárgával a másodikat.
Tehát a Januárban regisztrálók első hóban termelt bevétele 5$, míg a májusiaknál ugyanez az érték 9$. Ez bizony növekedés, ami igazolja az esetleges változásokat a hónapok során a termékben.
Egy másik fontos dolog, ami jól látszik ezen a táblán, hogy egy adott csoport mindig a regisztráció hónapjában termeli a legtöbb pénzt, később ez az összeg elindul lefelé. Mindez kohort analízis nélkül nem látszódott volna!
A/B TESZTELÉS
Míg a kohort analízis lényege az időbeli eltérés, az A/B tesztelés kulcsa éppen az egyidejűség. Az A/B teszt során két hasonló felépítésű felhasználói csoportnak adunk oda két különböző verziót a tesztelendő anyagunkból (weblap dizájn, email szövegezés, stb…) egy időben. Ideális esetben a felhasználók nem is fogják tudni, hogy egy tesztben vesznek részt, ezért természetesen viselkednek és nem torzul a teszt eredménye.
Egy egyszerű példa:
Kiküldesz egy e-mail kampányt A/B teszttel (a legtöbb profi hírlevélküldőben van ilyen lehetőség) – a feliratkozóid egyik felének „Akciónk nemsokára lejár…”, a másik felének „Akciónk szerdán lejár” tárggyal. Rögtön tesztelheted, hogy a te feliratkozóidnak a bizonytalan vagy a fix határidő a motiválóbb. Nézd meg a hírlevél megnyitási arányát az egyik és a másik esetben! Legközelebb már tudni fogod, milyen tárgy mezővel leszel sikeresebb.
Nem hiszed, hogy ez tényleg számít? A Picatic nevű startup-nál a regisztrációs gombot tesztelték A/B teszttel. A látogatók egyik felének „Try it out free”, a másiknak „Get started free” volt a gombra írva. 10 napig tartott a mérés és a tapasztalat megdöbbentő volt. A „Try it out free” 376%-kal több átkattintást hozott, mint a „Get started free” gomb. Azaz több, mint 4-szer annyi embert érdekelt a regisztráció, pedig az egyetlen különbség pár szó volt. Érdemes A/B tesztelni? Vagy máshogy kérdezem: szeretnél 4-szer annyi user-t? Szerintem igen.
Az A/B tesztelésnél 3 dologra kell még odafigyelni:
1) Ne úgy csináld, mint a MÁV. Ez nem A/B teszt, hanem egy szavazás. Semmi értelme, nagyon torz eredményeket fog adni.
2) Ha kevés a látogatód, hogy apróságokat tesztelgess (mint egy-egy szó), próbálj a főbb dolgokra fókuszálni, ahol amúgy is majdnem minden felhasználód átmegy (nyitóoldal főbb elemei, stb.)!
3) Véletlenül se futtasd egymás után az A és a B verziót. Ha időben nem egyszerre fut a két verzió, simán lehet, hogy valami egyéb változó hatott ki az eredményeidre (szombaton az egyik verzió alatt mindenki a Szombat esti lázat nézte és emiatt senki nem kattintott).
Tehát ne feledd: szegmentálás, kohort analízis, A/B teszt és sokkal okosabb és sikeresebb leszel a startup-oddal.
Cikkek startup adatelemzés témában:
1. Az AirBNB sztori – 60-szoros növekedés teszteléssel
2. Startup adatelemzés interjú I. – Prezi
3. Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
4. Startup adatelemzés interjú III. – Brickflow
Ha még több ilyen témájú cikket olvasnál, iratkozz fel a hírlevélre itt:
Mester Tomi