ab teszt címkével jelölt bejegyzések

Startup adatelemzés interjú I. – PREZI

prezi startup logoTóth Zotyával, a Prezi adat-infrastruktúra csapat vezetőjével beszélgettem, arról, hogy hogyan is működik az olyan sikeres startup-oknál, mint a Prezi az “adatozás”, a big data és a különböző elemzések összeállítása. Nagyon sok érdekességet megosztott velem. A kedvenc tényeim:
1. A cégben nagyon erős a belső transzparencia. Az elemzéseket az összes Prezi dolgozó láthatja – beleértve az éves bevételt, az aktív felhasználók számát és minden egyebet.
2. A prezi belső szerverein naponta (vagy még sűrűbben) 640 script gyárt automatikus riportokat/elemzéseket.
3. Körülbelül 1 petabyte (=1.000 terrabyte = 1.000.000 gigabyte) elemezhető interakciós adatból dolgoznak – amivel azt kutatják, hogy a felhasználók hogyan használják a prezit, hova kattintanak és miért.
4. Önkiszolgálás. Minden csapat képes saját magát kiszolgálni adatokkal. A jól felépített infrastruktúrának hála gyorsan és könnyen érik el az adatokat.

toth zotya startup adatelemzés prezi
Tóth Zotya, Prezi

Tomi: Hányan vagytok most a Data Team-ben?
Zotya: Most 9-en vagyunk. Ezen belül hárman vagyunk a Data Services-ben. Amit mi csinálunk, az a gerince az egész adatinfrastruktúrának, egyrészt, mi gondoskodunk róla, hogy az adatok eljussanak az adattárházba, másrészt, hogy menjen minden elemző eszköz, amit a különböző csapatok használnak. Ezekkel, már eljutottunk odáig, hogy automatikusan működnek és ha valami gond van velük, jeleznek nekünk maguktól. A főprojektünk az ETL, ami a gerince az adattovábbításnak. Erre van egy komoly belső fejlesztésű rendszerünk.
A preziben nagyon fontos, hogy az egész adatozás self-service, tehát ha te egy termékcsapatban dolgozol, akkor te meg tudod írni a saját riportjaidat, te tudod, hogy honnan keresd az adatot, hogy hogyan strukturáld és mi pedig egy platformot adunk, hogy mindezt megcsináld. Így sikerült azt elérni, hogy még mindig 3 fős a csapat, és mégis ki tud szolgálni egy ekkora, több mint 200 fős szervezetet.

– Mire használjátok az adatokat a Preziben?
– Egyrészről vannak a core-adatok, amik a startégiai döntéseket befolyásolják. Ezeket nagyon sokat nézi a vezetői csapat, hogy merre vigyék tovább az üzletet. Pl. felhasználók száma, aktív felhasználók száma, bevétel,  vagy éppen, hogy hányan újítják meg az előfizetésüket, azok akik elkezdtek egy próbaidőszakot és hányan fizetnek. Tehát sok benne a növekedés menti, az aktív használat és a bevétel menti adat.
Másrészről a termékcsapatoknak van saját KPI-uk (“teljesítmény-mutató”), tudják mit akarnak elérni egy adott szemeszterben és azt mérik. Ezt lebontják különböző szintekre és néznek nagyon finom dolgokat is. Például sok olyat csinálnak, hogy egy kis részletet megváltoztatnak – A/B tesztelés – a weben. Egyszerűen csak máshova tesznek egy gombot, ami kimegy a felhasználók 5%-ának, a maradék 95% pedig látja a régi verziót. Azt figyelik, hogy az az 5% szignifikánsan jobban használja-e ezt az új funkciót – magyarul, hogy érdemes-e azt a gombot arrébb rakni. Ha igen, akkor megváltoztatjuk a terméket. Párhuzamosan sok ilyen kísérlet zajlik – persze nagyobbak is, de ez egy jó példa.
Ha fejlesztenek egy új dolgot, akkor tudják, hogy miket akarnak nézni: hányan használják, hányan használják mégegyszer, mennyi a hiba, a felhasználóknak hogyan változik a viselkedése, ami alatt azt értem, hogy mennyire könnyen csinálnak az emberek egy prezit. Erre is vannak belső mérőszámok és a fejlesztők azt nézik, hogy ha változik egy funkció, akkor hogyan változnak ezek a mérőszámok.

– Hogyan frissülnek az adatok? És hogyan jelenítitek meg őket?
– Körülbelül 640 script van, ami minden este vagy akár óránként lefut és ezek elküldik az eredményeket különböző vizualizációs platformokra. Például van egy chart.io nevű eszköz, de emellett használjuk a gooddata-t is. Ezenkívül van a Plotserver, ami egy sajátfejlesztésű open-source eszköz…

– Ezt a Prezi fejlesztette és open-source-szá tette?
– Igen. Bárki számára elérhető… (link: https://github.com/prezi/plotserver) Ezenkívül még van a Prezi Analytics, amit a Metrics csapat kezel. Ez az a felület, amin soha nem lehet hiba, mivel ez sok fontos döntést befolyásol és emiatt mindig pontosan és időben ott kell lennie a számoknak. Ha prezi alkalmazottként üzleti adatokkal akarsz dolgozni, kíváncsi vagy, hogy mi történik éppen a céggel, felmész erre a webes felületre és pár perc alatt összekattintgathatod az elemzésedet.

– És ezt a cégből mindenki eléri?
– Igen, ez nagyon fontos. A Prezinek az a filozófiája, hogy ahhoz, hogy datadriven-ek legyünk, ahhoz mindenkinek mindenhez hozzáférést kell adni. Tehát nincs olyan adat, ami titkos bárki előtt a preziben. Onnantól, hogy felvettek, visszamenőleg látod, hogy mikor mekkora volt a bevételünk, mennyi felhasználónk volt és azok hogyan viselkedtek. De minden mást is, amire csak kíváncsi vagy. Egészen egyszerűen azért, hogy a legjobb döntést tud meghozni.

– Köszönöm szépen a beszélgetést!

Tetszett a cikk? Nézdd meg a többi részt is:
1. Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
2. Startup adatelemzés interjú III. – Brickflow
3. Startup adatelemzés eszköztár – AB-teszt, szegmentálás, kohortok

És ne felejts el feliratkozni a hírlevélre! :-)

Mester Tomi

Startup adat-eszköztár: szegmentálás, kohort analízis és A/B teszt

Egy jól működő, hosszútávon is életképes startup egyik alappillére a tesztelés. A tesztelés általában két dolog összehasonlításáról szól – szegmentálással, kohort-analízissel vagy A/B teszttel. Ezekkel az módszerekkel meg tudjuk mondani, hogy a két elképzelés, koncepció közül melyik teljesít jobban és melyiket érdemes továbbfejleszteni. A lenti cikkben ezt a 3 módszert fogom bemutatni (a cikk struktúráját és példáit a Lean Analytics című könyvből vettem kölcsön).

SZEGMENTÁLÁS
Egy szegmens nem más, mint egy csoport, aminek a tagjai közös tulajdonságokkal rendelkeznek.
Ezek lehetnek a 20 és 25 év közötti felhasználók, Kalocsa város lakosai, a Windows8 használók vagy éppen azok, akik piros tollat vettek az ápiszban. A szegmentáció lényege, hogy összehasonlítsunk két valamilyen módon jól megkülönböztethető csoportot (a férfiakat a nőkkel vagy a budapestieket a szegediekkel, a piros toll vásárlókat a kék toll vásárlókkal, stb.) és megnézzük, hogy mi különbözik a felhasználói szokásaikban. Például ha látod, hogy a budapestiek a többiekhez képest nagyobb arányban nyitották meg a “Regisztrálj 10%-kal olcsóbban” e-mail kampányodat, a szegediek pedig a “Regisztrálj és kapsz egy kék pólót” leveledet, akkor sejtheted, hogy Budapestre és Szegedre más-más marketing stratégiával kell rámenned.
A szegmentálás amúgy nem az internet gyermeke, a marketingben és minden más iparágban is már nagyon régóta használják nagy sikerrel.

KOHORT ANALÍZIS
A kohort elemzés az időbeli összehasonlításról szól. Egy startup-ban folyamatosan változik a termék, a modell és a piacelérés stratégiája. Ehhez mérten azok a user-ek, akik az első héten regisztrálnak, teljesen más élményben részesülnek, mint azok, akik az ötödik hónapban. A probléma az, hogy a legtöbb startup (de nagyobb cégek is) elégedettek a havi átlagokkal, ami a példa kedvéért így nézhet ki:
startup cohort analízis

Ezen a táblázaton azt látjuk, hogy nagyjából minden rendben van, májusig volt egy kis esés, de az érték elindult visszafelé. Ha mindezt kohort analízissel nézzük, rögtön kiderül, hogy a kölünböző hónapokban regisztrált csoportok (a lenti táblázatban az új sorok), hogyan teljesítettek külön-külön. Zölddel kiemeltem minden csoport első hónapját, sárgával a másodikat.

kohort analízis adatelemzés

Tehát a Januárban regisztrálók első hóban termelt bevétele 5$, míg a májusiaknál ugyanez az érték 9$. Ez bizony növekedés, ami igazolja az esetleges változásokat a hónapok során a termékben.
Egy másik fontos dolog, ami jól látszik ezen a táblán, hogy egy adott csoport mindig a regisztráció hónapjában termeli a legtöbb pénzt, később ez az összeg elindul lefelé. Mindez kohort analízis nélkül nem látszódott volna!

A/B TESZTELÉS
Míg a kohort analízis lényege az időbeli eltérés, az A/B tesztelés kulcsa éppen az egyidejűség. Az A/B teszt során két hasonló felépítésű felhasználói csoportnak adunk oda két különböző verziót a tesztelendő anyagunkból (weblap dizájn, email szövegezés, stb…) egy időben.
Ideális esetben a felhasználók nem is fogják tudni, hogy egy tesztben vesznek részt, ezért természetesen viselkednek és nem torzul a teszt eredménye.

Egy egyszerű példa:
Kiküldesz egy e-mail kampányt A/B teszttel (a legtöbb profi hírlevélküldőben van ilyen lehetőség) – a feliratkozóid egyik felének “Akciónk nemsokára lejár…”, a másik felének “Akciónk szerdán lejár” tárggyal. Rögtön tesztelheted, hogy a te feliratkozóidnak a bizonytalan vagy a fix határidő a motiválóbb. Nézd meg a hírlevél megnyitási arányát az egyik és a másik esetben! Legközelebb már tudni fogod, milyen tárgy mezővel leszel sikeresebb.

Nem hiszed, hogy ez tényleg számít? A Picatic nevű startup-nál a regisztrációs gombot tesztelték A/B teszttel. A látogatók egyik felének “Try it out free”, a másiknak “Get started free” volt a gombra írva. 10 napig tartott a mérés és a tapasztalat megdöbbentő volt. A “Try it out free” 376%-kal több átkattintást hozott, mint a “Get started free” gomb. Azaz több, mint 4-szer annyi embert érdekelt a regisztráció, pedig az egyetlen különbség pár szó volt. Érdemes A/B tesztelni? Vagy máshogy kérdezem: szeretnél 4-szer annyi user-t? Szerintem igen.

Az A/B tesztelésnél 3 dologra kell még odafigyelni:
1) Ne úgy csináld, mint a MÁV. Ez nem A/B teszt, hanem egy szavazás. Semmi értelme, nagyon torz eredményeket fog adni.

MÁV "A/B teszt"
MÁV “A/B teszt” – képért köszönet Kovács Zsuzsannának

2) Ha kevés a látogatód, hogy apróságokat tesztelgess (mint egy-egy szó), próbálj a főbb dolgokra fókuszálni, ahol amúgy is majdnem minden felhasználód átmegy (nyitóoldal főbb elemei, stb.)!
3) Véletlenül se futtasd egymás után az A és a B verziót. Ha időben nem egyszerre fut a két verzió, simán lehet, hogy valami egyéb változó hatott ki az eredményeidre (szombaton az egyik verzió alatt mindenki a Szombat esti lázat nézte és emiatt senki nem kattintott).

Tehát ne feledd: szegmentálás, kohort analízis, A/B teszt és sokkal okosabb és sikeresebb leszel a startup-oddal.

Cikkek startup adatelemzés témában:
1. Az AirBNB sztori – 60-szoros növekedés teszteléssel
2. Startup adatelemzés interjú I. – Prezi
3. Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
4. Startup adatelemzés interjú III. – Brickflow

Ha még több ilyen témájú cikket olvasnál, iratkozz fel a hírlevélre itt:

Mester Tomi