mérés címkével jelölt bejegyzések

Az Evolution előadás margójára: Az A/B tesztelés 4 szabálya

Note: ezt a bejegyzést az Evolution konferenciás előadásomhoz kapcsolódóan írtam. De azért bárkinek hasznos lehet… :-)

A legfrissebb statisztikák szerint az online szolgáltatók 91%-a tudja, hogy mi az az A/B tesztelés, de csak 11% az, aki ténylegesen (legalább egyszer) futtatott A/B tesztet az oldalán. Pedig az A/B tesztelésnek forintban mérhető, azonnali haszna van. Egy külföldi esettanulmány:

A fab.com e-commerce startup egyetlen dolgot tesztelt az oldalán. A lenti két képen látszik is: az “Add to cart” gomb színét.

fab AB teszt piros

fab AB teszt piros
Az oldalra érkező látogatók fele-fele arányban véletlenszerűen kapták meg vagy a piros vagy a kék verziót. Ekkora látogatószámnál viszonylag kevés tesztből kiderült a válasz a kérdésre: melyik gombszín hoz több kattintást, ezáltal magasabb konverziót és több profitot. Az eredmény pedig megdöbbentő: 49%, ami éves szinten dollár-milliókat(!) jelent a fab.com-nak. A kísérlet beállítása és elindítása nettó 2 óra munkát jelentett nekik. Azt hiszem, ezek után nehéz lenne azt mondani, hogy az A/B tesztelés nem hasznos.

De hogyan is kell A/B tesztelni? Íme 4 szabály, amit én a legtöbbször látok elrontani olyan ügyfeleknél, akik maguknak kezdték el csinálni az A/B tesztjeiket. (Ezt nem amolyan “cikizés”, csak azért írom le, hogy más ne essen ezekbe a gyakori hibákba! :-))

1. Egy időben fusson a két verzió!
Tehát az nem A/B teszt, hogy februárban kiteszem az egyik verziót, márciusban pedig a másikat és mérem, hogy melyik hoz több kattintást… Miért nem? Azért, mert ebben az esetben közbeszólhat a szezonalitás. Azaz lehet, hogy márciusban nagyobb igény van az adott termékre (pl. tavaszi cipő), mint februárban volt és ez is befolyásolja a konverziót. Egy korrekt A/B tesztben a különböző verziók egymással párhuzamosan, egy időben futnak.

2. A teszt csoport és a kontroll csoport azonos összetételű legyen!
Pl. ha a fizetős felhasználóim perszonalizált hírlevelet kapnak, az ingyenes felhasználóim pedig nem, akkor a hírlevélből jövő átkattintási arányok nem csak azért lesznek eltérőek, mert más a levél tartalma, hanem azért is, mert más a felhasználói csoportok elkötelezettségi szintje. Ha a fizetős felhasználók teljesen ugyanazt a levelet kapnák, mint az ingyenesek, könnyen lehet, hogy mivel ők elkötelezettebbek a termék iránt, amúgy is többen kattintanának. Éppen ezért, ha tényleg a levél tartalmát akarod tesztelni, akkor vagy a fizetős felhasználókat kell véletlenszerűen két csoportba osztanod, vagy az ingyeneseket. A lényeg, hogy a kontroll csoport és a teszt csoport azonos típusú embereket tartalmazzon.

3. Legyen célja a tesztnek!
És ez nem csak arról szól, hogy ne dolgozzunk feleslegesen, hanem arról is, hogy ténylegesen: egy A/B tesztet csak akkor lehet kiértékelni, ha az ember már a tervezés fázisban eldönti, hogy mi lesz az az 1, maximum 2 mérőszám, aminek a változását figyeli és ami alapján azt mondja, hogy az egyik verzió sikeresebb, mint a másik (mint pl. a fab.com esetében a gombra kattintás).

4. Csak egy dolgot változtass!
Ezt nehéz betartani és általában nem is szokták. De vedd figyelembe, hogy minél több elemet változtatsz a két verzió között, annál nehezebb lesz eldönteni, hogy pontosan melyik volt a kulcselem, ami az egyik verziót sikeresebbé tette, mint a másikat (pl. a fab.com csak a kék és a piros gomb közötti különbséget mérte.

És hogy hogyan is kell beállítani egy A/B tesztet? Természetesen ebben mi is tudunk segíteni, de ha egyedül szeretnél belevágni, ezen 3 platform valamelyikét tudom ajánlani:
Visual Website Optimizer
Optimize.ly
Google Analytics Experiments

FOLYTATÁS: Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét! 

Mester Tomi

3 weboldal használhatósági sztenderd

Note: általában nem szeretek sztenderdekről írni, hiszen az adatelemzés pontosan arról szól, hogy minden egyes szolgáltatáshoz más célcsoport tartozik, más igényekkel és ilyen módon minden egyes weboldalnak más és más megoldást kell adnia, folyamatosan figyelve és monitorozva a felhasználóit. DE valahogy az alábbi 3 vissza-visszatérő tanulságot minden egyes kutatásunk és mérésünk a visszaigazolta, mind a startup, mind az e-commerce vonalon. (Ráadásul még a külföldi benchmark-okkal is egybevág.)

1. A gomb színe a piros.
Megdöbbentő (és a dizájnerek számára biztos szomorú is), hogy nem volt olyan A/B tesztünk, ami ne azt az eredményt mutatta volna, hogy a vásárlás (vagy a regisztráció gomb) pirosra cserélése ne hozott volna legalább 20%-kal magasabb konverziót. A külföldi esettanulmányokat végigelemezve is megállapíthatjuk, hogy a piros átlagban 10-ből 9-szer nyer (amikor pedig nem, akkor az élénk zöld). Ez van. A gomb színe a piros.

2. Az emberek nem görgőznek.
Legalábbis nem annyit, mint gondolnád. A nyitóképernyőről átlagban csak az emberek 80%-a görget lejjebb egy “nyitóképernyőnyit”, 60%-a két “nyitóképernyőnyit” és így tovább. Ergo a legfontosabb üzeneted, amivel tényleg mindenkit el akarsz érni (pl. egy hírlevél-feliratkozás?) érdemes görgetés nélkül is elérhetővé tenni. Ugyanemiatt az esetek legkisebb részébe jó taktika egy nagy egész oldalt elfoglaló “high-quality” képet betenni a nyitóoldalra, ehelyett érdemesebb rögtön valamilyen értékes információt láttatni – webshop-ok esetében egy-egy kiemelt terméket, startup-oknál a szolgáltatást.

3. Nyitó pop-up = instant látogatóvesztés
Valamiért egyre jobban terjed az a megindokolhatatlan nézet, miszerint a belépés előtt kell egy hírlevél-feliratkozás (vagy egy akciókat felkínáló (vagy egy általános tájékoztató)) pop-up. Az igazság az, hogy ezek a nyitó pop-up-ok elég magas mértékű lemorzsolódást eredményeznek, amit végül a hírlevél feliratkozások száma nem ellensúlyoz. Ha az ember mindenáron pop-up-ot szeretne, akkor a best-practice az, hogy hagyni kell a látogatónak egy kis időt míg barangol az oldalon és legalább egy minimális mértékben el kezd érdeklődni a szolgáltatás iránt. Ezek után sokkal kisebb a lemorzsolódás esélye (és persze a feliratkozásé pedig nő.) Egyébként egy elég jó megoldás lehet az Optimonk-féle módszer is, ami csak akkor dob pop-up-ot, ha a látogató már nagyon olyan jeleket mutat, hogy be fogja zárni az oldalt.

Remélem ez a 3 kis apróság neked is segíteni fog! És ne feledd, ahhoz, hogy valóban megértsd a látogatóidat és a legmagasabb minőséget tudd nekik adni, nem elég a best practice-ket használni, hanem bele kell nézni a saját adataidba is!

Mester Tomi

ps.: Ha több ilyen cikket szeretnél olvasni, ne felejts el követni minket Facebook-on!

6 szám, amit minden e-kereskedőnek mérnie kéne

A forintosított bevételével minden e-kereskedő tisztában van. Ez az alfája és az omegája minden analitikának, ez a végső siker mértéke. De van még másik 6 szám, amit minden tudatos online kereskedőnek ismernie kellene. Már csak azért is, mert ezek azok a számok, amelyek közvetlenül befolyásolják a bevételt – így ha tudatosan méred őket, látni fogod, hogy hol tudsz a leggyorsabban javítani az üzletmeneteden.

1. Az átlagos kosárméret (HUF/hó)
számítás: (havi összbevétel)/(havi vásárlások száma)
“Ha meggondolod, hogy egy látogató megszerzésének van egy fix költsége, akkor az hogy ettől a látogatótól minél nagyobb rendelést tudj elkönyvelni, a legegyszerűbb módja a bevételed növelésének.” (Bill D’Alessandro, befektető amerikai e-commerce szektorban)

2. Vásárlószerzés költsége csatornánként (HUF/vásárló/csatorna)
számítás: (reklámra költött pénz adott csatornán)/(vásárlók száma az adott csatornából)
Mindegy, hogy honnan szerzed a látogatóidat – Facebook, Google, Twitter, fórumok, blogok, konferenciák – mindegyiknek lesz valamekkora költségvonzata. Innentől pedig egyszerű matek az egész: legyen nagyobb a profitod az eladásból, mint amennyibe a reklám (és a kézbesítés) kerül.
Ha tudod, hogy melyik a legköltséghatékonyabb csatornád, tudni fogod mire érdemes fókuszálni. Enélkül könnyen lehet, hogy csak az ablakon szórod ki a pénzt.

3. Éves szintű visszatérés (%)
számítás: (azon felhasználók száma, akik tavaly is és idén is vásároltak tőled) / (összes tavalyi vásárló)
Itt nincs jó vagy rossz érték, de Kevin Hillstrom amerikai big data guru több 100 webshop elemzésén keresztül kialakított gyakorlata azt mutatja, hogy ez a szám alapvetően határozza meg az e-kereskedelmi stratégiát.
Ha ez az érték 40% alatt van, akkor a főfókuszod az új látogatók megszerzése legyen! Fektess a reklámjaidba és a továbbajánlások megszerzésébe energiát! (Ilyen cégek pl. túrafelszereléssel foglalkozó cégek, szemüveg boltok, és egyéb ritkán fogyasztott termékek).
Ha ez az érték 60% felett van, akkor építs lojalitást és kiemelt figyelmet szentelj a felhasználói élménynek. (pl. Amazon, Ebay, Tesco online, stb…)
Ha az érték 40% és 60% között van, akkor abban a ritka helyzetben vagy, hogy mindkét területre – új vásárlók és lojális vásárlók – koncentrálnod kell. Ilyen cégeknél (pl. Zappos) kiemelten fontosak a személyre szabott, informatív hírlevelek – illetve a perszonalizált élmény.

4. A konverziós arány (%)
számítás: (vásárló látogatók száma) / (összes látogató száma)
Ezt a kifejezést mindenki ismeri. Azt fejezi ki, hogy a látogatóidnak mekkora százaléka lesz valódi vásárló. Korai szakaszban ez a szám fontosabb, mint maga a bevétel, hiszen a befektetések megtérülését is ebből lehet számítani. Később is folyamatosan érdemes azon dolgozni, hogy ez az arány minél magasabb legyen.

5. Lemorzsolódás aránya (%)
számítás: (NEM vásárló látogatók száma) / (összes látogató száma)
Tulajdonképpen a konverziós arány ellentétéről beszélünk. De a lemorzsolódást lépésenként kell mérni – melyik aloldalon, melyik kosárfolyamatnál, pontosan hány %-a esett ki az embereknek. Ezáltal nagyon gyorsan megtalálhatók a gyenge pontok, optimalizálhatóak a vásárlási folyamatok.

6. Egy vásárlóra jutó profit
(Ft/vásárló)

számítás: (havi összbevétel)/(havi vásárlók száma)
Akár a lojalitás, akár az új vásárlók megszerzése a fókuszod, mindenképpen fontos, hogy maximalizáld az egy vásárlóból kitermelt profitot. A fenti 5 mérés mind-mind segít ebben – csökkentheted a lemorzsolódás arányát, növelheted a kosárméretet vagy optimalizálhatod a látogatószerzési folyamataidat – a végeredmény mindig az lesz, hogy nő az egy vásárlóra jutó profit. Ha emellett szinten tudod tartani a vásárlók számát, nem nehéz kiszámolni, hogy a bevételed is nőni fog!

Összegzés: Ezek az adatok a Te céged vásárlási adataidból is kinyerhetőek. Semmilyen speciális eszközre vagy szoftverre nincs hozzájuk szükség. Érdemes őket folyamatosan monitorozni, hiszen általuk sokkal tisztábban fogsz látni a cégedben és sokkal tudatosabban tudod majd felépíteni és változtatni a stratégiádat.

Ha segítségre van szükséged, szólj! :-)

Mester Tomi

inspiráció: Croll&Yoskovits – Lean Analytics

A limonádés stand – avagy mit is kéne mérni?

“Ahhoz, hogy eldöntsd, mit is kéne mérned, olyan egyszerűen le kell tudnod írni az üzleti modelledet, mint egy limonádé árusító stand. Lépj egyet hátra, felejts el minden részletet és csak az igazán fontos összetevőkkel foglalkozz.” (Croll & Yoskovitz – Lean Analytics)

Croll és Yoskovitz szerint egy induló vállalkozásnak az egyik legjobb szimbóluma egy limonádé árusító stand lehetne. Könnyű megérteni belőle, hogy hogyan is működnek az üzleti modellek.

Mert hát hogy is működik egy sikeres limonádé árusító? Természetesen több pénzt keres a limonádé eladásából, mint amennyi költséggel az egész jár. Mik lehetnek a költségek?
– összetevők ára (citrom, cukor, poharak, víz)
– az egyszeri marketing kiadások (maga a pult, kóstolók, szórólapok)
– órabérek (ami persze gyerekkorban még nem is olyan fontos :-))

A számítás könnyű:
((Eladott italok száma) * (Ital ára)) – ((összetevők * elkészített italok száma) + (marketing kiadások) + (órabérek))

Ha ez az összeg pozitív, akkor nyereséges az üzlet, ha negatív, akkor nem az.

De ez mégsem ilyen egyszerű, hiszen a képletet befolyásolja a citrom árváltozása, az időjárás (vevőszám változás), az átmenő forgalom a környéken. Egyszóval rengeteg dolog, amire nehéz előre gondolni.
És mitől lesz mégis sikeres a limonádé árus?
Egyrészt, ha az előzetes számításokat elvégezte, másrészt, ha a felmerülő körülményekből származó hatásokat folyamatosan monitorozza (azaz méri), nézi, hogy mi milyen hatással volt az üzletmenetre és ezek fényében változtat.
Pl. ha a citromot a sarki árustól vette, aki a növekvő forgalom miatt felemeli a citromárakat, akkor a limonádé szakemberünk értelemszerűen rögtön reagálni fog rá és más beszállítót keres. Ha látja, hogy a környéken nagy lezárások vannak, akkor áthelyezi a székhelyét.

A különbség az online bizniszek és a limonádé stand között csupán annyi, hogy online sokszor ezeket a körülményeket nem tudjuk automatikusan észlelni és szétválasztani egymástól. Csak azt látjuk, hogy kezdenek fogyni a user-eink, de azt nem értjük, hogy miért – hiszen az egész egy láthatlan térben történik, tőlünk távol. Viszont ha mindent követünk, mérünk és adatokkal támasztunk alá, akkor ez a probléma megszűnik. Ha A/B teszteljük a marketing kampányainkat, ha UTM-kóddal látjuk el minden Facebook linkünket, ha szegmentáljuk a felhasználóinkat kor és nem szerint, stb…, egy pillanat alatt észlelni fogjuk, hogy mi az ok és mi az okozat és legfőbbképpen azt, hogy hogyan kell változtatnunk, hogy továbbra is sikeresek maradjunk.

Úgyhogy gondold végig még ma az üzletedet egy lépés távolságból! Mik a főbb összetevők és hogyan lehet ezeket mérni. Majd menj bele a részletekbe is, hogyan tudod követni az apró változásokat, hogyan tudsz mindent szem előtt tartani! A hasznod pedig az azonnali és folyamatosan fejlődő stabil üzletmeneted lesz! :-)

Mester Tomi

Lead, Lag, WIG – célok 2015-re

Egyébként ez az utolsó bejegyzésünk idén. Még lezárunk egy-két projektet, aztán mi is megyünk karácsonyozni. De egy rövid gondolat még – mivel sokaknál amúgy is most vannak az év végi értékelések. És ami még fontosabb, nem sokára jönnek az évindító stratégiai szuper-meetingek, a 2015-ös nagy célok felállításaival.

Egy nagyon jó modell, amit a Prezinél láttam (,de pl. az Adatlabornál is ezt használjuk):
4DX (The Four Disciplines of Execution)
(Az egész könyv első fejezetét itt is eléritek, illetve feltettem a szakmai anyagok közé is, de röviden a könyv célokkal kapcsolatos lényege.)
A 4DX szerint  a céljainkat 3 csoportba oszthatjuk: WIG, LAG, LEAD.

Lead Lag WIG
Lead – Lag – WIG — összefüggés

WIG: wildly important goal – azaz a legvégső célod. Legtöbbször ez a cél a profit. Ez nem csak az anyagiak miatt van. A profit nem csak azt mutatja meg, hogy mennyivel leszel gazdagabb, de egy jó mérőszám arra, is hogy a terméked vagy szolgáltatásod valóban értéket képvisel-e. Hogy a lehetséges ügyfelek tényleg fizetnek-e érte, hogy tényleg szüksége van-e a piacnak arra, amit csinálsz. Ha nem, akkor valami nem jó és ezt a legeslegjobban mindig a pénzügyi mutatók mutatják. Én hiszek abban, hogy emiatt – ha csak nem non-profit szektorban vagy – a profit/bevétel egy jó végső mutató és célérték.

LAG: A LAG-ek azok a minicélok, amelyek támogatnak téged a WIG elérésében. Pl. hány vásárlód van, mennyire értékes terméket tudsz eladni. De lehet LAG a hírlevél feliratkozók száma, a Facebook Like-ok száma, stb… A LAG definíciója: egy olyan cél, aminek az elérését nem tudod közvetlenül befolyásolni (pl. egy Facebook like megszületése az oldaladon nem a te döntésed, hiszen, az már a látogatód választása, hogy megnyomja-e a gombot vagy sem), de jó visszajelzés arról, hogy közelebb vagy-e a WIG-hez, a végső célodhoz vagy sem. A LAG-eket ezért mindig csak utólag tudod ellenőrizni.
A LAG-eknél a legnagyobb csapda, hogy bizonyos üzletágakban vannak totálisan irreleváns LAG-célok. Pl. van ahol semmit nem ér a 10.000 cikk megtekintés, mert végül nem lesz belőle egy vásárlás sem. Ezeket az összefüggéseket minden cégnek magának kell kikísérleteznie és kimérnie.

LEAD: (Kicsit megtévesztő a neve, mivel LEAD-nek nevezzük pl. a Sales folyamatokban, a potenciális ügyfelektől érkező visszajelzést is. Ez most egy másik LEAD. :-)) LEAD az a cél, amit mi magunk közvetlenül tudunk befolyásolni. Pl. Hány cikket írok meg a blogomon. Vagy hány konferenciára megyek el beszélni. Vagy hogy mennyi időt és pénzt költök reklámokra. Stb. Ezek még nem a végső célok, hanem az eszközök a végső célhoz. Viszont a LEAD-eket mindig előre tudom vetíteni, tudok vele tervezni. És ami fontos, egy jó LEAD hatással van a LAG-re.

Egy konkrét példa a Lean Analytics című könyvből.
Egy ügyfélszolgálat esetében ezek a számok:
LEAD: 1. a megoldott panaszok száma (%-ban a panaszokhoz képest) 2. a problémamegoldás gyorsasága (átlagos megoldási idő, percben vagy órában)
LAG: 1. az ügyfelek elégedettsége (elégedettség-mérés alapján, pl 1-10) 2. az ügyfél további panaszai (%-ban hány ügyfél panaszkodik tovább)
WIG: Hogy az ügyfél visszatérjen a termékhez és ne mondja le az előfizetését. (% lemondások aránya)Jól látszik, hogy a LEAD befolyásolja a LAG-et, a LAG pedig befolyásolja a WIG-et. De az egyetlen dolog, amiért mi közvetlenül teszünk az a LEAD – a többi már az ügyfeleken és a folyamataink minőségén múlik.
Ha felállítod a saját Lead-jeidet, Lag-jeidet és WIG-jeidet és találsz köztük valódi, statisztikailag is kimutatható összefüggéseket, akkor meg tudod mondani, hogy mi történik, ha az egyik LEAD-edet változtatod. Máshogy mondva meg tudod jósolni a jövőt. Ilyen egyszerű az egész. :-)Kellemes tervezgetést 2015-re és kellemes pihenést 2014 hátralevő részére!

Mester Tomi

Milyen hosszú egy jó blogbejegyzés?

A Medium.com válasza: 7 perc. Legalábbis a Medium-on. De ők big data alapon is megnézték.
A helyes válasz persze az, hogy ez teljesen blogfüggő, közönségfüggő és természetesen helyzetfüggő is. De a lényeg mégis csak az, hogy ha belenézel az adataidba, akkor még azt is ki tudod szedni belőle, hogy a Te oldaladon milyen hosszú lenne egy ideális blogbejegyzés.

Nézzük, a Medium hogyan csinálta. Először is fogták az összes cikküket és mindegyiken megnézték, hogy milyen hosszú, hány perc lenne elolvasni (ez a szavak számából nagyjából számítható). Aztán fogták az összes cikkük tényleges olvasási idejét, azaz azt, hogy a felhasználók valójában mennyi időt töltenek az oldalakon. Értelemszerűen, ha ez az idő kevesebb, mint a cikk becsült hosszúsága, akkor a felhasználók nem olvassák végig a cikket, azaz az túl hosszú. Ha jóval több időt töltenek az oldalon, abból pedig arra lehet következtetni, hogy még tudnák olvasgatni, visszanéznek egy-két részt, ami tetszett nekik. Erre nem mondanám, hogy túl rövid, inkább azt, hogy közel optimális.
De ennél a Medium még mélyebbre ásott. Ők minden cikken azt mérik, hogy mekkora az össz-olvasási idő – azaz ha egy cikket 1.000 ember olvasott átlagosan 60 másodpercig, ott 60×1.000=60.000 másodperc az össz-olvasási idő. Ha egy másik cikket csak 50-en néztek, de azt 300 másodpercig átlagosan, ott 50×300=15.000 mp az össz-olvasási idő.
Ez alapján kirajzoltatták a legsikeresebb, azaz a legnagyobb össz-olvasottsági idejű cikkeiket. A maximum a 7 perc hosszúságú cikkeknél van.

milyen hosszu a jo blogbejegyzes
Milyen hosszú a jó blogbejegyzés?

Természetesen sok blognak soha nem lesz annyi olvasója és akkora adathalmazai, mint a Mediumnak, azért az adatvezérelt gondolkodás példaértékű. Igenis érdemes olyan szubjektív tartalmaknál is, mint egy blogbejegyzés, adatelemezni és kideríteni, hogy mi az, amit szeretnek az olvasóink és mi az, amit kevésbé.

Az átlagos olvasási idő pedig a Te Google Analytics projektedben is benne van – csak pár kattintás belőle össz-olvasási időt számítani. Úgyhogy vess rá egy pillantást és találd ki, hogy ez alapján miről is kéne szólnia a következő cikkednek!

Mester Tomi

A cikk az alábbi bejegyzés alapján írodott:
View story at Medium.com

Startup adatelemzés interjú IV. – USTREAM

brickflow logo startup interjúA Ustream BI csapatának a vezetőjével, Szakács “Szaki” Balázzsal beszélgettem, arról, hogy pontosan hogyan működik náluk az adatelemzés, az üzleti intelligencia és a big data. A lenti interjúból a nekem legérdekesebb 3 dolog volt, hogy:
1. A Ustream-nél még viszonylag friss, kb 2 éves a BI, de máris óriási hatással vannak a termékre és a cégre.
2. Hogy milyen erős az összefüggés a jól megválasztott social media csatorna és az aktuális tartalom a nézettséggel.
3. Hogy több ezrek közvetítik az esküvőjüket online. :-)
(+1: Van saját Ustream sörük!!!)

Íme a teljes interjú:
Tomi: Te mit csinálsz pontosan a Ustream-nél?

Szakács Balázs, Ustream, BI csapatvezető
Szakács Balázs, Ustream, BI vezető

Szaki: Lassan 2 éve vagyok itt és én vagyok az üzleti intelligencia rész vezetője. Engem azért hoztak ide, hogy segítsem a Ustream-et arra az útra lépni, hogy egy igazán adatvezérelt szervezet legyen. Ehhez gyakorlatilag 0-ról kellett felépíteni a dolgokat: csapatot toborozni, megfelelő embereket  kiválasztani, egyáltalán azt eldönteni, hogy milyen típusú team-re van szükség. A gyakorlatban pedig a vezetői feladatok mellett én tartom a kapcsolatot a cég különböző területi vezetőivel,  kulcsfelhasználóival. Összegyűjtjük az igényeket, hogy milyen irányba lehetne fejleszeni és továbbvinni a terméket, hol tudunk a legnagyobb értéket teremteni. A csapatom pedig az, aki segít ezt megvalósítani, én pedig ebben támogatom őket.

Ezek szerint 2 éve kezdtétek el igazán használni a BI-t a Ustream-nél?
Igen, én 2 éve érkeztem, a csapat maga pedig másfél éves. Tehát mondhatjuk azt, hogy ez egy elég friss dolog a Ustream-nél.

Általánosságban mire használjátok a Ustream-nél az adatelemzést?
Több felhasználási terület van. Az egyik az abszolút vezetői döntés támogatás: hogy áll a cég, jó irányba haladunk-e? KPI-ok, bevételi számok, lemorzsolódási arányok. Ezeket az adatokat heti vagy napi szinten szolgáltatjuk. Van termékfejlesztési támogatás: ha  a termékmenedzserek kitalálnak egy ötletet, mi meg tudjuk mondani, hogy hogyan kéne beárazni, mekkora ügyfélbázisnak lehet érdekes, amit ők kitaláltak…

Ezt AB-tesztekkel nézitek vagy historikusan?
AB-teszteket folyamatosan csinálunk a cégnél, de nem a mi csapatunk. Ezt általában azok csinálják, akik magát a honlapot, a front-end felületet készítik – vagy akár a termékmenedzserek. Pl. az egyik termék ilyen áron van, a másiknak féláron van…

Árakat is szoktatok tesztelni?
Igen, árteszteink is vannak… De nagyon sok User Experience (UX, felhasználói élmény) jellegű tesztünk is van. Pl. ikon legyen vagy felirat. Vagy mekkora legyen a felirat, vagy hova tegyük azt a feliratot, hogy sokkal inkább kézre álljon a felhasználóinknak a termék. Sok ilyet csinálunk, de ezt minden részleg magának, önjáróan készíti. Persze, ha van kérdésük, szívesen segítünk, de alapvetően megvan náluk a kompetencia meg a tapasztalat, hogy összehozzák ezt. Ezek az AB tesztek.
A terméktervezési-döntéseknél pedig általában azt nézzük meg, hogy az ügyfélbázisunk hogy működik. Tehát, ha a termékmenedzserek valamit kitalálnak – valamilyen hipotézist -, mi megnézzük, hogy ez mennyi embernek lehet jó. Megnézzük, hogy ténylegesen az elmúlt években, hónapokban, hogyan használták a termékünket. Milyen tartalmakat fogyasztottak? Miket néztek? Milyen jellegű közvetítéseket csináltak? Ezek historikus adatok és ebből elég jól meg lehet mondani, hogy az ügyfélbázisunkra milyen hatással lesz, ha valami újat bevezetnek.

Hány user-etek van most és ehhez képest hányan dolgoztok a Ustream-nél?
Most már több, mint 30 millió regisztrált felhasználónk és havi 80 millió nézőnk van. Ehhez képest mi 250-en vagyunk a cégnél, Magyarországon 115-en. Itthonról megy minden fejlesztés és üzemeltetés. Mi, az üzleti intelligencia csapatban 6-an vagyunk, mi is Budapesten.

Egy laikus számára mi lehet a legérdekesebb, amit adatokkal elértetek?
Ami nagyon érdekes, az az, hogy milyen típusú tartalmakat közvetítenek nálunk és mit néznek. Például megnéztük, hogy hány esküvő van a Ustream-en. És kiderült, hogy havonta több ezer esküvőt közvetítenek, ami egészen meglepő volt nekünk. De nagyon sok egyház is minket választ arra, hogy mindenféle szertartást, ami náluk van, azt nálunk közvetítsenek és pl. a tartalmunknak egy része emiatt vallási tartalmú egyébként.

Ezt hogyan látjátok az adatokból?
Amikor egy közvetítést kezdesz, akkor meg kell adni, hogy milyen típusú tartalmat közvetítesz. Ebből tudunk információt begyűjteni… Az is nagyon érdekes, hogy a social media milyen hatással van a közönségre. Például volt egy One Direction koncert, amit mobiltelefonnal közvetített végig egy néző a hátsó sorból. Nem sok minden látszott, mert hátul volt, sötét volt és mégis a különböző rajongói Facebook csoportokon elterjedt és pár percen belül már 110.000-en nézték. Egy viszonylag rossz minőségű tartalom, de mégis annyira aktuális volt és annyira jól terjedt el a social media csatornákon, hogy ennyire felfutott a nézettsége.

Milyen eszközöket használtok az adatelemzéshez?
Nálunk is minden megtalálható, ami a klasszikus “kemény vonalas business intelligence” eszköze. Az open-source eszközök vannak túlsúlyban Pentaho ETL, MySQL, stb… Van big data megoldásunk is, ehhez az Amazon szervereit használjuk, ahol fut egy Hadoop Cluster-ünk. Fizetős eszközöket használunk adatvizualizálásra – ez a Tableau.

Van valami, amit még szívesen elmondanál?
Talán nem is az adatokról, hanem arról, hogy igazán büszke vagyok arra, hogy milyen csapatom van. Merthogy sikerül elérni másfél év alatt, hogy fontosak lettünk és a középpontba kerültünk a cégen belül. Reflektorfényben vagyunk, mert nagyon erős igény van az adatokra és az adatelemzésre. Nincs nagy csapatunk, de mégis mindent így 6-an csinálunk. És működik. Nagyon jó az összetétel mind tudásban, mind személyiségben. Én pedig sehol nem lennék, ha nem ilyen csapat lenne mögöttem.

Köszönöm szépen a beszélgetést!

A Startup adatelemzés interjú sorozat többi része:
Prezi, Evernote, Eventbrite, GoodData, Brickflow és Ustream interjúk

Mester Tomi

Üzleti Intelligencia = Ember és Adat

A napokban futottam bele az egyik legeslegjobb példára abban, hogy mennyire szükséges az emberi józan ész és a valódi kritikus gondolkodás az adatelemzés mögé. Az üzleti intelligenciának egy fontos eleme, hogy kiszedjük a big data-ból a lényeget, de hogy az mit is jelent ténylegesen, hogyan befolyásolja a döntéseinket és a stratégiánkat, az már az emberi intelligencián és kreativitáson múlik.
A Tylervigen egy nagyon egyszerű projekt, amiben számítógépek kapnak egy csomó szociológiai adatot, majd korrelációt – azaz összefüggést – keresnek gyakorlatilag minden között. Ember legyen a talpán, aki meg tudja mondani, hogy mi a logikai kapcsolat a Maine-ben levő válások száma és Amerika margarin fogyasztása között, pedig a korreláció 99,2%-os.

Korreláció - 99,2%

De van tovább. Tudtad például, hogy mióta a Méztermelő méhkasok száma lecsökkent Amerikában, azóta jól kimutathatóan nőtt a Marihuána árusításért letartóztatott fiatalok száma ugyanitt? Korreláció: 93,3%

Méz vs. marihuána statisztika
Méz vs. marihuána statisztika

Két szomorúbb hír is van. Jól látható az összefüggés a fulladásos halálok és a technológiára, tudományra és űrkutatásra költött pénzek növekedése között.

tudomány vs. fojtogatás statisztika
tudomány vs. fojtogatás statisztika

Az pedig, hogy a mindenkori Miss America kora és a forró gőzökkel és tárgyakkal történő gyilkosságok között is 87%-os erősségű kapcsolat van, már végképp megdöbbentő.

Miss America vs. gyilkosságok statisztika
Miss America vs. gyilkosságok statisztika

Persze ezekben az esetekben egyértelmű, hogy nem beszélünk valódi összefüggésekről. De üzleti döntésekben már sokszor homályosabb a helyzet. Ha látunk is korrelációt, érdemes többször is végiggondolni, hogy mi következik miből: az “A” állítás “B”-ből vagy “B” állítás A-ból, vagy eseteg “A” és “B” egy külső “C”-ből. A fentiekből is látszik – az üzleti intelligencia mögé éppen annyira kell a kritikusan gondolkodó ember, mint maga az adat és az adatelemzés!

Mester Tomi

Ha a Tinderes kísérlet kapcsán jutottál ide…

… akkor jó helyen jársz. Mester Tomi vagyok az adatlabor.hu szakmai blog szerzője és még írnék neked pár gondolatot, amire a sajtóközleményben nem maradt hely és adat szempontból fontos. Mindenek előtt itt a PPT, amit az eredeti előadásban az IH2014-en vetítettünk, sok chart-tal, sok eredménnyel:

Mészáros Beával, a Mindea vezetőjével az Internet Hungary-s előadáson az egyik legfontosabb üzenetünk az volt, hogy manapság már kis kreativitással igenis mindent lehet mérni. A Tinder egy párkereső platform, de nekünk egy analitikai eszköz volt. Persze nem kell tényleg mindent elemezni, de a marketing kreatívok tipikusan olyan dolgok, amiket érdemes. Bea marketing szakember, ő tudta, hogyan kell összetenni a profilokat, én adatelemző vagyok, úgyhogy tudtam mit, hogyan és miért elemezzünk. A/B teszt, konverzió, megtérülés. Gyorsan összefoglalom a legérdekesebb eredményeket a kutatásból.

1.) Először is, ahogy írtam a Tinder párkereső appon AB-teszteltünk férfi és női profilokat. 200 embert húzunk jobbra és 24 órát adtunk nekik a match-elésre, azaz, hogy visszajelezzék, hogy mi is tetszünk nekik. A különböző profilok, Beánál, akit a kísérletben Annának hívtunk és 25 éves volt:

Tinder kísérlet, női profilok
Tinder kísérlet, női profilok

És a férfi profilok Tominál, aki a kísérletben a szintén 25 éves András volt.

Tinder kísérlet, férfi profilok
Tinder kísérlet, férfi profilok

(Zárójelben jegyzem meg, hogy kicsit féltünk ettől, de végül úgy döntöttünk, hogy akkor hiteles a kísérlet, ha saját magunkkal tesztelünk.)

És az eredmények:

NŐI PROFILOK VISSZAIGAZOLÁS ÜZENET
1. Kacér, kihívó 110 53
2. A Tinder legjobb csaja 103 44
3. Titokzatos 87 44
4. Átlagos szőke 86 42
5. Párkapcsolatban élő 56 25
6. Barna hajú 46 15
FÉRFI PROFILOK ———- ———-
1. Gazdag 20 1
2. Orvos 16 2
3. Titokzatos 11 0
4. Átlagos 9 0
5. A Tinder legjobb pasija 2 0
6. Párkapcsolatban élő 2 0

A csajoknál a szexiség, a srácoknál a gazdagság és a presztizs-szakma nyer. Az eredmények szignifikánsnak tekinthetőek. Habár adatelemzési szempontból ez nem egy klasszikus minden dimenziójában tökéletesen AB-tesztnek tekinthető kísérlet, azért az eredményekből lehet sejteni, hogy mi a nyerő és mi nem.

2. Márcsak azért is, mert csináltunk egy 1600 fős kérdőívezést is, ahol az első kérdésünk az volt, hogy mi az első asszociáció a Tinder szó kapcsán. Fiúkra és lányokra szegmentáltunk.

Tinder teszt, férfi asszociációk Tinder teszt, női asszociációk

3. Másik nagy találásunk volt, hogy egyéjszakás kalandok és párkapcsolatok is jönne a Tinderről, habár a fiú egyéjszakás kalandok száma igen csak kiemelkedik.

tinder teszt párkapcsolat   tinder teszt egyéjszakás

4. És megfigyelted, hogy a sorrendben a rejtőzkődő profilok jobban teljesítenek, mint az alap-profil? Vagy azt, hogy a lányoknál működik a badge, a fiúknál pedig nagyon nem?

Sok más minden kiderült még, ha további kérdéseid vannak, írj. :-)

A kutatás teljesen anonim volt, mindenki személyiségi jogait maximális tiszteletben tartottuk és tartjuk.

Ha kíváncsi vagy egy hasonló kísérletre, kattints ide:
A nagy QR-kód kísérlet – a fiúk a szex után a semmire, a nők a pénzre kattintanak.

És ne felejts el feliratkozni a hírlevélre:


Mester Tomi

Startup adatelemzés interjú III. – Brickflow

brickflow logo startup interjúA Brickflow csapatának két tagjával beszélgettem: Kökény “Tojás” Tamással társalapítóval, aki a fejlesztőcsapatot is vezeti, illetve Ryan C. McCabe-bel, aki adatelemző gyakronokként erősíti a Brickflow-t. A legérdekesebb történetük az volt, hogy hogyan pivot-oltak és kerültek növekedő pályára újra AB-teszteléssel – de esett szó minden másról, ami egy kicsi, de sikeres startup életében az adatelemzéssel kapcsolatban felmerülhet.

Mester Tomi: Mindenek előtt… Mi az, amin dolgoztok, mi a koncepció a Brickflow mögött?

Kökény "Tojás" Tamás - Brickflow, Lead Developer
Kökény “Tojás” Tamás – Brickflow, Lead Developer

Tojás: Jelenleg egy olyan alkalmazást fejlesztünk, ami segít a Tumblr felhasználóknak növelni az olvasószámukat, reposztolni a posztjaikat, megmutatjuk nekik, hogyan tudnak jó tartalmakat adni az olvasóiknak és hogy kiket kéne követniük, illetve vissza-követniük. Összességében ez egy marketing eszköz Tumblr-re, de mi nem a marketing ügynökségekre fókuszálunk, hanem a tinédzserekre. Az érzésre, hogy “egyedül vagyok”, “nem figyelnek” rám, kínálunk megoldást, segítünk több olvasót szerezni és az érdekes tartalmakat eljuttatni a megfelelő közönséghez.

– Akkor sokat változtatok az elmúlt időkben. Mikor utoljára hallottam rólatok, Twitter-rel, Facebook-kal és hashtag-ekkel foglalkoztatok…
Igen, időközben pivot-oltunk és ami azt illeti, ez egy nagyon is adatalapú döntés volt. Az előző termékről kiderült, hogy nem tud olyan ütemben növekedni, ahogy terveztük. De már sok felhasználónk volt, így közben láttuk, hogy az emberek főleg arra használták a Brickflow-t, hogy összegyűjtsenek dolgokat és nem arra, hogy valami újat csináljanak. Ezért futattunk egy AB-tesztet, amiből kiderült, hogy a keresés a termék lelke és nem a tartalomépítés. De a “value propostion”-t, a valódi és egyedi értéket még mindig nem láttuk tisztán. Ezért február környékén elkezdtünk különböző egyszerű nyitóoldalakat tesztelni – összességében 6 vagy 7 különböző “value proposition”-t néztünk meg és kiderült, hogy kb. 4-szer akkora konverziónk van Tumblr-ös verzióval, mint a Facebook-ossal, a Pinterestes-sel vagy akármelyik másikkal.
Ez volt az első alkalom, hogy teszteléssel találtuk meg a megfelelő utat és elkezdtünk növekedni. És még sohasem volt ilyen nagy a növekedésünk, mint most: 10-15%-ot növünk hetente, úgyhogy úgy tűnik végre igazi termékké váltunk.

– Publikus, hogy hány felhasználótok van most?
– Igen, most kicsivel több, mint 60.000 felhasználónk van. Nemsokára jön az IOS app is és a fundraising-et is elkezdtük.

– Még viszonylag a korai szakaszban vagytok, úgyhogy jól rálátsz erre… Mit gondolsz, mikortól érdemes vagy mikortól lehet elkezdeni az adatokkal foglalkozni egy startup életében?
Ami azt illeti, már a legelejétől. Persze óvatosnak kell lenni, mert az elején nagyon kevés adatpontod lesz, pl. egy AB-teszten 5-600 felhasználó. Ilyenkor sokáig kell várni az eredményekre, nem úgy mint mondjuk a Prezinél, ahol a felhasználók 5%-nak odaadsz egy funkciót és másnap már látod az eredményeket. :-) De ha én most kezdenék új projektbe, biztosan nem vágnék bele egy gyors validáció, pl. egy nyitóoldal teszt nélkül. Ha van egy jó ötleted, tesztelni kell, valódi számokat kell látnod.
Aztán az elején lehet mérni a marketing csatornákat is. Ez az egyik legfontosabb, hiszen először itt tudod követni a növekedést.

– Most milyen eszközöket használtok?
– Ez elég nagy kihívás, mivel egy kisebb cégnek még nincsenek túl nagy erőforrásai, nem tud 100 gépes parkokat bérelni, stb… Eleinte a Mixpanel, a Google Analytics és a KissMetrics persze elég, de amint elkezdesz sok tesztet csinálni és egyedi mérésekre van szükséged, ezek már nem tudnak kiszolgálni. A Hadoop és egyéb nagy rendszerek pedig túl nagy lépés lennének rögtön ezek után. Ezen a szinten szerintem mindenki elkezdi a saját adatelemző rendszerét csinálgatni, amit a cégnek magának kell kitalálnia. Mi is ezt csináljuk.

– Hányan vagytok a Brickflow-nál?
– Kb. 10-en vagyunk. 3 marketinges, 4 fejlesztő és 1 ember az üzleti oldalról, plusz néhány részmunkaidős. A csapatban amerikaiak is vannak, ami jó, mert így angolul is beszélhetünk és ők azért közelebb vannak az amerikai kultúrához is. Ami itthon menő, az nem feltétlenül az Amerikában és ezt ők jobban látják.

– És ti mivel foglalkoztok pontosan?
Tojás: Én vagyok a vezető fejlesztő és az alapítók egyike is. Így a többi fejlesztőt koordinálom és persze vannak alapítói tennivalóim, pitch-elés, stb. A fejlesztői oldalról én foglalkozom a legtöbbet a fontos alapmetrikákkal, az elemzésekkel és a tesztekkel.

Ryan C. McCabe - Brickflow, Data Analyst Intern
Ryan C. McCabe – Brickflow, Data Analyst Intern

Ryan: Én is elemzésekkel és méréssel foglalkozom. Olyanokkal, amikre nem biztos, hogy lenne másoknak idejük az irodában, de azért mégiscsak mindenkinek tudnia kéne róluk. Mint pl. hány ember oszt meg tartalmat, vagy hogy mi a nyitóoldal konverziója. Riportokat készítek és prezentálok a kollégáknak. Pl. múlt héten találtam egy problémás eset, ahol a megosztások kb. 20%-a egy hibaüzenettel végződött. Itt muszáj volt kideríteni, hogy melyik oldalról jön a hiba, a mi alkalmazásunk felől vagy a külső alkalmazásokból.

Tojás: Igen és ezek olyan adatok, amik néha egyszerűen csak érdekesek, de sokszor emellett még nagyon hasznosak is. Sajnos egy marketingesnek vagy egy fejlesztőnek egy kis cégnél sokszor nincs ideje arra, hogy megnézze, mi éppen a legeslegnagyobb probléma, mi a legeslegfontosabb dolog, amivel foglalkozni kell, ilyenkor jó, ha az elemzésekből rögtön visszajelzést kap.

– Mi volt a legnagyobb tanulság eddig?
– Igazából ez volt az első alkalom, amikor igazán adat-vezérelten döntöttünk. Sokat tanultunk a lean valódi jelentéséről – de ehhez mindenképpen kellettek bukások is. Még mindig vannak nem lean-es folyamataink és azért azt is látni kell, hogy egy ideig eltart míg az ember tényleg data-driven-né válik. Data-driven-né, jó értelemben. Meg kell találni az egyensúlyt, hogy mikor kell mérni és mikor kell egyszerűen csak dönteni, ha esetleg valami triviális volna vagy éppen nagyon nehéz lenne lemérni. Folyamatosan tanuljuk ezt, de azt hiszem a tavalyi év óta nagyon sokat fejlődtünk.

– Köszönöm szépen a beszélgetést!
Mester Tomi

A Startup adatelemzés interjú többi része:
Startup adatelemzés interjú I. – Prezi
Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
Startup adatelemzés eszköztár – AB-teszt, szegmentálás, kohortok
És persze, ne felejts el feliratkozni az ingyenes hírlevélre!