ab teszt címkével jelölt bejegyzések

Még 3 weboldal használhatósági sztenderd

Az előző cikk folytatásaként most megosztok még 3 weboldal használhatósági ötletet, amit érdemes kipróbálni. Előzőleg is azt írtam, hogy nem szeretem az általánosításokat, mert minden online üzlet egyedi, saját célközönséggel, speciális igényekkel és speciális megoldásokkal. Pl. amit nemrég megfigyeltünk, az az, hogy egy egytermékes cégnél (pl. Evernote) tök jól működik a nagy nyitókép stratégia:
evernote landingMíg egy többtermékes cégeknél (pl. e-digital) érdemes egy helyett több képet, több lehetőséget megvillantani.
Ez csak egy példa, de a lényeg, amiket itt leírok, azok nem általános megoldások, hanem ötletek arra, hogy miket érdemes AB-tesztelni.

1. A lead-magnet-et emeld ki, ne a gombot
Az előző cikkben  arról is írtam, hogy a piros gomb majdnem mindig legalább 20%-kal megtolja a konverziót. És ez így is van. Azonban az egyik ügyfelünknél érdekes módon a hírlevél-feliratkozásnál, amikor az AB-tesztben pirosra cseréltük a gombot, nem történt változás. Kb. ugyanannyi klikk jött a pirosról, mint a szürkéről vagy a feketéről.
A “FELIRATKOZÁS” gomb színét hiába cserélgettük, ettől nem lett vonzóbb maga a feliratkozás lehetősége. Ekkor jöttünk rá, hogy amivel kísérleteznünk kell az az ajándék, a “lead-magnet”, amit adunk a feliratkozásért, jelen esetben egy 1000 Ft-os kupon. Ha kiemeljük jobban, hogy itt bizony egy 1000 Ft-os kedvezményről van szó (tehát ezt írtjuk nagyobb betűvel, esetleg pirossal) – a gombot pedig cserélhetjük “FELIRATKOZÁS” helyett “KÉREM A KUPONOM”-ra: máris emelkedik a konverzió. A lead-magnet a fontos, nem a gomb maga.

2. Embereket szeretünk nézni
Pszichológia 101: emberekként embereket szeretünk nézni. Tegnap beültem egy VWO.com-os webináriumra, ahol több esettanulmányban is bemutatták, hogy egy fotó egy emberről a honlapon növeli a hitelességet és ezen keresztül a konverziót. Az egyik legegyszerűbb példa, egy call-to-action (avagy call-Jason) gomb tesztelése volt:
contact JasonEz ugyebár 1,5-szer annyi megkeresést jelent Jason-nek.

A VWO-s tudást én még annyival egészíteném ki, hogy a megfigyelések szerint SOSE használj stock-photo-kat, mindig csak egyedi képeket.

UPDATE: Szigeti Attila barátom pont tegnap küldött egy érdekes TechCrunch cikket, ahol azzal kísérleteztek, hogy vajon a férfi vagy  a női fotó hoz magasabb elköteleződést:

clicktale heatmapAz eredmény pedig egyértelmű szignifikánsabb magasabb az elköteleződés, ha férfi van a képen. (Megjegyzés: ez persze már tényleg eléggé célcsoport és termékspecifikus kérdés – de azért egy jó ötlet a tesztelésre).

3. Bal felső sarok –» Jobb alsó sarokheatmap

Akármelyik honlapodnak is nézed meg a hőtérképes elemzését (pl. Mouseflow-val), mindig ugyanezt fogod tapasztalni:
– a kattintások számának a hőtérképe
– az egérmozgatás intenzitásának a hőtérképe
– sőt! szemmozgás-vizsgálattal bizonyítva egyáltalán a szemmozgás hőtérképe is:

a bal felső saroktól a jobb alsóig szépen egyenletesen kihűl. Persze, ha beteszel egy nagy CTA gombot a jobb alsó részre, még érhetsz el vele magasabb konverziót, de az tény, hogy akármilyen üzenetet jelenítesz meg: a bal felső sarokban van a legnagyobb túlélési esélye!

Remélem érdekesnek és hasznosnak találtad ezt a cikket!
Ne feledd, jövő hét hétfőn (04.13.) Big Data Webinár, ahol ehhez hasonló weboldal használhatósági kérdésekkel is fogunk foglalkozni.

LINK: http://adatstrategia.eventbrite.co.uk

Mester Tomi

E-commerce adatelemzés interjú – TESCO

Tesco adatelemzés interjúBarabás Lenkével, a Tesco Customer Loyalty and Personalisation Manager-ével beszélgettem a napjaink trendejeiről és arról, hogy hogyan reagál erre a Tesco. Lenkével egy Big Data workshopon találkoztam, ahol mindketten előadtunk. Az ottani prezentációja a Klubkártya programról szólt és ez keltette fel az érdeklődésemet. Ennek működéséről, előnyeiről és big data vonatkozásáról is mesélt nekem részletesen…

Barabás Lenke, TESCO
Barabás Lenke, TESCO

– Te pontosan mivel foglalkozol a Tesco csapatában?
– A Tesco-n belül ez egy teljesen új pozíció, így folyamatosan vannak új és új feladatok. Két fő vonalát emelném ki. Az egyik, hogy minél személyesebb ajánlatokat tudjunk adni a vásárlóinknak. Első lépésként a heti hírlevelek számát szeretnénk csökkenteni. Arra törekszünk, hogy egy hírlevelet kapjanak a vásárlók, de az valóban személyre szóló legyen. A másik a lojalitásépítés. Lojalitásépítés alatt pedig azt értem, hogy a már lojális vásárlókat próbáljuk megtartani, jutalmazni. Főleg jutalmazó rendszerekben gondolkodom – pl. klubokat alapítani, olyan dolgokat csinálni, amivel a lojális vásárlóink egy kis pluszt kaphatnak, különlegesebb bánásmódban részesülhetnek.

– És ha jól tudom, ezekhez használtok adatokat, méghozzá nem is keveset. Mik a főbb irányvonalak?
Az egyik főfókusz most a személyre szóló hírlevél elindítása. A Clubcard adatbázisra tudunk támaszkodni, hiszen ott látjuk, hogy milyen vásárlási szokásai vannak az egyes vásárlóinknak. Ez az egyik nagy adatbázisunk, ami egy párszázezres adatbázist jelent, és azon dolgozunk, hogy ez egyre nagyobb legyen. Fontosnak tartom megemlíteni, hogy a Clubcard-dal mindig tranzakció szintű adatokat nézünk.

– És azt, hogy férfi-e vagy nő? Hogy hány éves?
– Vannak demográfiai adatok a Clubcard-hoz, de ezeket nem használjuk, amikor ajánlatokat, aktivitásokat tervezünk, küldünk. Tranzakciókat nézünk, és ez alapján küldjük az ajánlatokat, a megszemélyesítésre már csak a kiküldésnél kerül sor. Azért sem támaszkodunk demográfiai adatokra, mert egy családban akár többen is használhatják ugyanazt a Clubcard-ot, így szinte lehetetlen, hogy kiderítsük, ki áll a kártya mögött. Viszont családon belül biztosan mindenki megkapja a számára értékes ajánlatot a tranzakciók alapján. Így azt gondolom, ez sokkal relevánsabb információ, mint az, hogy nő vagy férfi a kártya tulajdonos vagy az, hogy hány éves az illető. Természetesen ez sem elhanyagolható információ, de azt már egyéb célokra használjuk.

– Tehát “mutasd a kosarad és megmondom ki vagy”?
– Nagyjából igen, lehet következtetni demográfiai adatokra, de nem szoktunk, mert ebben az esetben a lényeg, hogy mit vásárol, hogy személyre szóló ajánlatokat tudjunk küldeni. Volt egy 5 hetes teszt periódusunk személyre szóló hírlevél küldésre, és kiderült, hogy nagyon szépen teljesít. Kb. háromszoros volt maga a hírlevél-megnyitási arány. Ez alapján valószínűsíthető, hogy ez egy nagyon hatékony dolog, de még több számra és pontosabb tesztekre van szükségünk, hogy többet tudjak róla mondani.

– Mi a projekt jövője? Mik az “álmok”?
– Az álom az, hogy mindenki egy személyre szóló hírlevelet kapjon heti szinten. Ne nyolcat, hanem egyet, de abban valóban csak az legyen, ami őt érdekli.

– Ha ezek a perszonalizált hírlevelek elindulnak, akkor az azt jelenti, hogy ha én pl. sok kenyeret, virslit és mustárt vettem, akkor nekem ezt a kenyeret-virslit-mustárt fogjátok ajánlani olcsóbban? Vagy inkább termékcsatolással melléteszitek, hogy érdekelhet a majonéz, az uborka, stb?
– Ha akciós az uborka vagy a mustár, és rendszeres vásárlója vagy a terméknek, akkor arról biztos, hogy kapsz ajánlatot hírlevélben. A későbbiekben jöhetnek egyéb extra ajánlatok is, rengeteg lehetőség rejlik még ebben, de pontosan nem tudom még megmondani, hova juthatunk rövid távon.

– Olyasmit terveztek, hogy ha valaki egy terméknek a rajongója, pl. sok fekete pólót vesz, akkor ő személy szerint kap akciót a fekete pólóra?
– Igen, ilyen jellegű aktivitásokat már tudunk csinálni, ún. kasszakuponokon keresztül. A Clubcard-os vásárlókat már elkezdtük ezzel jutalmazni. A példádnál maradva, ha látjuk, hogy vásároltál fekete pólót, akkor egy aktivitás keretében be tudjuk azt állítani, hogy a legközelebbi vásárlásod során kapj egy olyan kupont, amivel kedvezményesen veheted meg a kedvenc pólód egy legközelebbi vásárlásod esetén. Ebben is sok lehetőség rejlik, még a tesztfázisban vagyunk, és sokat tanulunk.

– Tehát mondhatjuk, hogy nálatok az adatelemzés és a big data arra megy rá, hogy személyesítsétek a tömegkommunikációt…
– Egyrészről igen, de nem csak a kommunikációt, hanem az ajánlatainkat is. A személyes véleményem az, hogy akkora a piaci verseny már az élelmiszer piacon (is), hogy mindig meg lehet venni az alapvető élelmiszereket, nem élelmiszereket akcióban. A mi célunk ennél több, szeretnénk, ha a vásárlóink olyan kedvezményeket kapnának, ami számukra fontos és releváns, akár állandó jelleggel megvehessék kedvenc terméküket kedvezményesen.

– Köszönöm szépen az interjút!

 

Az Evolution előadás margójára: Az A/B tesztelés 4 szabálya

Note: ezt a bejegyzést az Evolution konferenciás előadásomhoz kapcsolódóan írtam. De azért bárkinek hasznos lehet… :-)

A legfrissebb statisztikák szerint az online szolgáltatók 91%-a tudja, hogy mi az az A/B tesztelés, de csak 11% az, aki ténylegesen (legalább egyszer) futtatott A/B tesztet az oldalán. Pedig az A/B tesztelésnek forintban mérhető, azonnali haszna van. Egy külföldi esettanulmány:

A fab.com e-commerce startup egyetlen dolgot tesztelt az oldalán. A lenti két képen látszik is: az “Add to cart” gomb színét.

fab AB teszt piros

fab AB teszt piros
Az oldalra érkező látogatók fele-fele arányban véletlenszerűen kapták meg vagy a piros vagy a kék verziót. Ekkora látogatószámnál viszonylag kevés tesztből kiderült a válasz a kérdésre: melyik gombszín hoz több kattintást, ezáltal magasabb konverziót és több profitot. Az eredmény pedig megdöbbentő: 49%, ami éves szinten dollár-milliókat(!) jelent a fab.com-nak. A kísérlet beállítása és elindítása nettó 2 óra munkát jelentett nekik. Azt hiszem, ezek után nehéz lenne azt mondani, hogy az A/B tesztelés nem hasznos.

De hogyan is kell A/B tesztelni? Íme 4 szabály, amit én a legtöbbször látok elrontani olyan ügyfeleknél, akik maguknak kezdték el csinálni az A/B tesztjeiket. (Ezt nem amolyan “cikizés”, csak azért írom le, hogy más ne essen ezekbe a gyakori hibákba! :-))

1. Egy időben fusson a két verzió!
Tehát az nem A/B teszt, hogy februárban kiteszem az egyik verziót, márciusban pedig a másikat és mérem, hogy melyik hoz több kattintást… Miért nem? Azért, mert ebben az esetben közbeszólhat a szezonalitás. Azaz lehet, hogy márciusban nagyobb igény van az adott termékre (pl. tavaszi cipő), mint februárban volt és ez is befolyásolja a konverziót. Egy korrekt A/B tesztben a különböző verziók egymással párhuzamosan, egy időben futnak.

2. A teszt csoport és a kontroll csoport azonos összetételű legyen!
Pl. ha a fizetős felhasználóim perszonalizált hírlevelet kapnak, az ingyenes felhasználóim pedig nem, akkor a hírlevélből jövő átkattintási arányok nem csak azért lesznek eltérőek, mert más a levél tartalma, hanem azért is, mert más a felhasználói csoportok elkötelezettségi szintje. Ha a fizetős felhasználók teljesen ugyanazt a levelet kapnák, mint az ingyenesek, könnyen lehet, hogy mivel ők elkötelezettebbek a termék iránt, amúgy is többen kattintanának. Éppen ezért, ha tényleg a levél tartalmát akarod tesztelni, akkor vagy a fizetős felhasználókat kell véletlenszerűen két csoportba osztanod, vagy az ingyeneseket. A lényeg, hogy a kontroll csoport és a teszt csoport azonos típusú embereket tartalmazzon.

3. Legyen célja a tesztnek!
És ez nem csak arról szól, hogy ne dolgozzunk feleslegesen, hanem arról is, hogy ténylegesen: egy A/B tesztet csak akkor lehet kiértékelni, ha az ember már a tervezés fázisban eldönti, hogy mi lesz az az 1, maximum 2 mérőszám, aminek a változását figyeli és ami alapján azt mondja, hogy az egyik verzió sikeresebb, mint a másik (mint pl. a fab.com esetében a gombra kattintás).

4. Csak egy dolgot változtass!
Ezt nehéz betartani és általában nem is szokták. De vedd figyelembe, hogy minél több elemet változtatsz a két verzió között, annál nehezebb lesz eldönteni, hogy pontosan melyik volt a kulcselem, ami az egyik verziót sikeresebbé tette, mint a másikat (pl. a fab.com csak a kék és a piros gomb közötti különbséget mérte.

És hogy hogyan is kell beállítani egy A/B tesztet? Természetesen ebben mi is tudunk segíteni, de ha egyedül szeretnél belevágni, ezen 3 platform valamelyikét tudom ajánlani:
Visual Website Optimizer
Optimize.ly
Google Analytics Experiments

FOLYTATÁS: Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét! 

Mester Tomi

A legnagyobb A/B teszt hiba

Egyre többen használják az A/B tesztelés remek eszközét. Nemrég a Facebook oldalunkon is közzétettük, hogy még maga Obama elnök és csapata is használt A/B tesztet egy hírlevélkampány során (a legjobb és legrosszabb e-mail tárgy pedig megdöbbentő 2.000.000 $-os különbséget produkált bevételben).

Ha esetleg nem tudod, mi az az A/B teszt: itt egy cikk, amiben írunk róla.

A mai bejegyzésben pedig a legnagyobb olyan hiba, amit sokszor látok ügyfeleknél elkövetni és ami totálisan megöli az egész teszt eredményességét! A hiba forrásának szakmai neve a korreláció vs. kauzalizás problémája:
Vagy magyarul, a tyúk és a tojás esete. Mondok egy példát: Létrehozunk egy prémium hírlevél csatornát azoknak a felhasználóknak, akik szeretnének személyre szabott ajánlatot kapni tőlünk. Tőlük több adatot kérünk be, cserébe azt ígérjük nekik, hogy jobban az igényeikhez illeszkedő levelet fognak kapni. Nevezzük ezt perszonalizált hírlevélnek csoportnak. Majd létrehozunk egy egyszerű hírlevél csatornát azoknak a felhasználóknak, akik csak gyorsan regisztrálni szeretnének. Ők az átlagos, tömegesen kiküldött hírlevelet fogják kapni. Legyenek ők az átlagos hírlevél csoport. Jönnek a feliratkozók, mindkét csoportban van 1000-1000 ember. Kiküldjük az első hírleveleket, a perszonalizált hírlevél csoportnak (személyre szabott tartalommal) és az átlagos hírlevél csoportnak (átlagos tartalommal) is – és azt tapasztaljuk, hogy a perszonalizált hírlevelet 29% nyitotta meg, az átlagosat pedig csak 10%. Tehát a perszonalizált hírlevél az A/B teszt alapján egy óriási siker. Kivéve, hogy… hibás volt a mérésünk.
De miért is?

A hiba egyszerű: a perszonalizált hírlevélre feliratkozni sokkal “nehezebb”, hiszen sokkal több adatot kell megadnunk. Egyszerű belátni, hogy aki ebbe a csoportba iratkozik fel, az egész egyszerűen elkötelezettebb felhasználó, mint aki az átlagos hírlevélre kér regisztrációt. Márpedig, aki elkötelezettebb, az nagyobb eséllyel nyitja meg a hírlevelet. Innentől fogva pedig nem tudjuk, hogy a 29%-ból mennyi az elköteleződés és mennyi a perszonalizált tartalom ereje.

De mi a megoldás?

Az A/B teszt lényege, hogy két közel azonos célcsoporton kísérletezzünk egy lehetőség szerint csak egy elemben eltérő tartalommal. Azaz a korrekt A/B teszt itt úgy nézne ki, hogy:

1. Csak a perszonalizált hírlevél feliratkozókat felbontjuk  két egyenlő létszámú csoportra (500-500 fő).
2. Az egyik csoport megkapja a perszonalizált hírlevelet, a másik csoport pedig az átlagos hírlevelet
.
3. Megnézzük az így létrejövő különbséget a két csoport között.

Mivel mindkét csoport hasonló elkötelezettségű feliratkozókat tartalmazott, biztosak lehetünk benne, hogy az eredménybeli különbség a tartalom minőségéből származik. Ha itt azt látjuk, hogy a perszonalizált tartalom 29%-ra teljesít, az átlagos tartalom pedig szintén 29%-ra – akkor bizony semmit nem ér a perszonalizált tartalom. De ha az átlagos csoport csak 17%-ot ér el, akkor joggal mondhatjuk, hogy sikeres a perszonalizált hírlevélkampány.
Ennyike.

Ha esetleg feliratkoznál az Adatlabor-hírlevélre, akkor KATT! :-))

Mester Tomi

 

Business Intelligence/Big Data webinar I. rész

Közkívánságra elindítjuk a Business Intelligence/Big Data webinar sorozatunkat!
Az I. rész a “Smart Tool-ok (minden, ami nem Google Analytics)” címet kapta.
Itt tudtok regisztrálni:     adatlabor.eventbrite.co.uk

Adatlabor logoIdőpont: Jan 21. szerda 18.00-19.30

A tartalma pedig:
Eszközök, szoftverek, smart tool-ok és praktikák, amelyeket rendszeresen használunk a big data, az adatelemzés és az üzleti intelligencia gyakorlása közben.
Konkrét, valós üzleti esettanulmányokkal.

Tárgyalt szoftverek és módszerek:
– Mouseflow (és konkurensei)
– Optimize.ly (és konkurensei)
– Marketing A/B teszt
– Linkkövetés (utm, bit.ly, stb…)
– Mini-piackutatások
– Najó és egy kis Google Analytics (de csak az expertebb dolgok ;-))

Csak olyan dolgokról lesz szó, amit rögtön a webinar után akár Te is meg tudsz csinálni! Kódolást és bonyolultabb fogalmakat nem érintünk (az majd jön legközelebb :-)).
75 perc + Q&A

Mester Tomi adatlabor
fotó: Hámori Zsófia

Előadó:
Mester Tomi üzleti intelligencia elemző és tanácsadó, az adatlabor.hu alapítója és szakmai vezetője. Növekedésben levő cégeknek segít az adatelemzési és big data stratégiájuk kidolgozásában – továbbá abban, hogy ezeket az eszközöket a vevőszerzés, a magasabb vevőelégedettség és végeredményben persze a több profit elérésére tudja felhasználni minden partnere. Korábban a Prezi.com-nak dolgozott. Jelenlegi ügyfelei az e-kereskedelem, az online média és az online szolgáltatások területéről érkeznek.
Másik szenvedélye a nyilvános beszéd. Alapítótagja és CC-szintű beszélője az első magyar nyelvű Toastmasters klubnak. Előadó továbbá adatelemzés témában olyan fórumokon, mint a TEDx, BI Forum, Internet Hungary, PechaKucha Nights, Global E-commerce Summit 2015 @Barcelona, stb. Több info itt.

Ára: 4000 ft + ÁFA

Tehát a jelentkezés mégegyszer:
LINK: adatlabor.eventbrite.co.uk
ÉS A GYORS REG:

Tomi

A limonádés stand – avagy mit is kéne mérni?

“Ahhoz, hogy eldöntsd, mit is kéne mérned, olyan egyszerűen le kell tudnod írni az üzleti modelledet, mint egy limonádé árusító stand. Lépj egyet hátra, felejts el minden részletet és csak az igazán fontos összetevőkkel foglalkozz.” (Croll & Yoskovitz – Lean Analytics)

Croll és Yoskovitz szerint egy induló vállalkozásnak az egyik legjobb szimbóluma egy limonádé árusító stand lehetne. Könnyű megérteni belőle, hogy hogyan is működnek az üzleti modellek.

Mert hát hogy is működik egy sikeres limonádé árusító? Természetesen több pénzt keres a limonádé eladásából, mint amennyi költséggel az egész jár. Mik lehetnek a költségek?
– összetevők ára (citrom, cukor, poharak, víz)
– az egyszeri marketing kiadások (maga a pult, kóstolók, szórólapok)
– órabérek (ami persze gyerekkorban még nem is olyan fontos :-))

A számítás könnyű:
((Eladott italok száma) * (Ital ára)) – ((összetevők * elkészített italok száma) + (marketing kiadások) + (órabérek))

Ha ez az összeg pozitív, akkor nyereséges az üzlet, ha negatív, akkor nem az.

De ez mégsem ilyen egyszerű, hiszen a képletet befolyásolja a citrom árváltozása, az időjárás (vevőszám változás), az átmenő forgalom a környéken. Egyszóval rengeteg dolog, amire nehéz előre gondolni.
És mitől lesz mégis sikeres a limonádé árus?
Egyrészt, ha az előzetes számításokat elvégezte, másrészt, ha a felmerülő körülményekből származó hatásokat folyamatosan monitorozza (azaz méri), nézi, hogy mi milyen hatással volt az üzletmenetre és ezek fényében változtat.
Pl. ha a citromot a sarki árustól vette, aki a növekvő forgalom miatt felemeli a citromárakat, akkor a limonádé szakemberünk értelemszerűen rögtön reagálni fog rá és más beszállítót keres. Ha látja, hogy a környéken nagy lezárások vannak, akkor áthelyezi a székhelyét.

A különbség az online bizniszek és a limonádé stand között csupán annyi, hogy online sokszor ezeket a körülményeket nem tudjuk automatikusan észlelni és szétválasztani egymástól. Csak azt látjuk, hogy kezdenek fogyni a user-eink, de azt nem értjük, hogy miért – hiszen az egész egy láthatlan térben történik, tőlünk távol. Viszont ha mindent követünk, mérünk és adatokkal támasztunk alá, akkor ez a probléma megszűnik. Ha A/B teszteljük a marketing kampányainkat, ha UTM-kóddal látjuk el minden Facebook linkünket, ha szegmentáljuk a felhasználóinkat kor és nem szerint, stb…, egy pillanat alatt észlelni fogjuk, hogy mi az ok és mi az okozat és legfőbbképpen azt, hogy hogyan kell változtatnunk, hogy továbbra is sikeresek maradjunk.

Úgyhogy gondold végig még ma az üzletedet egy lépés távolságból! Mik a főbb összetevők és hogyan lehet ezeket mérni. Majd menj bele a részletekbe is, hogyan tudod követni az apró változásokat, hogyan tudsz mindent szem előtt tartani! A hasznod pedig az azonnali és folyamatosan fejlődő stabil üzletmeneted lesz! :-)

Mester Tomi

Startup adatelemzés interjú IV. – USTREAM

brickflow logo startup interjúA Ustream BI csapatának a vezetőjével, Szakács “Szaki” Balázzsal beszélgettem, arról, hogy pontosan hogyan működik náluk az adatelemzés, az üzleti intelligencia és a big data. A lenti interjúból a nekem legérdekesebb 3 dolog volt, hogy:
1. A Ustream-nél még viszonylag friss, kb 2 éves a BI, de máris óriási hatással vannak a termékre és a cégre.
2. Hogy milyen erős az összefüggés a jól megválasztott social media csatorna és az aktuális tartalom a nézettséggel.
3. Hogy több ezrek közvetítik az esküvőjüket online. :-)
(+1: Van saját Ustream sörük!!!)

Íme a teljes interjú:
Tomi: Te mit csinálsz pontosan a Ustream-nél?

Szakács Balázs, Ustream, BI csapatvezető
Szakács Balázs, Ustream, BI vezető

Szaki: Lassan 2 éve vagyok itt és én vagyok az üzleti intelligencia rész vezetője. Engem azért hoztak ide, hogy segítsem a Ustream-et arra az útra lépni, hogy egy igazán adatvezérelt szervezet legyen. Ehhez gyakorlatilag 0-ról kellett felépíteni a dolgokat: csapatot toborozni, megfelelő embereket  kiválasztani, egyáltalán azt eldönteni, hogy milyen típusú team-re van szükség. A gyakorlatban pedig a vezetői feladatok mellett én tartom a kapcsolatot a cég különböző területi vezetőivel,  kulcsfelhasználóival. Összegyűjtjük az igényeket, hogy milyen irányba lehetne fejleszeni és továbbvinni a terméket, hol tudunk a legnagyobb értéket teremteni. A csapatom pedig az, aki segít ezt megvalósítani, én pedig ebben támogatom őket.

Ezek szerint 2 éve kezdtétek el igazán használni a BI-t a Ustream-nél?
Igen, én 2 éve érkeztem, a csapat maga pedig másfél éves. Tehát mondhatjuk azt, hogy ez egy elég friss dolog a Ustream-nél.

Általánosságban mire használjátok a Ustream-nél az adatelemzést?
Több felhasználási terület van. Az egyik az abszolút vezetői döntés támogatás: hogy áll a cég, jó irányba haladunk-e? KPI-ok, bevételi számok, lemorzsolódási arányok. Ezeket az adatokat heti vagy napi szinten szolgáltatjuk. Van termékfejlesztési támogatás: ha  a termékmenedzserek kitalálnak egy ötletet, mi meg tudjuk mondani, hogy hogyan kéne beárazni, mekkora ügyfélbázisnak lehet érdekes, amit ők kitaláltak…

Ezt AB-tesztekkel nézitek vagy historikusan?
AB-teszteket folyamatosan csinálunk a cégnél, de nem a mi csapatunk. Ezt általában azok csinálják, akik magát a honlapot, a front-end felületet készítik – vagy akár a termékmenedzserek. Pl. az egyik termék ilyen áron van, a másiknak féláron van…

Árakat is szoktatok tesztelni?
Igen, árteszteink is vannak… De nagyon sok User Experience (UX, felhasználói élmény) jellegű tesztünk is van. Pl. ikon legyen vagy felirat. Vagy mekkora legyen a felirat, vagy hova tegyük azt a feliratot, hogy sokkal inkább kézre álljon a felhasználóinknak a termék. Sok ilyet csinálunk, de ezt minden részleg magának, önjáróan készíti. Persze, ha van kérdésük, szívesen segítünk, de alapvetően megvan náluk a kompetencia meg a tapasztalat, hogy összehozzák ezt. Ezek az AB tesztek.
A terméktervezési-döntéseknél pedig általában azt nézzük meg, hogy az ügyfélbázisunk hogy működik. Tehát, ha a termékmenedzserek valamit kitalálnak – valamilyen hipotézist -, mi megnézzük, hogy ez mennyi embernek lehet jó. Megnézzük, hogy ténylegesen az elmúlt években, hónapokban, hogyan használták a termékünket. Milyen tartalmakat fogyasztottak? Miket néztek? Milyen jellegű közvetítéseket csináltak? Ezek historikus adatok és ebből elég jól meg lehet mondani, hogy az ügyfélbázisunkra milyen hatással lesz, ha valami újat bevezetnek.

Hány user-etek van most és ehhez képest hányan dolgoztok a Ustream-nél?
Most már több, mint 30 millió regisztrált felhasználónk és havi 80 millió nézőnk van. Ehhez képest mi 250-en vagyunk a cégnél, Magyarországon 115-en. Itthonról megy minden fejlesztés és üzemeltetés. Mi, az üzleti intelligencia csapatban 6-an vagyunk, mi is Budapesten.

Egy laikus számára mi lehet a legérdekesebb, amit adatokkal elértetek?
Ami nagyon érdekes, az az, hogy milyen típusú tartalmakat közvetítenek nálunk és mit néznek. Például megnéztük, hogy hány esküvő van a Ustream-en. És kiderült, hogy havonta több ezer esküvőt közvetítenek, ami egészen meglepő volt nekünk. De nagyon sok egyház is minket választ arra, hogy mindenféle szertartást, ami náluk van, azt nálunk közvetítsenek és pl. a tartalmunknak egy része emiatt vallási tartalmú egyébként.

Ezt hogyan látjátok az adatokból?
Amikor egy közvetítést kezdesz, akkor meg kell adni, hogy milyen típusú tartalmat közvetítesz. Ebből tudunk információt begyűjteni… Az is nagyon érdekes, hogy a social media milyen hatással van a közönségre. Például volt egy One Direction koncert, amit mobiltelefonnal közvetített végig egy néző a hátsó sorból. Nem sok minden látszott, mert hátul volt, sötét volt és mégis a különböző rajongói Facebook csoportokon elterjedt és pár percen belül már 110.000-en nézték. Egy viszonylag rossz minőségű tartalom, de mégis annyira aktuális volt és annyira jól terjedt el a social media csatornákon, hogy ennyire felfutott a nézettsége.

Milyen eszközöket használtok az adatelemzéshez?
Nálunk is minden megtalálható, ami a klasszikus “kemény vonalas business intelligence” eszköze. Az open-source eszközök vannak túlsúlyban Pentaho ETL, MySQL, stb… Van big data megoldásunk is, ehhez az Amazon szervereit használjuk, ahol fut egy Hadoop Cluster-ünk. Fizetős eszközöket használunk adatvizualizálásra – ez a Tableau.

Van valami, amit még szívesen elmondanál?
Talán nem is az adatokról, hanem arról, hogy igazán büszke vagyok arra, hogy milyen csapatom van. Merthogy sikerül elérni másfél év alatt, hogy fontosak lettünk és a középpontba kerültünk a cégen belül. Reflektorfényben vagyunk, mert nagyon erős igény van az adatokra és az adatelemzésre. Nincs nagy csapatunk, de mégis mindent így 6-an csinálunk. És működik. Nagyon jó az összetétel mind tudásban, mind személyiségben. Én pedig sehol nem lennék, ha nem ilyen csapat lenne mögöttem.

Köszönöm szépen a beszélgetést!

A Startup adatelemzés interjú sorozat többi része:
Prezi, Evernote, Eventbrite, GoodData, Brickflow és Ustream interjúk

Mester Tomi

Ha a Tinderes kísérlet kapcsán jutottál ide…

… akkor jó helyen jársz. Mester Tomi vagyok az adatlabor.hu szakmai blog szerzője és még írnék neked pár gondolatot, amire a sajtóközleményben nem maradt hely és adat szempontból fontos. Mindenek előtt itt a PPT, amit az eredeti előadásban az IH2014-en vetítettünk, sok chart-tal, sok eredménnyel:

Mészáros Beával, a Mindea vezetőjével az Internet Hungary-s előadáson az egyik legfontosabb üzenetünk az volt, hogy manapság már kis kreativitással igenis mindent lehet mérni. A Tinder egy párkereső platform, de nekünk egy analitikai eszköz volt. Persze nem kell tényleg mindent elemezni, de a marketing kreatívok tipikusan olyan dolgok, amiket érdemes. Bea marketing szakember, ő tudta, hogyan kell összetenni a profilokat, én adatelemző vagyok, úgyhogy tudtam mit, hogyan és miért elemezzünk. A/B teszt, konverzió, megtérülés. Gyorsan összefoglalom a legérdekesebb eredményeket a kutatásból.

1.) Először is, ahogy írtam a Tinder párkereső appon AB-teszteltünk férfi és női profilokat. 200 embert húzunk jobbra és 24 órát adtunk nekik a match-elésre, azaz, hogy visszajelezzék, hogy mi is tetszünk nekik. A különböző profilok, Beánál, akit a kísérletben Annának hívtunk és 25 éves volt:

Tinder kísérlet, női profilok
Tinder kísérlet, női profilok

És a férfi profilok Tominál, aki a kísérletben a szintén 25 éves András volt.

Tinder kísérlet, férfi profilok
Tinder kísérlet, férfi profilok

(Zárójelben jegyzem meg, hogy kicsit féltünk ettől, de végül úgy döntöttünk, hogy akkor hiteles a kísérlet, ha saját magunkkal tesztelünk.)

És az eredmények:

NŐI PROFILOK VISSZAIGAZOLÁS ÜZENET
1. Kacér, kihívó 110 53
2. A Tinder legjobb csaja 103 44
3. Titokzatos 87 44
4. Átlagos szőke 86 42
5. Párkapcsolatban élő 56 25
6. Barna hajú 46 15
FÉRFI PROFILOK ———- ———-
1. Gazdag 20 1
2. Orvos 16 2
3. Titokzatos 11 0
4. Átlagos 9 0
5. A Tinder legjobb pasija 2 0
6. Párkapcsolatban élő 2 0

A csajoknál a szexiség, a srácoknál a gazdagság és a presztizs-szakma nyer. Az eredmények szignifikánsnak tekinthetőek. Habár adatelemzési szempontból ez nem egy klasszikus minden dimenziójában tökéletesen AB-tesztnek tekinthető kísérlet, azért az eredményekből lehet sejteni, hogy mi a nyerő és mi nem.

2. Márcsak azért is, mert csináltunk egy 1600 fős kérdőívezést is, ahol az első kérdésünk az volt, hogy mi az első asszociáció a Tinder szó kapcsán. Fiúkra és lányokra szegmentáltunk.

Tinder teszt, férfi asszociációk Tinder teszt, női asszociációk

3. Másik nagy találásunk volt, hogy egyéjszakás kalandok és párkapcsolatok is jönne a Tinderről, habár a fiú egyéjszakás kalandok száma igen csak kiemelkedik.

tinder teszt párkapcsolat   tinder teszt egyéjszakás

4. És megfigyelted, hogy a sorrendben a rejtőzkődő profilok jobban teljesítenek, mint az alap-profil? Vagy azt, hogy a lányoknál működik a badge, a fiúknál pedig nagyon nem?

Sok más minden kiderült még, ha további kérdéseid vannak, írj. :-)

A kutatás teljesen anonim volt, mindenki személyiségi jogait maximális tiszteletben tartottuk és tartjuk.

Ha kíváncsi vagy egy hasonló kísérletre, kattints ide:
A nagy QR-kód kísérlet – a fiúk a szex után a semmire, a nők a pénzre kattintanak.

És ne felejts el feliratkozni a hírlevélre:


Mester Tomi

Startup adatelemzés interjú III. – Brickflow

brickflow logo startup interjúA Brickflow csapatának két tagjával beszélgettem: Kökény “Tojás” Tamással társalapítóval, aki a fejlesztőcsapatot is vezeti, illetve Ryan C. McCabe-bel, aki adatelemző gyakronokként erősíti a Brickflow-t. A legérdekesebb történetük az volt, hogy hogyan pivot-oltak és kerültek növekedő pályára újra AB-teszteléssel – de esett szó minden másról, ami egy kicsi, de sikeres startup életében az adatelemzéssel kapcsolatban felmerülhet.

Mester Tomi: Mindenek előtt… Mi az, amin dolgoztok, mi a koncepció a Brickflow mögött?

Kökény "Tojás" Tamás - Brickflow, Lead Developer
Kökény “Tojás” Tamás – Brickflow, Lead Developer

Tojás: Jelenleg egy olyan alkalmazást fejlesztünk, ami segít a Tumblr felhasználóknak növelni az olvasószámukat, reposztolni a posztjaikat, megmutatjuk nekik, hogyan tudnak jó tartalmakat adni az olvasóiknak és hogy kiket kéne követniük, illetve vissza-követniük. Összességében ez egy marketing eszköz Tumblr-re, de mi nem a marketing ügynökségekre fókuszálunk, hanem a tinédzserekre. Az érzésre, hogy “egyedül vagyok”, “nem figyelnek” rám, kínálunk megoldást, segítünk több olvasót szerezni és az érdekes tartalmakat eljuttatni a megfelelő közönséghez.

– Akkor sokat változtatok az elmúlt időkben. Mikor utoljára hallottam rólatok, Twitter-rel, Facebook-kal és hashtag-ekkel foglalkoztatok…
Igen, időközben pivot-oltunk és ami azt illeti, ez egy nagyon is adatalapú döntés volt. Az előző termékről kiderült, hogy nem tud olyan ütemben növekedni, ahogy terveztük. De már sok felhasználónk volt, így közben láttuk, hogy az emberek főleg arra használták a Brickflow-t, hogy összegyűjtsenek dolgokat és nem arra, hogy valami újat csináljanak. Ezért futattunk egy AB-tesztet, amiből kiderült, hogy a keresés a termék lelke és nem a tartalomépítés. De a “value propostion”-t, a valódi és egyedi értéket még mindig nem láttuk tisztán. Ezért február környékén elkezdtünk különböző egyszerű nyitóoldalakat tesztelni – összességében 6 vagy 7 különböző “value proposition”-t néztünk meg és kiderült, hogy kb. 4-szer akkora konverziónk van Tumblr-ös verzióval, mint a Facebook-ossal, a Pinterestes-sel vagy akármelyik másikkal.
Ez volt az első alkalom, hogy teszteléssel találtuk meg a megfelelő utat és elkezdtünk növekedni. És még sohasem volt ilyen nagy a növekedésünk, mint most: 10-15%-ot növünk hetente, úgyhogy úgy tűnik végre igazi termékké váltunk.

– Publikus, hogy hány felhasználótok van most?
– Igen, most kicsivel több, mint 60.000 felhasználónk van. Nemsokára jön az IOS app is és a fundraising-et is elkezdtük.

– Még viszonylag a korai szakaszban vagytok, úgyhogy jól rálátsz erre… Mit gondolsz, mikortól érdemes vagy mikortól lehet elkezdeni az adatokkal foglalkozni egy startup életében?
Ami azt illeti, már a legelejétől. Persze óvatosnak kell lenni, mert az elején nagyon kevés adatpontod lesz, pl. egy AB-teszten 5-600 felhasználó. Ilyenkor sokáig kell várni az eredményekre, nem úgy mint mondjuk a Prezinél, ahol a felhasználók 5%-nak odaadsz egy funkciót és másnap már látod az eredményeket. :-) De ha én most kezdenék új projektbe, biztosan nem vágnék bele egy gyors validáció, pl. egy nyitóoldal teszt nélkül. Ha van egy jó ötleted, tesztelni kell, valódi számokat kell látnod.
Aztán az elején lehet mérni a marketing csatornákat is. Ez az egyik legfontosabb, hiszen először itt tudod követni a növekedést.

– Most milyen eszközöket használtok?
– Ez elég nagy kihívás, mivel egy kisebb cégnek még nincsenek túl nagy erőforrásai, nem tud 100 gépes parkokat bérelni, stb… Eleinte a Mixpanel, a Google Analytics és a KissMetrics persze elég, de amint elkezdesz sok tesztet csinálni és egyedi mérésekre van szükséged, ezek már nem tudnak kiszolgálni. A Hadoop és egyéb nagy rendszerek pedig túl nagy lépés lennének rögtön ezek után. Ezen a szinten szerintem mindenki elkezdi a saját adatelemző rendszerét csinálgatni, amit a cégnek magának kell kitalálnia. Mi is ezt csináljuk.

– Hányan vagytok a Brickflow-nál?
– Kb. 10-en vagyunk. 3 marketinges, 4 fejlesztő és 1 ember az üzleti oldalról, plusz néhány részmunkaidős. A csapatban amerikaiak is vannak, ami jó, mert így angolul is beszélhetünk és ők azért közelebb vannak az amerikai kultúrához is. Ami itthon menő, az nem feltétlenül az Amerikában és ezt ők jobban látják.

– És ti mivel foglalkoztok pontosan?
Tojás: Én vagyok a vezető fejlesztő és az alapítók egyike is. Így a többi fejlesztőt koordinálom és persze vannak alapítói tennivalóim, pitch-elés, stb. A fejlesztői oldalról én foglalkozom a legtöbbet a fontos alapmetrikákkal, az elemzésekkel és a tesztekkel.

Ryan C. McCabe - Brickflow, Data Analyst Intern
Ryan C. McCabe – Brickflow, Data Analyst Intern

Ryan: Én is elemzésekkel és méréssel foglalkozom. Olyanokkal, amikre nem biztos, hogy lenne másoknak idejük az irodában, de azért mégiscsak mindenkinek tudnia kéne róluk. Mint pl. hány ember oszt meg tartalmat, vagy hogy mi a nyitóoldal konverziója. Riportokat készítek és prezentálok a kollégáknak. Pl. múlt héten találtam egy problémás eset, ahol a megosztások kb. 20%-a egy hibaüzenettel végződött. Itt muszáj volt kideríteni, hogy melyik oldalról jön a hiba, a mi alkalmazásunk felől vagy a külső alkalmazásokból.

Tojás: Igen és ezek olyan adatok, amik néha egyszerűen csak érdekesek, de sokszor emellett még nagyon hasznosak is. Sajnos egy marketingesnek vagy egy fejlesztőnek egy kis cégnél sokszor nincs ideje arra, hogy megnézze, mi éppen a legeslegnagyobb probléma, mi a legeslegfontosabb dolog, amivel foglalkozni kell, ilyenkor jó, ha az elemzésekből rögtön visszajelzést kap.

– Mi volt a legnagyobb tanulság eddig?
– Igazából ez volt az első alkalom, amikor igazán adat-vezérelten döntöttünk. Sokat tanultunk a lean valódi jelentéséről – de ehhez mindenképpen kellettek bukások is. Még mindig vannak nem lean-es folyamataink és azért azt is látni kell, hogy egy ideig eltart míg az ember tényleg data-driven-né válik. Data-driven-né, jó értelemben. Meg kell találni az egyensúlyt, hogy mikor kell mérni és mikor kell egyszerűen csak dönteni, ha esetleg valami triviális volna vagy éppen nagyon nehéz lenne lemérni. Folyamatosan tanuljuk ezt, de azt hiszem a tavalyi év óta nagyon sokat fejlődtünk.

– Köszönöm szépen a beszélgetést!
Mester Tomi

A Startup adatelemzés interjú többi része:
Startup adatelemzés interjú I. – Prezi
Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
Startup adatelemzés eszköztár – AB-teszt, szegmentálás, kohortok
És persze, ne felejts el feliratkozni az ingyenes hírlevélre!

Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData

Mikor legutóbb San Francisco-ban jártam, a Prezinek hála volt szerencsém néhány nagyobb sikeres startup adatrészlegének a képviselőjéve beszélgetnem, úgy mint az Evernote, az Eventbrite vagy a GoodData. Mivel ezek nem klasszikus interjúk, hanem inkább ötletelések voltak, csak röviden egy-egy gondolatot emelnék ki belőlük, ami az itthoni startup-oknak szerintem a leghasznosabb lehet.

GOODDATA

Gooddata logoA GoodData 40000+ olyan cég adatvizualizációjához adnak platformot, mint a Zendesk, a Virgin America, vagy más nagy amerikai vállalatok. Ray Light-tal, az ügyfélkapcsolati igazgatóval ültünk le, aki pozíciójából fakadóan nagyon sok üzletág adat-startégiájára rálát.

Rey a GoodData-ból
Ray a GoodData-ból

A beszélgetés legérdekesebb pontja az volt, amikor Ray a felhasználók “életútjáról” beszélt. Mint mondta, az adatelemzés segítségével fel lehet állítani egy ún. “sikeres-felhasználó életutat” és ha ez megvan, azokra a látogatókra kell kiemelt figyelmet fordítani, akik még épphogy elkezdtek letérni az útról. Ez önmagában még nem lenne nagy találmány, de amit ezután mondott, azt úgy gondolom, minden cégnek meg kéne fogadnia, mégpedig: az olyan user-eket, akik már nagyon messzejárnak ettől az ösvénytől, már nem érdemes piszkálni – ugyanis náluk már nagyobb az energiabefektetés, mint a nyereség. Fölösleges nekik extra-kedvezményt felajánlani vagy most-vagy-soha hírleveleket kiküldeni. A legrosszabb felhasználóinkat egyszerűen el kell engedni, a tapasztalat azt mutatja, hogy ha ők nem akarják használni a termékünket, akkor úgysem lehet őket hosszútávon gazdaságosan meggyőzni erről. Amúgy is: jönnek helyettük sokkal jobbak! :-)

EVERNOTE

Evernote logoAz Evernote-nál Koundinya Pidaparthi-val (Analytics Manager) és Damon Cool-lal (Director of Analytics) egy nagyon izgalmas eszmecsere alakult ki arról, hogy hogyan érdemes szegmentálni a user-eket, illetve hogy mi ennek a haszna. Az ő eredményeik azt mutatják, hogy ha olyan széles és sokrétű közönségre lő a termék, mint az Evernote és emiatt nagyon sokfajta felhasználója van az embernek, a kvantitatív analízis – azaz a bigdata-ba való mély leásás nem mindig segít.

Koundinya az Evernote-tól
Koundinya az Evernote-tól

Ugyanis ha az ember talál egy különösen aktív részcsoportot, akkor nagy eséllyel az a csoport csak egy nagyon-nagyon kicsi része az összes user-nek, éppen ezért iszonyatosan nehéz az ő eredményeiket felskálázni az összes felhasználóra. Szerintük sokszor célravezetőbb a visszamenő elemzések helyett sok-sok user-tesztet csinálni (felhasználói élmény teszt, kvalítatív analízis) és az ott kapott következtetéseket és ötleteket okosan AB-tesztelni.

EVENTBRITE

Az Eventbrite irodája
Az Eventbrite irodája

Az Eventbrite-nak már csak az irodája is megérne egy misét – de adat szempontból is ők hozták az egyik legnagyobb tanulságot a San Francisco-i utam alatt. A módszer, amit kifejlesztettek, nem új – a multik, a telekommunikációs cégek és a bankok, már régóta használják. De én startup-oknál még soha sem láttam. Feltűnt, hogy ha felhívod a bankod vagy a mobilszolgáltatód, akkor az ügyintéződ rögtön tud neked ajánlani 3 kedvezőbb csomagot? Az ügyfél-kártya módszer egy igazi kis csemege az adatok használatában. A bigdata-nak hála ma már könnyen elérhető az, hogy az összesített használati adatod (pl. telefonálási szokások, bankkártya használati szokások) a hívás pillanatában megjelenjen az ügyintéző képernyőjén és valós időben feldobjon neki 3 olyan ajánlatot, ami neked nagy eséllyel tetszeni fog. Félreértés ne essék: ez egy win-win szituáció, itt tényleg olyan csomagot kapsz, amivel jobban jársz, a cég pedig azért jár jól, mert boldogan távoztál és valószínűleg nem mész át egy konkurenshez. És ez a séma működhet a startup-ok support csatornáin is – sőt kis kreativitással és odafigyeléssel az egyes marketing csatornákon is (pl. email kampányok)! Minél személyesebb a tartalom, annál nagyobb az ügyfél-elégedettség.

Remélem neked is tanulságos volt ez a 3 gondolat ettől a 3 nagy sikerű startup-tól! A következő interjúban újra magyar startup-ok jönnek!

Tetszett a cikk?

Nézd meg az adatelemzés és startup-ok sorozat többi részét is: 1. Startup adatelemzés interjú I. – Prezi
2. Startup adatelemzés interjú III. – Brickflow
3. Startup adatelemzés eszköztár – AB-teszt, szegmentálás, kohortok

És ne felejts el feliratkozni se!

Mester Tomi