Mester Tomi címkével jelölt bejegyzések

Top-Adatelemző/BI eszközök (, amelyekről nem gondolnád, hogy ingyenesek)

Micsoda!? Ingyenes A/B tesztelő szoftver? Ingyenes hírlevél motor? Ingyenes funnel-metrika/KPI-metrika építő eszköz?
Nos, igen. Létezik. Minden cégnek és minden projektnek más-más adatelemző/big data/BI eszközcsomag az optimális. Azonban vannak tool-ok, amelyek mindenkinek alapvetés kellene, hogy legyenek. A vicc pedig az, hogy ezek ingyenesek. Legalábbis egy bizonyos cégméretig. Pl. ott az Optimizely – mindenki csak annyit tud róla, hogy kb 30.000$-nál kezdődik az éves előfizetésük, de azt már kevesen tudják, hogy 50.000 egyedi látogató/hó méretig (ami lássuk be, nem kevés) teljesen ingyenes. Nézzük szépen sorban a legmenőbb eszközöket, amelyeknek hasonlóan barátságos az árazási modelljük.

Mixpanel
mixpanel logoVan Google Analytics-ed? Szuper. Mi hiányzik belőle? Pl. az egyedi mérések és definíciók. Vagy az, hogy minden egyes felhasználót/felhasználói szegmenst vagy csoportot e-mail cím szerint láss. Vagy az, hogy ha egy user-ed eljutott valameddig a vásárlásban, de utána abbahagyta folyamatot, autamatikusan kapjon egy visszacsábító e-mail-t (, aminek a tartalmát akár A/B tesztelheted is)?
Ezt mind-mind tudja a Mixpanel. Sőt ennél még sokkal többet. Gyakorlatilag mindent, amit egy saját big data adatbázissal meg tudsz csinálni.
Az ára pedig 25.000 egyedi felhasználóig ingyenes.
Implementálás – megfelelő szakértelemmel – pár óra.mixpanel
Optimize.ly
Optimizely logoA/B tesztelő motor. A legjobb. Komolyan, az Adatlaborral sok ügyfélnél, sok fajta A/B tesztelő eszközt használtunk és végül az Optimizely mellett tettük le a voksunkat. (A VWO a második a sorban, de ott gyakran váratlan bug-okba, kis hibákba futottunk, ami bizony elég idegesítő tud lenni.) Ami csábító benne, hogy WYSIWYG, azaz “What you see is what you get” (azt kapod, amit látsz), tehát ha egy egyszerűbb tesztet össze akarunk dobni, akkor nem kell programoznunk, hanem elég egy grafikus felületen dobozokat tologatnunk.
Emellett kb. minden integrálható bele, pl. a fent említett Mixpanel, de a Google Analytics, a CrazyEgg, a Mouseflow és minden egyéb tool is.
Persze egy-két trükkel és best practice-szel még jobban ki tudjuk aknázni a tudását (pl. honlapátirányításos A/B teszt), de ha az árazáshoz jutunk megint meglepő fordulatot látunk (ahogy fent is írtam):
50.000 egyedi user/hó méretig ingyenes. (Ha pedig ezt túlléped, egyszerűen csak leáll a teszt.) Ebben az a szép, hogy 50.000 user-ből 100-ból 99 projektben már simán jönnek ki szignifikáns eredmények, úgyhogy ennél nagyobb motorra – legalábbis magyar viszonylatban – nincs is szükség.

Mouseflow
A Mouseflow-val 3 dolgot tehetsz meg:
1. Felveszed a látogatóid egérmozgását és visszanézed.
2. Ezekből kattintási/egérmozgatási hőtérképet készítesz.
3. Görgőzési hőtérképet készítesz.
Mind a három iszonyatosan fontos ahhoz, hogy megértsd, hogy mi miért és hogyan történik a honlapodon. Meglepődnél, hogy mennyire máshogy rajzolódik ki egy-egy kattintáshőtérkép egy-egy CTA gomb körül, ahhoz képest ahogy az a dizájnered vagy a Te fejedben megjelenik. Itt egy rövid videó a Mouseflow-ról:

A Mouseflow-nak is van ingyenes verziója, amiért 100 képernyőfelvételt nézhetsz végig havonta. Ez amúgy önmagában érdekes és hasznos is, azért egy hőtérképre inkább jobb a small csomagjuk (1000 felvétel/hó 15$-ért) vagy esetleg a medium (10000 felvétel/hó 60$-ért).
Implementálás – kb. 10 perc. :-)

Összefoglalás
Ez a 3 eszköz általában minden igényesebb adatelemzési/online termékkutatási projektnél jelen van. Azt hozzá kell tenni, hogy alternatíváik vannak. Egyrészről, amit tudni kell, hogy egy bizonyos méret után a házon belül fejleszett big data eszközök már jobban megérik anyagilag. Másrészt pedig más ár-érték arányban az alábbi tool-ok szolgálhatnak még jó példaként:
1. Mixpanel helyett: KISSmetrics
2. Optimizely helyett: VWO
3. Mouseflow helyett: ClickTale vagy CrazyEgg

Ha arra vagy kíváncsi, hogy hogyan lehet ezeket az eszközöket stratégiailag is alkalmazni, ne hagyd ki a ma esti (hétfő 04.13. 19:00) Big Data Adatstratégia webináriumunkat!

Mester Tomi

Még 3 weboldal használhatósági sztenderd

Az előző cikk folytatásaként most megosztok még 3 weboldal használhatósági ötletet, amit érdemes kipróbálni. Előzőleg is azt írtam, hogy nem szeretem az általánosításokat, mert minden online üzlet egyedi, saját célközönséggel, speciális igényekkel és speciális megoldásokkal. Pl. amit nemrég megfigyeltünk, az az, hogy egy egytermékes cégnél (pl. Evernote) tök jól működik a nagy nyitókép stratégia:
evernote landingMíg egy többtermékes cégeknél (pl. e-digital) érdemes egy helyett több képet, több lehetőséget megvillantani.
Ez csak egy példa, de a lényeg, amiket itt leírok, azok nem általános megoldások, hanem ötletek arra, hogy miket érdemes AB-tesztelni.

1. A lead-magnet-et emeld ki, ne a gombot
Az előző cikkben  arról is írtam, hogy a piros gomb majdnem mindig legalább 20%-kal megtolja a konverziót. És ez így is van. Azonban az egyik ügyfelünknél érdekes módon a hírlevél-feliratkozásnál, amikor az AB-tesztben pirosra cseréltük a gombot, nem történt változás. Kb. ugyanannyi klikk jött a pirosról, mint a szürkéről vagy a feketéről.
A “FELIRATKOZÁS” gomb színét hiába cserélgettük, ettől nem lett vonzóbb maga a feliratkozás lehetősége. Ekkor jöttünk rá, hogy amivel kísérleteznünk kell az az ajándék, a “lead-magnet”, amit adunk a feliratkozásért, jelen esetben egy 1000 Ft-os kupon. Ha kiemeljük jobban, hogy itt bizony egy 1000 Ft-os kedvezményről van szó (tehát ezt írtjuk nagyobb betűvel, esetleg pirossal) – a gombot pedig cserélhetjük “FELIRATKOZÁS” helyett “KÉREM A KUPONOM”-ra: máris emelkedik a konverzió. A lead-magnet a fontos, nem a gomb maga.

2. Embereket szeretünk nézni
Pszichológia 101: emberekként embereket szeretünk nézni. Tegnap beültem egy VWO.com-os webináriumra, ahol több esettanulmányban is bemutatták, hogy egy fotó egy emberről a honlapon növeli a hitelességet és ezen keresztül a konverziót. Az egyik legegyszerűbb példa, egy call-to-action (avagy call-Jason) gomb tesztelése volt:
contact JasonEz ugyebár 1,5-szer annyi megkeresést jelent Jason-nek.

A VWO-s tudást én még annyival egészíteném ki, hogy a megfigyelések szerint SOSE használj stock-photo-kat, mindig csak egyedi képeket.

UPDATE: Szigeti Attila barátom pont tegnap küldött egy érdekes TechCrunch cikket, ahol azzal kísérleteztek, hogy vajon a férfi vagy  a női fotó hoz magasabb elköteleződést:

clicktale heatmapAz eredmény pedig egyértelmű szignifikánsabb magasabb az elköteleződés, ha férfi van a képen. (Megjegyzés: ez persze már tényleg eléggé célcsoport és termékspecifikus kérdés – de azért egy jó ötlet a tesztelésre).

3. Bal felső sarok –» Jobb alsó sarokheatmap

Akármelyik honlapodnak is nézed meg a hőtérképes elemzését (pl. Mouseflow-val), mindig ugyanezt fogod tapasztalni:
– a kattintások számának a hőtérképe
– az egérmozgatás intenzitásának a hőtérképe
– sőt! szemmozgás-vizsgálattal bizonyítva egyáltalán a szemmozgás hőtérképe is:

a bal felső saroktól a jobb alsóig szépen egyenletesen kihűl. Persze, ha beteszel egy nagy CTA gombot a jobb alsó részre, még érhetsz el vele magasabb konverziót, de az tény, hogy akármilyen üzenetet jelenítesz meg: a bal felső sarokban van a legnagyobb túlélési esélye!

Remélem érdekesnek és hasznosnak találtad ezt a cikket!
Ne feledd, jövő hét hétfőn (04.13.) Big Data Webinár, ahol ehhez hasonló weboldal használhatósági kérdésekkel is fogunk foglalkozni.

LINK: http://adatstrategia.eventbrite.co.uk

Mester Tomi

Ha Arany és Petőfi miatt vagy itt…

… akkor jó helyen jársz. Az Adatlabor csinálta a kutatást. (inspirácóért köszönet Kajtár Róbertnek) Itt megmutatok néhány technikaibb háttér-infot az elemzésről. Röviden újra összefoglalom az eredményeket. (Ha a kódolás részét túl bonyolultnak érzed, ugord át nyugodtan.) A kutatás célja az volt, hogy kiderítsük, melyik költőnknek a legnagyobb a szókincse, azaz melyik költőnk használ legtöbb »egyedi« szót verseiben. Az eredmények röviden:

egyedi szavak egyedi szótövek leírt szavak egyedi szótő arány
1 Arany János 59697 ~16.000 287425 20.77%
2 Vörösmarty Mihály 43938 ~12.000 214104 20.52%
3 Petőfi Sándor 32855 ~9.600 154721 21.23%
4 Ady Endre 30243 ~10.400 124574 24.28%
5 Babits Mihály 27116 ~11.000 398003 6.81%
6 József Attila 19635 ~8.200 62811 31.26%

Tehát, ahogy azt magyar órán is megtanulhattuk: Arany János a nyertesünk.

Több részletet: az origo-s cikkben olvashatsz.

Nézzük a technikai hátteret az egész mögött.
1. Milyen technológiát válasszunk?
Ez nem volt nehéz döntés. Csak egy gondolat: a Big Data nagyjából 1 milliárd sornyi adatnál kezdődik és mivel ennyit együtt sem írtak költőink, bár használhatnánk Big Data script-eket, ez amolyan ágyúval verébre megoldás lenne.
Egyébként Apache Pig-ben egy szószámláló script kb így néz ki hozzá:

A = load './input.txt';
B = foreach A generate flatten(TOKENIZE((chararray)$0)) as word;
C = group B by word;
D = foreach C generate COUNT(B), group;
store D into './wordcount';

(Forrás: itt)

A másik nyelv a Python lehetne, de az igazság az, hogy ilyen “kicsi” (pár százezer sor) adatmennyiséggel még egy egyszerű Bash script is megbirkózik és ott lényegesen rövidebb a kód:

cat text.txt \
|tr -d '[:punct:]' \
|sed 's/[[:upper:]]*/\L&/' \
|tr ' ' '\n' \
|wc -l

Az első sor beolvassa az adott szöveget, a második kiveszi a központozást, a harmadik gondoskodik arról, hogy a kisbetű-nagybetű ne számítson külön szónak (pl. mondat eleji “Kalap” és mondatközepi “kalap”) – a negyedik sor, minden szót egy új sorba tesz, az utolsó pedig megszámolja, hogy hány sorunk van.

Ha az egyedi szavakra vagyunk kíváncsiak, ki kell szednünk a szóismétléseket és minden egyedi szót csak egyszer számolni. Ehhez beteszünk az utolsó előtti sorba még egy kódot.

cat text.txt \
|tr -d '[:punct:]' \
|sed 's/[[:upper:]]*/\L&/' \
|tr ' ' '\n' \
|sort -u \
|wc -l

A szótövezés (azaz a “kalaptól” és “kalapban” szavak hasonlóságának felismertetése) egy kicsit bonyolultabb folyamat, úgyhogy abba nem is nagyon mennék bele.

Még a top 100 kifejezés listának a kódja lehet érdekes. Ez írja ki, hogy pl. mi volt az Ady Endre által legtöbbször leírt száz szó.

cat text.txt \
|tr -d '[:punct:]' \
|sed 's/[[:upper:]]*/\L&/' \
|tr ' ' '\n' \
|sort |uniq -c |sort -nr| head -100

Ha csak a Toldit elemezzük, akkor a legtöbbször használt kifejezések (az ún. stop-word-öket, mint pl. “a”, “az”, “hogy”, “is”, stb… eltávolítva):

65 Toldi
54 Miklós
29 jó
28 király
27 György
21 Isten
19 szépen

Egyébként a kutatás relatív egyszerű volt, az egész elemző script tokkal vonóval 40 sor — de jellemzően maga az adat megszerzése (versek lekérése) és letisztítása volt ebből 35 sor, a számláló megírása pedig 5.

Ígérem, ez volt a legtechnikaibb cikkünk! :-)

Tomi

Interjú – Termékfejlesztés a Skyscanner-nél

Skyscanner logoTavaly októberben robbant a hír, miszerint a Skyscanner felvásárolta a Distinction-t. Azóta az átállás végbement és az egykori Distinction most már 100%-ban a Skyscanner mobilapplikációinak a fejlesztéséért felel. Ennek a zászlóshajója a Flights alkalmazás.  Az egyik cél, hogy a “Travel is mobile” koncepcióhoz híven az egész utazási élményt lefedjék és egy egységes megoldást kínáljanak rá. Kardos Lacival, a Skyscanner Apps Tribe-jának egyik product managerével beszélgettem a célokról, a kihívásokról, stratégiákról és arról, hogy milyen módszerekkel és hogyan fejlesztenek.

Kardos Laci - Skyscanner
Kardos Laci —— Product Manager @Skyscanner

Tomi: Hogy néz ki a cég felépítése jelenleg?
Kardos Laci: Per pillanat a Skyscanner szervezeti modellje a Spotify-jéhoz hasonló. Vannak tribe-ok, azon belül squadok, a squadokat átívelően vannak chapter-ek és guild-ek. Mi, a budapesti csapat, és számos kolléga a cégből, akik korábban szintén mobilapplikációkkal foglalkoztak alkotjuk az Apps Tribe-ot. Az Apps Tribe termékvezetője Orosz Bálint, Kapui Ákos pedig a technológiai vezetője. Magának az Apps Tribe-naka zászlóshajója a Flights, ez az elsődleges termék. A cég hosszútávú stratégiájának egyik eleme, hogy a teljes Travel világot felölelje, tehát ne szeparáltan foglalkozzon a “Hotels”, a “Flights” vagy a “Car Hire” alkalmazásokkal, hanem hogy egy globális utazási megoldást kínálhassunk. Gondolj bele, mennyi macerával jár az utazás: nem csak a foglalás, hanem a repülőtéri dolgok, majd maga a repülés, utána az ottlét… mi ezt az egészet ilyen egyszerűvé szeretnénk tenni (csettint).

Most hogy látod, hol lesztek 1 év múlva? 3 év múlva? 5 év múlva?
A cél az, hogy pár éven belül egy szignifikánsan, mérőszámokkal is alátámaszthatóan erős travel brand legyünk. A cég gyorsan növekszik, mi pedig iszonyúan élvezzük ezt. A Distinction-korszakból hoztuk magunkkal az erős delivery hangulatot. Szeretünk “szállítani”, tolni és vinni előre, és így jó dolgok tudnak születni. Mindemellett nagyon fontos, hogy a jó terméket szállítsuk a megfelelő módon. Itt jön a képbe az, hogy product discovery-ben is erősek vagyunk.

Hogyan méritek a sikerességét egy terméknek?
Ez egy olyan kérdés, amire válaszként egyértelmű, bevált módszert még nem tudok adni, tekintettel arra, hogy még nem adtunk ki alkalmazást a felvásárlás óra. Egyébként eddig a legfontosabb metrikáink közé a “conversion” jellegűek tartoztak.. A Flights-nál például az, hogy az emberek hány százaléka megy át tőlünk végül a külső szolgáltatók oldalára (pl. a légitársaságok foglalási oldalára) és az, hogy akik átmennek, ténylegesen vesznek-e jegyet. Alapvetően a legtöbb fejlesztett kiadás vagy akár az A/B-tesztek ezeket az arányokat próbálják javítani. Életképesség szempontjából persze esszenciális, hogy magas legyen a konverziód, de ami egyre fontosabb, az az, hogy hogyan tudjuk a “frequency of use”-t, azaz a folyamatos visszatérést növelni. Ugyanis az utazás az nem csak arról szól, hogy az ember egyszerre lefoglal mindent, és onnantól kezdve nem is foglalkozik vele, nem is gondol arra, hogy hova fog utazni. Inkább úgy működik, hogy először csak eljátszik a gondolattal, megnézi a blogokat. Azután lefoglalja a repjegyet, majd a szállodát. Utána megnéz valamilyen térképes szolgáltatást. Megtervezi a helyi közlekedést, hogy hogyan fog eljutni a reptértől a hotelig. Aztán azon gondolkozik, miket érdemes megnézni az adott városban. Ezek a mélységek nálunk még nincsenek benne a termékben. Éppen emiatt a jövőben ezekre jobban figyelünk majd. Így rákényszerítjük magunkat arra, hogy olyan termékekkel jöjjünk elő, amelyeket az emberek gyakran fognak használni.

A cél tehát, hogy az utazás előtt minél többször elővegyék az app-ot?
Így van. Vagy az utazás alatt. Ha belegondolsz, maga a bepakolás a bőröndbe is egy “pain-in-the-neck”. Utána elrepülsz és előveszed a mobilod, hogy keress rajta helyeket, látnivalókat. Az utazás élményéhez alapvetően hozzákapcsolódik a mobil. Ez az, ami nagyon fontos. És ez az, ami egy hatalmas lehetőség a Skyscanner-nek. Az egyik erősségünk, hogy nagyon jó technológiai háttérrel rendelkezünk és teljesen transzparens módon jelenítjük meg az utazási ajánlatokat. Mi minden árat mutatunk, legyen az egy ügynökségé vagy magáé a szolgáltatóé. A jegyfoglalás egyre inkább a mobil platformok irányába tolódik el. És az utazás is esszenciálisan mobil. Mobillal utazol, mobillal fényképezgetsz, majd mindezt mobilon osztod meg és azt mások is mobilon nézik meg.

És ez a stratégiai váltás igényelte azt, hogy bejöjjön a Distinction a képbe?
Igen. A stratégiában mi ezt úgy fogalmazzuk meg, hogy a mobile-first vagy “Travel is mobile.” A másik jelmondatunk pedig, hogy “Travel is social”. Utazol valakivel, utazol valakihez vagy elutazol valakitől, vagy inspirálódsz valakinek az ötlete alapján.

Az hogy eddig nem volt release, azt jeleneti, hogy teszteket nem is nagyon csináltatok?
Nyilván a jelenlegi app-okban számos analitikai könyvtár található, amiken mérjük ezeket a dolgokat. De mi, mint csapat, nem csináltunk még óriási teszteket, mert még nem tart ott a termék. Azok a termékek/feature-ök, amiket mi építünk, egyébként eleve A/B teszt formájában fognak kimenni, tehát először a felhasználók X százaléka fogja megkapni. Összehasonlítjuk a régit és az újat.
Ezenkívül ott van a Hotels app. Annak is hasonlóképpen megy a fejlesztése. Egyébként a Hotelst mi készítettük eredetileg, még a Distinction korszakban.

Hogy néz ki a csapat?
Alapvetően “cross-functional product squad”-ok és “technológiai squad”-ok vannak. Az előbbiben van egy product manager/owner, egy researcher, egy designer – az én csapatomban például pont kettő –, egy tech lead, fejlesztők és tesztelők. Ezek közepes méretű csapatok, tehát körülbelül 8 fősek, amik nagy valószínűséggel szét fognak bomlani kisebb egységekre, ahogy növekszünk. És ott vannak a technológiai squad-ok is. Azok főleg fejlesztőkből állnak Természetesen ott is van egy squad-lead.

Mit csinál a researcher a csapatban?
A researcher-nek a feladata nálunk gyakorlatilag az, hogy a világból insights-okat szedjen össze és azokat a megfelelő formában átadja a termékcsapatnak. Ebbe természetesen beletartozik a kvantitatív és a kvalitatív kutatás is. A researcher pozíciót tehát nagyon flexibilisen értelmezzük. Vannak benne UX research (usability tesztek, interjúk, stb.) és adatelemzési feladatok is.

Hogy néz ki egy ilyen folyamat nálatok?
A termékfejlesztési folyamat erősen támaszkodik a kutatásra. Ez azt jelenti, hogy egészen a kezdeti szakasztól, amikor még nincs semmiféle fejlesztés vagy design, már olyan dolgokkal kezdünk el foglalkozni, amik insight-okból származnak. Pl. korábbi interjúkból derül ki, hogy van igény valamire. Mi ezek alapján kezdünk el dolgozni megoldásokon, designokon, prototípusokon. Azután ezeket validáljuk. Tipikusan teszteltetjük őket különböző felhasználókkal az irodánkban. Sok esetben ezek kód nélküli prototípusok. Ezeket sok szempontból vizsgáljuk. A legfontosabb kérdés, hogy értékes lenne-e a termék vagy funkció a felhasználóknak? Számtalanszor kiderül, hogy nem és akkor ezeket a funkciókat eltávolítjuk a prototípusból vagy megpróbáljuk őket átdolgozni. Közben folyamatosan vizsgáljuk a dizájnok használhatóságát is. Végül amikor eljutunk egy olyan fázisba, amikor azt lehet mondani, hogy ez a termék/feature értékes, használható és megvalósítható, akkor megszületik a döntés, hogy mit is fejlesszünk le. Csak ezután zajlik le a fejlesztés és ezután jöhet a release. Minden terméknek van egy célja. A release során kvantitatív mérésekkel vizsgáljuk, hogy ezt a célt elérjük-e. Ezt a felhasználók tényleges termékhasználata alapján tesszük. A mérésekből levont következtetések alapján aztán iterálunk a terméken.

A kód nélküli teszteket egyébként hogyan kell elképzelni?
Egy egyszerű drótváz jellegű prototípust képzelj el. Csinálunk képernyőket és ezeket összelinkeljük egymással. Nagyon fontos, hogy a tesztek ritmusa adjon egy alapritmust az egész termékfejlesztésnek. Ha jön egy felhasználó, akkor mutatni akarunk neki valamit. Elérakunk egy prototípust, a researcher feladata pedig, hogy végigcsinálja a tesztet. A csapat elemi érdeke pedig, hogy megpróbáljon minél több teszten bent lenni egy héten. Hiszen nem csak a designer-nek, a product manager-nek vagy a researcher-nek, hanem a fejlesztőnek is fontos, hogy lássa, hogy amit megcsinált, az vajon működik, értékes, használható-e. Ezek nagyjából félórás tesztek. Van amikor szcenáriókra épülnek. Tehát pl. “képzeld el, hogy utazni szeretnél és elkezded használni az app-ot, amit letöltöttél” – iOS-en, Androidon, akár tableten vagy telefonon. A felhasználói teszt alatt látjuk, hogy hol hal el a folyamat – közben pedig beszélgetünk a tesztelővel, hogy megértsük a miérteket is. Utána a csapattal átbeszéljük, hogy mi az, amit tanultunk, amit hallottunk. Hiszen előtte voltak feltételezéseink és a teszt végén pedig ezek vagy igazolódnak vagy nem. Ilyenkor látjuk, hogy mi az, ami nem működik, mi az, ami nagyon jól működik és néha látunk olyan dolgokat, amikre esetleg nem is gondoltunk. A tapasztalatom az, hogy az értékesség és a használhatóság kérdéskört 3-4 tesztből meg lehet ítélni.

Van még valami, amin dolgoztok mostanában?
Azon dolgozunk, hogyan építsünk fel egy hosszú távon használható Analytics rendszert, ahol minden egyes felhasználói interakciót naplózunk egy big data store-ba, amit azután lehet elemezni,akár mélyebb statisztikai módszerekkel (korrelációkat megállapítani, stb…). Vagy a klasszikus termékdöntésekhez szükséges módszerekhez is használhatjuk majd ezt: egy funnel-t meg lehet vizsgálni, egy cohort-ot ki lehet elemezni, stb. Mindezt szeretnénk kiegészíteni egy A/B-teszt (feature-switching) megoldással, amivel gyorsan lehet variánsok teljesítményét mérni. Ráadásul szeretnénk, ha ez az első nagyobb release-re megépülne és tudnánk használni. Szerencsére a cégen belül ez nem csak a mi feladatunk, más squad-ok is dolgoznak rajta velünk együtt Edinburgh-ban, Barcelona-ban és más helyeken is, úgyhogy rájuk tudunk építeni.

Milyen érzés egyébként egy ekkora cég részévé válni egyik pillanatról a másikra?
Egy integrációnak számos aspektusa van: kulturális és szervezeti is. Ez a folyamat zajlik most. Iszonyatosan jó az anyacég, rengeteget tanulunk tőlük és ők is sokat szeretnének tanulni tőlünk. Például, hogy milyen is az a Distinction-kultúra, milyen és hogyan lehet átvenni elemeket, amelyek nagyon jól működnek nálunk. Nekünk meg az segít, hogy nagyságrenddel nagyobbak, infrastruktúrát és folyamatokat tekintve.

Köszönöm szépen!

Big Data webinár II. rész — STARTUP + ADAT — stratégiák nem csak startup-oknak

(Ha nem voltál az I. részen, ne ijedj meg, anélkül is érteni fogod) A II. rész több stratégiával, több módszertannal és több esettanulmánnyal.
Itt tudsz regisztrálni:     adatlabor3.eventbrite.co.uk

Adatlabor logoIdőpont: Március 18. szerda 18.00-19.30

A tartalma pedig:
Az adatelemzés az (online) üzleti stratégia szerves része. Ezzel értheted meg a felhasználóidat: mik a problémáik és hogyan tudsz nekik ebben segíteni. Ez pedig hosszú (és rövid) távon számodra is profitábilis. De hol is érdemes kezdeni? Ez a webinárium rendet rak a káoszban és olyan módszertanokat és példákat mutat be, amelyek a gyakorlatban hasznosíthatóak.
(Note: a webinárium akkor is hasznos, ha éppen nem startup-on dolgozol, de szeretnéd az online üzletedbe bevezetni az adatvezérelt szemléletet.)

Tárgyalt módszertanok:
– AARRR (Dave McClure): Tesztelési stratégiák és fejlődési pontok adatvezérelt meghatározása.
– 4DX (The 4 Disciplines of Execution): Mérhető célok beállítása, a köztük levő összefüggések megkeresése és a célirányos üzletfejlesztés.
– E-commerce startup mérések
– A/B tesztelés: best practice-ek (és worst practice-ek).
– Mi az a Big Data igazából? Mikor van rá szükség? Hogyan lehet implementálni?
– Esettanulmányok

A gyakorlatban az Adatlaborral mi magunk is ezeket az adatelemzési stratégiákat és módszertanokat használjuk, a saját ügyfeleinknél, úgyhogy 100%-osan valós üzleti példákból merítkezünk.
75 perc + Q&A

Mester Tomi adatlabor
fotó: Hámori Zsófia

Előadó:
Mester Tomi üzleti intelligencia elemző és tanácsadó, az adatlabor.hu alapítója és szakmai vezetője. Növekedésben levő cégeknek segít az adatelemzési és big data stratégiájuk kidolgozásában – továbbá abban, hogy ezeket az eszközöket a vevőszerzés, a magasabb vevőelégedettség és végeredményben persze a több profit elérésére tudja felhasználni minden partnere. Korábban a Prezi.com-nak dolgozott. Jelenlegi ügyfelei az e-kereskedelem, az online média és az online szolgáltatások területéről érkeznek.
Másik szenvedélye a nyilvános beszéd. Alapítótagja és CC-szintű beszélője az első magyar nyelvű Toastmasters klubnak. Előadó továbbá adatelemzés témában olyan fórumokon, mint a TEDx, BI Forum, Internet Hungary, PechaKucha Nights, Global E-commerce Summit 2015 @Barcelona, stb. Több info itt.

Ára: 4000 ft + ÁFA

Tehát a jelentkezés mégegyszer:
LINK: adatlabor3.eventbrite.co.uk
ÉS A GYORS REG:

Tomi

E-commerce adatelemzés interjú – TESCO

Tesco adatelemzés interjúBarabás Lenkével, a Tesco Customer Loyalty and Personalisation Manager-ével beszélgettem a napjaink trendejeiről és arról, hogy hogyan reagál erre a Tesco. Lenkével egy Big Data workshopon találkoztam, ahol mindketten előadtunk. Az ottani prezentációja a Klubkártya programról szólt és ez keltette fel az érdeklődésemet. Ennek működéséről, előnyeiről és big data vonatkozásáról is mesélt nekem részletesen…

Barabás Lenke, TESCO
Barabás Lenke, TESCO

– Te pontosan mivel foglalkozol a Tesco csapatában?
– A Tesco-n belül ez egy teljesen új pozíció, így folyamatosan vannak új és új feladatok. Két fő vonalát emelném ki. Az egyik, hogy minél személyesebb ajánlatokat tudjunk adni a vásárlóinknak. Első lépésként a heti hírlevelek számát szeretnénk csökkenteni. Arra törekszünk, hogy egy hírlevelet kapjanak a vásárlók, de az valóban személyre szóló legyen. A másik a lojalitásépítés. Lojalitásépítés alatt pedig azt értem, hogy a már lojális vásárlókat próbáljuk megtartani, jutalmazni. Főleg jutalmazó rendszerekben gondolkodom – pl. klubokat alapítani, olyan dolgokat csinálni, amivel a lojális vásárlóink egy kis pluszt kaphatnak, különlegesebb bánásmódban részesülhetnek.

– És ha jól tudom, ezekhez használtok adatokat, méghozzá nem is keveset. Mik a főbb irányvonalak?
Az egyik főfókusz most a személyre szóló hírlevél elindítása. A Clubcard adatbázisra tudunk támaszkodni, hiszen ott látjuk, hogy milyen vásárlási szokásai vannak az egyes vásárlóinknak. Ez az egyik nagy adatbázisunk, ami egy párszázezres adatbázist jelent, és azon dolgozunk, hogy ez egyre nagyobb legyen. Fontosnak tartom megemlíteni, hogy a Clubcard-dal mindig tranzakció szintű adatokat nézünk.

– És azt, hogy férfi-e vagy nő? Hogy hány éves?
– Vannak demográfiai adatok a Clubcard-hoz, de ezeket nem használjuk, amikor ajánlatokat, aktivitásokat tervezünk, küldünk. Tranzakciókat nézünk, és ez alapján küldjük az ajánlatokat, a megszemélyesítésre már csak a kiküldésnél kerül sor. Azért sem támaszkodunk demográfiai adatokra, mert egy családban akár többen is használhatják ugyanazt a Clubcard-ot, így szinte lehetetlen, hogy kiderítsük, ki áll a kártya mögött. Viszont családon belül biztosan mindenki megkapja a számára értékes ajánlatot a tranzakciók alapján. Így azt gondolom, ez sokkal relevánsabb információ, mint az, hogy nő vagy férfi a kártya tulajdonos vagy az, hogy hány éves az illető. Természetesen ez sem elhanyagolható információ, de azt már egyéb célokra használjuk.

– Tehát “mutasd a kosarad és megmondom ki vagy”?
– Nagyjából igen, lehet következtetni demográfiai adatokra, de nem szoktunk, mert ebben az esetben a lényeg, hogy mit vásárol, hogy személyre szóló ajánlatokat tudjunk küldeni. Volt egy 5 hetes teszt periódusunk személyre szóló hírlevél küldésre, és kiderült, hogy nagyon szépen teljesít. Kb. háromszoros volt maga a hírlevél-megnyitási arány. Ez alapján valószínűsíthető, hogy ez egy nagyon hatékony dolog, de még több számra és pontosabb tesztekre van szükségünk, hogy többet tudjak róla mondani.

– Mi a projekt jövője? Mik az “álmok”?
– Az álom az, hogy mindenki egy személyre szóló hírlevelet kapjon heti szinten. Ne nyolcat, hanem egyet, de abban valóban csak az legyen, ami őt érdekli.

– Ha ezek a perszonalizált hírlevelek elindulnak, akkor az azt jelenti, hogy ha én pl. sok kenyeret, virslit és mustárt vettem, akkor nekem ezt a kenyeret-virslit-mustárt fogjátok ajánlani olcsóbban? Vagy inkább termékcsatolással melléteszitek, hogy érdekelhet a majonéz, az uborka, stb?
– Ha akciós az uborka vagy a mustár, és rendszeres vásárlója vagy a terméknek, akkor arról biztos, hogy kapsz ajánlatot hírlevélben. A későbbiekben jöhetnek egyéb extra ajánlatok is, rengeteg lehetőség rejlik még ebben, de pontosan nem tudom még megmondani, hova juthatunk rövid távon.

– Olyasmit terveztek, hogy ha valaki egy terméknek a rajongója, pl. sok fekete pólót vesz, akkor ő személy szerint kap akciót a fekete pólóra?
– Igen, ilyen jellegű aktivitásokat már tudunk csinálni, ún. kasszakuponokon keresztül. A Clubcard-os vásárlókat már elkezdtük ezzel jutalmazni. A példádnál maradva, ha látjuk, hogy vásároltál fekete pólót, akkor egy aktivitás keretében be tudjuk azt állítani, hogy a legközelebbi vásárlásod során kapj egy olyan kupont, amivel kedvezményesen veheted meg a kedvenc pólód egy legközelebbi vásárlásod esetén. Ebben is sok lehetőség rejlik, még a tesztfázisban vagyunk, és sokat tanulunk.

– Tehát mondhatjuk, hogy nálatok az adatelemzés és a big data arra megy rá, hogy személyesítsétek a tömegkommunikációt…
– Egyrészről igen, de nem csak a kommunikációt, hanem az ajánlatainkat is. A személyes véleményem az, hogy akkora a piaci verseny már az élelmiszer piacon (is), hogy mindig meg lehet venni az alapvető élelmiszereket, nem élelmiszereket akcióban. A mi célunk ennél több, szeretnénk, ha a vásárlóink olyan kedvezményeket kapnának, ami számukra fontos és releváns, akár állandó jelleggel megvehessék kedvenc terméküket kedvezményesen.

– Köszönöm szépen az interjút!

 

Az Evolution előadás margójára: Az A/B tesztelés 4 szabálya

Note: ezt a bejegyzést az Evolution konferenciás előadásomhoz kapcsolódóan írtam. De azért bárkinek hasznos lehet… :-)

A legfrissebb statisztikák szerint az online szolgáltatók 91%-a tudja, hogy mi az az A/B tesztelés, de csak 11% az, aki ténylegesen (legalább egyszer) futtatott A/B tesztet az oldalán. Pedig az A/B tesztelésnek forintban mérhető, azonnali haszna van. Egy külföldi esettanulmány:

A fab.com e-commerce startup egyetlen dolgot tesztelt az oldalán. A lenti két képen látszik is: az “Add to cart” gomb színét.

fab AB teszt piros

fab AB teszt piros
Az oldalra érkező látogatók fele-fele arányban véletlenszerűen kapták meg vagy a piros vagy a kék verziót. Ekkora látogatószámnál viszonylag kevés tesztből kiderült a válasz a kérdésre: melyik gombszín hoz több kattintást, ezáltal magasabb konverziót és több profitot. Az eredmény pedig megdöbbentő: 49%, ami éves szinten dollár-milliókat(!) jelent a fab.com-nak. A kísérlet beállítása és elindítása nettó 2 óra munkát jelentett nekik. Azt hiszem, ezek után nehéz lenne azt mondani, hogy az A/B tesztelés nem hasznos.

De hogyan is kell A/B tesztelni? Íme 4 szabály, amit én a legtöbbször látok elrontani olyan ügyfeleknél, akik maguknak kezdték el csinálni az A/B tesztjeiket. (Ezt nem amolyan “cikizés”, csak azért írom le, hogy más ne essen ezekbe a gyakori hibákba! :-))

1. Egy időben fusson a két verzió!
Tehát az nem A/B teszt, hogy februárban kiteszem az egyik verziót, márciusban pedig a másikat és mérem, hogy melyik hoz több kattintást… Miért nem? Azért, mert ebben az esetben közbeszólhat a szezonalitás. Azaz lehet, hogy márciusban nagyobb igény van az adott termékre (pl. tavaszi cipő), mint februárban volt és ez is befolyásolja a konverziót. Egy korrekt A/B tesztben a különböző verziók egymással párhuzamosan, egy időben futnak.

2. A teszt csoport és a kontroll csoport azonos összetételű legyen!
Pl. ha a fizetős felhasználóim perszonalizált hírlevelet kapnak, az ingyenes felhasználóim pedig nem, akkor a hírlevélből jövő átkattintási arányok nem csak azért lesznek eltérőek, mert más a levél tartalma, hanem azért is, mert más a felhasználói csoportok elkötelezettségi szintje. Ha a fizetős felhasználók teljesen ugyanazt a levelet kapnák, mint az ingyenesek, könnyen lehet, hogy mivel ők elkötelezettebbek a termék iránt, amúgy is többen kattintanának. Éppen ezért, ha tényleg a levél tartalmát akarod tesztelni, akkor vagy a fizetős felhasználókat kell véletlenszerűen két csoportba osztanod, vagy az ingyeneseket. A lényeg, hogy a kontroll csoport és a teszt csoport azonos típusú embereket tartalmazzon.

3. Legyen célja a tesztnek!
És ez nem csak arról szól, hogy ne dolgozzunk feleslegesen, hanem arról is, hogy ténylegesen: egy A/B tesztet csak akkor lehet kiértékelni, ha az ember már a tervezés fázisban eldönti, hogy mi lesz az az 1, maximum 2 mérőszám, aminek a változását figyeli és ami alapján azt mondja, hogy az egyik verzió sikeresebb, mint a másik (mint pl. a fab.com esetében a gombra kattintás).

4. Csak egy dolgot változtass!
Ezt nehéz betartani és általában nem is szokták. De vedd figyelembe, hogy minél több elemet változtatsz a két verzió között, annál nehezebb lesz eldönteni, hogy pontosan melyik volt a kulcselem, ami az egyik verziót sikeresebbé tette, mint a másikat (pl. a fab.com csak a kék és a piros gomb közötti különbséget mérte.

És hogy hogyan is kell beállítani egy A/B tesztet? Természetesen ebben mi is tudunk segíteni, de ha egyedül szeretnél belevágni, ezen 3 platform valamelyikét tudom ajánlani:
Visual Website Optimizer
Optimize.ly
Google Analytics Experiments

FOLYTATÁS: Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét! 

Mester Tomi

3 weboldal használhatósági sztenderd

Note: általában nem szeretek sztenderdekről írni, hiszen az adatelemzés pontosan arról szól, hogy minden egyes szolgáltatáshoz más célcsoport tartozik, más igényekkel és ilyen módon minden egyes weboldalnak más és más megoldást kell adnia, folyamatosan figyelve és monitorozva a felhasználóit. DE valahogy az alábbi 3 vissza-visszatérő tanulságot minden egyes kutatásunk és mérésünk a visszaigazolta, mind a startup, mind az e-commerce vonalon. (Ráadásul még a külföldi benchmark-okkal is egybevág.)

1. A gomb színe a piros.
Megdöbbentő (és a dizájnerek számára biztos szomorú is), hogy nem volt olyan A/B tesztünk, ami ne azt az eredményt mutatta volna, hogy a vásárlás (vagy a regisztráció gomb) pirosra cserélése ne hozott volna legalább 20%-kal magasabb konverziót. A külföldi esettanulmányokat végigelemezve is megállapíthatjuk, hogy a piros átlagban 10-ből 9-szer nyer (amikor pedig nem, akkor az élénk zöld). Ez van. A gomb színe a piros.

2. Az emberek nem görgőznek.
Legalábbis nem annyit, mint gondolnád. A nyitóképernyőről átlagban csak az emberek 80%-a görget lejjebb egy “nyitóképernyőnyit”, 60%-a két “nyitóképernyőnyit” és így tovább. Ergo a legfontosabb üzeneted, amivel tényleg mindenkit el akarsz érni (pl. egy hírlevél-feliratkozás?) érdemes görgetés nélkül is elérhetővé tenni. Ugyanemiatt az esetek legkisebb részébe jó taktika egy nagy egész oldalt elfoglaló “high-quality” képet betenni a nyitóoldalra, ehelyett érdemesebb rögtön valamilyen értékes információt láttatni – webshop-ok esetében egy-egy kiemelt terméket, startup-oknál a szolgáltatást.

3. Nyitó pop-up = instant látogatóvesztés
Valamiért egyre jobban terjed az a megindokolhatatlan nézet, miszerint a belépés előtt kell egy hírlevél-feliratkozás (vagy egy akciókat felkínáló (vagy egy általános tájékoztató)) pop-up. Az igazság az, hogy ezek a nyitó pop-up-ok elég magas mértékű lemorzsolódást eredményeznek, amit végül a hírlevél feliratkozások száma nem ellensúlyoz. Ha az ember mindenáron pop-up-ot szeretne, akkor a best-practice az, hogy hagyni kell a látogatónak egy kis időt míg barangol az oldalon és legalább egy minimális mértékben el kezd érdeklődni a szolgáltatás iránt. Ezek után sokkal kisebb a lemorzsolódás esélye (és persze a feliratkozásé pedig nő.) Egyébként egy elég jó megoldás lehet az Optimonk-féle módszer is, ami csak akkor dob pop-up-ot, ha a látogató már nagyon olyan jeleket mutat, hogy be fogja zárni az oldalt.

Remélem ez a 3 kis apróság neked is segíteni fog! És ne feledd, ahhoz, hogy valóban megértsd a látogatóidat és a legmagasabb minőséget tudd nekik adni, nem elég a best practice-ket használni, hanem bele kell nézni a saját adataidba is!

Mester Tomi

ps.: Ha több ilyen cikket szeretnél olvasni, ne felejts el követni minket Facebook-on!

DataViz – néhány jó cucc adatvizualizációra

Nemrég egy adatokkal foglalkozó startup-nak segítettünk adatvizualizációban/adatkommunikációban. Az ő kutatómunkájuknak hála egy csomó open-source adatvizualizációs eszközt megismertem, amit most meg is osztok Veled. Korábban írtunk a GoodData-ról, illetve a Chart.io-ról, mindkettő profi adatfeldolgozó eszköz, de ami azt illeti az áruk bizony elég borsos. Márpedig egy induló cégnél ez probléma lehet. Ha Te is így vagy vele, akkor ezt a listát szeretni fogod.

1. HighCharts.com:
HighCharts

JavaScript alapú felület, manipulálható CSS és HTML kódokkal. Mindent, amit csak szeretnél beállíthatsz rajta. Szeretnél sraffozott oszlop-diagramokat? Nem probléma. Kisimított vonal-diagram? A kérdés csak az, hogy milyen sima legyen.
Ezekkel az előre leprogramozott chart-okkal minimális programozói tudás mellett is tudsz gyorsan adatvizualizálni.

2. NPashaP gyűjteménye:

NPashaP
A koncepció hasonló, de itt sokkal speciálisabb, ritkábban fellelhető diagramokat találsz. Nem egy közülük interaktivitást is engedélyez.

3. Mbostock gyűjteménye:
Mbostock

Szintén egy magángyűjtemény – nekem a fenti a kedvenc diagramom, de ezenkívül még másik 500-at találsz a linkre kattintva. Nagyon sok világtérkép és egyéb egyedi chart-típusok.
Megjegyzés: ezeket a chart-típusokat használják pl. a NYTimes újságírói is.

Mbostock NYTimes

Ha találsz Te is hasonló open-source chart-gyűjteményt, küldd el e-mail-ben és beágyazom ebbe a posztba!
Szép hetet!
Mester Tomi

6 szám, amit minden e-kereskedőnek mérnie kéne

A forintosított bevételével minden e-kereskedő tisztában van. Ez az alfája és az omegája minden analitikának, ez a végső siker mértéke. De van még másik 6 szám, amit minden tudatos online kereskedőnek ismernie kellene. Már csak azért is, mert ezek azok a számok, amelyek közvetlenül befolyásolják a bevételt – így ha tudatosan méred őket, látni fogod, hogy hol tudsz a leggyorsabban javítani az üzletmeneteden.

1. Az átlagos kosárméret (HUF/hó)
számítás: (havi összbevétel)/(havi vásárlások száma)
“Ha meggondolod, hogy egy látogató megszerzésének van egy fix költsége, akkor az hogy ettől a látogatótól minél nagyobb rendelést tudj elkönyvelni, a legegyszerűbb módja a bevételed növelésének.” (Bill D’Alessandro, befektető amerikai e-commerce szektorban)

2. Vásárlószerzés költsége csatornánként (HUF/vásárló/csatorna)
számítás: (reklámra költött pénz adott csatornán)/(vásárlók száma az adott csatornából)
Mindegy, hogy honnan szerzed a látogatóidat – Facebook, Google, Twitter, fórumok, blogok, konferenciák – mindegyiknek lesz valamekkora költségvonzata. Innentől pedig egyszerű matek az egész: legyen nagyobb a profitod az eladásból, mint amennyibe a reklám (és a kézbesítés) kerül.
Ha tudod, hogy melyik a legköltséghatékonyabb csatornád, tudni fogod mire érdemes fókuszálni. Enélkül könnyen lehet, hogy csak az ablakon szórod ki a pénzt.

3. Éves szintű visszatérés (%)
számítás: (azon felhasználók száma, akik tavaly is és idén is vásároltak tőled) / (összes tavalyi vásárló)
Itt nincs jó vagy rossz érték, de Kevin Hillstrom amerikai big data guru több 100 webshop elemzésén keresztül kialakított gyakorlata azt mutatja, hogy ez a szám alapvetően határozza meg az e-kereskedelmi stratégiát.
Ha ez az érték 40% alatt van, akkor a főfókuszod az új látogatók megszerzése legyen! Fektess a reklámjaidba és a továbbajánlások megszerzésébe energiát! (Ilyen cégek pl. túrafelszereléssel foglalkozó cégek, szemüveg boltok, és egyéb ritkán fogyasztott termékek).
Ha ez az érték 60% felett van, akkor építs lojalitást és kiemelt figyelmet szentelj a felhasználói élménynek. (pl. Amazon, Ebay, Tesco online, stb…)
Ha az érték 40% és 60% között van, akkor abban a ritka helyzetben vagy, hogy mindkét területre – új vásárlók és lojális vásárlók – koncentrálnod kell. Ilyen cégeknél (pl. Zappos) kiemelten fontosak a személyre szabott, informatív hírlevelek – illetve a perszonalizált élmény.

4. A konverziós arány (%)
számítás: (vásárló látogatók száma) / (összes látogató száma)
Ezt a kifejezést mindenki ismeri. Azt fejezi ki, hogy a látogatóidnak mekkora százaléka lesz valódi vásárló. Korai szakaszban ez a szám fontosabb, mint maga a bevétel, hiszen a befektetések megtérülését is ebből lehet számítani. Később is folyamatosan érdemes azon dolgozni, hogy ez az arány minél magasabb legyen.

5. Lemorzsolódás aránya (%)
számítás: (NEM vásárló látogatók száma) / (összes látogató száma)
Tulajdonképpen a konverziós arány ellentétéről beszélünk. De a lemorzsolódást lépésenként kell mérni – melyik aloldalon, melyik kosárfolyamatnál, pontosan hány %-a esett ki az embereknek. Ezáltal nagyon gyorsan megtalálhatók a gyenge pontok, optimalizálhatóak a vásárlási folyamatok.

6. Egy vásárlóra jutó profit
(Ft/vásárló)

számítás: (havi összbevétel)/(havi vásárlók száma)
Akár a lojalitás, akár az új vásárlók megszerzése a fókuszod, mindenképpen fontos, hogy maximalizáld az egy vásárlóból kitermelt profitot. A fenti 5 mérés mind-mind segít ebben – csökkentheted a lemorzsolódás arányát, növelheted a kosárméretet vagy optimalizálhatod a látogatószerzési folyamataidat – a végeredmény mindig az lesz, hogy nő az egy vásárlóra jutó profit. Ha emellett szinten tudod tartani a vásárlók számát, nem nehéz kiszámolni, hogy a bevételed is nőni fog!

Összegzés: Ezek az adatok a Te céged vásárlási adataidból is kinyerhetőek. Semmilyen speciális eszközre vagy szoftverre nincs hozzájuk szükség. Érdemes őket folyamatosan monitorozni, hiszen általuk sokkal tisztábban fogsz látni a cégedben és sokkal tudatosabban tudod majd felépíteni és változtatni a stratégiádat.

Ha segítségre van szükséged, szólj! :-)

Mester Tomi

inspiráció: Croll&Yoskovits – Lean Analytics