teszt címkével jelölt bejegyzések

Interjú – Termékfejlesztés a Skyscanner-nél

Skyscanner logoTavaly októberben robbant a hír, miszerint a Skyscanner felvásárolta a Distinction-t. Azóta az átállás végbement és az egykori Distinction most már 100%-ban a Skyscanner mobilapplikációinak a fejlesztéséért felel. Ennek a zászlóshajója a Flights alkalmazás.  Az egyik cél, hogy a “Travel is mobile” koncepcióhoz híven az egész utazási élményt lefedjék és egy egységes megoldást kínáljanak rá. Kardos Lacival, a Skyscanner Apps Tribe-jának egyik product managerével beszélgettem a célokról, a kihívásokról, stratégiákról és arról, hogy milyen módszerekkel és hogyan fejlesztenek.

Kardos Laci - Skyscanner
Kardos Laci —— Product Manager @Skyscanner

Tomi: Hogy néz ki a cég felépítése jelenleg?
Kardos Laci: Per pillanat a Skyscanner szervezeti modellje a Spotify-jéhoz hasonló. Vannak tribe-ok, azon belül squadok, a squadokat átívelően vannak chapter-ek és guild-ek. Mi, a budapesti csapat, és számos kolléga a cégből, akik korábban szintén mobilapplikációkkal foglalkoztak alkotjuk az Apps Tribe-ot. Az Apps Tribe termékvezetője Orosz Bálint, Kapui Ákos pedig a technológiai vezetője. Magának az Apps Tribe-naka zászlóshajója a Flights, ez az elsődleges termék. A cég hosszútávú stratégiájának egyik eleme, hogy a teljes Travel világot felölelje, tehát ne szeparáltan foglalkozzon a “Hotels”, a “Flights” vagy a “Car Hire” alkalmazásokkal, hanem hogy egy globális utazási megoldást kínálhassunk. Gondolj bele, mennyi macerával jár az utazás: nem csak a foglalás, hanem a repülőtéri dolgok, majd maga a repülés, utána az ottlét… mi ezt az egészet ilyen egyszerűvé szeretnénk tenni (csettint).

Most hogy látod, hol lesztek 1 év múlva? 3 év múlva? 5 év múlva?
A cél az, hogy pár éven belül egy szignifikánsan, mérőszámokkal is alátámaszthatóan erős travel brand legyünk. A cég gyorsan növekszik, mi pedig iszonyúan élvezzük ezt. A Distinction-korszakból hoztuk magunkkal az erős delivery hangulatot. Szeretünk “szállítani”, tolni és vinni előre, és így jó dolgok tudnak születni. Mindemellett nagyon fontos, hogy a jó terméket szállítsuk a megfelelő módon. Itt jön a képbe az, hogy product discovery-ben is erősek vagyunk.

Hogyan méritek a sikerességét egy terméknek?
Ez egy olyan kérdés, amire válaszként egyértelmű, bevált módszert még nem tudok adni, tekintettel arra, hogy még nem adtunk ki alkalmazást a felvásárlás óra. Egyébként eddig a legfontosabb metrikáink közé a “conversion” jellegűek tartoztak.. A Flights-nál például az, hogy az emberek hány százaléka megy át tőlünk végül a külső szolgáltatók oldalára (pl. a légitársaságok foglalási oldalára) és az, hogy akik átmennek, ténylegesen vesznek-e jegyet. Alapvetően a legtöbb fejlesztett kiadás vagy akár az A/B-tesztek ezeket az arányokat próbálják javítani. Életképesség szempontjából persze esszenciális, hogy magas legyen a konverziód, de ami egyre fontosabb, az az, hogy hogyan tudjuk a “frequency of use”-t, azaz a folyamatos visszatérést növelni. Ugyanis az utazás az nem csak arról szól, hogy az ember egyszerre lefoglal mindent, és onnantól kezdve nem is foglalkozik vele, nem is gondol arra, hogy hova fog utazni. Inkább úgy működik, hogy először csak eljátszik a gondolattal, megnézi a blogokat. Azután lefoglalja a repjegyet, majd a szállodát. Utána megnéz valamilyen térképes szolgáltatást. Megtervezi a helyi közlekedést, hogy hogyan fog eljutni a reptértől a hotelig. Aztán azon gondolkozik, miket érdemes megnézni az adott városban. Ezek a mélységek nálunk még nincsenek benne a termékben. Éppen emiatt a jövőben ezekre jobban figyelünk majd. Így rákényszerítjük magunkat arra, hogy olyan termékekkel jöjjünk elő, amelyeket az emberek gyakran fognak használni.

A cél tehát, hogy az utazás előtt minél többször elővegyék az app-ot?
Így van. Vagy az utazás alatt. Ha belegondolsz, maga a bepakolás a bőröndbe is egy “pain-in-the-neck”. Utána elrepülsz és előveszed a mobilod, hogy keress rajta helyeket, látnivalókat. Az utazás élményéhez alapvetően hozzákapcsolódik a mobil. Ez az, ami nagyon fontos. És ez az, ami egy hatalmas lehetőség a Skyscanner-nek. Az egyik erősségünk, hogy nagyon jó technológiai háttérrel rendelkezünk és teljesen transzparens módon jelenítjük meg az utazási ajánlatokat. Mi minden árat mutatunk, legyen az egy ügynökségé vagy magáé a szolgáltatóé. A jegyfoglalás egyre inkább a mobil platformok irányába tolódik el. És az utazás is esszenciálisan mobil. Mobillal utazol, mobillal fényképezgetsz, majd mindezt mobilon osztod meg és azt mások is mobilon nézik meg.

És ez a stratégiai váltás igényelte azt, hogy bejöjjön a Distinction a képbe?
Igen. A stratégiában mi ezt úgy fogalmazzuk meg, hogy a mobile-first vagy “Travel is mobile.” A másik jelmondatunk pedig, hogy “Travel is social”. Utazol valakivel, utazol valakihez vagy elutazol valakitől, vagy inspirálódsz valakinek az ötlete alapján.

Az hogy eddig nem volt release, azt jeleneti, hogy teszteket nem is nagyon csináltatok?
Nyilván a jelenlegi app-okban számos analitikai könyvtár található, amiken mérjük ezeket a dolgokat. De mi, mint csapat, nem csináltunk még óriási teszteket, mert még nem tart ott a termék. Azok a termékek/feature-ök, amiket mi építünk, egyébként eleve A/B teszt formájában fognak kimenni, tehát először a felhasználók X százaléka fogja megkapni. Összehasonlítjuk a régit és az újat.
Ezenkívül ott van a Hotels app. Annak is hasonlóképpen megy a fejlesztése. Egyébként a Hotelst mi készítettük eredetileg, még a Distinction korszakban.

Hogy néz ki a csapat?
Alapvetően “cross-functional product squad”-ok és “technológiai squad”-ok vannak. Az előbbiben van egy product manager/owner, egy researcher, egy designer – az én csapatomban például pont kettő –, egy tech lead, fejlesztők és tesztelők. Ezek közepes méretű csapatok, tehát körülbelül 8 fősek, amik nagy valószínűséggel szét fognak bomlani kisebb egységekre, ahogy növekszünk. És ott vannak a technológiai squad-ok is. Azok főleg fejlesztőkből állnak Természetesen ott is van egy squad-lead.

Mit csinál a researcher a csapatban?
A researcher-nek a feladata nálunk gyakorlatilag az, hogy a világból insights-okat szedjen össze és azokat a megfelelő formában átadja a termékcsapatnak. Ebbe természetesen beletartozik a kvantitatív és a kvalitatív kutatás is. A researcher pozíciót tehát nagyon flexibilisen értelmezzük. Vannak benne UX research (usability tesztek, interjúk, stb.) és adatelemzési feladatok is.

Hogy néz ki egy ilyen folyamat nálatok?
A termékfejlesztési folyamat erősen támaszkodik a kutatásra. Ez azt jelenti, hogy egészen a kezdeti szakasztól, amikor még nincs semmiféle fejlesztés vagy design, már olyan dolgokkal kezdünk el foglalkozni, amik insight-okból származnak. Pl. korábbi interjúkból derül ki, hogy van igény valamire. Mi ezek alapján kezdünk el dolgozni megoldásokon, designokon, prototípusokon. Azután ezeket validáljuk. Tipikusan teszteltetjük őket különböző felhasználókkal az irodánkban. Sok esetben ezek kód nélküli prototípusok. Ezeket sok szempontból vizsgáljuk. A legfontosabb kérdés, hogy értékes lenne-e a termék vagy funkció a felhasználóknak? Számtalanszor kiderül, hogy nem és akkor ezeket a funkciókat eltávolítjuk a prototípusból vagy megpróbáljuk őket átdolgozni. Közben folyamatosan vizsgáljuk a dizájnok használhatóságát is. Végül amikor eljutunk egy olyan fázisba, amikor azt lehet mondani, hogy ez a termék/feature értékes, használható és megvalósítható, akkor megszületik a döntés, hogy mit is fejlesszünk le. Csak ezután zajlik le a fejlesztés és ezután jöhet a release. Minden terméknek van egy célja. A release során kvantitatív mérésekkel vizsgáljuk, hogy ezt a célt elérjük-e. Ezt a felhasználók tényleges termékhasználata alapján tesszük. A mérésekből levont következtetések alapján aztán iterálunk a terméken.

A kód nélküli teszteket egyébként hogyan kell elképzelni?
Egy egyszerű drótváz jellegű prototípust képzelj el. Csinálunk képernyőket és ezeket összelinkeljük egymással. Nagyon fontos, hogy a tesztek ritmusa adjon egy alapritmust az egész termékfejlesztésnek. Ha jön egy felhasználó, akkor mutatni akarunk neki valamit. Elérakunk egy prototípust, a researcher feladata pedig, hogy végigcsinálja a tesztet. A csapat elemi érdeke pedig, hogy megpróbáljon minél több teszten bent lenni egy héten. Hiszen nem csak a designer-nek, a product manager-nek vagy a researcher-nek, hanem a fejlesztőnek is fontos, hogy lássa, hogy amit megcsinált, az vajon működik, értékes, használható-e. Ezek nagyjából félórás tesztek. Van amikor szcenáriókra épülnek. Tehát pl. “képzeld el, hogy utazni szeretnél és elkezded használni az app-ot, amit letöltöttél” – iOS-en, Androidon, akár tableten vagy telefonon. A felhasználói teszt alatt látjuk, hogy hol hal el a folyamat – közben pedig beszélgetünk a tesztelővel, hogy megértsük a miérteket is. Utána a csapattal átbeszéljük, hogy mi az, amit tanultunk, amit hallottunk. Hiszen előtte voltak feltételezéseink és a teszt végén pedig ezek vagy igazolódnak vagy nem. Ilyenkor látjuk, hogy mi az, ami nem működik, mi az, ami nagyon jól működik és néha látunk olyan dolgokat, amikre esetleg nem is gondoltunk. A tapasztalatom az, hogy az értékesség és a használhatóság kérdéskört 3-4 tesztből meg lehet ítélni.

Van még valami, amin dolgoztok mostanában?
Azon dolgozunk, hogyan építsünk fel egy hosszú távon használható Analytics rendszert, ahol minden egyes felhasználói interakciót naplózunk egy big data store-ba, amit azután lehet elemezni,akár mélyebb statisztikai módszerekkel (korrelációkat megállapítani, stb…). Vagy a klasszikus termékdöntésekhez szükséges módszerekhez is használhatjuk majd ezt: egy funnel-t meg lehet vizsgálni, egy cohort-ot ki lehet elemezni, stb. Mindezt szeretnénk kiegészíteni egy A/B-teszt (feature-switching) megoldással, amivel gyorsan lehet variánsok teljesítményét mérni. Ráadásul szeretnénk, ha ez az első nagyobb release-re megépülne és tudnánk használni. Szerencsére a cégen belül ez nem csak a mi feladatunk, más squad-ok is dolgoznak rajta velünk együtt Edinburgh-ban, Barcelona-ban és más helyeken is, úgyhogy rájuk tudunk építeni.

Milyen érzés egyébként egy ekkora cég részévé válni egyik pillanatról a másikra?
Egy integrációnak számos aspektusa van: kulturális és szervezeti is. Ez a folyamat zajlik most. Iszonyatosan jó az anyacég, rengeteget tanulunk tőlük és ők is sokat szeretnének tanulni tőlünk. Például, hogy milyen is az a Distinction-kultúra, milyen és hogyan lehet átvenni elemeket, amelyek nagyon jól működnek nálunk. Nekünk meg az segít, hogy nagyságrenddel nagyobbak, infrastruktúrát és folyamatokat tekintve.

Köszönöm szépen!

A legnagyobb A/B teszt hiba

Egyre többen használják az A/B tesztelés remek eszközét. Nemrég a Facebook oldalunkon is közzétettük, hogy még maga Obama elnök és csapata is használt A/B tesztet egy hírlevélkampány során (a legjobb és legrosszabb e-mail tárgy pedig megdöbbentő 2.000.000 $-os különbséget produkált bevételben).

Ha esetleg nem tudod, mi az az A/B teszt: itt egy cikk, amiben írunk róla.

A mai bejegyzésben pedig a legnagyobb olyan hiba, amit sokszor látok ügyfeleknél elkövetni és ami totálisan megöli az egész teszt eredményességét! A hiba forrásának szakmai neve a korreláció vs. kauzalizás problémája:
Vagy magyarul, a tyúk és a tojás esete. Mondok egy példát: Létrehozunk egy prémium hírlevél csatornát azoknak a felhasználóknak, akik szeretnének személyre szabott ajánlatot kapni tőlünk. Tőlük több adatot kérünk be, cserébe azt ígérjük nekik, hogy jobban az igényeikhez illeszkedő levelet fognak kapni. Nevezzük ezt perszonalizált hírlevélnek csoportnak. Majd létrehozunk egy egyszerű hírlevél csatornát azoknak a felhasználóknak, akik csak gyorsan regisztrálni szeretnének. Ők az átlagos, tömegesen kiküldött hírlevelet fogják kapni. Legyenek ők az átlagos hírlevél csoport. Jönnek a feliratkozók, mindkét csoportban van 1000-1000 ember. Kiküldjük az első hírleveleket, a perszonalizált hírlevél csoportnak (személyre szabott tartalommal) és az átlagos hírlevél csoportnak (átlagos tartalommal) is – és azt tapasztaljuk, hogy a perszonalizált hírlevelet 29% nyitotta meg, az átlagosat pedig csak 10%. Tehát a perszonalizált hírlevél az A/B teszt alapján egy óriási siker. Kivéve, hogy… hibás volt a mérésünk.
De miért is?

A hiba egyszerű: a perszonalizált hírlevélre feliratkozni sokkal “nehezebb”, hiszen sokkal több adatot kell megadnunk. Egyszerű belátni, hogy aki ebbe a csoportba iratkozik fel, az egész egyszerűen elkötelezettebb felhasználó, mint aki az átlagos hírlevélre kér regisztrációt. Márpedig, aki elkötelezettebb, az nagyobb eséllyel nyitja meg a hírlevelet. Innentől fogva pedig nem tudjuk, hogy a 29%-ból mennyi az elköteleződés és mennyi a perszonalizált tartalom ereje.

De mi a megoldás?

Az A/B teszt lényege, hogy két közel azonos célcsoporton kísérletezzünk egy lehetőség szerint csak egy elemben eltérő tartalommal. Azaz a korrekt A/B teszt itt úgy nézne ki, hogy:

1. Csak a perszonalizált hírlevél feliratkozókat felbontjuk  két egyenlő létszámú csoportra (500-500 fő).
2. Az egyik csoport megkapja a perszonalizált hírlevelet, a másik csoport pedig az átlagos hírlevelet
.
3. Megnézzük az így létrejövő különbséget a két csoport között.

Mivel mindkét csoport hasonló elkötelezettségű feliratkozókat tartalmazott, biztosak lehetünk benne, hogy az eredménybeli különbség a tartalom minőségéből származik. Ha itt azt látjuk, hogy a perszonalizált tartalom 29%-ra teljesít, az átlagos tartalom pedig szintén 29%-ra – akkor bizony semmit nem ér a perszonalizált tartalom. De ha az átlagos csoport csak 17%-ot ér el, akkor joggal mondhatjuk, hogy sikeres a perszonalizált hírlevélkampány.
Ennyike.

Ha esetleg feliratkoznál az Adatlabor-hírlevélre, akkor KATT! :-))

Mester Tomi

 

A limonádés stand – avagy mit is kéne mérni?

“Ahhoz, hogy eldöntsd, mit is kéne mérned, olyan egyszerűen le kell tudnod írni az üzleti modelledet, mint egy limonádé árusító stand. Lépj egyet hátra, felejts el minden részletet és csak az igazán fontos összetevőkkel foglalkozz.” (Croll & Yoskovitz – Lean Analytics)

Croll és Yoskovitz szerint egy induló vállalkozásnak az egyik legjobb szimbóluma egy limonádé árusító stand lehetne. Könnyű megérteni belőle, hogy hogyan is működnek az üzleti modellek.

Mert hát hogy is működik egy sikeres limonádé árusító? Természetesen több pénzt keres a limonádé eladásából, mint amennyi költséggel az egész jár. Mik lehetnek a költségek?
– összetevők ára (citrom, cukor, poharak, víz)
– az egyszeri marketing kiadások (maga a pult, kóstolók, szórólapok)
– órabérek (ami persze gyerekkorban még nem is olyan fontos :-))

A számítás könnyű:
((Eladott italok száma) * (Ital ára)) – ((összetevők * elkészített italok száma) + (marketing kiadások) + (órabérek))

Ha ez az összeg pozitív, akkor nyereséges az üzlet, ha negatív, akkor nem az.

De ez mégsem ilyen egyszerű, hiszen a képletet befolyásolja a citrom árváltozása, az időjárás (vevőszám változás), az átmenő forgalom a környéken. Egyszóval rengeteg dolog, amire nehéz előre gondolni.
És mitől lesz mégis sikeres a limonádé árus?
Egyrészt, ha az előzetes számításokat elvégezte, másrészt, ha a felmerülő körülményekből származó hatásokat folyamatosan monitorozza (azaz méri), nézi, hogy mi milyen hatással volt az üzletmenetre és ezek fényében változtat.
Pl. ha a citromot a sarki árustól vette, aki a növekvő forgalom miatt felemeli a citromárakat, akkor a limonádé szakemberünk értelemszerűen rögtön reagálni fog rá és más beszállítót keres. Ha látja, hogy a környéken nagy lezárások vannak, akkor áthelyezi a székhelyét.

A különbség az online bizniszek és a limonádé stand között csupán annyi, hogy online sokszor ezeket a körülményeket nem tudjuk automatikusan észlelni és szétválasztani egymástól. Csak azt látjuk, hogy kezdenek fogyni a user-eink, de azt nem értjük, hogy miért – hiszen az egész egy láthatlan térben történik, tőlünk távol. Viszont ha mindent követünk, mérünk és adatokkal támasztunk alá, akkor ez a probléma megszűnik. Ha A/B teszteljük a marketing kampányainkat, ha UTM-kóddal látjuk el minden Facebook linkünket, ha szegmentáljuk a felhasználóinkat kor és nem szerint, stb…, egy pillanat alatt észlelni fogjuk, hogy mi az ok és mi az okozat és legfőbbképpen azt, hogy hogyan kell változtatnunk, hogy továbbra is sikeresek maradjunk.

Úgyhogy gondold végig még ma az üzletedet egy lépés távolságból! Mik a főbb összetevők és hogyan lehet ezeket mérni. Majd menj bele a részletekbe is, hogyan tudod követni az apró változásokat, hogyan tudsz mindent szem előtt tartani! A hasznod pedig az azonnali és folyamatosan fejlődő stabil üzletmeneted lesz! :-)

Mester Tomi

Startup adatelemzés interjú IV. – USTREAM

brickflow logo startup interjúA Ustream BI csapatának a vezetőjével, Szakács “Szaki” Balázzsal beszélgettem, arról, hogy pontosan hogyan működik náluk az adatelemzés, az üzleti intelligencia és a big data. A lenti interjúból a nekem legérdekesebb 3 dolog volt, hogy:
1. A Ustream-nél még viszonylag friss, kb 2 éves a BI, de máris óriási hatással vannak a termékre és a cégre.
2. Hogy milyen erős az összefüggés a jól megválasztott social media csatorna és az aktuális tartalom a nézettséggel.
3. Hogy több ezrek közvetítik az esküvőjüket online. :-)
(+1: Van saját Ustream sörük!!!)

Íme a teljes interjú:
Tomi: Te mit csinálsz pontosan a Ustream-nél?

Szakács Balázs, Ustream, BI csapatvezető
Szakács Balázs, Ustream, BI vezető

Szaki: Lassan 2 éve vagyok itt és én vagyok az üzleti intelligencia rész vezetője. Engem azért hoztak ide, hogy segítsem a Ustream-et arra az útra lépni, hogy egy igazán adatvezérelt szervezet legyen. Ehhez gyakorlatilag 0-ról kellett felépíteni a dolgokat: csapatot toborozni, megfelelő embereket  kiválasztani, egyáltalán azt eldönteni, hogy milyen típusú team-re van szükség. A gyakorlatban pedig a vezetői feladatok mellett én tartom a kapcsolatot a cég különböző területi vezetőivel,  kulcsfelhasználóival. Összegyűjtjük az igényeket, hogy milyen irányba lehetne fejleszeni és továbbvinni a terméket, hol tudunk a legnagyobb értéket teremteni. A csapatom pedig az, aki segít ezt megvalósítani, én pedig ebben támogatom őket.

Ezek szerint 2 éve kezdtétek el igazán használni a BI-t a Ustream-nél?
Igen, én 2 éve érkeztem, a csapat maga pedig másfél éves. Tehát mondhatjuk azt, hogy ez egy elég friss dolog a Ustream-nél.

Általánosságban mire használjátok a Ustream-nél az adatelemzést?
Több felhasználási terület van. Az egyik az abszolút vezetői döntés támogatás: hogy áll a cég, jó irányba haladunk-e? KPI-ok, bevételi számok, lemorzsolódási arányok. Ezeket az adatokat heti vagy napi szinten szolgáltatjuk. Van termékfejlesztési támogatás: ha  a termékmenedzserek kitalálnak egy ötletet, mi meg tudjuk mondani, hogy hogyan kéne beárazni, mekkora ügyfélbázisnak lehet érdekes, amit ők kitaláltak…

Ezt AB-tesztekkel nézitek vagy historikusan?
AB-teszteket folyamatosan csinálunk a cégnél, de nem a mi csapatunk. Ezt általában azok csinálják, akik magát a honlapot, a front-end felületet készítik – vagy akár a termékmenedzserek. Pl. az egyik termék ilyen áron van, a másiknak féláron van…

Árakat is szoktatok tesztelni?
Igen, árteszteink is vannak… De nagyon sok User Experience (UX, felhasználói élmény) jellegű tesztünk is van. Pl. ikon legyen vagy felirat. Vagy mekkora legyen a felirat, vagy hova tegyük azt a feliratot, hogy sokkal inkább kézre álljon a felhasználóinknak a termék. Sok ilyet csinálunk, de ezt minden részleg magának, önjáróan készíti. Persze, ha van kérdésük, szívesen segítünk, de alapvetően megvan náluk a kompetencia meg a tapasztalat, hogy összehozzák ezt. Ezek az AB tesztek.
A terméktervezési-döntéseknél pedig általában azt nézzük meg, hogy az ügyfélbázisunk hogy működik. Tehát, ha a termékmenedzserek valamit kitalálnak – valamilyen hipotézist -, mi megnézzük, hogy ez mennyi embernek lehet jó. Megnézzük, hogy ténylegesen az elmúlt években, hónapokban, hogyan használták a termékünket. Milyen tartalmakat fogyasztottak? Miket néztek? Milyen jellegű közvetítéseket csináltak? Ezek historikus adatok és ebből elég jól meg lehet mondani, hogy az ügyfélbázisunkra milyen hatással lesz, ha valami újat bevezetnek.

Hány user-etek van most és ehhez képest hányan dolgoztok a Ustream-nél?
Most már több, mint 30 millió regisztrált felhasználónk és havi 80 millió nézőnk van. Ehhez képest mi 250-en vagyunk a cégnél, Magyarországon 115-en. Itthonról megy minden fejlesztés és üzemeltetés. Mi, az üzleti intelligencia csapatban 6-an vagyunk, mi is Budapesten.

Egy laikus számára mi lehet a legérdekesebb, amit adatokkal elértetek?
Ami nagyon érdekes, az az, hogy milyen típusú tartalmakat közvetítenek nálunk és mit néznek. Például megnéztük, hogy hány esküvő van a Ustream-en. És kiderült, hogy havonta több ezer esküvőt közvetítenek, ami egészen meglepő volt nekünk. De nagyon sok egyház is minket választ arra, hogy mindenféle szertartást, ami náluk van, azt nálunk közvetítsenek és pl. a tartalmunknak egy része emiatt vallási tartalmú egyébként.

Ezt hogyan látjátok az adatokból?
Amikor egy közvetítést kezdesz, akkor meg kell adni, hogy milyen típusú tartalmat közvetítesz. Ebből tudunk információt begyűjteni… Az is nagyon érdekes, hogy a social media milyen hatással van a közönségre. Például volt egy One Direction koncert, amit mobiltelefonnal közvetített végig egy néző a hátsó sorból. Nem sok minden látszott, mert hátul volt, sötét volt és mégis a különböző rajongói Facebook csoportokon elterjedt és pár percen belül már 110.000-en nézték. Egy viszonylag rossz minőségű tartalom, de mégis annyira aktuális volt és annyira jól terjedt el a social media csatornákon, hogy ennyire felfutott a nézettsége.

Milyen eszközöket használtok az adatelemzéshez?
Nálunk is minden megtalálható, ami a klasszikus “kemény vonalas business intelligence” eszköze. Az open-source eszközök vannak túlsúlyban Pentaho ETL, MySQL, stb… Van big data megoldásunk is, ehhez az Amazon szervereit használjuk, ahol fut egy Hadoop Cluster-ünk. Fizetős eszközöket használunk adatvizualizálásra – ez a Tableau.

Van valami, amit még szívesen elmondanál?
Talán nem is az adatokról, hanem arról, hogy igazán büszke vagyok arra, hogy milyen csapatom van. Merthogy sikerül elérni másfél év alatt, hogy fontosak lettünk és a középpontba kerültünk a cégen belül. Reflektorfényben vagyunk, mert nagyon erős igény van az adatokra és az adatelemzésre. Nincs nagy csapatunk, de mégis mindent így 6-an csinálunk. És működik. Nagyon jó az összetétel mind tudásban, mind személyiségben. Én pedig sehol nem lennék, ha nem ilyen csapat lenne mögöttem.

Köszönöm szépen a beszélgetést!

A Startup adatelemzés interjú sorozat többi része:
Prezi, Evernote, Eventbrite, GoodData, Brickflow és Ustream interjúk

Mester Tomi

Startup adatelemzés interjú III. – Brickflow

brickflow logo startup interjúA Brickflow csapatának két tagjával beszélgettem: Kökény “Tojás” Tamással társalapítóval, aki a fejlesztőcsapatot is vezeti, illetve Ryan C. McCabe-bel, aki adatelemző gyakronokként erősíti a Brickflow-t. A legérdekesebb történetük az volt, hogy hogyan pivot-oltak és kerültek növekedő pályára újra AB-teszteléssel – de esett szó minden másról, ami egy kicsi, de sikeres startup életében az adatelemzéssel kapcsolatban felmerülhet.

Mester Tomi: Mindenek előtt… Mi az, amin dolgoztok, mi a koncepció a Brickflow mögött?

Kökény "Tojás" Tamás - Brickflow, Lead Developer
Kökény “Tojás” Tamás – Brickflow, Lead Developer

Tojás: Jelenleg egy olyan alkalmazást fejlesztünk, ami segít a Tumblr felhasználóknak növelni az olvasószámukat, reposztolni a posztjaikat, megmutatjuk nekik, hogyan tudnak jó tartalmakat adni az olvasóiknak és hogy kiket kéne követniük, illetve vissza-követniük. Összességében ez egy marketing eszköz Tumblr-re, de mi nem a marketing ügynökségekre fókuszálunk, hanem a tinédzserekre. Az érzésre, hogy “egyedül vagyok”, “nem figyelnek” rám, kínálunk megoldást, segítünk több olvasót szerezni és az érdekes tartalmakat eljuttatni a megfelelő közönséghez.

– Akkor sokat változtatok az elmúlt időkben. Mikor utoljára hallottam rólatok, Twitter-rel, Facebook-kal és hashtag-ekkel foglalkoztatok…
Igen, időközben pivot-oltunk és ami azt illeti, ez egy nagyon is adatalapú döntés volt. Az előző termékről kiderült, hogy nem tud olyan ütemben növekedni, ahogy terveztük. De már sok felhasználónk volt, így közben láttuk, hogy az emberek főleg arra használták a Brickflow-t, hogy összegyűjtsenek dolgokat és nem arra, hogy valami újat csináljanak. Ezért futattunk egy AB-tesztet, amiből kiderült, hogy a keresés a termék lelke és nem a tartalomépítés. De a “value propostion”-t, a valódi és egyedi értéket még mindig nem láttuk tisztán. Ezért február környékén elkezdtünk különböző egyszerű nyitóoldalakat tesztelni – összességében 6 vagy 7 különböző “value proposition”-t néztünk meg és kiderült, hogy kb. 4-szer akkora konverziónk van Tumblr-ös verzióval, mint a Facebook-ossal, a Pinterestes-sel vagy akármelyik másikkal.
Ez volt az első alkalom, hogy teszteléssel találtuk meg a megfelelő utat és elkezdtünk növekedni. És még sohasem volt ilyen nagy a növekedésünk, mint most: 10-15%-ot növünk hetente, úgyhogy úgy tűnik végre igazi termékké váltunk.

– Publikus, hogy hány felhasználótok van most?
– Igen, most kicsivel több, mint 60.000 felhasználónk van. Nemsokára jön az IOS app is és a fundraising-et is elkezdtük.

– Még viszonylag a korai szakaszban vagytok, úgyhogy jól rálátsz erre… Mit gondolsz, mikortól érdemes vagy mikortól lehet elkezdeni az adatokkal foglalkozni egy startup életében?
Ami azt illeti, már a legelejétől. Persze óvatosnak kell lenni, mert az elején nagyon kevés adatpontod lesz, pl. egy AB-teszten 5-600 felhasználó. Ilyenkor sokáig kell várni az eredményekre, nem úgy mint mondjuk a Prezinél, ahol a felhasználók 5%-nak odaadsz egy funkciót és másnap már látod az eredményeket. :-) De ha én most kezdenék új projektbe, biztosan nem vágnék bele egy gyors validáció, pl. egy nyitóoldal teszt nélkül. Ha van egy jó ötleted, tesztelni kell, valódi számokat kell látnod.
Aztán az elején lehet mérni a marketing csatornákat is. Ez az egyik legfontosabb, hiszen először itt tudod követni a növekedést.

– Most milyen eszközöket használtok?
– Ez elég nagy kihívás, mivel egy kisebb cégnek még nincsenek túl nagy erőforrásai, nem tud 100 gépes parkokat bérelni, stb… Eleinte a Mixpanel, a Google Analytics és a KissMetrics persze elég, de amint elkezdesz sok tesztet csinálni és egyedi mérésekre van szükséged, ezek már nem tudnak kiszolgálni. A Hadoop és egyéb nagy rendszerek pedig túl nagy lépés lennének rögtön ezek után. Ezen a szinten szerintem mindenki elkezdi a saját adatelemző rendszerét csinálgatni, amit a cégnek magának kell kitalálnia. Mi is ezt csináljuk.

– Hányan vagytok a Brickflow-nál?
– Kb. 10-en vagyunk. 3 marketinges, 4 fejlesztő és 1 ember az üzleti oldalról, plusz néhány részmunkaidős. A csapatban amerikaiak is vannak, ami jó, mert így angolul is beszélhetünk és ők azért közelebb vannak az amerikai kultúrához is. Ami itthon menő, az nem feltétlenül az Amerikában és ezt ők jobban látják.

– És ti mivel foglalkoztok pontosan?
Tojás: Én vagyok a vezető fejlesztő és az alapítók egyike is. Így a többi fejlesztőt koordinálom és persze vannak alapítói tennivalóim, pitch-elés, stb. A fejlesztői oldalról én foglalkozom a legtöbbet a fontos alapmetrikákkal, az elemzésekkel és a tesztekkel.

Ryan C. McCabe - Brickflow, Data Analyst Intern
Ryan C. McCabe – Brickflow, Data Analyst Intern

Ryan: Én is elemzésekkel és méréssel foglalkozom. Olyanokkal, amikre nem biztos, hogy lenne másoknak idejük az irodában, de azért mégiscsak mindenkinek tudnia kéne róluk. Mint pl. hány ember oszt meg tartalmat, vagy hogy mi a nyitóoldal konverziója. Riportokat készítek és prezentálok a kollégáknak. Pl. múlt héten találtam egy problémás eset, ahol a megosztások kb. 20%-a egy hibaüzenettel végződött. Itt muszáj volt kideríteni, hogy melyik oldalról jön a hiba, a mi alkalmazásunk felől vagy a külső alkalmazásokból.

Tojás: Igen és ezek olyan adatok, amik néha egyszerűen csak érdekesek, de sokszor emellett még nagyon hasznosak is. Sajnos egy marketingesnek vagy egy fejlesztőnek egy kis cégnél sokszor nincs ideje arra, hogy megnézze, mi éppen a legeslegnagyobb probléma, mi a legeslegfontosabb dolog, amivel foglalkozni kell, ilyenkor jó, ha az elemzésekből rögtön visszajelzést kap.

– Mi volt a legnagyobb tanulság eddig?
– Igazából ez volt az első alkalom, amikor igazán adat-vezérelten döntöttünk. Sokat tanultunk a lean valódi jelentéséről – de ehhez mindenképpen kellettek bukások is. Még mindig vannak nem lean-es folyamataink és azért azt is látni kell, hogy egy ideig eltart míg az ember tényleg data-driven-né válik. Data-driven-né, jó értelemben. Meg kell találni az egyensúlyt, hogy mikor kell mérni és mikor kell egyszerűen csak dönteni, ha esetleg valami triviális volna vagy éppen nagyon nehéz lenne lemérni. Folyamatosan tanuljuk ezt, de azt hiszem a tavalyi év óta nagyon sokat fejlődtünk.

– Köszönöm szépen a beszélgetést!
Mester Tomi

A Startup adatelemzés interjú többi része:
Startup adatelemzés interjú I. – Prezi
Startup adatelemzés interjú II. – Evernote, Eventbrite, GoodData
Startup adatelemzés eszköztár – AB-teszt, szegmentálás, kohortok
És persze, ne felejts el feliratkozni az ingyenes hírlevélre!

Webdizájner vagy? Készíts jobb honlapot, mint akárki más…

Te is szeretnél keresett és menő webdizájnerré válni? A programozás része már megvan, SEO-ról hallottál eleget, a grafikáid pedig első osztályúak, de még hiányzik valami plusz? Ebben a cikkben leírom, mit kell tenned!
Nagyon sok a fájdalmasan rossz, elfogadhatatlan minőségű weblap. Ugyanakkor egy erős, felhasználóbarát, könnyen használható oldal óriási előny az üzleti életben. Egy jó honlap ténylegesen pénzt termel, méghozzá nem is keveset. Na ez az, amit a megrendelők imádnak, ez az ami alapján továbbajánlják a webdizájnert.
Felhasználóbaráttá pedig csak úgy válhat egy honlap, ha “nomen est omen” alapon tényleg a felhasználókkal foglalkozol! Pontosítok, ha az ADOTT HONLAP felhasználóival foglalkozol. Ha ismered a honlap készítés általános szabályait (dizájn, programozás, stb), itt az idő, hogy lenyűgözd a látogatókat és ezáltal a honlap tulajdonosát azzal, hogy észreveszed és reagálsz a speciális igényekre.
Itt jön be a képbe a Google Analytics és a felhasználói adatelemzés.

FIGYELEM! Az itt leírt 3 trükk nem bonyolult dolog – 15 perc ráfordítással simán eléred ezeket az információkat – mégis, a weblap-tervezők kevesebb mint 1%-a használja ki ezeket a fegyvereket.

Mind a 3 trükkhöz szükséged lesz arra, hogy beletúrj az általad dizájnolandó weblap előző verziójának az adataiba. Kérj a megrendelőtől egy Google Analytics hozzáférést és nézz rá ezekre az elemzésekre:

1) ESZKÖZÖK ARÁNYA: Az egyik legcikisebb élményem volt, amikor az egyik ismerősöm weblapját nem optimalizálták okostelfonos és tabletes forgalomra – mondván, hogy az úgyis elenyésző része a forgalomnak. Aztán egy konferencián, míg az egyik honlap-tulajdonos prezentált, egy néző mellettem elővette  a mobilját, fel akart menni az oldalra és ezt látta:
prezimagyarul mobil előnézetUgye? Nem túl felhasználóbarát… Miután belenéztünk az adatokba, láttuk, hogy a látogatók, több mint 16%-a mobilon vagy tablet-en próbálja megnyitni az oldalt. Végre adatokkal sikerült meggyőzni az ügyfelet, hogy 16%-os növekedés várható, ha reszponzív weblapra váltanak, tehát igenis megéri a befektetést. A honlap tulajdonosai berendelték az új, reszponzív dizájnt és remélhetőleg soha többé nem lesz ilyen probléma – és beindul a növekedés.

Google Analytics - mobil eszközök aránya
Google Analytics – mobil eszközök aránya

Ha el akarod érni, ezt az oldalt, nyisd meg a Google Analytics-et és nézd meg, milyen eszközökkel használják az oldalt. Ehhez menj a KÖZÖNSÉG –» MOBIL –» ÁTTEKINTÉS menübe.

google analytics webdizajn elemzes
Google Analytics – mobil eszközök menü

A mobil eszközök tételesen lebontva is láthatóak – tehát ha kész a reszponzív webdizájn, akár azt is megnézheted, milyen mobilon vagy tablet-en kell tesztelned. KÖZÖNSÉG –» MOBIL –» ESZKÖZÖK:

Google Analytics - mobil eszközök lebontva
Google Analytics – mobil eszközök lebontva

2) HŐTÉRKÉP: A hőtérkép nem más, mint egy vizuális kép a leggyakrabban kattintott elemekről az adott oldalon. Igen, igazi hőtérkép az oldalról – létezik ilyen.

google analytics oldalon belüli elemzés (hőtérkép)
Google Analytics oldalon belüli elemzés (hőtérkép)

Erről már írtam egy részletes cikket korábban, ezt most csak egy saját sztorival egészíteném ki. Egy ügyfelünknek elemeztük a honlapját új dizájnhoz – és észrevettük, hogy van egy gomb az oldal közepén, nem túl hangsúlyos helyen, ami egy ún. “közösségi csapatépítő képzés” aloldalra vezetett. Erre a gombra kattintott a felhasználók, több mint 16% – a hőtérképen vörös színnel volt jelölve. Azaz annak ellenére, hogy kicsit “el volt dugva”, az emberek többet akartak tudni a “közösségi csapatépítő képzésről”. Ez gyanút keltett bennünk, úgyhogy megnéztük, és google-ről is ez volt a legkeresettebb oldal. Rájöttünk, hogy ez a képzés az, ami a cég profiljai közül a legtöbb embert vonzza. Hogy lehet, hogy erről a cég nem tudott? Hát úgy, hogy az aloldalon a JELENTKEZÉS gomb szinte megtalálhatatlan volt, így végül nagyon kevesen jelentkeztek ténylegesen, a cég pedig figyelmen kívül hagyta ezt a tréninget. Eredmény: Ezek után az új dizájnban kiemelt helyre került a “közösségi csapatépítő tréning”, a jelentkezés gombot pedig az aloldal tetejére, jól látható/kattintható pozícióba tettük. A tréningre való jelentkezés megnégyszereződött (4X!!), a tréningcég pedig leírhatatlanul hálás volt nekünk.

3) DEMOGRÁFIA: Le akarod nyűgözni a megrendelőt? Akkor mutasd meg neki, hogy kik az online-látogatói. Férfiak vagy nők? 18-25 évesek vagy inkább 45-54? TV-sorozat rajongók vagy komoly üzletemberek?

Google Analytics - demográfiai adatok
Google Analytics – demográfiai adatok

A megrendelők imádják, ha ezt tudják a potenciális vevőikről… Tudod miért? Azért, mert így sokkal könnyebben meg tudják szólítani őket, sokkal könnyebben tudnak reklámozni és sokkal könnyebben tudnak terméket vagy szolgáltatást fejleszteni.
Egy férfi öltönyökkel és zakókkal foglalkozó honlapon pl. kiderült, hogy a látogatók nagy része (79% !!!) nő! Gondoltad volna? Hát én sem. Mindenesetre, miután ezt az adatot kibányásztuk, az összes reklám szöveget átírta a tulajdonos: “Szeretne egy szép zakót magának?” típusú mondatok helyett “Szeretne egy szép zakót fiának vagy férjének?” típusúakra (jó-jó, azért ennél összetettebbek voltak a változtatások, de a lényeget érted…). Ezek az apróságok persze tudat alatt hatnak, de a növekedés kézzelfogható volt.
Hogyan érheted el ezeket az adatokat?
KÖZÖNSÉG –» DEMOGRÁFIA –» ÁTTEKINTÉS
Nagy eséllyel ezt fogod látni:

Google Analytics - demográfiai elemzés
Google Analytics – demográfiai elemzés

Ha így van, kattints az engedélyezés gombra és cseréld ki az eddigi GA-kódot az újonnan felkínáltra! Ezek után pár nap és már jönnek is be az adatok! Ugyanebben a menüben megtalálod őket.
———————————–

Ezzel a 3 alaptrükkel szinteket tudsz lépni a felhasználóbarát weblap készítésben és biztos lehetsz benne, hogy ha tényleg jól használod, akkor nemcsak visszahívni fognak az ügyfeleid, hanem továbbajánlani is. Ennél persze sokkal többet rejt mind a Google Analytics, mind az adatelemzés tudomány eszköztára! Ha értesülni akarsz róla vagy haladóbb trükkökre vagy kíváncsi, iratkozz fel az Adatlabor hírlevélre!


Mester Tomi

Az AirBNB sztori – villámteszt

Hogyan okoz egy jól irányzott villámteszt több mint 60-szoros növekedést a cégedben? Az AirBNB-től lehet ellesni a titkot.

Az AirBNB az egyik legismertebb nemzetközi lakásközvetítő oldal. A lényege a megosztáson alapuló gazdaság. Nem kell többé hotelekben drága szobákat fizetni. Helyette a város szívében lehet apartmanokat pillanatok alatt lefoglalni, sokkal olcsóbban és közvetlenül a lakás tulajdonosától.

De az adatlabor számára érdekes nagy trükkjük az ún. villámtesztelés. 2010-ben, pusztán 1 évvel az alapítás után volt egy megérzésük: a profi fotók segítenek a lakás kiadásban. De ahelyett, hogy óriási munka és költségek árán azonnal megcsinálták volna a profi fotókat, inkább belevágtak egy villámtesztbe. A villámteszt lényege, hogy ha van egy felvetésed vagy ötleted, amiből úgy érzed, akár üzletet is csinálhatsz, akkor nem vágsz bele rögtön a munkába, hanem valahogyan gyorsan és egyszerűen leteszteled. Pl. ha egy stilisztikai elemző app-ot akarsz készíteni középiskolás diákoknak, akkor nem biztos, hogy első körben megéri lefejleszteni az app-ot magát. Előbb fel kell mérned, hogy van-e rá igény. Ebben az esetben a olcsóbb és praktikusabb, ha először elkezded hirdetni, hogy van egy ilyen alkalmazás, a valóságban pedig ráálltok hárman, hogy a különböző szabályok alapján kézzel megcsináljátok, amit egyébként a jövőben majd a program csinálna. (Mielőtt belekezdesz, már van ilyen app: http://www.hemingwayapp.com/ :-))
A villámtesztelés a legolcsóbb, legegyszerűbb és legfájdalommentesebb módja annak, hogy elindíts egy startup-ot és felmérd, hogy az embereknek valóban szükségük van-e a termékedre. Ha igen, akkor – és csak akkor – jöhet a fejlesztés.

Ezt a modellt követte az AirBNB is a profi fotókkal. Ahelyett, hogy 200 fotóst kiküldtek volna és körbe fotózták volna az összes lakást, tesztelték a koncepciót 20 lakáson egy fotóssal. És ahogy az lenni szokott, a teszt segítségével nem csak arra jöttek rá, hogy a profin fotózott lakások 2-3-szor jobban teljesítenek a piaci átlagnál, de arra is, hogy ezért a szolgáltatásért a bérbeadók még hajlandóak is lennének fizetni. 2011 végére már 20 fotóssal dolgoztak együtt és akkor hadd mellékeljek egy beszédes chart-ot arról, hogy végül ez jó ötlet volt-e vagy sem. (Kiadott éjszakák száma évente: )

airbnb fotós chart diagramm

ÖSSZEFOGLALVA:
– Az AirBNB-nek volt egy jó megérzése.
– Villámtesztelték az ötletet – a lehető legkisebb erőbefektetéssel kipróbálták, hogy valóban működik-e a koncepció.
– Amint kiderült, hogy a kísérlet jól működik, kiterjesztették az összes AirBNB lakásra.

Ha terméket fejlesztesz és jó ötleted támad, mindig találd ki a legegyszerűbb, leggyorsabb és legolcsóbb módját annak, hogy hogyan tudod tesztelni. Legyen meg a hipotézised és ha igazolódik, terjeszd ki az egész termékedre!

Cikkek startup témában: Startup adatelemzés eszköztár

Mester Tomi

Vajon jó marketing eszköz-e a QR-kódos matrica?

Röviden: NEM.

Mindig is bosszantott, hogy teleragasztják a romkocsmák WC-it undorító QR-kódos matricákkal, úgyhogy kinyomtattam és kiragasztottam 240 ilyen matricát, amik az én oldalamra mutatnak és lemértem a hatékonyságukat. Az előkészítés része volt még, hogy összesen 8 fajta matricát tettem ki fiú és lány WC-kbe, hátha a különböző témák és a különböző nemek különböző viselkedéseket mutatnak. (Így is lett.)

qr kód marketing

Az eredményeket tavaly előadtam a TedXYouth-on (videó lent), de mindig is publikálni akartam egy cikkben is a végeredményt, ahol egy kicsit részletesebb szakmai (“adatos”) eredményeket is leírhatok.

Költségek: 8000 Ft (240 matrica)
Kiragasztásra szánt idő: 4 óra/2 ember
Összes leolvasás egy hónap alatt: 171 db

Azaz 29.24 ft-ot és 84,21 mp-t fizettem egy darab leolvasásért.
Amit a TedXYouth-on nem mondtam el, hogy a honlapon volt egy e-mail cím. Leírtam, hogy mindez csupán egy kísérlet és akit érdekel az eredmény, az írjon egy e-mail-t – akit nem, az nézelődhet a honlapon. Ugyebár egy QR-kód leolvasásnak ez lenne az értelme: bejön a user, és vagy szétnéz a honlapon vagy pedig kontaktál.

Összesen 3 darab e-mail-t kaptam 1 hónap alatt. Ami ennél is durvább, hogy összesen a 171-ből 8-an (azaz CSAK NYOLCAN) mentek tovább a honlapra.
Ez azt jelenti, hogy több száz forintot és több tíz percet
fizettem egy-egy konverzióért, egy-egy “elégedett” felhasználóért.

Összességében még azzal is jobban jártam volna, hogy ha leülök 8 emberrel beszélgetni a romkocsmákban, meghívom őket egy-egy sörre és dumálok velük egy félórát arról, hogy miért kéne nekik velem üzletelniük.

Szóval nem, a QR-kód nem jó marketing eszköz – egyszerűen nem erre való. (Legalábbis a fenti kísérlet alapján.) Eleve kevesen olvassák le – de aki leolvassa az is inkább csak poénból, igazából nem akar semmit. A QR-kód még mindig jó lehet kiegészítő információk közlésére, útbaigazításra, ilyesmire, de marketingre nem. (Ja igen és nem is szép.)
(Persze ennek a tesztnek voltak korlátai.
1. csak romkocsmákban készült
2. viszonylag kicsi volt a mintavétel (240 matrica)
De szerintem egy jó irány, hogy további következtetéseket feltételezhessünk más helyzetekre is.)

Számomra a legnagyobb tanulság ebből a kísérletből ismét csak az, hogy minden marketing csatornádat mérni kell. Ha nem méred, nem tudod, hogy mi a pénzkidobás és mi az, amiből a legtöbb “ügyfeledet” hozod be.

+1 gondolat: a két kedvenc szegmentált adatom: a fiúk és lányok átkattintási preferenciái. Érdemes megfigyelni, hogy a szex után a lányoknál második helyen a pénz, fiúknál a semmi áll. : )) (Najó, a lányoknál tényleg kicsi volt a minta…)

lányok qr teszt

fiúk qr teszt

Ha a többi részletes eredmény is érdekel, itt a TedXY előadásom tavalyról:

Mester Tomi

Big Data a Marketingben sorozat — I. rész

A Big Data kifejezés nem csak a nagy adathalmazokra utal, hanem az óriási tudásra is, ami kinyerhető belőle. A “Big Data” a marketing számára alapjaiban változtatja meg a piachoz való hozzáállást és persze magát a piacot is. A versenytársaid talán még nem tudják, de te most már igen, hogy a Big Data 3 dologban nagyszerű számodra:
– nagy mennyiség
– nagy sebesség, amivel beérkezik az adat
– nagy változatosság — azaz sokféle az adat.

Gondolj bele, 20 éve mi állt a rendelkezésünkre! A (nyomtatott) levélkampányokra való válaszadás, néhány tranzakciós adat, esetleg egy-két kuponfelhasználás. Manapság pedig valós idejű átkattintási-mutatók, e-mail megnyitási ráták, geolokáció, demográfiai adatok, vásárlási szokások, látogatási szokások. De ennél még sokkal, de sokkal több. Pl. eszedbe jutott már, hogy a boltokban a hűségkártyákkal már névhez tudják rendelni a vásárolt termékek teljes listáját és ez alapján személyre szabott e-mail kampányokat tudnak küldeni a vásárlóknak érdeklődés szerint? Hitted volna, hogy ugyanezt te is meg tudod csinálni a Google Analytics segítségével a saját weboldalad saját látogatóival? Az, hogy hogyan használjuk a sok adatot, csak a kreativitásunkon múlik.

Maga a Big Data létezése önmagában még nem vezet jobb marketing-hez. A Big Data olyan mint egy új, speciális és titkos hozzávaló a világ legfinomabb leveséhez (ami természetesen a te üzleted). Meg kell tanulni használni. Jókor, jó helyen és megfelelő szakértelemmel.

A Big Data és a marketing házasságával a következő területeken tudod a leggyorsabban a legnagyobb sikereket elérni:

1. Vevői elégedettség: A Big Data nem csak arról ad elemzéseket és riportokat, hogy kik a vásárlóid, de arról is, hogy hol vannak, mit akarnak és hogy hogyan és mikor érdemes velük kapcsolatba lépni.

2. Visszatérés és márkahűség: A Big Data segítségével meg tudod határozni, hogy mi befolyásolja a vevőid hűségét, mi tartja őket nálad és mitől térnek vissza újra és újra.

3. Reklám hatékonyság optimalizálás. A Big Data-val meg tudsz határozni egy optimális csatornát a sok-sok hirdetési felületed közül. Sőt. Minél többet hirdetsz annál jobban tudod fejleszteni: csökkenteni a költségeket és növelni a fogyasztók elérését. Tesztekkel, mérésekkel és analízissel.

Ehhez pedig 3 dolgot kell tudnod:
1. Milyen adatot akarsz megszerezni?
2. Milyen adatelemző eszközt tudsz ehhez használni?
3. Hogyan fordítod át a megszerzett tudást valós és tényleges hatássá.

A Big Data a marketing-ben sorozatunk ezekre a kérdésekre fog választ adni.

Mester Tomi

Tréningek hatékonyságának mérhetősége

Honnan lehet tudni, hogy jól sikerült-e egy képzés? Hogyan lehet mérni a hasznosságát, a hatékonyságát? Fontos, de nehéz kérdések. Amikor trénerként HR-esekkel beszélgetek a témáról, mindig ugyanazt a választ kapom: szinte lehetetlen eldönteni, hogy egy adott tréninget végül hasznosítottak-e a résztvevők. Ez persze nem igaz. A képzések hatékonyságát igenis lehet (és kell is) mérni. Természetesen ez nem egyszerű és minden egyes típusnál (csapatépítés, kommunikáció, vezetőképzés, számítógépes-ismeretek, stb…) más-más mérési-módszert kell elővennünk. De az elv minden esetben ugyanaz.

Ahogy általában csinálják
A legtöbbször az egyetlen módszer a mérésre egy elégedettségi kérdőív kitöltése. Ez fontos, de önmagában nagyon kevés. Négy főprobléma van vele:
1. A résztvevők töltik ki, és gyakran saját magukról nem tudnak reálisan véleményt alkotni, hogy mennyit fejlődtek.
2. A tréning után (max 2-3 nappal) szokták kitöltetni és ekkor még nem lehet eldönteni, hogy a megszerzett tudás hosszútávon is beépül-e.
3. Az elégedettségi kérdőív elsődleges célja visszajelzés a trénernek. A tananyagról, az oktatási stílusról, stb… Viszont ez nem biztos, hogy jó visszajelzés a cégnek a hosszútávú hasznokról.
4. Mivel ez egy direkt kutatási-módszer a válaszok torzíthatják a valóságot (pl. a résztvevők nem akarják megbántani a trénert, vagy a HR-t azzal, hogy felesleges képzést szerveztek, stb.).

A titkos módszer…
…amit Magyarországon nem sokan használnak. A hivatalos nemzetközi neve cél- és fejlődés-orientált hatékonyság mérés. (Elég közel áll a híres Kirk Patrick féle model-hez, de némiképp átalakítja, leegyszerűsíti azt.) Ez a fajta mérés az összes fenti problémát megoldja:
1. Nem a résztvevők értékelik magukat, hanem külső értékelést kapnak.
2. Hosszútávú fejlődést mér.
3. A valós – a cég fejlődését segítő – célokról ad visszajelzést.
4. Nem torzítja a valóságot, tiszta képet ad.

Kettő (plusz egy extra) titka van. Az egyik, hogy cél-központú. Azaz a tréner és a megrendelő már a képzés előtt kitűz egy kézzelfogható, konkrét célt, amit a tréningnek el kell érnie. Pl. egy sales tréning esetén, a kitűzött cél lehet, hogy a résztvevők eladási rátája a tréninget követő két hónapban megnőjön legalább 10%-kal. (Itt fontos, hogy ne abszolút értéket nézzünk, tehát ne pl. azt, hogy 10 millió forintról megugrott 12 millió forintra, hanem százalékos arányt, tehát, pl az értékesítések sikeressége 50%-ról megnőtt 55%-ra – ezáltal kizárhatjuk a szezonalitás problémáját.) Mégegyszer: konkrét, mérhető cél kell. A képlet: X%-os változás Y időn belül.
Ez nem csak a mérhetőség miatt jó, de ezáltal sokkal fókuszáltabb lesz maga a tréning is. Ha tudjuk mi a cél, tudjuk mit kell fejleszteni.

A másik “titok”, az előtte-utána összehasonlítás. Ha mégegyszer megnézed a képletet: X%-os változás Y időn belül. A kulcsszó ezúttal a változás. Tudnunk kell, hogy mi az alapszint, amiről elindulunk – amihez képest változtatunk. Ehhez nem csak a tréning utáni mérésre, de a tréning előtti állapot-felmérésre is szükség van. Megint a Sales tréning példája. Ha tudom, hogy a Sales-nek eddig 50%-os sikerrátája volt és a tréning után ez a szám felment 56%-ra, az egy 12%-os relatív növekedés. Ha viszont nem tudom, hogy honnan ugrottunk 56%-ra, akkor nincs mivel összehasonlítani az eredményt. Ez talán kézenfekvő lehet, de a hazai képzési kultúrában nem vetette meg a lábát.

Tehát: Konkrét, mérhető célt kell választanunk. És ezt a célt a tréning előtti és a tréning után Y hónap eltelte közötti állapotok összehasonlításával kell értékelni.

A Kirk Patrick módszer egyik legnagyobb hátránya, hogy túl részletes mérést ad az eredményekről. Ez egy klasszikus mérés-módszertani hibához vezet: túl drágává (és időigényessé) válik a mérés és emellett nem fókuszált, nincs egy szám, amivel eldönthetjük első ránézésre, hogy igen vagy nem, sikeres vagy sikertelen volt a tréning. Tehát a “+1 titok”: ha valóban meg akarjuk csinálni a képzés hatékonyságának mérését, akkor egyszerű, könnyen és olcsón mérhető célt kell választanunk.

Ha megfogahatatlannak tűnik a cél
Persze a Sales-es példa a legegyszerűbb – nyilván mindenkinek az jut az eszébe, hogy néhány képzés típus sokkal kevésbé megfogható. Íme néhány példa ezekre is (ezek csak általános példák – konkrét cégek, konrét igényekkel más célokat is belőhetnek):

a) PREZENTÁCIÓS TRÉNING
Mi a cél? Természetesen “a prezentációs készségek fejlesztése”. De ez nem elég speciális. A specifikus cél: azoknak a készségeknek a fejlesztése, amivel a résztvevő rövidebb idő alatt, koncentráltabban, átütőbben tud üzeneteket átadni.
Az egyik legjobb mérési módszer erre, hogy az adott prezentáló megkéri a hallgatóságát az előadás után, hogy egy cetlire írják le egy mondatban, hogy számukra mi volt az előadás üzenete. Ez alapján az előadó lemérheti, hogy a közönség hány % fogta az üzenetét. Ha a tréning előtt ez 30% volt, de utána felmegy 80%-ra, akkor egy nagyon sikeres tréningről beszélhetünk.

b) MENEDZSMENT TRÉNING
A cél: a managment tréning típusától függ. Legyen pl. a célok hatékony és érthető kommunikálása. Ezt kétféle képpen érdemes mérni, egyrészt a manager féléves értékeléséből (pl. 360) a beosztottjai válaszaiból látja, hogy saját véleményük szerint mennyire vannak tisztában azzal, hogy mi a csapatban betöltött szerepük. Másrészről a manager ténylegesen megkérdezheti a beosztottaktól, hogy mi a szerepük a csapatban. Ismét, ha a beosztottak 70%-a tudja pontosan leírni a szerepét a tréning előtt és 90%-a a tréning után 2 hónappal, akkor az egy látványos fejlődés. (Habár nem árt, ha ez a szám 100% – a tapasztalatom szerint a valóságban ez meglepően távol áll ettől az értéktől. :-))

c) HARD-SKILL TRÉNINGEK (pl. számítógépes ismeretek)
Nyilvánvalóan itt a legegyszerűbb belőni a célt, hiszen itt konkrét ismeretekről van szó. Egy szintfelmérő-teszt előtte és egy szintfelmérő-teszt utána segít eldönteni a tréning hatékonyságát. Ezt akár lehet közvetlenül a tréning előtt és után is csinálni, de általában egy-két héttel később érdemes, amikor – rossz esetben – már van idő “elfelejteni” a tanultakat.

Összességében ahány tréning-típus és ahány élethelyzet, annyi mérési stratégia létezhet. A lényeg, hogy konkrét, mérhető és fókuszált céljaink legyenek és az eredményt ne csak a tréning után, de a tréning előtt is mérjük, hogy a változás láthatóvá válljon. Emellett törekedjünk egyszerű mérési célokra, hogy a költség és időigényesség ne szabja korlátját a mérésnek.

Érdekesnek találod a témát? Én is! És szeretném továbbkutatni! Ha úgy érzed, hogy nálatok nem működik jól a tréningek értékelése, szívesen beszélgetnék  veled arról, hogy ti mit láttok a főproblémának és ötletelni azon, hogy hogyan lehetne ezen segíteni. Ezen a linken elérhetsz!

Mester Tomi – a www.adatlabor.hu szakírója

Források:
http://www.businessballs.com/kirkpatricklearningevaluationmodel.htm
http://managementhelp.org/training/systematic/ROI-evaluating-training.htm
https://www.linkedin.com/groups/What-are-best-ways-measuring-54046.S.203962042
http://bit.ly/goaloriantedtraining