tréning címkével jelölt bejegyzések

Honnan tanuljunk az adatelemzésről? – 2. rész

Ebben a bejegyzésben megosztok néhány könyvet és online kurzust, amelyeket az utóbbi időben elolvastam/megnéztem és színvonalasnak, hasznosnak találtam. Sok a (big) data-s tananyag a neten, hát még könyvek formájában – sok köztük a selejt is. De szerencsére van köztük jó néhány nagyon jó anyag is.

(Az első részben már mutattam 3 könyvet: http://adatlabor.hu/big-data-konyv-1-resz/)

Íme újabb 4 tananyag, amit érdemes magadévá tenni, ha érdekel a téma!

Honnan tanuljunk az adatelemzésről? – 2. rész bővebben…

Big Data technológia. Játszótér – avagy hogy próbáljuk ki?

Sok cég (főleg külföldön) úgy kísérletezik a Big Data technológiákkal (Hadoop, MapReduce, Spark, etc…), hogy nincs is igazán szüksége rájuk. Sőt… A probléma az, hogy bár a legtöbb Big Data technológia open-source (aka. ingyenes), mégis sok pénzbe kerül már a kipróbálás is a szerverköltségek miatt, illetve a konfigolási idő miatt (emberi erőforrás).

De hogyan lehet “okosba” kipróbálni a Big Data technológiákat?

Nem kell feltétlen a céges büdzséből egy nagy szeletet lekanyarítani (szerverköltségre, insfrastruktúra-szetapolásra), hogy legyen egy játszóterünk. Több megoldás is létezik arra, hogy az ember ingyenesen kipróbálhassa a technológiákat:
Big Data technológia. Játszótér – avagy hogy próbáljuk ki? bővebben…

Az idei utolsó Big Data Tréning és Adatvezérelt Marketing Képzés

Meghirdettük, idén utolsó alkalommal:

BIG DATA KÉPZÉS – 11.27 – PÉNTEK
Jelentkezni itt tudsz: KLIKK!
big data utolso képzés
ADATVEZÉRELT MARKETING TRÉNING – 12.04 – PÉNTEK
Jelentkezni itt tudsz: KLIKK!
adatvezérelt marketing képzés utolsóGyere, jó lesz!

Októberi Big Data Tréning és Adatvezérelt Marketing Képzés

Októberben jönnek az új alkalmak!
Mindkét képzés – szokás szerint – max. 12 fővel indul és októberben csak 1-1 alaklom lesz, úgyhogy vigyázz, nehogy lemaradj! : )

Október 9. – Big Data Tréning

Tóth Zotya, Mester Tomi, big data tréning


Október 16. – Adatvezérelt Marketing Tréning

adatvezérelt marketing tréning
Várunk szeretettel!

Tomi

A nagy Big Data félreértés

“A Big Data olyan mint a tiniknél a szex:

  1. mindenki erről beszél
  2. senki sem tudja igazán, hogy hogyan kell csinálni
  3. mindenki azt hiszi, hogy  a többiek csinálják
  4. ezért mindenki azt mondja, hogy ő is csinálja.”

(Dan Ariely)

Biztosan hallottad már a fenti mondást. Félig vicces, de félig igaz is. Manapság már a csapból is a Big Data folyik és ennek a legfőbb oka nem a technológia terjedése, hanem az, hogy az újságírók és a marketingesek rájöttek, hogy ennek a két szónak az említésével szinte bármit el lehet adni. A másik oldalról viszont a valódi adat-szakemberek ritkán írnak közérthető cikkeket a témában, hiszen őket a technológia érdekli.
Ezt az űrt szeretném betölteni ezzel a rövid kis cikkel. Mi az a Big Data? Érthetően, de marketing bullshit nélkül.

Small Data

Kezdjük onnan, hogy mi az a small data? Az adatelemzés alapjainak alapjait a népszámlálás teremtette meg, ahol már évszázadokkal ezelőtt is kérdezőbiztosok mindenféle érdekes dolgokat kérdezgettek az emberektől. Ennek a következő evolúciós lépcsője a kérdőívezés lett, ami mind a mai napig egy gyakran használt piackutatási módszer. Mi a baj a kérdőívezéssel? Egyrészt a mintavétel: még a legprecízebb, legkörültekintőbb mintavétel is tévedhet. Hogyan reprezentálhatná hűen 2.000 ember válasza egy millió ember gondolatait? Persze vannak korrekt statisztikai módszerek, de a hibázás lehetősége mindig fennáll. A másik probléma a válaszok minősége. Az emberek hazudnak és gyakran nem is tudják, hogy hazudnak. Ha Téged megkérdeznek, hogy mi a kedvenc színed, lehet, hogy ma azt mondod, hogy a piros… aztán 1 hét múlva rájössz, hogy amúgy az összes pólód sárga és elbizonytalanodsz. De addigra már leadtad a válaszodat, a nagy üzletemberek pedig már döntéseket hoztak az alapján.

Ezek tipikus small data-s problémák.

Majdnem Big Data

Ezekre a problémákra ad választ a big data-s gondolkodás mód. Ha big data alapon gondolkozunk, akkor nem megkérdezzük az embereket, hanem a megfigyeljük viselkedésüket. Így nem tudnak nekünk (és maguknak) hazudni. Emellett pedig nem csak 2.000 embert figyelünk meg, hanem az összeset.

Értelemszerűen ez a legkönnyebben a számítástechnikai és az ahhoz kapcsolódó területeken történhet meg, ahol minden kattintásból és egérmozgásból új adatsor születhet.

Ezen a logikán keresztül születtek meg az olyan ismert és használt projektek, mint a Google Analytics, a CrazyEgg vagy a Mixpanel.

Bár ezekben a projektekben minden felhasználó/látogató viselkedését letárolták, de még mindig nem számítanak Big Data-nak, mivel relatív még mindig elég kicsi adatmennyiségről és korlátok között mozgó, nem túl rugalmasan kezelhető adathalmazokról beszélünk (pl. csak az előre meghatározott riportokat lehet legyártani, nem lehet kettőt kombinálni)… De akkor mi a tényleg nagy?

Big Data

Az elmúlt évek (évtizedek) egyik fontos trendje volt, hogy az adattárolás ára folyamatosan és nagy erővel csökkent. Mára elértük azt az állapotot, hogy olyan olcsó adatot tárolni, hogy inkább elmentünk mindent és nem törlünk ki semmit. És ez a kulcsa a Big Data-nak! Letárolunk minden adatot, amit csak tudunk és nem törlünk ki belőle semmit, még évekre visszamenően sem. Ezt jellemzően már nem Analytics-szerű programokba pakoljuk, hanem saját adattáblákba (pl. SQL) vagy log-okba.

Így előbb vagy utóbb akkora adatbázisok jönnek létre, amivel egy számítógép már nagyon nehezen birkózik meg. Egy terabájtos nagyságú adathalmazt Excel-ben vagy SPSS-ben nyilván meg se próbálunk megnyitni. De egy rendes SQL lekérdezés is akár órákon, sőt napokon keresztül futhat rajta. Egész egyszerűen akármivel próbálkozik az ember (R, Python, etc.), azt látja, hogy elérte a számítási kapacitás tetejét és nem tudja értelmes időn belül feldolgozni az adatait.

És ekkor jönnek képbe a Big Data technológiák – aminek az alapja, hogy az adatainkon innentől fogva nem egy számítógép dolgozik, hanem akár több tíz vagy száz vagy még több. Legtöbbször ezek a cluster-ek könnyen és szinte végtelenül skálázódnak: minél több az adatunk, annál több erőforrást tudunk bevonni a feldolgozásába. Így újra normális idő alatt tudjuk elemezni az adatainkat. Viszont sok-sok számítógépet egybekötni és egyszerre dolgoztatni egy elemző script-en: új infrastruktúrát és új technológiát igényelt. Így született meg a Big Data technológiák széles tárháza és így kerültek be a köztudatba az olyan fogalmak, mint a Hadoop, a YARN, a Spark, a Pig és a többi divatos Big Data technológia.

Big Data evolúció cégen belül

Nézzük egy startup esetében, hogy működik a Big Data evolúció.

1. Először a korai szakaszban nincs adatelemző a cégnél, de nem akarnak vakon repülni. Ezért fel-setup-olnak egy Google Analytics-et, egy Mixpanel-t, meg egy CrazyEgg-et és nézegetik az adataikat.

2. Megvan az első 10.000 felhasználó. A cégvezetés rájön, hogy a Mixpanel és a CrazyEgg kezd drága lenni, meg amúgy sem mutatnak elég részletes riportokat. Így elkezdenek saját SQL táblákat építeni és szabad szöveges log-okat gyártani. Ezt pedig valaki elemezgeti, különbözős SQL, Python vagy R script-ekkel.

3. Továbbra is növekszik a felhasználószám és az elemző(csapat) ekkor már arra panaszkodik, hogy 10-20 perc alatt sem futnak le az elemző script-jeik. Aztán, amikor elérik a több órás futás időket, rájönnek, hogy szükség lesz egy Big Data technológiára és elkezdik guglizni, hogy mi is az a Hadoop… :-)
Remélem ez a rövid összefoglaló segít eloszlatni egy kicsit a ködöt a Big Data mítosz körül. Ha pedig több tudásra van szükséged a témában, a szeptember 17-i Big Data tréningünkre még van 2 hely.

Hamarosan folytatom a témát egy új cikkel! Ha értesülni akarsz róla, iratkozz fel!

Tomi

Tréningek: Big Data, Adatvezérelt Marketing újra!

Jön a szeptember – és szeptemberrel újra jönnek az Adatlabor képzések is!
Hasonlóan a korrábiakhoz, mindkét tréningünk létszámát maximáljuk 12 főben és mivel ez elég gyorsan beszokott telni, azt javasoljuk, ne habozz – hanem jelentkezz! : )

Szeptember 11. – Big Data Tréning

Tóth Zotya, Mester Tomi, big data tréning

Szeptember 18. – Adatvezérelt Marketing Tréning

tréning oktatók Németh Anna Pásztor Dávid Mester Tomi
Várunk szeretettel!

Tomi

Szignifikáns vagy sem? Így mérd az AB-teszted eredményességét

Az egyik leggyakoribb kérdés, amit AB-teszteléssel kapcsolatban kapni szoktam, hogy ugyan hány felhasználóra van szükség a teszteléshez? Természetesen, mint a kérdések 99%-ra, itt is az a válasz: attól függ!

Mitől függ?

Alapvetően 3 dologtól:

  1. Az alapkonverziós arányodtól (%)
  2. A javulás nagyságától, amit elvársz a teszttől (%)
  3. A szignifikancia-mutatótól, amit elvársz a teszttől (~95%)

Ha ezek megvannak, akkor dobd be az Optimizely – Sample Size Calculator-ba és már meg is kapod a bűvös számot:

Optimizely - Sample Size Calculator
Optimizely – Sample Size Calculator

Ahogy látod, az adott példában, a 3%-os alapkonverzió, 20%-os növekedésének 95%-os biztonságához: 10170 ember kell verziónként!

Azaz, ha hetente 10.000 látogatód van, akkor egy 2 verziós AB-teszt 2 hét alatt fog kipörögni.

3 egyéb mód a szignifikáns kontra nem szignifikáns kérdés eldöntésére:

Azt tudni kell, hogy az Optimizely motorja elég szigorúan méri, hogy egy eredmény szignifikáns vagy sem.
Ez így jól is van, de én azért 3 egyéb módon szoktam még ellenőrizni, hogy biztonsággal valós eredményeket kaptunk-e. Egyébként ha ez a 3 mérés mind pozitív eredményt hoz, akkor gyakran nem is várom meg az Optimizely szuper-szigorú méréseit. Íme:

1. T-próba:

A legklasszikusabb AB-teszt ellenőrző művelet. Van online elérhető felhasználó-barát, kitölthetős verziója (pl. ITT). Száraz tudomány – ha itt kapsz egy P-value < 0.05, akkor 95%+ eséllyel valóban az lesz a nyertes, akit jelenleg nyerésre áll. De önmagában ez még nem elég.

AB-teszt szignifikancia kalkulátor, szignifikáns vagy sem?
VWO, AB-teszt szignifikancia kalkulátor

2. Trend chart-ok:

Az Optimizely mutatja azt is, hogy hogyan alakulnak a trendek. Ez nem egy nagy varázslat. Ha 2 héten keresztül végig ugyanazt látod és még a T-próbád is jó eredményt dob, akkor már majdnem biztos lehetsz benne, hogy nyertél.

AB teszt trendek, szignifikáns vagy sem?
AB teszt trendek

3. AAB(B) teszt:

Ez egy expert-trükk! ;-)
Már a kísérlet elejétől érdemes az eredeti verziónak egy változtatás nélküli verzióját is elkészíteni. Így lesz 2 A verziód – vagy akár akár 2 B verziód is. Ha a két hasonló verzió között nincs eltérés eredményben, akkor az már jót jelent! Ezt kombinálva a trend-chart és a T-próba módszerrel, padlóra küldted a szignifikáns kontra nem-szignifikáns kérdést!

AABB teszt - konverziók, szignifikáns vagy sem?
AABB teszt – konverziók

Azt hiszem, ezzel mindent tudsz, amit az AB-teszt eredményének a biztonságosságáról tudnod kell!

Ha szeretnél hasonló bejegyzéseket olvasni, iratkozz fel a Hírlevélre!

Ha részletesen érdekel a téma, gyere el az Adatvezérelt Marketing Tréningünkre!

Tomi

Hogyan mérd az MVP-det?

Mostanában több viszonylag korai fázisú – MVP startoltatás előtti pillanatokban levő – startuppal is dolgoztunk 1-2-3 konzultáció erejéig – és mindig ugyanaz volt a kérdés: ha megvan az MVP, akkor hogyan – és főleg mit mérjünk?

Itt 3 főelv van:
1. Az OMTM-elv
One Metric That Matters – azaz egy darab célt jelölj ki! Egyet és ne többet! És ezt az egy célt helyezd a méréseid fókuszába. Hogy ez mi legyen azt iszonyatosan fontos már a startolás előtt, a legelején eldönteni.
Sok olyan cég van, aki megérzésből nyomja a dolgokat és adatok nélkül dönt. Aztán vagy bejön nekik vagy nem. De a másik véglet sem jobb – ha az ember 40 dolgot figyel egyszerre, akkor előbb-utóbb azon kapja magát, hogy egész nap csak a chart-okat nézegeti, de értelmes és értékes döntést még nem sikerült hoznia. Ha túl sok mindent mérsz, az összezavarhat. Legyen meg a fókusz: Mérj egy dolgot és határozza meg az, hogy merre mész tovább!

2. Engagement központúság
És hogy mi legyen az a bizonyos “Egy Mérés, Ami Számít”?
Természetesen ez a termékedtől függ, de MVP fázisban az biztos, hogy ez a metrika valahol az engagement, azaz a felhasználói elégedettség környékén keresendő.
NEM jó OMTM a regisztrált felhasználók száma. A regisztrált felhasználók száma semmilyen érdembeli visszajelzést nem ad a termékedről, maximum a value proposition-ödről (de azt jó esetben validáltad már eddigre landing page tesztekkel és kvalitatív vizsgálatokkal) vagy a marketing erődről. Egy csomó embert hallok büszkélkedni, hogy elérte a 1.000 (2.000, 5.000, stb…) regisztrált felhasználót. De ha ebből 10-15 aktív felhasználója van, akkor bizony az a 2.000 nem sokat ér.
NEM jó OMTM a bevétel nagysága/fizetések száma sem. Ehhez még túl korai szakaszban van a termék – úgyse fog elég pénz bejönni, akkor meg kár ezen stresszelni magadat.

A jó OMTM a termék használatára vonatkozik. Használják-e az emberek a főfunkcióidat? Minden funkciót használnak vagy csak néhányat? Úgy használják, ahogyan tervezted? És a legfontosabb: az első látogatás/regisztráció után visszajönnek mégegyszer használni a termékedet?

Jó mérőszámok lehetnek:
– az aktivált felhasználók száma  (pl. a Spotify-nál aktivált felhasználó az, aki beregisztrál és meg is hallgat legalább egy számot – a Prezinél aktivált felhasználó, aki beregisztrál, elkészíti és bemutatja az első prezijét, stb…)
– az aktivált felhasználók aránya (ugyanaz, mint a fenti, csak %-ban, hogy lásd, hogy a regisztráltak mekkora része aktiválódik)
– a visszatérő felhasználók aránya. Hányan döntenek úgy, hogy újra használják a termékedet?
– a visszatérés ideje. Mennyi idő után jönnek vissza az emberek? 1 nap, 1 hét, 1 hónap?

És emellett persze folyamatosan monitorozd azt, hogy melyik feature-öket használják az emberek és melyikeket nem.

3. Csináld meg egyszerűen!
Ebben a szakaszban az a lényeg, hogy gyorsan tudj mérni – ne tölts vele túl sok időt. Mivel lehet ezt megoldani? Ha csak nincs a kisujjadban a log-gyártás, akkor smart tool-okkal. Tök őszintén: valószínűleg egy jól beállított (konverziók, demográfia, stb.) Google Analytics is elég lesz. Ha pro akarsz lenni, akkor vagy egy Kissmetrics-et vagy egy Mixpanel-t felteszel az Analytics helyett, de ennél többre valószínűleg tényleg nem lesz szükséged ebben a szakaszban.

Mégegyszer összefoglalva:
1. Egy dolgot mérj!
2. Ez az egy dolog a termék használatára és a felhasználói elégedettségre fókuszáljon!
3. A lehető legegyszerűbben valósítsd meg (Analytics, Kissmetrics vagy Mixpanel)

Ha pedig egy szinttel feljebb lépnél, gyere el az Adatvezérelt Marketing Képzésünkre, ahol beszélünk linkkövetésről, AB-tesztelésről, UX kutatásról, a lepattanó user-ek visszanyeréséről és megannyi finomságról, ami ebbe a cikkbe már nem fért bele (még 6 szabad hely van)! :-)
http://adatlabor.hu/adatvezerelt-marketing-trening/

Mester Tomi

(Inspiráció: leananalyticsbook.com)

Big Data/BI webinár ismétlés!

Közkívánságra mégegyszer megtartjuk a Business Intelligence/Big Data webinar sorozatunk I. részét!
Az I. rész a “Smart Tool-ok (minden, ami nem Google Analytics)” címet kapta.
Itt tudtok regisztrálni:     adatlabor2.eventbrite.co.uk

Adatlabor logoIdőpont: Febr 18. szerda 18.00-19.30

A tartalma pedig:
Eszközök, szoftverek, smart tool-ok és praktikák, amelyeket rendszeresen használunk a big data, az adatelemzés és az üzleti intelligencia gyakorlása közben.
Konkrét, valós üzleti esettanulmányokkal.

Tárgyalt szoftverek és módszerek:
– Mouseflow (és konkurensei)
– Optimize.ly (és konkurensei)
– Marketing A/B teszt
– Linkkövetés (utm, bit.ly, stb…)
– Mini-piackutatások
– Najó és egy kis Google Analytics (de csak az expertebb dolgok ;-))

Csak olyan dolgokról lesz szó, amit rögtön a webinar után akár Te is meg tudsz csinálni! Kódolást és bonyolultabb fogalmakat nem érintünk (az majd jön legközelebb :-)).
75 perc + Q&A

Mester Tomi adatlabor
fotó: Hámori Zsófia

Előadó:
Mester Tomi üzleti intelligencia elemző és tanácsadó, az adatlabor.hu alapítója és szakmai vezetője. Növekedésben levő cégeknek segít az adatelemzési és big data stratégiájuk kidolgozásában – továbbá abban, hogy ezeket az eszközöket a vevőszerzés, a magasabb vevőelégedettség és végeredményben persze a több profit elérésére tudja felhasználni minden partnere. Korábban a Prezi.com-nak dolgozott. Jelenlegi ügyfelei az e-kereskedelem, az online média és az online szolgáltatások területéről érkeznek.
Másik szenvedélye a nyilvános beszéd. Alapítótagja és CC-szintű beszélője az első magyar nyelvű Toastmasters klubnak. Előadó továbbá adatelemzés témában olyan fórumokon, mint a TEDx, BI Forum, Internet Hungary, PechaKucha Nights, Global E-commerce Summit 2015 @Barcelona, stb. Több info itt.

Ára: 4000 ft + ÁFA

Tehát a jelentkezés mégegyszer:
LINK: adatlabor2.eventbrite.co.uk
ÉS A GYORS REG:

Megjegyzés:
Az utána levő héten (febr 25., szerda) jön a második rész, ami kifejezetten adatelemzési stratégiákról és modellekről fog szólni! Ha érdekel:
adatlabor3.eventbrite.co.uk
Tomi

Tréningek hatékonyságának mérhetősége

Honnan lehet tudni, hogy jól sikerült-e egy képzés? Hogyan lehet mérni a hasznosságát, a hatékonyságát? Fontos, de nehéz kérdések. Amikor trénerként HR-esekkel beszélgetek a témáról, mindig ugyanazt a választ kapom: szinte lehetetlen eldönteni, hogy egy adott tréninget végül hasznosítottak-e a résztvevők. Ez persze nem igaz. A képzések hatékonyságát igenis lehet (és kell is) mérni. Természetesen ez nem egyszerű és minden egyes típusnál (csapatépítés, kommunikáció, vezetőképzés, számítógépes-ismeretek, stb…) más-más mérési-módszert kell elővennünk. De az elv minden esetben ugyanaz.

Ahogy általában csinálják
A legtöbbször az egyetlen módszer a mérésre egy elégedettségi kérdőív kitöltése. Ez fontos, de önmagában nagyon kevés. Négy főprobléma van vele:
1. A résztvevők töltik ki, és gyakran saját magukról nem tudnak reálisan véleményt alkotni, hogy mennyit fejlődtek.
2. A tréning után (max 2-3 nappal) szokták kitöltetni és ekkor még nem lehet eldönteni, hogy a megszerzett tudás hosszútávon is beépül-e.
3. Az elégedettségi kérdőív elsődleges célja visszajelzés a trénernek. A tananyagról, az oktatási stílusról, stb… Viszont ez nem biztos, hogy jó visszajelzés a cégnek a hosszútávú hasznokról.
4. Mivel ez egy direkt kutatási-módszer a válaszok torzíthatják a valóságot (pl. a résztvevők nem akarják megbántani a trénert, vagy a HR-t azzal, hogy felesleges képzést szerveztek, stb.).

A titkos módszer…
…amit Magyarországon nem sokan használnak. A hivatalos nemzetközi neve cél- és fejlődés-orientált hatékonyság mérés. (Elég közel áll a híres Kirk Patrick féle model-hez, de némiképp átalakítja, leegyszerűsíti azt.) Ez a fajta mérés az összes fenti problémát megoldja:
1. Nem a résztvevők értékelik magukat, hanem külső értékelést kapnak.
2. Hosszútávú fejlődést mér.
3. A valós – a cég fejlődését segítő – célokról ad visszajelzést.
4. Nem torzítja a valóságot, tiszta képet ad.

Kettő (plusz egy extra) titka van. Az egyik, hogy cél-központú. Azaz a tréner és a megrendelő már a képzés előtt kitűz egy kézzelfogható, konkrét célt, amit a tréningnek el kell érnie. Pl. egy sales tréning esetén, a kitűzött cél lehet, hogy a résztvevők eladási rátája a tréninget követő két hónapban megnőjön legalább 10%-kal. (Itt fontos, hogy ne abszolút értéket nézzünk, tehát ne pl. azt, hogy 10 millió forintról megugrott 12 millió forintra, hanem százalékos arányt, tehát, pl az értékesítések sikeressége 50%-ról megnőtt 55%-ra – ezáltal kizárhatjuk a szezonalitás problémáját.) Mégegyszer: konkrét, mérhető cél kell. A képlet: X%-os változás Y időn belül.
Ez nem csak a mérhetőség miatt jó, de ezáltal sokkal fókuszáltabb lesz maga a tréning is. Ha tudjuk mi a cél, tudjuk mit kell fejleszteni.

A másik “titok”, az előtte-utána összehasonlítás. Ha mégegyszer megnézed a képletet: X%-os változás Y időn belül. A kulcsszó ezúttal a változás. Tudnunk kell, hogy mi az alapszint, amiről elindulunk – amihez képest változtatunk. Ehhez nem csak a tréning utáni mérésre, de a tréning előtti állapot-felmérésre is szükség van. Megint a Sales tréning példája. Ha tudom, hogy a Sales-nek eddig 50%-os sikerrátája volt és a tréning után ez a szám felment 56%-ra, az egy 12%-os relatív növekedés. Ha viszont nem tudom, hogy honnan ugrottunk 56%-ra, akkor nincs mivel összehasonlítani az eredményt. Ez talán kézenfekvő lehet, de a hazai képzési kultúrában nem vetette meg a lábát.

Tehát: Konkrét, mérhető célt kell választanunk. És ezt a célt a tréning előtti és a tréning után Y hónap eltelte közötti állapotok összehasonlításával kell értékelni.

A Kirk Patrick módszer egyik legnagyobb hátránya, hogy túl részletes mérést ad az eredményekről. Ez egy klasszikus mérés-módszertani hibához vezet: túl drágává (és időigényessé) válik a mérés és emellett nem fókuszált, nincs egy szám, amivel eldönthetjük első ránézésre, hogy igen vagy nem, sikeres vagy sikertelen volt a tréning. Tehát a “+1 titok”: ha valóban meg akarjuk csinálni a képzés hatékonyságának mérését, akkor egyszerű, könnyen és olcsón mérhető célt kell választanunk.

Ha megfogahatatlannak tűnik a cél
Persze a Sales-es példa a legegyszerűbb – nyilván mindenkinek az jut az eszébe, hogy néhány képzés típus sokkal kevésbé megfogható. Íme néhány példa ezekre is (ezek csak általános példák – konkrét cégek, konrét igényekkel más célokat is belőhetnek):

a) PREZENTÁCIÓS TRÉNING
Mi a cél? Természetesen “a prezentációs készségek fejlesztése”. De ez nem elég speciális. A specifikus cél: azoknak a készségeknek a fejlesztése, amivel a résztvevő rövidebb idő alatt, koncentráltabban, átütőbben tud üzeneteket átadni.
Az egyik legjobb mérési módszer erre, hogy az adott prezentáló megkéri a hallgatóságát az előadás után, hogy egy cetlire írják le egy mondatban, hogy számukra mi volt az előadás üzenete. Ez alapján az előadó lemérheti, hogy a közönség hány % fogta az üzenetét. Ha a tréning előtt ez 30% volt, de utána felmegy 80%-ra, akkor egy nagyon sikeres tréningről beszélhetünk.

b) MENEDZSMENT TRÉNING
A cél: a managment tréning típusától függ. Legyen pl. a célok hatékony és érthető kommunikálása. Ezt kétféle képpen érdemes mérni, egyrészt a manager féléves értékeléséből (pl. 360) a beosztottjai válaszaiból látja, hogy saját véleményük szerint mennyire vannak tisztában azzal, hogy mi a csapatban betöltött szerepük. Másrészről a manager ténylegesen megkérdezheti a beosztottaktól, hogy mi a szerepük a csapatban. Ismét, ha a beosztottak 70%-a tudja pontosan leírni a szerepét a tréning előtt és 90%-a a tréning után 2 hónappal, akkor az egy látványos fejlődés. (Habár nem árt, ha ez a szám 100% – a tapasztalatom szerint a valóságban ez meglepően távol áll ettől az értéktől. :-))

c) HARD-SKILL TRÉNINGEK (pl. számítógépes ismeretek)
Nyilvánvalóan itt a legegyszerűbb belőni a célt, hiszen itt konkrét ismeretekről van szó. Egy szintfelmérő-teszt előtte és egy szintfelmérő-teszt utána segít eldönteni a tréning hatékonyságát. Ezt akár lehet közvetlenül a tréning előtt és után is csinálni, de általában egy-két héttel később érdemes, amikor – rossz esetben – már van idő “elfelejteni” a tanultakat.

Összességében ahány tréning-típus és ahány élethelyzet, annyi mérési stratégia létezhet. A lényeg, hogy konkrét, mérhető és fókuszált céljaink legyenek és az eredményt ne csak a tréning után, de a tréning előtt is mérjük, hogy a változás láthatóvá válljon. Emellett törekedjünk egyszerű mérési célokra, hogy a költség és időigényesség ne szabja korlátját a mérésnek.

Érdekesnek találod a témát? Én is! És szeretném továbbkutatni! Ha úgy érzed, hogy nálatok nem működik jól a tréningek értékelése, szívesen beszélgetnék  veled arról, hogy ti mit láttok a főproblémának és ötletelni azon, hogy hogyan lehetne ezen segíteni. Ezen a linken elérhetsz!

Mester Tomi – a www.adatlabor.hu szakírója

Források:
http://www.businessballs.com/kirkpatricklearningevaluationmodel.htm
http://managementhelp.org/training/systematic/ROI-evaluating-training.htm
https://www.linkedin.com/groups/What-are-best-ways-measuring-54046.S.203962042
http://bit.ly/goaloriantedtraining