bi üzelti intelligencia adat borító

A “leggonoszabb” és egyben leghatékonyabb tesztelési módszer

This article is available in English here:
http://data36.com/the-most-evil-but-also-most-efficient-testing-method/

Hallottál már az ún. gettó-tesztelésről? A másik neve egy kicsit barátságosabb: fake-door-testing (mostantól a cikkben is inkább ezt használom).

A fake-door-testing egy nagyon egyszerű módszer, amely során úgy mérjük fel az igényt egy új termékre (vagy egy termék új funkciójára), hogy közben csak nagyon minimálisan van szükségünk tényleges fejlesztésre.
A folyamat négy lépésből áll:
1. Készítünk egy landing oldalt, amelyen leírjuk a szolgáltatásunk lényegét (praktikusan egy mondatban). Ugyanitt a User-ek tudnak regisztrálni is.
2. Meghirdetjük a landing oldalt és elkezdjük beletölteni a potenciális regisztrálókat.
3. A regisztráló User-eknek pedig visszaadunk egy üzenetet, hogy: “Bocsi, de ez a funkció/szolgáltatás igazából még nem létezik – viszont értesítünk, amint elkészül.”
4. Mérjük, hogy hányan “regisztrálnak” az oldalunkra. (Darabszámban és százalékban is.)

Ilyen egyszerű. Ha megfelelően sok ember regisztrál, akkor sejthetjük, hogy érdemes lefejleszteni ténylegesen a cuccot – vagy sem.

A fake-door-testing előnyei:

1) Nyilvánvalóan nagyon sok fejlesztési időt és pénzt megspórolsz magadnak.
2) Rövid idő alatt tudod validálni (vagy éppen elkaszálni) az ötletedet.
3) Ha ügyes vagy, begyűjtesz egy csomó releváns e-mail címet, akiket az igazi launch-nál már tudsz értesíteni. (Sőt, előtte be tudod őket húzni usability tesztekre és user interjúkra.)

Ebből mindhárom kulcsfontosságú lehet egy induló biznisznél. Azonban érdemes megfontolni a hátrányokat is.

A fake-door-testing hátrányai:

1) Nem túl kedves dolog.
Tény: biztos lesznek User-ek, akik majd átverve érzik magukat és akik pont emiatt nem használják többet a termékedet. DE! Ne feledd, hogy az első tesztelés alatt csak a célpiacod nagyon kicsi részét lövöd meg amúgy is – szóval, ha jó vagy, akkor nem ezen a pár “megsértett” user-en múlik majd az üzleted hosszútávú sorsa.

2) Csökkenti a hitelességedet – főleg, ha egy újságíró is belefut és megjelensz a médiában vele. Éppen ezért nagyon óvatosan kell bánni ezzel a módszerrel abban az esetben, ha már egy működő biznisz vagy és csak egy új funkciót szeretnél validálni. (Pl. a Facebook, amikor még nem volt ilyen nagy, csinált fake-door-teszteket. Találkozhattál is ilyen üzenetekkel:

gettó tesztelés fake door testing
Fake-door-testing a Facebook-on

Aztán egy ideje már nem bajlódnak ezzel.) Egyébként ha kis biznisz vagy, akkor végülis a rossz marketing is marketing. :-)

Ezeket a dolgokat érdemes mérlegelni, mielőtt belevágsz a fake-door-tesztelésbe.

Csináld profi módon! Néhány tipp

Nos nézzük, milyen tippek és trükkök vannak egy tökéletesen kivitelezett fake-door teszthez:

1. A User lehetőleg ne tudjon róla, hogy nincs termék. Azaz hazudj profin… Itt persze egyensúlyozni kell aközött, hogy mennyire precíz mérést akarsz (teljesen behazudod a terméket) és hogy mekkora lelkiismeret furdalást szeretnél a nap végén (és ennek kapcsán azért teszel rá utalást, hogy ez amúgy nincs is). De most tegyük le a tudomány mellett a voksunkat és mondjuk azt, hogy a jó megoldás, ha nem tud róla a User, hogy nincs termék.

2. Gyűjts e-mail címeket! Ezt több szempontból is érdemes csinálni. Egyrészt, hogy a marketing költéseid ne feleslegesen menjenek. Másrészt, mert így könnyebb azt kommunikálni a beregisztráltaknak, hogy amúgy itt tényleg lesz valami és nincsenek átverve (annyira).

3. Ha még landing oldalt sincs kedved csinálni, akkor csinálhatsz akár “reklám-tesztet” is. Ez azt jelenti, hogy ráteszel kb. 5.000 Ft-ot pl. egy Facebook hirdetésre és nézed a CTR-t. (Akár átvihet egy teljesen fake domain-re is az emberünket.) Ha megfelelően magas, akkor jó vagy. Azért itt 2 probléma lesz: nem tudsz e-mail címeket gyűjteni. Illetve simán lehet, hogy csak azért teljesít rosszul a hirdetésed, mert rosszul targetáltál (és nem azért, mert a termék a rossz).
Kiegészítés (köszönet Toba Krisztinának!): a “reklám teszt” készülhet lead típusú hirdetéssel, így nem kell lemondani az értékes e-mail címekről. Bővebb infó: https://m.facebook.com/business/news/lead-ads-launch

4. Definiálj pontos mérőszámokat! Mint ahogy minden más tesztnél, itt is korrekten mérhető célokra van szükség! (pl. CTR, regisztrálók száma, regisztrálók aránya, stb…)

5. Kommunikálj jól! Mivel van egy kis becsapás ebben az eszközben, itt extrán érzékeny téma, hogy hogyan kommunikálsz a User-eiddel. (Ne azt írd, hogy “Hah, ezt megszívtad, nincs is ilyen termék, de az e-mail címedet behúztuk.” – hanem inkább azt, hogy “Sajnáljuk, de ez a termék még nem létezik. De nagy erőkkel dolgozunk rajta és a regisztrációd egy extra adag motivációt adott nekünk. Ígérjük, hogy elsők között értesítünk a fejleményekről!” Persze egy szövegíró fog tudni ennél még jobbat.)

Belevágnál?

Én egy időben nem szerettem a gettó-tesztelést. De végülis annyi előnye van, hogy nem tudtam nem használni. Ha Te is kipróbálnád, akkor kommentbe szívesen látnánk a tapasztalataidat!
Hajrá!
Tomi

 

10 hozzászólás a(z) “A “leggonoszabb” és egyben leghatékonyabb tesztelési módszer” bejegyzéshez

  1. Szia,

    Nem hallottam még erről, de érzek némi hasonlóságot a lean veszteségmentes vagy veszteséget csökkentő szemlélettel. Korábbi cégemnél egy funkció lefejlesztését becsültük és végül hasonlóan csak egy fake üzenetet küldtünk a használójának majd a háttérben kb emberi erőforrással végeztük el manuálisan a munkát. Fontos hogy a tervezésénél és ez itt is igaz szerintem, határozz meg előre egy küszöbszámot, amely érdeklődés felett már meg is valósítod azt.

    Üdv., Turgyán Peti

    1. Szia,

      igen, a teszteléseknél ugyanarra a módszertanra gyakran több különböző nevet is használnak. Amit Te írsz, valószínűleg ugyanaz, mint amit én. :-)
      Viszont fontos a kiegészítésed is: a munka manuális elvégzése is egy jó eszköz!

      Köszi,
      Tomi

  2. Szia Tomi,

    Köszi a bejegyzést, szuper! Arra tudsz mondani “benchmarkot”, saját tapasztalatot, hogy mi az a szám amikor megvalósítod az ötlete és mi az amikor nem? Mikor Te kísérleteztél ezzel ott milyen eredmények voltak?

    Köszi!
    Ádám

    1. Szia Ádám,

      köszi!
      Kifejezett benchmark nincsen, üzlete vállogatja. Amit érdemes nézni, hogy melyik marketing csatorna, hogy konvertál (tehát be UTM-ezed az összes linkedet és figyeled, hogy különböző források, hogyan konvertálnak) – így a csatornákat egymás között biztosan össze tudod hasonlítani. Egyébként, ha mindenképpen számot kéne mondani, akkor onnantól, hogy megjön a User a honlapra – odáig, hogy megvan az e-mail címe: kb 2%-os és 10%-os visitor-to-register% között azt mondanám, hogy jó vagy. 10% felett nagyon-nagyon jó, jól megtaláltad a célcsoportot és a terméket is. 2% alatt vagy a célcsoport vagy a termék nem stimmel (vagy egyik sem). De mégegyszer: ez csak az én véleményem és nem mindig igaz.

      Egy másik módszer, hogy kiszámolod, hogy egy regisztrációra mennyi pénzt költöttél (összregisztráltak száma / reklám költség) és megtippeled, hogy kb ennyi e-mail címből mennyi bevételed lehet. Ha a kettő különbsége nagyobb, mint 0, akkor nagyjából jó vagy (persze hosszútávon azért bőven többnek kell lennie, mint 0) – ha kisebb, akkor nem.

      Remélem segítettem. :-)
      Tomi

  3. Nagyon jó cikk! Erre egy autóipari példát láttam, a Volvo a Lifepaint láthatósági spray-jét tesztelte így. A teaser videó (https://www.youtube.com/watch?v=CfWzeGlaFvI) végén megjelent a minisite címe (www.volvolifepaint.com – ma már nem is létezik), de itt csak feliratkozni lehetett a hírlevélre, melyben további infót adnak majd a spray-ről.
    Ma az oldal átirányít a központi Volvo oldalra, ahol lokáció szerint lehet kikeresni a legközelebbi eladót (Budapest = 0), még ma sem túl elterjedt a termék de legalább megcsinálták. Az ilyen termékinnovációknál egyébként maga a termék újdonsága annyira magával húzza az érdeklődést, hogy nem is lesz feltétlen csalódott ügyfél, inkább csak kíváncsi.
    Az viszont mínusz, hogy egy hírlevelet sem küldött utána a Volvo, pedig direkt figyeltem a spam mappát.

  4. Szia Tomi!

    Mi is ezt a módszert használtuk az ötletünkhöz. Volt Fb reklámunk, de nekünk a legjobban a sajtó hozott eredményt(látogatót). Én is az erre az arányra lettem volna kíváncsi. Nálunk a látogatók több, mint 20% megadta az elérhetőséget. És csak egy esetben kaptunk olyat, hogy elküldtek melegebb éghajlatra, hogy még nincs kész :)

    1. Köszi az infot! Na azért jó tudni, hogy nem volt nagy lázongás User oldalról! (Az egyik FB-csoportban épp ez volt a vita a cikk kapcsán… :-))
      A 20% elég szépnek tűnik! Hajrá a projekthez!
      Tomi

  5. Szia Tomi,

    “Csináld profi módon! Néhány tipp” blokk 5-ös pontjánál az ügyfél elégedettség érdekében a megfelelő kommunikáció mellett adhatunk akár bizonyos %-ú kedvezményt egy már meglévő termékünkből, kupont vagy ingyenesen tartalmat, stb…, ami csökkenti az esetleges csalódottságot :)

    Tamás

Vélemény, hozzászólás?

Az email címet nem tesszük közzé. A kötelező mezőket * karakterrel jelöljük.