Ľudia milujú hodnotenia. Koľko aplikácií, hier a iných vecí už bolo vytvorených v mene túžby človeka byť na nejakom zozname o pár riadkov vyššie ako niekto iný. Alebo ako konkurencia napr. Ľudia dosahujú miesta v rebríčkoch rôznymi spôsobmi v závislosti od ich motivácie a morálneho charakteru. Niektorí sa budú snažiť polepšiť a poctivo prejsť z #142 na #139, zatiaľ čo iní sa rozhodnú zarobiť peniaze a s radosťou zoberú #21 (pretože top 20 prinieslo ešte viac).
S firmami je to takmer rovnaké. Dnes si povieme niečo o bankách a ratingoch, do ktorých sa tieto banky snažia dostať. V tomto príspevku budem hovoriť o všeobecných problémoch s výskumom, ktoré v krajine máme, o praktickom rozdiele medzi kvantitatívnym a kvalitatívnym testovaním a o tom, ako sme sa snažili napraviť súčasný stav.
A na konci článku je prekvapenie.
Všetko to začalo, keď sme pred rokom začali testovať päť bánk pre právnické osoby, pričom sme vybrali pár štýlových pre mladých (Modulbank a Tinkoff Bank) a tri klasické (VTB, Raiffeisenbank a Promsvyazbank). Najprv však trochu materiálu.
Rating bánk v Ruskej federácii
Na trhu je pomerne veľa hráčov, ktorí robia hodnotenia použiteľnosti pre bankový sektor. Menovite dva – Markswebb a USABILITYLAB.
A ukázalo sa, že MW a UL sa teraz stali akýmsi KPI. Na jednej strane je to dobré, pretože samotná prítomnosť aspoň niečoho konkurencieschopného určuje všeobecný pohyb na trhu, ktorý je v tomto smere dosť pomalý. Na druhej strane to všetko väčšinou závisí od funkčnej analýzy. A motiváciou zo strany bankových špičiek už nie je urobiť úžasný produkt, ktorý sa rozbehne a prinesie používateľom množstvo výhod, vďaka ktorým sa umiestni v rebríčku, ale jednoducho byť v rebríčku. .
Vaša banka je v hodnotení = splnili ste KPI = dostali ste bonus. Navyše sa zdá, že tím vás má rád, pomohli ste banke dostať sa do ratingu. Pre niektorých to skutočne škriabe svrbenie. Vo všeobecnosti, ktovie čo, ale motiváciou sú vo všeobecnosti tieto druhy „bonusov“ rôzneho druhu a nie pohyb smerom k zlepšovaniu produktu.
A tu je z hľadiska významu takýchto hodnotení pre trh dôležité pochopiť ešte jednu vec. Približne 98 % používateľov bankových aplikácií o týchto hodnoteniach vôbec nevie. Je im to úprimne jedno. Tieto hodnotenia sú špeciálne pre manažérov a manažment. Zvyšné 2 % o hodnoteniach vedia, no považujú ich za predajný argument. Raz sme testovali webové stránky bánk s týmito znakmi o prvých miestach.
Ľudia si nevyberajú banku na podnikanie podľa toho, či má webová stránka banky označenie s logom konkrétneho ratingu alebo nie. Pre človeka je jednoduchšie zavolať priateľom alebo na Facebooku, kto používa ktorú banku a s čím je spokojný/nespokojný, a obmedziť sa na to z hľadiska sociálneho kapitálu.
Začnime vytvorením hodnotenia. Ak chcete vytvoriť hodnotenie, musíte vykonať prieskum a tu sa všetko zvyčajne obmedzuje na prieskum jednej konkrétnej funkcie, povedzme, testovanie kontroly meny.
A výskum stojí peniaze, dosť značné peniaze. Aby ste to urobili efektívne, musíte dobre investovať – portrét podnikateľa na testovanie stojí viac ako bežného používateľa. Preto spoločnostiam, ktoré sa snažia stavať svoje príjmy len na výskume ako svojej hlavnej a jedinej činnosti, vznikajú značné náklady. Napriek tomu, že náš výskumný trh je takmer prázdny: toto sa neučí na univerzitách, neučí sa to na školách.
Mimochodom, o peniazoch, aby boli jasné čísla. Povedzme, že máme v hodnotení 20 bánk. Každá osoba musí preskúmať 7 hlavných funkcií a scenárov, pričom strávi približne 1,5 hodiny času. Nemá zmysel robiť test na jednom respondentovi dlhšie, pretože hodina a pol je hranica, po ktorej sa pozornosť už rozptýli a ľudia sa jednoducho unavia a začnú odpovedať na čokoľvek, len aby sa šli rýchlo najesť a konečne vydýchnuť. .
Takže tu to je. Nábor ľudí z databázy banky na takýto prieskum je náročné a časovo náročné, takže ostáva už len nábor. 5-7 scenárov pre 20 bánk znamená, že potrebujete získať aspoň 140 respondentov. A potom, ak sa na jednej osobe testuje viacero bánk
Náklady na jedného takého respondenta sa pohybujú medzi 5-10 5 rubľov, existuje jasná závislosť od portrétu, povedzme, jeden individuálny podnikateľ bude stáť pomerne lacno, 13 XNUMX. Ale portrét vyvážajúceho podnikateľa s kontrolou meny bude stáť asi XNUMX tisíc.
Celkovo ide o 140 ľudí, ktorým je potrebné zaplatiť za účasť v štúdii. Odhadnime najjednoduchší a najlacnejší scenár, 5000 700 rubľov na respondenta, a dostaneme neiluzórnych 000 1 rubľov. Minimálne áno. Zvyčajne sa toto číslo blíži k 400 000 XNUMX. Je čas otvoriť si vlastnú personálnu agentúru :)
A to len pre hlavné prípady použitia banky. Okrem peňazí existuje aj cennejší zdroj – čas. Aj s takou veľkou kopou navrchu sa plytvá. Môžete vykonať testy s 30 respondentmi a nezblázniť sa za 2 týždne. Mesiac zvyčajne vedie k približne 60 stretnutiam, ak chcete zachovať kvalitu rozhovorov. 140 ľudí = 2,5 človekomesiaca.
Po všetkých respondentoch musíte stráviť ešte asi 2 mesiace, aby ste dostali informácie do stráviteľnej podoby – prepíšte výsledky, vykonajte analýzu a zoskupenie, vytvorte krásnu prezentáciu a nie konečný excelový súbor s množstvom riadkov.
Vo všeobecnosti sa ukazuje, že ide o približne 4 mesiace práce a 2 až 3 milióny rubľov, berúc do úvahy všetky náklady počas tohto obdobia. A ešte sme nevypočítali dane. A vzhľadom na to, že na samotnom výskume sa zatiaľ nikomu nepodarilo zarobiť, tento model očividne nevyzerá ako najziskovejší. Ak, samozrejme, nezarábate peniaze zo samotného rebríčka a miest v ňom namiesto prieskumu.
Kvantitatívny a kvalitatívny výskum, funkčná analýza
Prezentácie MW sú približne zo 60 % o funkčnej analýze a zo 40 % o použiteľnosti. Okrem toho pojem „funkčná analýza“ je v prípade takýchto štúdií jednoducho kontrolným zoznamom na prítomnosť určitých funkcií. Sadnete si, napíšete zoznam funkcií - teda, mala by tam byť normálna platba, plus platba na základe fotky a tiež zo súboru, kontrola protistrany, najnovšie protistrany alebo platby atď. Potom vykonáte analýzu a skontrolujete, či funkcie zo zoznamu existujú alebo nie. Ak existuje, skvelé, v hodnotení zaškrtnite plus. Ak nie, rozumiete.
Znie to logicky. Ale, žiaľ, ide o to, že plus a začiarknutie pri takomto testovaní je jednoducho prítomnosť funkcie v zozname, a nie jej kvalita alebo všeobecná nutnosť pre používateľa. Mobilné aplikácie teda začali skĺznuť k tomu, aby do seba vtesnali všetko, aby splnili hodnotenie, a nie to, čo používateľ potrebuje. No a takto má Yandex.Phone duálny fotoaparát. Existuje, ale hovoria, že nefunguje. Ale existuje. Celkovo sa ukazuje, že 60% významu takéhoto hodnotenia je jednoducho samotný kliešť, či už funkcia existuje alebo nie. A nie to, ako je to pohodlné a aké je to potrebné pre používateľa.
Okrem funkčnej analýzy existujú aj kvantitatívne a kvalitatívne štúdie.
Kvantitatívne štúdie použiteľnosti budú veľmi užitočné, ak chcete spustiť testy na toku. Naverbujete ďalších respondentov, spustíte ich cez rozhranie aplikácie, zadáte im základné úlohy a na konci sa jednoducho spýtate, ako to vo všeobecnosti je a aké problémy sa vyskytli.
Kvalitný test použiteľnosti je oveľa náročnejší - musíte pomocou metódy vykresliť vnímanie celého procesu a doslova všetkých prvkov v procese . Všetky myšlienky a otázky, ktoré ľudia majú, všetky texty a prvky, ktoré sú pre nich nezrozumiteľné. A všetky hlavné príčiny - prečo to nie je jasné, ako očakávate, že to bude pomenované a aké slovo máte v hlave?
Keď poznáte základné príčiny vnímania, nepoviete len:
Ľudia to nenašli - neobvyklé umiestnenie.
Rozumiete tomu, ako zmeniť:
Používateľ hľadá tento prvok nie v spodnej časti, ako sme ho umiestnili, ale v pravom hornom rohu obrazovky. Vyhľadáva podľa slova „Hľadať“ a máme „Enter“, hľadá ikonu lupy a máme tlačidlo „Hľadať“.
Aby som to zhrnul, po kvantitatívnom teste použiteľnosti skončíte so zoznamom problémov v jeho najvšeobecnejšej podobe. Povedzme: „Používateľ nemohol nájsť vyhľadávanie.“ Prečo si to nezvládol? Ale jednoducho som to nezvládol - tento test nedá odpoveď.
A po kvalitnom teste budete mať problém aj jeho hlavnú príčinu. V prípade Search budete mať skript, používateľ vám presne povie, ako hľadal Search, aké prvky očakával, že uvidí a kde, aké slová ho napadli, keď Search nenašiel a podobne.
Keď máte hlavnú príčinu problému a jeho podrobný popis, môžete už niečo opraviť, zmeniť rozhranie tak, aby spĺňalo očakávania používateľov a riešilo problémy, ktoré má.
Samozrejme, tie kvalitné sú drahšie. Namiesto úlohy a dotazníka musíte vyškoliť osobu, ktorá bude takéto testy vykonávať. Vezmite človeka so správnym zázemím a predstavte mu oblasť, ktorú skúmate. To trvá asi 3-6 mesiacov. Na trhu je len pár hotových špecialistov – teda prakticky žiadny.
Ale aj keď sa všetky tieto testy vykonajú normálne, dostaneme nasledujúcu situáciu – krajina nevie, čo s týmito štúdiami a správami robiť. Trh s tým stále zaobchádza ako s nejakou efemérnou entitou, verí, že si kupuje len prezentáciu a nie riešenie problému.
Pretože sa ukázalo: banka nariadila testovanie, ako odpoveď dostala nejaký druh povrchnej prezentácie, pri ktorej nebolo jasné, ako ju použiť, alebo „to všetko sme vedeli sami“. Čo bude ďalej? Je to v poriadku, položte to na stôl a buďte radi, že existuje. Ľudia totiž nevedia, čo s touto prezentáciou robiť, ako ju využiť na zlepšenie produktu, ako premeniť zistenia v nej popísané do nových rozhraní, ktoré už nebudú také problematické. Ak neuvediete hĺbku a hlavné príčiny problémov, potom nepochopíte, ako s problémami pracovať.
Je všetko naozaj smutné?
Vo všeobecnosti je to dosť smutné, áno, ale to neznamená, že situáciu nemožno napraviť. Naším cieľom bolo urobiť dobrý prieskum vecí, v ktorých sme už mali dobré odborné znalosti. Napríklad o fungovaní platieb v aplikácii sme mali na to isté štatistiky. Chceli sme vziať hlavné scenáre a nielen ich skontrolovať na „Áno alebo Nie“, ale presne pochopiť, aké problémy ľudia majú, v akých fázach a vo všeobecnosti, prečo vznikajú.
Rozdelenie podľa hlavných scenárov právnických osôb
Môže to byť súbor prekážok, ktoré veľmi nezávisia od samotnej banky, len ľuďom nie je veľmi jasná prezentácia nejakej funkcie.
A samozrejme sme chceli urobiť komplexnú štúdiu a nie porovnávať pár bánk medzi sebou. Verili sme, že potom dokážeme predať tieto podrobné štúdie a zároveň otestovať všeobecný dopyt po nich.
Samozrejme, naša prvá palacinka vyšla s pár hrudkami.
Snažili sme sa ešte vziať všetky scenáre a prejsť ich s jedným respondentom. Spoiler alert – prežil. Možno teraz používa bankové aplikácie oveľa menej často. Opäť sme ale potvrdili tézu, že po hodine a pol treba všetko vypnúť a spustiť ďalšie. Z hĺbkového testovania všetkých funkcií sme preto prešli k tomu, ako ľudia nachádzajú určité funkcie, čomu venujú pozornosť a ako vnímajú štruktúru hlavnej stránky.
Distribúcia jednotlivcami pomocou platforiem
Keď testujete bankové aplikácie, nemôžete ich len spustiť v režime hosťa a robiť závery. Musíte mať aspoň bankový účet, aby ste pochopili, ako tam všetko funguje. Ale v prípade banky podnikatelia potrebujú živý účet, s históriou, s tam založenou firmou. Ak testujete aj ovládanie meny a iné radosti, budete potrebovať devízové účty a trochu Afobazolu. Zostatok nemôže byť prázdny, história transakcií musí byť vážnejšia ako „Prevediem 200 rubľov z môjho účtu na môj účet, uvidíme, ako to pôjde“.
Mysleli sme si, že registrácia účtov vo všetkých bankách, ktoré skúmame, a prevod peňazí do nich bude pomerne rýchla záležitosť.
Niekedy sa všetko ťahalo aj pár týždňov. Zo strany bánk áno. A testovali sme aj 5 bánk, ale bolo by ich 20?
Sami sme však mohli pochopiť rozdelenie hlavných funkcií a počet niektorých izolovaných a nepopulárnych. Od prvej palacinky do druhej sme preto prešli prepracovanejšou metodikou. Do tímu pribudol aj dizajnér, ktorý posunul samotné prezentácie na novú úroveň. Toto je naozaj dôležitejšie, ako sa zdá, keď prezentujete takéto informácie.
Výsledkom práce bola prezentácia 100+ diapozitívov. Keď sme robili štúdiu o štyroch bankách pre fyzické osoby, nepredali sme to. Ale prvá štúdia o bankách pre podnikateľov sa predala, aby sa zistilo, aká je v zásade zaujímavá pre trh. Toto od nás kúpili 7x (banky z top 5 a niekoľko firiem, ktoré bankám predávali vývoj a dizajn), inú reklamu ako príspevky na Facebooku sme neposkytovali.
- Ale sám si napísal, že toto je istý spôsob, ako ísť do mínusu!
Skvelý spôsob, áno, ak práve robíte výskum. Peniaze zarábame predovšetkým prostredníctvom dizajnu a inžinierstva.
Prieskum je pre nás príležitosťou formovať trh, pretože, ako vidíte, takmer žiadny neexistuje. Často sa nás pýtali, hovoria, prečo dávate takúto vec k dispozícii zadarmo, nestojí to za tie peniaze? Ale vďaka tomu môžeme komunite ukázať, aký môže byť výskum v skutočnosti. Teraz, ak chcete vidieť vzorku takýchto štúdií, musíte si ich kúpiť. Alebo sa spýtajte toho, kto to kúpil.
Zverejňujeme ich len tak. Aby aj trh pochopil, čo je výskum. Aby klienti, ktorí si výskum objednajú inde, mohli aspoň s niečím porovnať a overiť si kvalitu toho, čo im predávajú iné firmy. Aby vzniklo spoločné porozumenie – výskum môže byť vysoko kvalitný a môžete z neho získať úžitok a pochopiť, čo s ním ďalej robiť. Sme vlastne trochu urazení, že vzdelávacia časť z hľadiska výskumu u nás je smutná. Preto sa zatiaľ snažíme zmeniť situáciu takto – vytvorením porozumenia, že môžete dosiahnuť lepší výsledok
A okrem vzdelávacieho aspektu je takýto výskum a jeho publikovanie dobrou príležitosťou na generovanie potenciálnych zákazníkov. A tu je výhodou nielen to, že k nám chodia klienti. Nedávno na základe jedného z našich príspevkov začali prototypovať banku z top 3. Ešte pred pár rokmi by sme si naozaj pomysleli – sakra, zlízli sme si tému a išli robiť niečo vlastné.
A teraz si myslíme – super, počúvajú nás a skutočne sa snažia robiť produkty lepšie a bližšie k používateľovi. Preto budeme v takomto výskume pokračovať, kvalitatívne testovať jednotlivé sémantické bloky aplikácií, a nie len celý produkt ako celok podľa nejakého kontrolného zoznamu.
V rámci tímu nám to dáva zvýšenú odbornosť – nechodiť v tme, ale pochopiť, ako sa menia hlavné scenáre a potreby ľudí (a zmenia sa za 1-2 roky, predstavte si). A potom, keď si preštudujete otvorenie bankového účtu pre podnikateľov 3-4 krát za 2 roky, získate predstavu o ideálnom procese, aký by mohol byť pri súčasných technických obmedzeniach.
A situácia typu „chcel som byť zaradený do hodnotenia – zaplatil som za hodnotenie – dostal som sa do hodnotenia“ bola stále nudná. A potreba nového hodnotenia na základe kvality produktu už dozrela.
A pre tých, ktorí dočítali článok až do konca, tu sú dva odkazy na и
Zdroj: hab.com