Ljudje imajo radi ocene. Koliko aplikacij, iger in drugih stvari je že narejenih v imenu človekove želje, da bi bil na nekem seznamu nekaj vrstic višje od nekoga drugega. Ali kot tekmovalec, na primer. Ljudje dosegajo mesta na lestvici na različne načine, odvisno od njihove motivacije in moralnega značaja. Nekateri se bodo poskušali izboljšati in pošteno prestopili iz #142 na #139, drugi pa se bodo odločili zaslužiti in z veseljem vzeli #21 (ker je prvih 20 prineslo še več).
Skoraj enako je s podjetji. Danes bomo govorili o bankah in ocenah, v katere si te banke prizadevajo priti. V tem prispevku bom govoril o splošnih težavah z raziskavami, ki jih imamo v državi, o praktični razliki med kvantitativnim in kvalitativnim testiranjem ter o tem, kako smo poskušali popraviti trenutno stanje.
In na koncu članka še presenečenje.
Vse se je začelo, ko smo pred letom dni začeli testirati pet bank za pravne osebe, pri čemer smo izbrali nekaj elegantnih mladinskih (Modulbank in Tinkoff Bank) in tri klasične (VTB, Raiffeisenbank in Promsvyazbank). Ampak najprej malo materiala.
Ocene bank v Ruski federaciji
Na trgu je kar nekaj igralcev, ki ocenjujejo uporabnost za bančno industrijo. In sicer dva - Markswebb in USABILITYLAB.
In izkazalo se je, da sta zdaj MW in UL postala neke vrste KPI. Po eni strani je to dobro, saj že sama prisotnost vsaj nečesa konkurenčnega določa splošno gibanje na trgu, ki je v tem pogledu precej počasen. Po drugi strani pa se vse spušča predvsem v funkcionalno analizo. In tukaj motivacija bančnih vrhov ni več narediti super produkt, ki bo zaživel in uporabnikom prinesel veliko koristi, zaradi česar bo zasedel mesto na lestvici, ampak preprosto biti na lestvici .
Vaša banka je v oceni = dosegli ste KPI = prejeli ste bonus. Poleg tega se zdi, da ste ekipi všeč, banki ste pomagali priti v rating. Za nekatere to resnično srbi. Na splošno, kdo ve kaj, toda motivacija so na splošno te vrste "bonusi" različnih vrst in ne gibanje k izboljšanju izdelka.
In tukaj je v smislu pomena takih ocen za trg pomembno razumeti še eno stvar. Približno 98 % uporabnikov bančnih aplikacij za te ocene sploh ne ve. Odkrito jim je vseeno. Te ocene so posebej za menedžerje in vodstvo. Preostala 2 % poznajo ocene, vendar jih smatrajo za prodajno prednost. Nekoč smo testirali bančne spletne strani s temi znaki o prvih mestih.
Ljudje ne izbirajo banke za poslovanje na podlagi tega, ali je na spletni strani banke znak z logotipom določene bonitete ali ne. Človek lažje pokliče prijatelje ali na Facebooku, kdo uporablja katero banko in s čim je zadovoljen/nezadovoljen, in se omeji na to glede socialnega kapitala.
Začnimo z ustvarjanjem ocene. Če želite ustvariti oceno, morate opraviti raziskavo in tukaj je običajno vse omejeno na raziskovanje ene določene funkcije, recimo testiranje valutnega nadzora.
In raziskave stanejo, precej denarja. Če želite to narediti učinkovito, morate dobro investirati - portret podjetnika za testiranje stane več kot povprečni uporabnik. Zato imajo podjetja, ki poskušajo svoje prihodke graditi le na raziskavah kot svoji glavni in edini dejavnosti, precejšnje stroške. Kljub temu, da je naš raziskovalni trg skoraj prazen: tega se ne učijo na univerzah, tega se ne učijo v šolah.
Mimogrede, o denarju, da bodo številke jasne. Recimo, da imamo v svoji oceni 20 bank. Vsaka oseba mora raziskati 7 najboljših funkcij in scenarijev, pri čemer porabi približno 1,5 ure časa. Na enem anketirancu nima smisla izvajati testa dlje, saj je ura in pol meja, po kateri se pozornost že razblini, ljudje pa se preprosto naveličajo in začnejo odgovarjati karkoli, samo da gredo na hitro prigrizniti in končno izdihnejo. .
Torej, tukaj je. Za takšne raziskave je težko in dolgotrajno pridobiti ljudi iz bančne baze, zato ostane le še rekrut. 5-7 scenarijev za 20 bank pomeni, da morate pridobiti vsaj 140 anketirancev. In potem, če se na eni osebi testira več kot ena banka
Stroški enega takega anketiranca se gibljejo med 5-10 tisoč rubljev, obstaja jasna odvisnost od portreta, recimo, posamezen podjetnik bo stal precej poceni, 5 tisoč, vendar bo portret podjetnika izvoznika z valutnim nadzorom stal približno 13 tisoč.
Skupaj je 140 ljudi, ki jim je treba plačati za sodelovanje v študiji. Ocenimo najenostavnejši in najcenejši scenarij, 5000 rubljev na anketiranca, in dobili bomo nenavideznih 700 rubljev. Vsaj da. Običajno se ta številka približa 000. Čas je, da odprete svojo agencijo za zaposlovanje :)
In to samo za glavne primere uporabe banke. Poleg denarja obstaja še dragocenejši vir - čas. Zapravlja se tudi s tako velikim kupom na vrhu. Lahko opraviš teste s 30 anketiranci in ne znoriš v 2 tednih. Če želite ohraniti kakovost intervjujev, je na mesec običajno približno 60 srečanj. 140 ljudi = 2,5 človek-meseca.
Po vseh anketirancih morate porabiti še približno 2 meseca, da informacije spravite v prebavljivo obliko - prepišete rezultate, izvedete analizo in združevanje, naredite lepo predstavitev in ne končne Excelove datoteke s kupom vrstic.
Na splošno se izkaže, da je približno 4 mesece dela in 2-3 milijone rubljev, ob upoštevanju vseh stroškov v tem obdobju. In davkov še nismo izračunali. In glede na to, da doslej še nikomur ni uspelo zaslužiti s samimi raziskavami, ta model očitno ne izgleda najbolj dobičkonosen. Če seveda ne zaslužite s samim rangiranjem in uvrstitvami nanj namesto z raziskovanjem.
Kvantitativne in kvalitativne raziskave, funkcionalna analiza
Predstavitve MW so približno 60 % namenjene funkcionalni analizi in 40 % uporabnosti. Poleg tega je koncept "funkcionalne analize" v primeru takih študij preprosto kontrolni seznam za prisotnost določenih funkcij. Usedeš se, napišeš seznam funkcij - torej mora biti običajno plačilo, plus plačilo na podlagi fotografije, pa tudi iz datoteke, preverjanje nasprotne stranke, zadnjih nasprotnih strank ali plačil in tako naprej. Nato opravite analizo in preverite, ali so funkcije s seznama tam ali ne. Če obstaja, super, označite plus v oceni. Če ne, no, razumete.
Zveni logično. Ampak, žal, gre za dejstvo, da je plus in kljukica pri takšnem testiranju preprosto prisotnost funkcije na seznamu in ne njena kakovost ali splošna potreba po uporabniku. Tako so mobilne aplikacije začele drseti proti temu, da vase stlačijo vse, da bi dosegle oceno, in ne tistega, kar uporabnik potrebuje. No, tako ima Yandex.Phone dvojno kamero. Obstaja, vendar pravijo, da ne deluje. Ampak obstaja. Skupaj se izkaže, da je 60% pomena takšne ocene preprosto sama kljukica, ne glede na to, ali je funkcija tam ali ne. In ne, kako priročno je in kako potrebno za uporabnika.
Poleg funkcionalne analize obstajajo tudi kvantitativne in kvalitativne študije.
Kvantitativne študije uporabnosti bodo zelo koristne, če želite izvajati teste v toku. Rekrutiraš več anketirancev, jih popelješ skozi vmesnik aplikacije, jim daš osnovne naloge in na koncu preprosto vprašaš, kako je na splošno in kakšne težave so bile.
Kakovosten test uporabnosti je veliko težji - izluščiti morate percepcijo celotnega procesa in dobesedno vseh elementov v procesu z metodo . Vse misli in vprašanja, ki jih imajo ljudje, vsa besedila in elementi, ki so jim nerazumljivi. In vsi temeljni vzroki - zakaj ni jasno, kako pričakujete, da bo poimenovano in katero besedo imate v glavi?
Če poznate temeljne vzroke zaznave, ne rečete samo:
Ljudje ga niso našli - nenavadna postavitev.
Ali razumete, kako spremeniti:
Uporabnik ne išče tega elementa na dnu, kot smo ga postavili, ampak v zgornjem desnem kotu zaslona. Išče po besedi »Išči« in imamo »Enter«, išče ikono povečevalnega stekla in imamo gumb »Išči«.
Če povzamemo, po kvantitativnem preizkusu uporabnosti boste na koncu dobili seznam težav v najbolj splošni obliki. Recimo, "Uporabnik ni mogel najti iskanja." Zakaj ga nisi obvladal? Ampak preprosto nisem obvladal - ta test ne bo dal odgovora.
In po preizkusu kakovosti boste imeli tako težavo kot vzrok zanjo. V primeru iskanja boste imeli skript, uporabnik vam bo natančno povedal, kako je iskal iskalnik, katere elemente je pričakoval, da bo videl in kje, katere besede so mu padle na misel, ko ni našel iskanja itd.
Ko imate glavni vzrok težave in njen podroben opis, lahko že nekaj popravite, spremenite vmesnik tako, da bo ustrezal pričakovanjem uporabnikov in rešil težave, ki jih imajo.
Seveda so kakovostne dražje. Namesto naloge in vprašalnika morate usposobiti osebo, ki bo izvajala tovrstne teste. Vzemite osebo s pravim predznanjem in ji predstavite področje, ki ga raziskujete. To traja približno 3-6 mesecev. Na trgu je le nekaj pripravljenih specialistov – torej praktično nobenega.
Toda tudi če bodo vsi ti testi normalno opravljeni, bomo dobili naslednjo situacijo - država ne ve, kaj bi s temi študijami in poročili. Trg to še vedno obravnava kot nekakšno efemerno entiteto, verjamejo, da kupujejo samo predstavitev in ne rešitve problema.
Ker se je izkazalo: banka je naročila testiranje, v odgovor prejela nekakšno površno predstavitev, za katero ni bilo jasno, kako jo uporabiti ali pa "smo vse to vedeli sami." Kaj je naslednje? Nič hudega, daj ga na mizo in bodi vesel, da obstaja. Ker ljudje ne vedo, kaj narediti s to predstavitvijo, kako z njo izboljšati produkt, kako v njej opisana spoznanja spremeniti v nove vmesnike, ki ne bodo več tako problematični. Če ne podate globine in temeljnih vzrokov težav, potem ne boste razumeli, kako delati s težavami.
Je res vse žalostno?
Na splošno je zelo žalostno, da, vendar to ne pomeni, da situacije ni mogoče popraviti. Naš cilj je bil dobro raziskati stvari, o katerih smo že imeli dobro strokovno znanje. Na primer o delovanju plačil v aplikaciji, imeli smo določene statistike o tem. Želeli smo vzeti glavne scenarije in jih ne samo preveriti za Da ali Ne, ampak natančno razumeti, kakšne težave imajo ljudje, v katerih fazah in na splošno, zakaj se pojavijo.
Porazdelitev po glavnih scenarijih pravnih oseb
To je lahko skupek ovir, ki ni veliko odvisen od banke same, le ljudem ni najbolj jasen prikaz neke funkcije.
In seveda smo želeli narediti celovito študijo, ne pa primerjati nekaj bank med seboj. Verjeli smo, da lahko potem te podrobne študije prodamo in hkrati testiramo splošno povpraševanje po njih.
Seveda je naša prva palačinka prišla ven z nekaj grudicami.
Še vedno smo poskušali vzeti vse scenarije in jih pregledati z enim anketirancem. Spoiler opozorilo - preživel je. Morda zdaj veliko redkeje uporablja bančne aplikacije. Smo pa še enkrat potrdili tezo, da je treba po uri in pol vse ugasniti in zagnati drugo. Zato smo od poglobljenega testiranja vseh funkcij prešli na opazovanje, kako ljudje najdejo določene funkcije, na kaj so pozorni in kako zaznavajo strukturo glavne strani.
Distribucija z uporabo platform s strani posameznikov
Ko preizkušate bančne aplikacije, jih ne morete kar zagnati v gostujočem načinu in delati zaključkov. Morate imeti vsaj bančni račun, da razumete, kako tam vse deluje. Toda v primeru banke potrebujejo podjetniki živ račun, z zgodovino, s podjetjem, ki je tam ustanovljeno. Če preizkušate še valutno kontrolo in druge radosti, boste potrebovali devizne račune in malo Afobazola. Stanje ne sme biti prazno, zgodovina transakcij mora biti resnejša od "Prenesla bom 200 rubljev s svojega računa na svoj račun, poglejmo, kako bo."
Mislili smo, da bo registracija računov v vseh bankah, ki smo jih raziskovali, in prenos denarja nanje dokaj hitra naloga.
Včasih se je vse skupaj zavleklo tudi po par tednov. S strani bank ja. In testirali smo tudi 5 bank, a bi jih bilo 20?
Vendar smo lahko sami razumeli porazdelitev glavnih funkcij in število nekaterih izoliranih in nepriljubljenih. Zato smo šli od prve palačinke do druge vožnje z bolj izpopolnjeno metodologijo. Ekipi se je pridružil tudi oblikovalec, ki je same predstavitve dvignil na novo raven. To je res bolj pomembno, kot se zdi, ko predstavite takšne informacije.
Rezultat dela je bila predstavitev 100+ diapozitivov. Ko smo delali študijo o štirih bankah za fizične osebe, tega nismo prodali. A prvo študijo, o bankah za podjetnike, so prodali, da bi videli, kako je načeloma zanimiva za trg. To so pri nas kupili 7x (banke iz top 5 in več podjetij, ki so prodajala razvoj in dizajn bankam), reklame razen objav na Facebooku nismo dali.
- Ampak sami ste napisali, da je to zanesljiva pot v minus!
Odličen način, da, če samo raziskujete. Denar služimo predvsem z oblikovanjem in inženiringom.
Raziskovanje je za nas priložnost za oblikovanje trga, saj ga, kot vidite, skoraj ni. Pogosto so nas spraševali, češ, zakaj vi, fantje, dajete takšno stvar na voljo brezplačno, ali ni vredno tega denarja? Toda zahvaljujoč temu lahko skupnosti pokažemo, kakšne so lahko raziskave. Če si želite ogledati vzorec takih študij, jih morate kupiti. No, ali vprašajte osebo, ki jo je kupila.
Objavljamo jih kar tako. Da tudi trg razume, kaj so raziskave. Da lahko stranke, ki naročajo raziskave drugje, vsaj z nečim primerjajo in potrdijo kakovost tega, kar jim prodajajo druga podjetja. Tako da se pojavi skupno razumevanje - raziskave so lahko kakovostne in od njih lahko dobite korist in razumete, kaj z njimi narediti naprej. Pravzaprav smo malo užaljeni, da je izobraževalni del v raziskovalnem smislu pri nas žalosten. Zato se zaenkrat trudimo spremeniti situacijo tako - z ustvarjanjem razumevanja, da lahko dosežeš boljši rezultat
In poleg izobraževalnega vidika je takšna raziskava in njena objava dobra priložnost za pridobivanje potencialnih strank. In tu prednost ni le v tem, da stranke pridejo k nam. Pred kratkim so na podlagi ene od naših objav začeli izdelovati prototip banke iz najboljših 3. Še pred nekaj leti bi si res mislili – hudiča, zlizali smo svojo temo in šli delat nekaj svojega.
In zdaj si mislimo – kul, poslušajo nas in se resnično trudijo narediti izdelke boljše in bližje uporabniku. Zato bomo nadaljevali s tovrstnimi raziskavami, kvalitativno testirali posamezne semantične bloke aplikacij in ne le celotnega produkta kot celote po nekem kontrolnem seznamu.
Znotraj ekipe nam to daje več strokovnega znanja – ne da hodimo v temi, ampak da razumemo, kako se spreminjajo glavni scenariji in potrebe ljudi (in spremenijo se v 1-2 letih, predstavljajte si). In potem, ko preučuješ odpiranje bančnega računa za podjetnike 3-4 krat v 2 letih, dobiš predstavo o idealnem procesu, kakšen bi lahko bil pod trenutnimi tehničnimi omejitvami.
In situacija, kot je "želel sem biti vključen v oceno - plačal sem za oceno - prišel sem v oceno", je še vedno postala dolgočasna. In potreba po novi oceni na podlagi kakovosti izdelkov je že zrela.
In za tiste, ki preberete članek do konca, sta tukaj dve povezavi do и
Vir: www.habr.com