Ljudi vole ocjene. Koliko je aplikacija, igrica i ostalog već napravljeno u ime nečije želje da se nađe na nekoj listi par redova više od nekog drugog. Ili od konkurenta, na primjer. Ljudi na različite načine stiču mjesta na rang listi, ovisno o motivaciji i moralnom karakteru. Neki će pokušati da se poboljšaju i pošteno pređu sa #142 na #139, dok će drugi odlučiti da zarade novac i srećno zauzmu #21 (jer je 20 najboljih donelo još više).
Slično je i sa kompanijama. Danas ćemo govoriti o bankama i rejtingu u koji te banke nastoje ući. U ovom postu govoriću o opštim problemima istraživanja koje imamo u zemlji, o praktičnoj razlici između kvantitativnog i kvalitativnog testiranja io tome kako smo pokušali da ispravimo trenutnu situaciju.
I na kraju članka je iznenađenje.
Sve je počelo kada smo prije godinu dana počeli testirati pet banaka za pravna lica, birajući nekoliko modernih omladinskih (Modulbank i Tinkoff banka) i tri klasične (VTB, Raiffeisenbank i Promsvyazbank). Ali prvo, malo materijala.
Ocjene banaka u Ruskoj Federaciji
Na tržištu postoji dosta igrača koji ocjenjuju upotrebljivost za bankarsku industriju. Naime, dva - Markswebb i USABILITYLAB.
I pokazalo se da su MW i UL sada postali neka vrsta KPI. S jedne strane, to je dobro, jer samo prisustvo barem nečega konkurentnog postavlja opšte kretanje na tržištu koje je u tom pogledu prilično sporo. S druge strane, sve se uglavnom svodi na funkcionalnu analizu. A motivacija bankarskih vrhova ovdje više nije da naprave fenomenalan proizvod koji će se uzdići i donijeti mnogo pogodnosti korisnicima zahvaljujući kojima će zauzeti mjesto na rang listi, već jednostavno biti na rang listi .
Vaša banka je u rejtingu = ispunili ste KPI = dobili ste bonus. Osim toga, izgleda da te tim voli, pomogao si banci da uđe u rejting. Za neke, ovo zaista počeše svrab. Generalno, ko zna šta, ali motivacija su, uglavnom, ovakvi „bonusi“ raznih vrsta, a ne kretanje ka poboljšanju proizvoda.
I ovdje, u smislu značaja ovakvih ocjena za tržište, važno je razumjeti još jednu stvar. Oko 98% korisnika bankarskih aplikacija uopće ne zna za ove ocjene. Iskreno, nije ih briga. Ove ocjene su posebno za menadžere i menadžment. Preostalih 2% zna za ocjene, ali ih smatra prodajnom tačkom. Jednom smo testirali web stranice banaka sa ovim znakovima o prvim mjestima.
Ljudi ne biraju banku za poslovanje na osnovu toga da li web stranica banke ima znak sa logom određene ocjene ili ne. Čovjeku je lakše javiti se prijateljima ili na Facebooku ko koristi koju banku i čime je zadovoljan/nezadovoljan, i ograničiti se na to u smislu društvenog kapitala.
Počnimo sa kreiranjem ocjene. Da biste kreirali rejting, potrebno je provesti istraživanje, a ovdje je sve obično ograničeno na istraživanje jedne specifične funkcije, recimo, testiranje kontrole valute.
A istraživanje košta, i to prilično značajan novac. Da biste to učinili efikasno, potrebno je dobro uložiti - portret preduzetnika za testiranje košta više od prosječnog korisnika. Stoga kompanije koje nastoje graditi svoj prihod samo na istraživanju kao svojoj osnovnoj i jedinoj djelatnosti snose značajne troškove. Uprkos činjenici da je naše istraživačko tržište gotovo prazno: ovo se ne uči na univerzitetima, ne uči se u školama.
Inače, o novcu, da su brojke jasne. Recimo da imamo 20 banaka u našem rejtingu. Svaka osoba treba da istraži 7 najboljih funkcija i scenarija, trošeći otprilike 1,5 sat vremena. Nema smisla provoditi test na jednom ispitaniku duže, jer je sat i po granica nakon koje se pažnja već raspršuje, a ljudi se jednostavno umore i počnu odgovarati bilo šta, samo da brzo odu na užinu i konačno udahnu out.
Evo ga. Za takvo istraživanje je teško i dugotrajno regrutovati ljude iz baze podataka banke, tako da jedino što preostaje je regrut. 5-7 scenarija za 20 banaka znači da morate regrutovati najmanje 140 ispitanika. I onda, ako se više od jedne banke testira na jednoj osobi
Trošak jednog takvog ispitanika varira između 5-10 hiljada rubalja, postoji jasna ovisnost o portretu, recimo, pojedinačni poduzetnik će koštati prilično jeftino, 5 tisuća, ali portret poduzetnika izvoznika s kontrolom valute će koštati oko 13 hiljada.
Ukupno ima 140 ljudi kojima je potrebno platiti za učešće u studiji. Procijenimo najjednostavniji i najjeftiniji scenario, 5000 rubalja po ispitaniku, i dobićemo neiluzornih 700 rubalja. U najmanju ruku, da. Obično se ova brojka približava 000. Vrijeme je da otvorite vlastitu agenciju za zapošljavanje :)
I ovo je samo za glavne slučajeve upotrebe banke. Osim novca, postoji i vrijedniji resurs - vrijeme. Takođe se troši sa tako velikom gomilom na vrhu. Možete provesti testove sa 30 ispitanika i ne poludjeti za 2 sedmice. Mjesec obično rezultira oko 60 sastanaka ako želite zadržati kvalitet intervjua. 140 ljudi = 2,5 čovjekomjeseca.
Nakon svih ispitanika, potrebno je još oko 2 mjeseca da informacije dovedete u probavljivu formu - prepišete rezultate, izvršite analizu i grupisanje, napravite lijepu prezentaciju, a ne konačan Excel fajl sa gomilom redova.
Općenito, ispada otprilike 4 mjeseca rada i 2-3 miliona rubalja, uzimajući u obzir sve troškove tokom ovog perioda. I još nismo obračunali poreze. A s obzirom na to da do sada niko nije uspio da zaradi od samog istraživanja, ovaj model očito ne izgleda kao najisplativiji. Ako ne zaradite novac od samog rangiranja i mjesta na njemu umjesto istraživanja, naravno.
Kvantitativna i kvalitativna istraživanja, funkcionalna analiza
MW prezentacije su otprilike 60% o funkcionalnoj analizi i 40% o upotrebljivosti. Štaviše, koncept „funkcionalne analize“ u slučaju ovakvih studija je jednostavno kontrolna lista za prisustvo određenih funkcija. Sjednete, napišete spisak funkcija - znači, trebalo bi da postoji normalno plaćanje, plus plaćanje na osnovu fotografije, a takođe i iz fajla, provjeravanje druge ugovorne strane, najnovije druge ugovorne strane ili plaćanja i tako dalje. Zatim izvršite analizu i provjerite postoje li funkcije sa liste ili ne. Ako ima, odlično, stavite kvačicu, plus u ocjeni. Ako ne, dobro, razumete.
Zvuči logično. Ali, nažalost, svodi se na to da je plus i kvačica u takvom testiranju jednostavno prisustvo funkcije na listi, a ne njen kvalitet ili opšta potreba za korisnika. Tako su mobilne aplikacije počele kliziti ka trpanju svega u sebe kako bi zadovoljile ocjenu, a ne ono što korisniku treba. Pa, tako Yandex.Phone ima dvostruku kameru. Postoji, ali kažu da ne radi. Ali postoji. Ukupno, ispada da je 60% značaja takve ocjene jednostavno sama kvačica, bez obzira da li funkcija postoji ili ne. A ne koliko je to zgodno i koliko je potrebno korisniku.
Pored funkcionalne analize, postoje i kvantitativne i kvalitativne studije.
Kvantitativne studije upotrebljivosti bit će vrlo korisne ako želite pokrenuti testove toka. Regrutujete više ispitanika, prođete ih kroz interfejs aplikacije, zadate im osnovne zadatke i na kraju jednostavno pitate kako je uopšte i kakvi su problemi.
Kvalitetan test upotrebljivosti je mnogo teži - morate izvući percepciju cijelog procesa i doslovno svih elemenata u procesu pomoću metode . Sve misli i pitanja koja ljudi imaju, svi tekstovi i elementi koji su im nerazumljivi. I svi osnovni uzroci - zašto nije jasno, kako očekujete da će se nazvati i koju riječ držite u glavi?
Znajući korijenske uzroke percepcije, ne kažete samo:
Ljudi ga nisu pronašli - neobičan smještaj.
Da li razumete kako da promenite:
Korisnik ne traži ovaj element na dnu kako smo ga postavili, već u gornjem desnom uglu ekrana. Pretražuje po riječi “Search”, a imamo “Enter”, traži ikonu lupe i imamo dugme “Traži”.
Da rezimiramo, nakon kvantitativnog testa upotrebljivosti, na kraju ćete dobiti listu problema u najopštijem obliku. Recimo: "Korisnik nije mogao pronaći pretragu." Zašto to nisi savladao? Ali jednostavno nisam savladao - ovaj test neće dati odgovor.
A nakon testa kvaliteta, imat ćete i problem i njegov osnovni uzrok. U slučaju pretrage imaćete skriptu, korisnik će vam reći kako je tačno tražio Search, koje elemente je očekivao da vidi i gde, koje reči su mu pale na pamet kada nije pronašao Search i tako dalje.
Kada imate osnovni uzrok problema i njegov detaljan opis, već možete nešto popraviti, promijeniti sučelje tako da ispunjava očekivanja korisnika i rješava probleme koje imaju.
Naravno, kvalitetni su skuplji. Umjesto zadatka i upitnika, potrebno je obučiti osobu koja će provoditi takve testove. Uzmite osobu s pravom pozadinom i upoznajte je s područjem koje istražujete. To traje oko 3-6 mjeseci. Na tržištu postoji samo nekoliko gotovih stručnjaka – odnosno, praktično nijedan.
Ali čak i ako se svi ovi testovi izvode normalno, dobićemo sledeću situaciju – zemlja ne zna šta da radi sa ovim studijama i izveštajima. Tržište to još uvijek tretira kao neku vrstu efemernog entiteta, oni vjeruju da samo kupuju prezentaciju, a ne rješenje problema.
Jer ispada: banka je naručila testiranje, dobila kao odgovor nekakvu površnu prezentaciju, koju nije bilo jasno kako primijeniti ili “sve smo to i sami znali”. Šta je sledeće? U redu je, stavite na sto i radujte se što postoji. Zato što ljudi ne znaju šta da rade sa ovom prezentacijom, kako da je koriste za poboljšanje proizvoda, kako da pretoče nalaze opisane u njoj u nova sučelja koja više neće biti tako problematična. Ako ne date dubinu i osnovne uzroke problema, onda nećete razumjeti kako raditi s problemima.
Da li je sve zaista tužno?
Generalno, prilično je tužno, da, ali to ne znači da se situacija ne može ispraviti. Naš cilj je bio dobro istražiti stvari za koje smo već imali dobru stručnost. Na primjer, o funkcionisanju plaćanja u aplikaciji, imali smo određene statistike o njoj. Željeli smo da uzmemo glavne scenarije i ne samo da ih provjerimo za „Da ili Ne“, već da shvatimo tačno kakve probleme ljudi imaju, u kojim fazama i općenito, zašto se pojavljuju.
Distribucija po glavnim scenarijima pravnih lica
Ovo može biti skup prepreka koje ne zavise mnogo od same banke, samo prezentacija neke funkcije ljudima nije baš jasna.
I, naravno, željeli smo da uradimo sveobuhvatnu studiju, a ne da poredimo nekoliko banaka među sobom. Vjerovali smo da bismo tada mogli prodati ove detaljne studije, a istovremeno testirati opću potražnju za njima.
Naravno, naša prva palačinka je izašla sa par grudvica.
I dalje smo pokušali da uzmemo sve scenarije i da ih prođemo sa jednim ispitanikom. Spojler upozorenje - preživio je. Možda sada mnogo rjeđe koristi bankarske aplikacije. Ali još jednom smo potvrdili tezu da nakon sat i po treba sve ugasiti i pokrenuti novo. Stoga smo prešli sa dubinskog testiranja svih funkcija na to kako ljudi pronalaze određene funkcije, na šta obraćaju pažnju i kako percipiraju strukturu glavne stranice.
Distribucija korištenjem platformi od strane pojedinaca
Kada testirate bankarske aplikacije, ne možete ih samo pokrenuti u režimu za goste i izvući zaključke. Morate barem imati bankovni račun da biste razumjeli kako sve tamo funkcionira. Ali u slučaju banke, preduzetnicima je potreban životni račun, sa istorijom, sa firmom koja je tamo osnovana. Ako testirate i kontrolu valute i druge radosti, trebat će vam devizni računi i malo Afobazola. Stanje ne može biti prazno, istorija transakcija mora biti ozbiljnija od „Prebacit ću 200 rubalja sa svog računa na svoj račun, da vidimo kako će ići“.
Mislili smo da će registracija računa u svim bankama koje smo istraživali i prebacivanje novca na njih biti prilično brz zadatak.
Ponekad se sve odugovlači i po nekoliko sedmica. Sa strane banaka, da. I testirali smo 5 banaka, ali da li bi ih bilo 20?
Ali mogli smo sami razumjeti distribuciju glavnih funkcija i broj nekih izolovanih i nepopularnih. Stoga smo od prve palačinke prešli na drugu vožnju s rafiniranijom metodologijom. Timu se pridružio i dizajner koji je samu prezentaciju podigao na novi nivo. Ovo je zaista važnije nego što se čini kada iznosite takve informacije.
Rezultat rada bila je prezentacija od 100+ slajdova. Kada smo radili studiju o četiri banke za fizička lica, nismo je prodali. Ali prva studija, o bankama za preduzetnike, prodata je da se vidi koliko je to u principu interesantno tržištu. To su kupovali od nas 7 puta (banke iz top 5 i nekoliko kompanija koje su prodavale razvoj i dizajn bankama), nismo davali nikakvu reklamu osim postova na Facebooku.
- Ali sami ste napisali da je ovo siguran put za odlazak u minus!
Odličan način, da, ako samo istražujete. Zarađujemo prvenstveno kroz dizajn i inženjering.
Istraživanje je za nas prilika da oblikujemo tržište, jer ga, kao što vidite, gotovo da i nema. Često su nas pitali, kažu, zašto vi tako nešto dajete besplatno, zar nije vrijedno tog novca? Ali zahvaljujući tome, možemo pokazati zajednici kakva istraživanja zapravo mogu biti. Sada, samo da biste vidjeli uzorak takvih studija, morate ih kupiti. Pa, ili pitajte osobu koja ga je kupila.
Objavljujemo ih tek tako. Tako da i tržište razumije šta je istraživanje. Kako bi klijenti koji naruče istraživanje negdje drugdje mogli barem uporediti s nečim i potvrditi kvalitet onoga što im druge kompanije prodaju. Da bi došlo do zajedničkog razumijevanja – istraživanje može biti kvalitetno i od njega možete dobiti korist i razumijevanje šta dalje s njim raditi. Zapravo smo malo uvrijeđeni što je obrazovni dio u smislu istraživanja u našoj zemlji tužan. Stoga se za sada trudimo da ovako promijenimo situaciju – stvaranjem razumijevanja da možete postići bolji rezultat
I pored obrazovnog aspekta, takvo istraživanje i njegovo objavljivanje je dobra prilika za stvaranje potencijalnih klijenata. I tu prednost nije samo to što nam klijenti dolaze. Nedavno su, na osnovu jednog od naših postova, počeli da prave prototip banke iz prve 3. Prije samo nekoliko godina, zaista bismo pomislili – dovraga, polizali smo našu temu i otišli da radimo nešto svoje.
I sada mislimo – super, slušaju nas i zaista se trude da proizvode učine boljim i bližim korisniku. Stoga ćemo nastaviti s takvim istraživanjem, kvalitativno testirajući pojedine semantičke blokove aplikacija, a ne samo cijeli proizvod u cjelini prema nekoj kontrolnoj listi.
Unutar tima, to nam daje povećanu stručnost – ne da hodamo u mraku, već da razumijemo kako se mijenjaju glavni scenariji i potrebe ljudi (a mijenjaju se za 1-2 godine, zamislite). A onda, kada proučite otvaranje bankovnog računa za poduzetnike 3-4 puta u 2 godine, dobijete ideju o idealnom procesu, šta bi to moglo biti pod trenutnim tehničkim ograničenjima.
A situacija tipa „hteo sam da budem uvršten u rejting – platio sam rejting – ušao sam u rejting“ i dalje je dosadila. A potreba za novom ocjenom na temelju kvalitete proizvoda već je sazrela.
A za one koji su pročitali do kraja članka, evo dva linka za и
izvor: www.habr.com