Folk elsker vurderinger. Hvor mange applikationer, spil og andre ting er der allerede lavet i navnet på en persons ønske om at være på en liste et par linjer højere end en anden. Eller end en konkurrent f.eks. Folk opnår placeringer på ranglisten på forskellige måder, afhængigt af deres motivation og moralske karakter. Nogle vil forsøge at blive bedre og ærligt flytte fra #142 til #139, mens andre vil beslutte at tjene penge og gladeligt tage #21 (fordi top 20 har bragt endnu flere ind).
Det er stort set det samme med virksomheder. I dag vil vi tale om banker og de vurderinger, som disse banker stræber efter at komme ind på. I dette indlæg vil jeg fortælle om de generelle problemer med forskning, som vi har i landet, den praktiske forskel på kvantitativ og kvalitativ testning, og hvordan vi har forsøgt at rette op på den nuværende situation.
Og i slutningen af artiklen er der en overraskelse.
Det hele startede, da vi for et år siden begyndte at teste fem banker for juridiske enheder, idet vi valgte et par stilfulde unge (Modulbank og Tinkoff Bank) og tre klassiske (VTB, Raiffeisenbank og Promsvyazbank). Men først lidt materiel.
Bankvurderinger i Den Russiske Føderation
Der er en del aktører på markedet, som laver usability ratings for bankbranchen. Nemlig to - Markswebb og USBILITYLAB.
Og det viste sig, at MW og UL nu er blevet en slags KPI. På den ene side er dette godt, da selve tilstedeværelsen af i det mindste noget konkurrencedygtigt sætter den generelle bevægelse i et marked, der er ret langsomt i denne henseende. På den anden side handler det hele mest om funktionsanalyse. Og motivationen her fra banktoppens side er ikke længere at lave et fantastisk produkt, der vil tage fart og bringe en masse fordele for brugerne, takket være hvilket det vil tage en plads i ranglisten, men blot at være i ranglisten .
Din bank er i vurderingen = du opfyldte KPI'er = du modtog en bonus. Plus, holdet ser ud til at kunne lide dig, du hjalp banken med at komme ind i vurderingen. For nogle kradser dette virkelig kløen. Generelt, hvem ved hvad, men motivation i det store og hele er den slags "bonusser" af forskellig art, og ikke en bevægelse i retning af at forbedre produktet.
Og her, med hensyn til betydningen af sådanne vurderinger for markedet, er det vigtigt at forstå en ting mere. Omkring 98 % af brugere af bankapps kender slet ikke til disse vurderinger. De er ærligt talt ligeglade. Disse vurderinger er specifikt til ledere og ledelse. De resterende 2 % kender til vurderinger, men betragter dem som et salgsargument. Vi testede engang bankwebsteder med disse tegn om førstepladser.
Folk vælger ikke en bank til forretning baseret på, om bankens hjemmeside har et skilt med logoet for en bestemt rating eller ej. Det er nemmere for en person at ringe til venner eller på Facebook, der bruger hvilken bank og hvad de er glade/utilfredse med, og begrænse sig til dette i forhold til social kapital.
Lad os starte med at lave en vurdering. For at oprette en rating skal du foretage research, og her er alt normalt begrænset til at undersøge en specifik funktion, for eksempel at teste valutakontrol.
Og forskning koster penge, ganske betydelige penge. For at gøre dette effektivt skal du investere godt - et portræt af en iværksætter til test koster mere end den gennemsnitlige bruger. Derfor pådrager virksomheder, der forsøger at bygge deres indtægter kun på forskning som deres hoved- og eneste aktivitet, betydelige omkostninger. På trods af, at vores forskningsmarked er næsten tomt: dette undervises ikke på universiteter, det undervises ikke i skolerne.
I øvrigt om penge, så tallene er klare. Lad os sige, at vi har 20 banker i vores rating. Hver person skal undersøge de 7 bedste funktioner og scenarier og bruge cirka 1,5 times tid. Det giver ingen mening at udføre en test på én respondent i længere tid, fordi halvanden time er grænsen, hvorefter opmærksomheden allerede forsvinder, og folk bliver simpelthen trætte og begynder at svare på hvad som helst, bare for hurtigt at tage en snack og til sidst trække vejret ud.
Så her er det. Det er svært og tidskrævende at rekruttere folk fra bankens database til sådan forskning, så det eneste, der er tilbage, er en rekrut. 5-7 scenarier for 20 banker betyder, at du skal rekruttere mindst 140 respondenter. Og så, hvis mere end én bank testes på én person
Omkostningerne ved en sådan respondent varierer mellem 5-10 tusind rubler, der er en klar afhængighed af portrættet, for eksempel vil en enkelt individuel iværksætter koste ganske billigt, 5 tusind. Men et portræt af en eksporterende iværksætter med valutakontrol vil koste ca. 13 tusind.
I alt er der 140 personer, der skal betales for at deltage i undersøgelsen. Lad os anslå det enkleste og billigste scenarie, 5000 rubler pr. respondent, og vi vil få en ikke-illusorisk 700 rubler. Som minimum, ja. Normalt nærmer dette tal sig 000. Det er tid til at åbne dit eget rekrutteringsbureau :)
Og dette er kun til bankens hovedbrug. Udover penge er der en mere værdifuld ressource - tid. Det er også spildt med sådan en stor bunke ovenpå. Du kan udføre test med 30 respondenter og ikke gå amok på 2 uger. En måned resulterer normalt i omkring 60 møder, hvis man vil bevare kvaliteten af samtalerne. 140 personer = 2,5 mandmåneder.
Efter alle respondenterne skal du bruge cirka 2 måneder mere på at bringe informationen i en fordøjelig form - transskriber resultaterne, foretag analyse og gruppering, lav en smuk præsentation og ikke en endelig Excel-fil med en masse linjer.
Generelt viser det sig at være cirka 4 måneders arbejde og 2-3 millioner rubler, under hensyntagen til alle omkostningerne i denne periode. Og vi har ikke beregnet skat endnu. Og set i lyset af, at ingen hidtil har formået at tjene penge på selve forskningen, ligner denne model naturligvis ikke den mest rentable. Hvis du ikke tjener penge på selve rangeringen og placeringer i den i stedet for forskning, selvfølgelig.
Kvantitativ og kvalitativ forskning, funktionsanalyse
MW-præsentationer handler cirka 60 % om funktionsanalyse og 40 % om brugervenlighed. Desuden er begrebet "funktionel analyse" i tilfælde af sådanne undersøgelser blot en tjekliste for tilstedeværelsen af visse funktioner. Du sætter dig ned, skriver en liste over funktioner - så der skulle være en normal betaling, plus en betaling baseret på et billede, og også fra en fil, tjekke modparten, de seneste modparter eller betalinger, og så videre. Derefter foretager du en analyse og tjekker, om funktionerne fra listen er der eller ej. Hvis der er, fantastisk, sæt et kryds, plus i vurderingen. Hvis ikke, så forstår du.
Lyder logisk. Men desværre kommer det ned til det faktum, at et plus og et flueben i en sådan test blot er tilstedeværelsen af en funktion på listen, og ikke dens kvalitet eller generelle nødvendighed for brugeren. Så mobile applikationer begyndte at glide mod at proppe alt ind i sig selv for at opfylde vurderingen, og ikke hvad brugeren har brug for. Nå, det er sådan Yandex.Phone har et dobbelt kamera. Det findes, men de siger, at det ikke virker. Men der er. I alt viser det sig, at 60 % af betydningen af en sådan vurdering blot er selve fluebenet, uanset om funktionen er der eller ej. Og ikke hvor praktisk det er, og hvor nødvendigt det er for brugeren.
Udover funktionsanalyse er der også kvantitative og kvalitative undersøgelser.
Kvantitative usability-studier vil være meget nyttige, hvis du vil køre test på flowet. Du rekrutterer flere respondenter, kører dem gennem applikationsgrænsefladen, giver dem grundlæggende opgaver og spørger til sidst blot, hvordan det er generelt, og hvilke problemer der var.
En brugbarhedstest af høj kvalitet er meget vanskeligere - du skal tegne opfattelsen af hele processen og bogstaveligt talt alle elementer i processen ved hjælp af metoden . Alle de tanker og spørgsmål, som folk har, alle de tekster og elementer, der er uforståelige for dem. Og alle de grundlæggende årsager - hvorfor er det ikke klart, hvordan forventer du, at det bliver navngivet, og hvilket ord holder du i dit hoved?
Når du kender de grundlæggende årsager til opfattelsen, siger du ikke bare:
Folk fandt det ikke - usædvanlig placering.
Forstår du, hvordan du ændrer:
Brugeren leder efter dette element ikke i bunden, som vi placerede det, men i øverste højre hjørne af skærmen. Søger med ordet "Søg", og vi har "Enter", søger efter et forstørrelsesglasikon, og vi har en "Søg"-knap.
For at opsummere vil du efter en kvantitativ usability-test ende med en liste over problemer i dens mest generelle form. Lad os sige, "Brugeren kunne ikke finde søgningen." Hvorfor mestrede du det ikke? Men jeg mestrede det bare ikke - denne test vil ikke give et svar.
Og efter en kvalitetstest har du både problemet og dens grundlæggende årsag. I tilfælde af Search vil du have et script, brugeren vil fortælle dig præcis, hvordan han søgte efter Search, hvilke elementer han forventede at se og hvor, hvilke ord, der kom til ham, da han ikke fandt Search, og så videre.
Når du har fået hovedårsagen til problemet og dets detaljerede beskrivelse, kan du allerede rette noget, ændre grænsefladen, så den lever op til brugernes forventninger og løser de problemer, de har.
Kvaliteten er selvfølgelig dyrere. I stedet for en opgave og et spørgeskema skal du træne en person, der vil udføre sådanne tests. Tag en person med den rigtige baggrund og introducer ham til det område, du forsker i. Dette tager omkring 3-6 måneder. Der er kun få færdige specialister på markedet – det vil sige praktisk talt ingen.
Men selvom alle disse tests udføres normalt, vil vi få følgende situation - landet ved ikke, hvad det skal gøre med disse undersøgelser og rapporter. Markedet behandler stadig dette som en form for flygtig enhed; de tror, at de bare køber en præsentation og ikke en løsning på problemet.
Fordi det viser sig: banken bestilte test, modtog som svar en form for overfladisk præsentation, som det ikke var klart, hvordan man skulle anvende, eller "vi vidste alt dette selv." Hvad er det næste? Det er okay, læg det på bordet og vær glad for, at det findes. Fordi folk ikke ved, hvad de skal gøre med denne præsentation, hvordan de skal bruge den til at forbedre produktet, hvordan de kan omdanne resultaterne beskrevet i den til nye grænseflader, der ikke længere vil være så problematiske. Hvis du ikke giver dybden og de grundlæggende årsager til problemer, så vil du ikke forstå, hvordan du arbejder med problemer.
Er alt virkelig trist?
Generelt er det ret trist, ja, men det betyder ikke, at situationen ikke kan rettes. Vores mål var at lave god research på ting, som vi allerede havde god ekspertise i. For eksempel om driften af betalinger i applikationen havde vi visse statistikker på det. Vi ønskede at tage de vigtigste scenarier og ikke bare kontrollere dem for Ja eller Nej, men for at forstå præcis, hvilke problemer folk har, på hvilke stadier og generelt, hvorfor de opstår.
Fordeling efter hovedscenarier for juridiske enheder
Dette kan være et sæt barrierer, der ikke afhænger meget af banken selv; det er bare, at præsentationen af en eller anden funktion ikke er særlig klar for folk.
Og selvfølgelig ville vi lave en omfattende undersøgelse og ikke sammenligne et par banker med hinanden. Vi troede på, at vi så kunne sælge disse detaljerede undersøgelser, og samtidig teste den generelle efterspørgsel efter dem.
Selvfølgelig kom vores første pandekage ud med et par klumper.
Vi forsøgte stadig at tage alle scenarierne og gennemgå dem med én respondent. Spoiler alert - han overlevede. Måske bruger han nu bankapplikationer meget sjældnere. Men vi bekræftede endnu en gang tesen om, at efter halvanden time skal vi slukke for alt og starte et nyt. Derfor skiftede vi fra dyb test af alle funktioner til at se, hvordan folk finder bestemte funktioner, hvad de er opmærksomme på, og hvordan de opfatter hovedsidens struktur.
Distribution ved brug af platforme af enkeltpersoner
Når du tester bankapplikationer, kan du ikke bare køre dem i gæstetilstand og drage konklusioner. Du skal i det mindste have en bankkonto for at forstå, hvordan alt fungerer der. Men i tilfælde af en bank har iværksættere brug for en levende konto, med en historie, med en virksomhed etableret der. Hvis du også tester valutakontrol og andre glæder, skal du bruge udenlandske valutakonti og lidt Afobazole. Saldoen må ikke være tom, transaktionshistorikken skal være mere seriøs end "Jeg overfører 200 rubler fra min konto til min konto, lad os se, hvordan det går."
Vi troede, at det ville være en ret hurtig opgave at registrere konti i alle de banker, vi undersøgte, og overføre penge til dem.
Nogle gange trak alt ud i et par uger. Fra bankernes side, ja. Og vi testede også 5 banker, men ville der have været 20 af dem?
Men vi var i stand til selv at forstå fordelingen af hovedfunktionerne og antallet af nogle isolerede og upopulære. Derfor gik vi fra den første pandekage til den anden kørsel med en mere raffineret metode. En designer sluttede sig også til holdet, som bragte selve præsentationerne til et nyt niveau. Dette er virkelig vigtigere, end det ser ud til, når du præsenterer sådanne oplysninger.
Resultatet af arbejdet blev en præsentation af 100+ slides. Da vi lavede en undersøgelse af fire banker for enkeltpersoner, solgte vi den ikke. Men den første undersøgelse, om banker for iværksættere, blev solgt for at se, hvor interessant den i princippet var for markedet. De købte dette af os 7 gange (banker fra top 5 og flere virksomheder, der solgte udvikling og design til banker), vi leverede ikke andre annoncer end opslag på Facebook.
- Men du skrev selv, at det er en sikker måde at gå i minus!
En fantastisk måde, ja, hvis du bare laver research. Vi tjener primært penge gennem design og teknik.
Research for os er en mulighed for at forme markedet, for som du kan se, er der næsten ingen. Vi blev ofte spurgt, siger de, hvorfor stiller I sådan noget gratis til rådighed, er det ikke pengene værd? Men takket være dette kan vi vise samfundet, hvordan forskning faktisk kan være. Nu, bare for at se et udsnit af sådanne undersøgelser, skal du købe dem. Nå, eller spørg den person, der har købt den.
Vi udgiver dem bare sådan. Så markedet også forstår, hvad forskning er. Så kunder, der bestiller forskning andre steder, i det mindste kan sammenligne med noget og validere kvaliteten af det, andre virksomheder sælger dem. Så der opstår en fælles forståelse - forskning kan være af høj kvalitet, og af den kan man få udbytte og forstå, hvad man så skal med den. Vi er faktisk lidt fornærmede over, at den uddannelsesmæssige del forskningsmæssigt i vores land er trist. Derfor forsøger vi indtil videre at ændre situationen sådan – ved at skabe forståelse for, at man kan få et bedre resultat
Og udover det uddannelsesmæssige aspekt er sådan forskning og dens udgivelse en god mulighed for at generere leads. Og her er fordelen ikke kun, at kunderne kommer til os. For nylig, baseret på et af vores indlæg, begyndte de at lave prototyper af en bank fra top 3. For bare et par år siden ville vi virkelig have tænkt - for pokker, vi slikkede vores tema og gik for at lave noget af vores eget.
Og nu tænker vi – fedt, de lytter til os, og forsøger virkelig at gøre produkterne bedre og tættere på brugeren. Derfor vil vi fortsætte med at lave sådan forskning, kvalitativt teste individuelle semantiske blokke af applikationer, og ikke kun hele produktet som helhed ifølge en eller anden tjekliste.
Inden for teamet giver dette os øget ekspertise - ikke til at gå i mørket, men for at forstå, hvordan de vigtigste scenarier og behov hos mennesker ændrer sig (og de ændrer sig på 1-2 år, forestil dig). Og så, når du studerer at åbne en bankkonto for iværksættere 3-4 gange på 2 år, får du en idé om den ideelle proces, hvad det kunne være under de nuværende tekniske begrænsninger.
Og situationen som "Jeg ville være inkluderet i vurderingen - jeg betalte for vurderingen - jeg kom ind i vurderingen" blev stadig kedelig. Og behovet for en ny vurdering baseret på produktkvalitet er allerede modent.
Og for dem, der læser til slutningen af artiklen, er her to links til и
Kilde: www.habr.com