Folk elsker vurderinger. Hvor mange applikasjoner, spill og andre ting har allerede blitt laget i navnet til en persons ønske om å være på en liste et par linjer høyere enn noen andre. Eller enn en konkurrent, for eksempel. Folk oppnår plasseringer i rangeringen på forskjellige måter, avhengig av motivasjon og moralsk karakter. Noen vil prøve å bli bedre og ærlig gå fra #142 til #139, mens andre vil bestemme seg for å tjene penger og gjerne ta #21 (fordi de 20 beste har hentet inn enda flere).
Det er stort sett det samme med selskaper. I dag skal vi snakke om bankene og vurderingene som disse bankene streber etter å komme inn i. I dette innlegget vil jeg snakke om de generelle problemene med forskning som vi har i landet, den praktiske forskjellen mellom kvantitativ og kvalitativ testing, og hvordan vi har forsøkt å rette opp dagens situasjon.
Og på slutten av artikkelen er det en overraskelse.
Det hele startet da vi for et år siden begynte å teste fem banker for juridiske enheter, og valgte et par stilige ungdomsbanker (Modulbank og Tinkoff Bank) og tre klassiske (VTB, Raiffeisenbank og Promsvyazbank). Men først litt materiell.
Bankvurderinger i den russiske føderasjonen
Det er ganske mange aktører på markedet som gjør brukervennlighetsvurderinger for bankbransjen. Nemlig to - Markswebb og USBILITYLAB.
Og det viste seg at MW og UL nå er blitt en slags KPI. På den ene siden er dette bra, siden selve tilstedeværelsen av i det minste noe konkurransedyktig setter den generelle bevegelsen i et marked som er ganske tregt i denne forbindelse. På den annen side handler det mest om funksjonell analyse. Og motivasjonen her fra banktoppene er ikke lenger å lage et fantastisk produkt som vil ta av og bringe mange fordeler for brukerne, takket være det vil det ta en plass i rangeringen, men å bare være i rangeringen .
Banken din er i vurderingen = du oppfylte KPIer = du mottok en bonus. I tillegg ser det ut til at teamet liker deg, du hjalp banken med å komme inn i vurderingen. For noen klør dette virkelig kløen. Generelt, hvem vet hva, men motivasjon, i det store og hele, er denne typen "bonuser" av ulike slag, og ikke en bevegelse mot å forbedre produktet.
Og her, med tanke på betydningen av slike vurderinger for markedet, er det viktig å forstå en ting til. Omtrent 98 % av brukere av bankapper vet ikke om disse vurderingene i det hele tatt. De bryr seg ærlig talt ikke. Disse vurderingene er spesifikt for ledere og ledelse. De resterende 2 % vet om vurderinger, men anser dem som et salgsargument. Vi testet en gang banknettsteder med disse skiltene om førsteplasser.
Folk velger ikke en bank for virksomhet basert på om bankens nettside har et skilt med logoen til en bestemt vurdering eller ikke. Det er lettere for en person å ringe til venner eller på Facebook som bruker hvilken bank og hva de er fornøyd/misfornøyd med, og begrense seg til dette i form av sosial kapital.
La oss starte med å lage en vurdering. For å lage en rating, må du utføre research, og her er vanligvis alt begrenset til å undersøke én spesifikk funksjon, for eksempel å teste valutakontroll.
Og forskning koster penger, ganske betydelige penger for det. For å gjøre dette effektivt, må du investere godt - et portrett av en gründer for testing koster mer enn gjennomsnittsbrukeren. Derfor pådrar bedrifter som prøver å bygge sine inntekter kun på forskning som sin viktigste og eneste aktivitet betydelige kostnader. Til tross for at forskningsmarkedet vårt er nesten tomt: dette undervises ikke på universiteter, det undervises ikke på skoler.
Forresten om penger, slik at tallene er klare. La oss si at vi har 20 banker i vurderingen vår. Hver person må undersøke de 7 beste funksjonene og scenariene, og bruke omtrent 1,5 timers tid. Det gir ingen mening å gjennomføre en test på en respondent i lengre tid, fordi halvannen time er grensen hvor oppmerksomheten allerede forsvinner, og folk blir rett og slett slitne og begynner å svare på hva som helst, bare for raskt å ta en matbit og til slutt puste ut .
Så her er det. Det er vanskelig og tidkrevende å rekruttere folk fra bankens database til slik forskning, så det eneste som gjenstår er en rekruttering. 5-7 scenarier for 20 banker betyr at du må rekruttere minst 140 respondenter. Og så, hvis mer enn én bank er testet på én person
Kostnaden for en slik respondent varierer mellom 5-10 tusen rubler, det er en klar avhengighet av portrettet, for eksempel vil en enkelt individuell gründer koste ganske billig, 5 tusen. Men et portrett av en eksporterende gründer med valutakontroll vil koste ca. 13 tusen.
Totalt er det 140 personer som må betales for å delta i studien. La oss anslå det enkleste og billigste scenariet, 5000 700 rubler per respondent, og vi vil få en ikke-illusorisk 000 1 rubler. I det minste, ja. Vanligvis nærmer dette tallet seg 400 000 XNUMX. Det er på tide å åpne ditt eget rekrutteringsbyrå :)
Og dette er bare for de viktigste brukstilfellene til banken. Foruten penger er det en mer verdifull ressurs - tid. Det er også bortkastet med en så stor haug på toppen. Du kan gjennomføre tester med 30 respondenter og ikke bli gal på 2 uker. En måned resulterer vanligvis i ca 60 møter dersom man ønsker å opprettholde kvaliteten på intervjuene. 140 personer = 2,5 månedsverk.
Etter alle respondentene må du bruke omtrent 2 måneder til på å bringe informasjonen til en fordøyelig form - transkribere resultatene, utfør analyser og gruppering, lag en vakker presentasjon, og ikke en endelig Excel-fil med en haug med linjer.
Generelt viser det seg å være omtrent 4 måneders arbeid og 2-3 millioner rubler, tatt i betraktning alle kostnadene i denne perioden. Og vi har ikke beregnet skatt ennå. Og gitt at så langt ingen har klart å tjene penger på selve forskningen, ser denne modellen åpenbart ikke ut som den mest lønnsomme. Hvis du ikke tjener penger på selve rangeringen og plasseringer i den i stedet for forskning, selvfølgelig.
Kvantitativ og kvalitativ forskning, funksjonsanalyse
MW-presentasjoner handler omtrent 60 % om funksjonsanalyse og 40 % om brukervennlighet. Dessuten er konseptet "funksjonell analyse" i tilfelle av slike studier ganske enkelt en sjekkliste for tilstedeværelsen av visse funksjoner. Du setter deg ned, skriver en liste over funksjoner - så det skal være en normal betaling, pluss en betaling basert på et bilde, og også fra en fil, sjekke motparten, de siste motpartene eller betalingene, og så videre. Deretter gjennomfører du en analyse og sjekker om funksjonene fra listen er der eller ikke. Hvis det er, flott, sett et hake, pluss i vurderingen. Hvis ikke, vel, du forstår.
Høres logisk ut. Men dessverre, det kommer ned til det faktum at et pluss og et hake ved slik testing ganske enkelt er tilstedeværelsen av en funksjon i listen, og ikke dens kvalitet eller generelle nødvendighet for brukeren. Så mobilapplikasjoner begynte å gli mot å stappe alt inn i seg selv for å møte vurderingen, og ikke hva brukeren trenger. Vel, det er slik Yandex.Phone har et dobbeltkamera. Det finnes, men de sier at det ikke fungerer. Men det er. Totalt viser det seg at 60 % av betydningen av en slik vurdering rett og slett er selve haken, enten funksjonen er der eller ikke. Og ikke hvor praktisk det er og hvor nødvendig det er for brukeren.
I tillegg til funksjonsanalyse finnes det også kvantitative og kvalitative studier.
Kvantitative brukervennlighetsstudier vil være svært nyttige hvis du ønsker å kjøre tester på flyten. Du rekrutterer flere respondenter, kjører dem gjennom applikasjonsgrensesnittet, gir dem grunnleggende oppgaver og til slutt spør du bare hvordan det er generelt og hvilke problemer det var.
En brukervennlighetstest av høy kvalitet er mye vanskeligere - du må trekke frem oppfatningen av hele prosessen og bokstavelig talt alle elementene i prosessen ved å bruke metoden . Alle tanker og spørsmål som folk har, alle tekster og elementer som er uforståelige for dem. Og alle grunnårsakene - hvorfor det ikke er klart, hvordan forventer du at det skal hete, og hvilket ord har du i hodet ditt?
Når du kjenner til grunnårsakene til persepsjon, sier du ikke bare:
Folk fant det ikke - uvanlig plassering.
Forstår du hvordan du endrer:
Brukeren ser etter dette elementet ikke nederst slik vi plasserte det, men i øvre høyre hjørne av skjermen. Søker med ordet "Søk", og vi har "Enter", søker etter et forstørrelsesglassikon, og vi har en "Søk"-knapp.
For å oppsummere, etter en kvantitativ brukervennlighetstest, vil du ende opp med en liste over problemer i sin mest generelle form. La oss si «Brukeren kunne ikke finne søket». Hvorfor mestret du det ikke? Men jeg mestret det bare ikke - denne testen vil ikke gi noe svar.
Og etter en kvalitetstest vil du ha både problemet og grunnårsaken. Når det gjelder Search, vil du ha et script, brukeren vil fortelle deg nøyaktig hvordan han søkte etter Search, hvilke elementer han forventet å se og hvor, hvilke ord som kom til ham da han ikke fant Search, og så videre.
Når du har rotårsaken til problemet og dens detaljerte beskrivelse, kan du allerede fikse noe, endre grensesnittet slik at det oppfyller brukernes forventninger og løser problemene de har.
Selvfølgelig er kvaliteter dyrere. I stedet for en oppgave og et spørreskjema, må du lære opp en person som skal gjennomføre slike tester. Ta en person med riktig bakgrunn og introduser ham til området du forsker på. Dette tar ca 3-6 måneder. Det er bare noen få ferdige spesialister på markedet – det vil si praktisk talt ingen.
Men selv om alle disse testene utføres normalt, vil vi få følgende situasjon - landet vet ikke hva det skal gjøre med disse studiene og rapportene. Markedet behandler fortsatt dette som en slags flyktig enhet; de tror at de bare kjøper en presentasjon, og ikke en løsning på problemet.
Fordi det viser seg: banken bestilte testing, mottok som svar en slags overfladisk presentasjon, som det ikke var klart hvordan man skulle bruke eller "vi visste alt dette selv." Hva blir det neste? Det er greit, legg det på bordet og vær glad for at det eksisterer. Fordi folk ikke vet hva de skal gjøre med denne presentasjonen, hvordan de skal bruke den til å forbedre produktet, hvordan de kan gjøre om funnene beskrevet i den til nye grensesnitt som ikke lenger vil være så problematiske. Hvis du ikke gir dybden og de grunnleggende årsakene til problemer, vil du ikke forstå hvordan du jobber med problemer.
Er alt virkelig trist?
Generelt er det ganske trist, ja, men dette betyr ikke at situasjonen ikke kan rettes opp. Målet vårt var å gjøre god research på ting som vi allerede hadde god kompetanse på. For eksempel, om driften av betalinger i applikasjonen, hadde vi viss statistikk på det. Vi ønsket å ta hovedscenarioene og ikke bare sjekke dem for "Ja eller Nei", men å forstå nøyaktig hvilke problemer folk har, på hvilke stadier og generelt hvorfor de oppstår.
Fordeling etter hovedscenarier for juridiske enheter
Dette kan være et sett med barrierer som ikke avhenger mye av banken selv; det er bare at presentasjonen av en funksjon ikke er veldig tydelig for folk.
Og selvfølgelig ønsket vi å gjøre en omfattende studie, og ikke sammenligne et par banker med hverandre. Vi trodde at vi da kunne selge disse detaljerte studiene, og samtidig teste den generelle etterspørselen etter dem.
Selvfølgelig kom vår første pannekake ut med et par klumper.
Vi prøvde likevel å ta alle scenariene og gå gjennom dem med én respondent. Spoileralarm - han overlevde. Kanskje nå bruker han bankapplikasjoner mye sjeldnere. Men vi bekreftet nok en gang tesen om at etter en og en halv time må vi slå av alt og starte en ny. Derfor byttet vi fra dyptesting av alle funksjoner til å se hvordan folk finner bestemte funksjoner, hva de legger merke til, og hvordan de oppfatter strukturen på hovedsiden.
Distribusjon ved bruk av plattformer av enkeltpersoner
Når du tester bankapplikasjoner, kan du ikke bare kjøre dem i gjestemodus og trekke konklusjoner. Du må i det minste ha en bankkonto for å forstå hvordan alt fungerer der. Men når det gjelder en bank, trenger gründere en levende konto, med en historie, med et selskap etablert der. Hvis du i tillegg tester valutakontroll og andre gleder, trenger du valutakontoer og litt Afobazol. Saldoen kan ikke være tom, transaksjonshistorikken må være mer seriøs enn "Jeg vil overføre 200 rubler fra kontoen min til kontoen min, la oss se hvordan det går."
Vi trodde det ville være en ganske rask oppgave å registrere kontoer i alle bankene vi undersøkte og overføre penger til dem.
Noen ganger trakk alt ut i et par uker. Fra bankenes side, ja. Og vi testet også 5 banker, men ville det vært 20 av dem?
Men vi var i stand til selv å forstå fordelingen av hovedfunksjonene og antallet isolerte og upopulære. Derfor gikk vi fra den første pannekaken til den andre kjøringen med en mer raffinert metodikk. En designer ble også med i teamet, som brakte selve presentasjonene til et nytt nivå. Dette er virkelig viktigere enn det ser ut til når du presenterer slik informasjon.
Resultatet av arbeidet ble en presentasjon av 100+ lysbilder. Da vi gjorde en studie på fire banker for enkeltpersoner, solgte vi den ikke. Men den første studien, om banker for gründere, ble solgt for å se hvor interessant den i prinsippet var for markedet. De kjøpte dette av oss 7 ganger (banker fra topp 5 og flere selskaper som solgte utvikling og design til banker), vi ga ingen annonsering annet enn innlegg på Facebook.
– Men du skrev selv at dette er en sikker måte å gå i minus på!
En fin måte, ja, hvis du bare driver med research. Vi tjener penger først og fremst gjennom design og engineering.
Forskning for oss er en mulighet til å forme markedet, for som du ser er det nesten ingen. Vi ble ofte spurt, sier de, hvorfor gjør dere noe slikt tilgjengelig gratis, er det ikke verdt pengene? Men takket være dette kan vi vise samfunnet hvordan forskning faktisk kan være. Nå, bare for å se et utvalg av slike studier, må du kjøpe dem. Vel, eller spør personen som kjøpte den.
Vi publiserer dem akkurat slik. Slik at markedet også forstår hva forskning er. Slik at kunder som bestiller forskning andre steder i det minste kan sammenligne med noe og validere kvaliteten på det andre selskaper selger dem. Slik at det oppstår en felles forståelse – forskning kan være av høy kvalitet, og av den kan du få utbytte og forstå hva du skal gjøre med den videre. Vi blir faktisk litt fornærmet over at den pedagogiske biten forskningsmessig i landet vårt er trist. Derfor prøver vi foreløpig å endre situasjonen slik – ved å skape en forståelse for at du kan få et bedre resultat
Og foruten det pedagogiske aspektet, er slik forskning og dens publisering en god mulighet til å generere potensielle kunder. Og her er fordelen ikke bare at kunder kommer til oss. Nylig, basert på et av innleggene våre, begynte de å lage prototyper for en bank fra topp 3. For bare noen få år siden ville vi virkelig ha tenkt - pokker, vi slikket temaet vårt og gikk for å gjøre noe eget.
Og nå tenker vi – kult, de lytter til oss, og prøver virkelig å gjøre produktene bedre og nærmere brukeren. Derfor vil vi fortsette å gjøre slik forskning, kvalitativt teste individuelle semantiske blokker av applikasjoner, og ikke bare hele produktet som helhet i henhold til en sjekkliste.
Innenfor teamet gir dette oss økt kompetanse – ikke for å gå i mørket, men for å forstå hvordan hovedscenariene og behovene til mennesker endrer seg (og de endrer seg på 1-2 år, tenk deg). Og så, når du studerer å åpne en bankkonto for gründere 3-4 ganger på 2 år, får du en ide om den ideelle prosessen, hva den kan være under de gjeldende tekniske begrensningene.
Og situasjonen som "Jeg ønsket å bli inkludert i vurderingen - jeg betalte for vurderingen - jeg kom inn i vurderingen" ble fortsatt kjedelig. Og behovet for en ny vurdering basert på produktkvalitet er allerede modent.
Og for de som leser til slutten av artikkelen, her er to linker til и
Kilde: www.habr.com