Folk älskar betyg. Hur många applikationer, spel och andra saker har redan gjorts i namnet av en persons önskan att vara på någon lista ett par rader högre än någon annan. Eller än en konkurrent till exempel. Människor når platser i rankingen på olika sätt, beroende på deras motivation och moraliska karaktär. Vissa kommer att försöka bli bättre och ärligt flytta från #142 till #139, medan andra kommer att bestämma sig för att tjäna pengar och gärna ta #21 (eftersom de 20 bästa har tagit in ännu mer).
Det är ungefär samma sak med företag. Idag ska vi prata om banker och de betyg som dessa banker strävar efter att komma in i. I det här inlägget kommer jag att prata om de generella problem med forskning som vi har i landet, den praktiska skillnaden mellan kvantitativ och kvalitativ testning och hur vi har försökt rätta till nuläget.
Och i slutet av artikeln finns en överraskning.
Allt började när vi för ett år sedan började testa fem banker för juridiska personer och valde ett par snygga ungdomsbanker (Modulbank och Tinkoff Bank) och tre klassiska (VTB, Raiffeisenbank och Promsvyazbank). Men först lite materiel.
Bankbetyg i Ryska federationen
Det finns en hel del aktörer på marknaden som gör användbarhetsbetyg för bankbranschen. Nämligen två - Markswebb och USBILITYLAB.
Och det visade sig att MW och UL nu har blivit ett slags KPI. Å ena sidan är detta bra, eftersom själva närvaron av åtminstone något konkurrenskraftigt sätter den allmänna rörelsen på en marknad som är ganska långsam i detta avseende. Å andra sidan handlar det mest om funktionsanalys. Och motivationen här från banktopparnas sida är inte längre att göra en fantastisk produkt som kommer att ta fart och ge många fördelar för användarna, tack vare vilken den kommer att ta en plats i rankningen, utan att helt enkelt vara i rankingen .
Din bank är i betyget = du uppfyllde KPI:er = du fick en bonus. Dessutom verkar teamet gilla dig, du hjälpte banken att komma in i betyget. För vissa repar detta verkligen klådan. I allmänhet, vem vet vad, men motivation, i stort, är den här typen av "bonusar" av olika slag, och inte en rörelse mot att förbättra produkten.
Och här, när det gäller betydelsen av sådana betyg för marknaden, är det viktigt att förstå en sak till. Cirka 98 % av bankappanvändarna känner inte till dessa betyg alls. De bryr sig ärligt talat inte. Dessa betyg är specifikt för chefer och ledning. De återstående 2% känner till betyg, men anser dem vara ett försäljningsargument. Vi testade en gång bankwebbplatser med dessa skyltar om förstaplatser.
Människor väljer inte en bank för affärer baserat på om bankens webbplats har en skylt med logotypen för ett visst betyg eller inte. Det är lättare för en person att ringa till vänner eller på Facebook som använder vilken bank och vad de är nöjda/missnöjda med, och begränsa sig till detta när det gäller socialt kapital.
Låt oss börja med att skapa ett betyg. För att skapa ett betyg måste du göra research, och här är oftast allt begränsat till att undersöka en specifik funktion, till exempel att testa valutakontroll.
Och forskning kostar pengar, ganska betydande pengar för det. För att göra detta effektivt måste du investera väl - ett porträtt av en entreprenör för att testa kostar mer än den genomsnittliga användaren. Därför ådrar företag som försöker bygga sina intäkter enbart på forskning som sin huvudsakliga och enda verksamhet betydande kostnader. Trots att vår forskningsmarknad nästan är tom: detta lärs inte ut på universitet, det lärs inte ut i skolor.
Förresten om pengar, så att siffrorna är tydliga. Låt oss säga att vi har 20 banker i vårt betyg. Varje person måste undersöka de 7 bästa funktionerna och scenarierna och spendera cirka 1,5 timmars tid. Det är ingen mening att göra ett test på en respondent längre, eftersom en och en halv timme är gränsen efter vilken uppmärksamheten redan försvinner, och folk blir helt enkelt trötta och börjar svara på vad som helst, bara för att snabbt gå och äta ett mellanmål och slutligen andas ut. .
Så här är det. Det är svårt och tidskrävande att rekrytera personer från bankens databas för sådan forskning, så det enda som återstår är en rekrytering. 5-7 scenarier för 20 banker innebär att du behöver rekrytera minst 140 respondenter. Och sedan, om mer än en bank testas på en person
Kostnaden för en sådan respondent varierar mellan 5-10 tusen rubel, det finns ett tydligt beroende av porträttet, säg, en enskild entreprenör kommer att kosta ganska billigt, 5 tusen. Men ett porträtt av en exporterande entreprenör med valutakontroll kommer att kosta ca. 13 tusen.
Totalt är det 140 personer som behöver betalas för att delta i studien. Låt oss uppskatta det enklaste och billigaste scenariot, 5000 700 rubel per respondent, och vi kommer att få en icke-illusorisk 000 1 rubel. Åtminstone, ja. Vanligtvis närmar sig denna siffra 400 000 XNUMX. Det är dags att öppna din egen rekryteringsbyrå :)
Och detta är bara för bankens huvudsakliga användningsfall. Förutom pengar finns det en mer värdefull resurs - tid. Det är också bortkastat med en så stor hög ovanpå. Du kan genomföra tester med 30 respondenter och inte bli galen på 2 veckor. En månad brukar resultera i cirka 60 möten om man vill behålla kvaliteten på intervjuerna. 140 personer = 2,5 manmånader.
Efter alla respondenter måste du spendera cirka 2 månader till för att få informationen till en lättsmält form - transkribera resultaten, utför analys och gruppering, gör en vacker presentation och inte en slutlig Excel-fil med en massa rader.
I allmänhet visar det sig vara cirka 4 månaders arbete och 2-3 miljoner rubel, med hänsyn till alla kostnader under denna period. Och vi har inte räknat ut skatt än. Och med tanke på att ingen hittills lyckats tjäna pengar på själva forskningen så ser den här modellen uppenbarligen inte ut som den mest lönsamma. Om du inte tjänar pengar på själva rankningen och placeringar i den istället för forskning, förstås.
Kvantitativ och kvalitativ forskning, funktionsanalys
MW-presentationer handlar till ungefär 60 % om funktionsanalys och 40 % om användbarhet. Dessutom är begreppet "funktionsanalys" i fallet med sådana studier helt enkelt en checklista för förekomsten av vissa funktioner. Du sätter dig ner, skriver en lista med funktioner - så, det ska vara en normal betalning, plus en betalning baserad på ett foto, och även från en fil, kontrollera motparten, de senaste motparterna eller betalningarna, och så vidare. Sedan gör du en analys och kontrollerar om funktionerna från listan finns där eller inte. Om det finns, bra, sätt en bock, plus i betyget. Om inte, ja, du förstår.
Låter logiskt. Men tyvärr, det beror på det faktum att ett plus och en bock i sådana tester helt enkelt är närvaron av en funktion i listan, och inte dess kvalitet eller allmänna nödvändighet för användaren. Så mobilapplikationer började glida mot att proppa i sig allt för att möta betyget, och inte vad användaren behöver. Jo, det är så Yandex.Phone har en dubbel kamera. Det finns, men de säger att det inte fungerar. Men det är. Totalt visar det sig att 60 % av betydelsen av ett sådant betyg helt enkelt är själva bocken, oavsett om funktionen finns där eller inte. Och inte hur bekvämt det är och hur nödvändigt det är för användaren.
Utöver funktionsanalys finns även kvantitativa och kvalitativa studier.
Kvantitativa användbarhetsstudier kommer att vara mycket användbara om du vill köra tester på flödet. Du rekryterar fler respondenter, kör dem genom applikationsgränssnittet, ger dem grundläggande uppgifter och i slutet frågar du helt enkelt hur det är i allmänhet och vilka problem som fanns.
Ett högkvalitativt användbarhetstest är mycket svårare - du måste dra fram uppfattningen om hela processen och bokstavligen alla delar i processen med metoden . Alla tankar och frågor som människor har, alla texter och element som är obegripliga för dem. Och alla grundorsakerna - varför är det inte klart, hur förväntar du dig att det ska heta och vilket ord har du i huvudet?
När du känner till grundorsakerna till uppfattning, säger du inte bara:
Folk hittade det inte - ovanlig placering.
Förstår du hur du ändrar:
Användaren letar inte efter det här elementet längst ner när vi placerade det, utan i det övre högra hörnet av skärmen. Söker med ordet "Sök", och vi har "Enter", söker efter en förstoringsglasikon och vi har en "Sök"-knapp.
För att sammanfatta, efter ett kvantitativt användbarhetstest kommer du att få en lista över problem i dess mest allmänna form. Låt oss säga, "Användaren kunde inte hitta sökningen." Varför behärskade du det inte? Men jag behärskade det bara inte - det här testet ger inget svar.
Och efter ett kvalitetstest har du både problemet och dess grundorsak. När det gäller Search kommer du att ha ett skript, användaren kommer att berätta exakt hur han sökte efter Search, vilka element han förväntade sig att se och var, vilka ord som kom att tänka på när han inte hittade Search, och så vidare.
När du har grundorsaken till problemet och dess detaljerade beskrivning kan du redan fixa något, ändra gränssnittet så att det möter användarnas förväntningar och löser problemen de har.
Naturligtvis är kvalitets sådana dyrare. Istället för en uppgift och ett frågeformulär måste du utbilda en person som ska genomföra sådana tester. Ta en person med rätt bakgrund och introducera honom för området du forskar om. Detta tar cirka 3-6 månader. Det finns bara ett fåtal färdiga specialister på marknaden – det vill säga praktiskt taget ingen.
Men även om alla dessa tester utförs normalt kommer vi att få följande situation - landet vet inte vad det ska göra med dessa studier och rapporter. Marknaden behandlar fortfarande detta som någon form av tillfällig enhet, de tror att de bara köper en presentation och inte en lösning på problemet.
För det visar sig: banken beställde testning, fick som svar någon form av ytlig presentation, som det inte var klart hur man skulle tillämpa eller "vi visste allt detta själva." Vad kommer härnäst? Det är okej, lägg det på bordet och var glad att det finns. Eftersom folk inte vet vad de ska göra med den här presentationen, hur man använder den för att förbättra produkten, hur man omvandlar resultaten som beskrivs i den till nya gränssnitt som inte längre kommer att vara så problematiska. Om du inte ger djupet och grundorsakerna till problemen, kommer du inte att förstå hur man arbetar med problem.
Är allt verkligen sorgligt?
I allmänhet är det ganska tråkigt, ja, men det betyder inte att situationen inte kan korrigeras. Vårt mål var att göra bra research på saker som vi redan hade bra expertis inom. Till exempel om hur betalningarna fungerar i applikationen hade vi viss statistik på det. Vi ville ta de viktigaste scenarierna och inte bara kontrollera dem för "Ja eller Nej", utan att förstå exakt vilka problem människor har, i vilka skeden och i allmänhet varför de uppstår.
Fördelning efter huvudscenarier för juridiska personer
Detta kan vara en uppsättning barriärer som inte beror mycket på banken själv; det är bara det att presentationen av någon funktion inte är särskilt tydlig för människor.
Och vi ville förstås göra en omfattande studie och inte jämföra ett par banker med varandra. Vi trodde att vi sedan kunde sälja dessa detaljerade studier, och samtidigt testa den allmänna efterfrågan på dem.
Naturligtvis kom vår första pannkaka ut med ett par klumpar.
Vi försökte ändå ta alla scenarier och gå igenom dem med en respondent. Spoiler alert - han överlevde. Kanske använder han nu bankapplikationer mycket mindre ofta. Men vi bekräftade återigen tesen att efter en och en halv timme måste vi stänga av allt och starta ett nytt. Därför bytte vi från djuptestning av alla funktioner till att se hur människor hittar vissa funktioner, vad de är uppmärksamma på och hur de uppfattar strukturen på huvudsidan.
Distribution genom användning av plattformar av individer
När du testar bankapplikationer kan du inte bara köra dem i gästläge och dra slutsatser. Du måste åtminstone ha ett bankkonto för att förstå hur allt fungerar där. Men när det gäller en bank behöver företagare ett levande konto, med en historia, med ett företag etablerat där. Om du även testar valutakontroll och andra glädjeämnen behöver du valutakonton och lite Afobazole. Saldot kan inte vara tomt, transaktionshistoriken måste vara mer seriös än "Jag överför 200 rubel från mitt konto till mitt konto, låt oss se hur det går."
Vi trodde att det skulle gå ganska snabbt att registrera konton i alla banker vi undersökte och överföra pengar till dem.
Ibland drog allt ut på tiden i ett par veckor. Från bankernas sida, ja. Och vi testade också 5 banker, men skulle det ha varit 20 av dem?
Men vi kunde själva förstå fördelningen av huvudfunktionerna och antalet isolerade och impopulära. Därför gick vi från första pannkakan till andra körningen med en mer förfinad metodik. En designer anslöt sig också till teamet, vilket förde själva presentationerna till en ny nivå. Detta är verkligen viktigare än det verkar när du presenterar sådan information.
Resultatet av arbetet blev en presentation av 100+ bilder. När vi gjorde en studie på fyra banker för privatpersoner så sålde vi den inte. Men den första studien, om banker för företagare, såldes för att se hur intressant den var för marknaden i princip. De köpte detta av oss 7 gånger (banker från topp 5 och flera företag som sålde utveckling och design till banker), vi gav ingen reklam annat än inlägg på Facebook.
– Men du skrev själv att det här är ett säkert sätt att gå in i minus!
Ett bra sätt, ja, om du bara forskar. Vi tjänar pengar främst genom design och ingenjörskonst.
Forskning för oss är en möjlighet att forma marknaden, för det finns, som ni ser, nästan ingen. Vi fick ofta frågan, säger de, varför gör ni en sådan sak tillgänglig gratis, är det inte värt pengarna? Men tack vare detta kan vi visa samhället hur forskning faktiskt kan se ut. Nu, bara för att se ett urval av sådana studier, måste du köpa dem. Tja, eller fråga personen som köpte den.
Vi publicerar dem bara så. Så att marknaden också förstår vad forskning är. Så att kunder som beställer forskning någon annanstans åtminstone kan jämföra med något och validera kvaliteten på vad andra företag säljer dem. Så att en gemensam förståelse uppstår – forskning kan vara av hög kvalitet, och av den kan man få nytta och förstå vad man ska göra med den härnäst. Vi är faktiskt lite kränkta över att den pedagogiska biten forskningsmässigt i vårt land är trist. Därför försöker vi just nu förändra situationen så här – genom att skapa en förståelse för att du kan få ett bättre resultat
Och förutom den pedagogiska aspekten är sådan forskning och dess publicering ett bra tillfälle att generera leads. Och här är fördelen inte bara att kunder kommer till oss. Nyligen, baserat på ett av våra inlägg, började de skapa prototyper för en bank från topp 3. För bara några år sedan skulle vi verkligen ha tänkt - fan, vi slickade vårt tema och gick för att göra något eget.
Och nu tänker vi – coolt, de lyssnar på oss, och försöker verkligen göra produkterna bättre och närmare användaren. Därför kommer vi att fortsätta att göra sådan forskning, kvalitativt testa enskilda semantiska block av applikationer, och inte bara hela produkten som helhet enligt någon checklista.
Inom teamet ger detta oss ökad kompetens – inte för att gå i mörkret, utan för att förstå hur människors huvudscenarier och behov förändras (och de förändras på 1-2 år, tänk dig). Och sedan, när du studerar att öppna ett bankkonto för entreprenörer 3-4 gånger på 2 år, får du en uppfattning om den idealiska processen, vad det kan vara under de nuvarande tekniska begränsningarna.
Och situationen som "Jag ville inkluderas i betyget - jag betalade för betyget - jag kom in i betyget" blev fortfarande tråkigt. Och behovet av ett nytt betyg baserat på produktkvalitet är redan moget.
Och för den som läser till slutet av artikeln finns här två länkar till и
Källa: will.com