Mensen houden van beoordelingen. Hoeveel applicaties, games en andere dingen zijn er al gemaakt in naam van iemands verlangen om op een lijst een paar regels hoger te staan dan iemand anders. Of dan een concurrent bijvoorbeeld. Mensen bereiken op verschillende manieren plaatsen op de ranglijst, afhankelijk van hun motivatie en morele karakter. Sommigen zullen proberen beter te worden en eerlijk van #142 naar #139 te gaan, terwijl anderen zullen besluiten om geld te verdienen en met plezier #21 te pakken (omdat de top 20 nog meer heeft binnengebracht).
Bij bedrijven is het vrijwel hetzelfde. Vandaag zullen we het hebben over banken en de ratings die deze banken nastreven. In dit bericht zal ik het hebben over de algemene problemen met onderzoek die we in het land hebben, het praktische verschil tussen kwantitatieve en kwalitatieve tests, en hoe we hebben geprobeerd de huidige situatie te corrigeren.
En aan het einde van het artikel is er een verrassing.
Het begon allemaal toen we een jaar geleden begonnen met het testen van vijf banken op rechtspersonen, waarbij we een paar stijlvolle jeugdbanken (Modulbank en Tinkoff Bank) en drie klassieke banken (VTB, Raiffeisenbank en Promsvyazbank) kozen. Maar eerst een beetje materieel.
Bankratings in de Russische Federatie
Er zijn nogal wat spelers op de markt die usability-ratings maken voor de banksector. Namelijk twee: Markswebb en USABILITYLAB.
En het bleek dat MW en UL inmiddels een soort KPI zijn geworden. Aan de ene kant is dit goed, omdat juist de aanwezigheid van tenminste iets concurrerends de algemene beweging in gang zet op een markt die in dit opzicht nogal traag is. Aan de andere kant komt het vooral neer op functionele analyse. En de motivatie hier van de kant van de banktops is niet langer om een geweldig product te maken dat een grote vlucht zal nemen en veel voordelen voor de gebruikers zal opleveren, waardoor het een plaats in de ranglijst zal innemen, maar om gewoon op de ranglijst te staan. .
Uw bank staat in de rating = u heeft KPI’s gehaald = u heeft een bonus ontvangen. Bovendien lijkt het team je aardig te vinden, je hebt de bank geholpen om in de rating te komen. Voor sommigen kriebelt dit echt van de jeuk. Over het algemeen is motivatie, over het algemeen, dit soort 'bonussen' van verschillende soorten, en niet een beweging in de richting van het verbeteren van het product.
En hier, in termen van de betekenis van dergelijke beoordelingen voor de markt, is het belangrijk om nog één ding te begrijpen. Ongeveer 98% van de gebruikers van de bankapps is helemaal niet op de hoogte van deze beoordelingen. Het maakt hen eerlijk gezegd niets uit. Deze ratings zijn specifiek voor managers en management. De overige 2% is op de hoogte van beoordelingen, maar beschouwt ze als een verkoopargument. We hebben ooit bankwebsites getest met deze borden over eerste plaatsen.
Mensen kiezen een bank voor zaken niet op basis van het feit of er op de website van de bank een bord staat met het logo van een bepaalde rating of niet. Het is makkelijker voor iemand om naar vrienden of op Facebook te bellen wie welke bank gebruikt en waar hij/zij blij/ontevreden over is, en zich daartoe te beperken in termen van sociaal kapitaal.
Laten we beginnen met het maken van een beoordeling. Om een beoordeling te maken, moet je onderzoek doen, en hier is alles meestal beperkt tot het onderzoeken van één specifieke functie, bijvoorbeeld het testen van valutacontrole.
En onderzoek kost geld, heel veel geld bovendien. Om dit efficiënt te doen, moet je goed investeren: een portret van een ondernemer voor testen kost meer dan de gemiddelde gebruiker. Daarom worden bedrijven die proberen hun inkomsten uitsluitend te genereren met onderzoek als hun belangrijkste en enige activiteit, geconfronteerd met aanzienlijke kosten. Ondanks het feit dat onze onderzoeksmarkt vrijwel leeg is: dit wordt niet op universiteiten onderwezen, het wordt niet op scholen onderwezen.
Trouwens, over geld, zodat de cijfers duidelijk zijn. Laten we zeggen dat we twintig banken in onze rating hebben. Elke persoon moet de top 20 functies en scenario's onderzoeken, waarbij hij ongeveer 7 uur tijd besteedt. Het heeft geen zin om langer een test op één respondent uit te voeren, omdat anderhalf uur de limiet is waarna de aandacht al verdampt en mensen gewoon moe worden en alles beginnen te beantwoorden, om snel een hapje te gaan eten en uiteindelijk uit te ademen. .
Dus hier is het. Het is moeilijk en tijdrovend om voor dergelijk onderzoek mensen uit de database van de bank te werven, dus het enige dat overblijft is een rekruut. 5-7 scenario's voor 20 banken betekenen dat je minimaal 140 respondenten moet werven. En dan, als meer dan één bank op één persoon wordt getest
De kosten van zo'n respondent variëren tussen de 5 en 10 duizend roebel, er is een duidelijke afhankelijkheid van het portret, bijvoorbeeld een enkele individuele ondernemer kost vrij goedkoop, 5 duizend. Maar een portret van een exporterende ondernemer met valutacontrole kost ongeveer 13 duizend.
In totaal zijn er 140 mensen die betaald moeten worden om aan het onderzoek deel te nemen. Laten we het eenvoudigste en goedkoopste scenario schatten, 5000 roebel per respondent, en we krijgen een niet-illusoire 700 roebel. Minimaal wel, ja. Meestal benadert dit cijfer de 000. Het is tijd om je eigen wervingsbureau te openen :)
En dit is alleen voor de belangrijkste gebruiksscenario's van de bank. Naast geld is er een waardevollere hulpbron: tijd. Het is ook zonde als er zo'n grote stapel bovenop ligt. Je kunt tests uitvoeren met 30 respondenten en niet gek worden in 2 weken. Als je de kwaliteit van de interviews wilt behouden, levert een maand doorgaans zo’n 60 bijeenkomsten op. 140 personen = 2,5 manmaanden.
Na alle respondenten heb je nog ongeveer 2 maanden nodig om de informatie in een verteerbare vorm te brengen - de resultaten transcriberen, analyses en groeperingen uitvoeren, een mooie presentatie maken, en geen definitief Excel-bestand met een heleboel regels.
Over het algemeen blijkt het ongeveer 4 maanden werk en 2-3 miljoen roebel te zijn, rekening houdend met alle kosten gedurende deze periode. En we hebben nog geen belastingen berekend. En aangezien tot nu toe niemand erin is geslaagd geld te verdienen met het onderzoek zelf, lijkt dit model uiteraard niet het meest winstgevende. Als je natuurlijk geen geld verdient aan de ranglijst zelf en de plaatsen daarin, in plaats van aan onderzoek.
Kwantitatief en kwalitatief onderzoek, functionele analyse
MW-presentaties gaan voor ongeveer 60% over functionele analyse en voor 40% over bruikbaarheid. Bovendien is het concept van ‘functionele analyse’ in het geval van dergelijke onderzoeken slechts een checklist voor de aanwezigheid van bepaalde functies. U gaat zitten, schrijft een lijst met functies - er moet dus een normale betaling zijn, plus een betaling op basis van een foto, maar ook vanuit een bestand, waarbij u de tegenpartij controleert, de laatste tegenpartijen of betalingen, enzovoort. Vervolgens voer je een analyse uit en controleer je of de functies uit de lijst er zijn of niet. Als dat zo is, geweldig, zet dan een vinkje, plus in de beoordeling. Zo niet, dan begrijp je het.
Klinkt logisch. Maar helaas komt het erop neer dat een pluspunt en een vinkje bij dergelijke tests simpelweg de aanwezigheid van een functie in de lijst is, en niet de kwaliteit of algemene noodzaak ervan voor de gebruiker. Dus mobiele applicaties begonnen af te glijden naar het proppen van alles in zichzelf om aan de beoordeling te voldoen, en niet aan wat de gebruiker nodig heeft. Nou, zo heeft Yandex.Phone een dubbele camera. Het bestaat, maar ze zeggen dat het niet werkt. Maar er is. In totaal blijkt dat 60% van de betekenis van een dergelijke beoordeling eenvoudigweg het vinkje zelf is, of de functie er nu is of niet. En niet hoe handig het is en hoe noodzakelijk het is voor de gebruiker.
Naast functionele analyse zijn er ook kwantitatieve en kwalitatieve onderzoeken.
Kwantitatieve bruikbaarheidsstudies zullen zeer nuttig zijn als u tests op de stroom wilt uitvoeren. Je werft meer respondenten, leidt ze door de applicatie-interface, geeft ze basistaken en vraagt aan het eind eenvoudig hoe het in het algemeen gaat en welke problemen er waren.
Een hoogwaardige bruikbaarheidstest is veel moeilijker - je moet de perceptie van het hele proces en letterlijk alle elementen in het proces met behulp van de methode uittekenen . Alle gedachten en vragen die mensen hebben, alle teksten en elementen die voor hen onbegrijpelijk zijn. En alle grondoorzaken: waarom is het niet duidelijk, hoe verwacht je dat het wordt genoemd en welk woord houd je in je hoofd?
Als je de grondoorzaken van perceptie kent, zeg je niet alleen:
Mensen vonden het niet - ongebruikelijke plaatsing.
Begrijpt u hoe u het volgende kunt veranderen:
De gebruiker zoekt dit element niet onderaan zoals wij het hebben geplaatst, maar in de rechterbovenhoek van het scherm. Zoekt op het woord “Zoeken”, en we hebben “Enter”, zoekt naar een vergrootglaspictogram en we hebben een knop “Zoeken”.
Samenvattend: na een kwantitatieve bruikbaarheidstest krijg je een lijst met problemen in de meest algemene vorm. Laten we zeggen: "De gebruiker kon de zoekopdracht niet vinden." Waarom heb je het niet onder de knie? Maar ik heb het gewoon niet onder de knie - deze test geeft geen antwoord.
En na een kwaliteitstest heeft u zowel het probleem als de oorzaak ervan. In het geval van Search heb je een script, de gebruiker vertelt je precies hoe hij op Search heeft gezocht, welke elementen hij verwachtte te zien en waar, welke woorden in hem opkwamen toen hij Search niet vond, enzovoort.
Zodra u de hoofdoorzaak van het probleem en de gedetailleerde beschrijving ervan kent, kunt u al iets repareren, de interface wijzigen zodat deze aan de verwachtingen van de gebruiker voldoet en de problemen oplost die zij hebben.
Kwaliteitsproducten zijn uiteraard duurder. In plaats van een taak en een vragenlijst, moet u iemand trainen die dergelijke tests zal uitvoeren. Neem iemand met de juiste achtergrond en laat hem kennismaken met het gebied dat je onderzoekt. Dit duurt ongeveer 3-6 maanden. Er zijn maar een paar kant-en-klare specialisten op de markt, dat wil zeggen vrijwel geen.
Maar zelfs als al deze tests normaal worden uitgevoerd, krijgen we de volgende situatie: het land weet niet wat het met deze onderzoeken en rapporten moet doen. De markt beschouwt dit nog steeds als een soort kortstondige entiteit; ze geloven dat ze slechts een presentatie kopen en geen oplossing voor het probleem.
Omdat het blijkt: de bank heeft tests besteld, kreeg als reactie een soort oppervlakkige presentatie, waarvan niet duidelijk was hoe deze moest worden toegepast, of 'we wisten dit allemaal zelf'. Wat is het volgende? Het is oké, leg het op tafel en wees blij dat het bestaat. Omdat mensen niet weten wat ze met deze presentatie moeten doen, hoe ze het moeten gebruiken om het product te verbeteren, hoe ze de daarin beschreven bevindingen kunnen omzetten in nieuwe interfaces die niet langer zo problematisch zullen zijn. Als je de diepgang en de grondoorzaken van problemen niet geeft, zul je niet begrijpen hoe je met problemen moet werken.
Is alles echt triest?
Over het algemeen is het behoorlijk triest, ja, maar dit betekent niet dat de situatie niet kan worden gecorrigeerd. Ons doel was om goed onderzoek te doen naar zaken waar we al goede expertise in hadden. Over de werking van betalingen in de applicatie hadden we bijvoorbeeld bepaalde statistieken. We wilden de belangrijkste scenario's nemen en ze niet alleen controleren op ja of nee, maar precies begrijpen welke problemen mensen hebben, in welke stadia en, in het algemeen, waarom ze zich voordoen.
Verdeling naar hoofdscenario's van rechtspersonen
Dit kan een reeks barrières zijn die niet veel van de bank zelf afhangen; het is alleen zo dat de presentatie van een bepaalde functie voor mensen niet erg duidelijk is.
En natuurlijk wilden we een uitgebreid onderzoek doen, en niet een paar banken met elkaar vergelijken. We geloofden dat we deze gedetailleerde onderzoeken vervolgens konden verkopen en tegelijkertijd de algemene vraag ernaar konden testen.
Natuurlijk kwam onze eerste pannenkoek eruit met een paar klontjes.
Toch hebben we geprobeerd alle scenario’s te nemen en deze met één respondent door te nemen. Spoiler alert: hij heeft het overleefd. Misschien gebruikt hij nu veel minder vaak bankapplicaties. Maar we hebben nogmaals de stelling bevestigd dat we na anderhalf uur alles moeten uitschakelen en een nieuwe moeten starten. Daarom zijn we overgestapt van het diepgaand testen van alle functies naar kijken hoe mensen bepaalde functies vinden, waar ze op letten en hoe ze de structuur van de hoofdpagina waarnemen.
Distributie door gebruik van platforms door individuen
Wanneer u bankapplicaties test, kunt u deze niet zomaar in de gastmodus uitvoeren en conclusies trekken. Je moet in ieder geval een bankrekening hebben om te begrijpen hoe alles daar werkt. Maar in het geval van een bank hebben ondernemers een levende rekening nodig, met een historie, bij een daar gevestigd bedrijf. Als u ook valutacontrole en andere geneugten test, heeft u rekeningen in vreemde valuta en een beetje Afobazol nodig. Het saldo mag niet leeg zijn, de transactiegeschiedenis moet serieuzer zijn dan “Ik maak 200 roebel over van mijn rekening naar mijn rekening, laten we kijken hoe het gaat.”
We dachten dat het registreren van rekeningen bij alle banken die we onderzochten en het overboeken van geld naar hen een vrij snelle taak zou zijn.
Soms duurde alles een paar weken. Van de kant van de banken wel. En we hebben ook 5 banken getest, maar zouden het er 20 zijn geweest?
Maar we konden zelf de verdeling van de belangrijkste functies begrijpen, evenals het aantal geïsoleerde en impopulaire functies. Daarom gingen we van de eerste pannenkoek naar de tweede run met een meer verfijnde methodologie. Ook kwam er een ontwerper bij het team, waardoor de presentaties zelf naar een nieuw niveau werden getild. Dit is echt belangrijker dan het lijkt als u dergelijke informatie presenteert.
Het resultaat van het werk was een presentatie van meer dan 100 dia's. Toen we een onderzoek deden naar vier banken voor particulieren, hebben we deze niet verkocht. Maar het eerste onderzoek, over banken voor ondernemers, werd verkocht om te kijken hoe interessant het in principe was voor de markt. Ze hebben dit 7 keer bij ons gekocht (banken uit de top 5 en diverse bedrijven die ontwikkeling en design aan banken verkochten), wij hebben geen andere reclame verzorgd dan posts op Facebook.
- Maar je schreef zelf dat dit een zekere manier is om rood te gaan!
Een geweldige manier, ja, als je alleen maar onderzoek doet. We verdienen voornamelijk geld met ontwerp en engineering.
Onderzoek is voor ons een kans om de markt vorm te geven, want zoals u ziet is die er bijna niet. Er werd ons vaak gevraagd, zeggen ze: waarom stellen jullie zoiets gratis beschikbaar, is het het geld niet waard? Maar dankzij dit kunnen we de gemeenschap laten zien hoe onderzoek eigenlijk kan zijn. Om een voorbeeld van dergelijke onderzoeken te zien, moet u ze kopen. Nou ja, of vraag het aan de persoon die het heeft gekocht.
Wij publiceren ze zomaar. Zodat de markt ook begrijpt wat onderzoek is. Zodat klanten die elders onderzoek bestellen, op zijn minst ergens mee kunnen vergelijken en de kwaliteit kunnen valideren van wat andere bedrijven hen verkopen. Zodat er een gemeenschappelijk begrip ontstaat: onderzoek kan van hoge kwaliteit zijn, en u kunt er voordeel uit halen en begrijpen wat u er vervolgens mee kunt doen. We zijn eigenlijk een beetje beledigd dat het educatieve gedeelte op het gebied van onderzoek in ons land triest is. Daarom proberen we voorlopig de situatie op deze manier te veranderen - door het besef te creëren dat je een beter resultaat kunt behalen
En naast het educatieve aspect is dergelijk onderzoek en de publicatie ervan een goede gelegenheid om leads te genereren. En hier is het voordeel niet alleen dat klanten naar ons toe komen. Onlangs zijn ze op basis van een van onze berichten begonnen met het prototypen van een bank uit de top 3. Nog maar een paar jaar geleden zouden we echt hebben gedacht: verdomd, we hebben ons thema gelikt en zijn zelf iets gaan doen.
En nu denken we: cool, ze luisteren naar ons en proberen echt producten beter en dichter bij de gebruiker te maken. Daarom zullen we dergelijk onderzoek blijven doen, waarbij we individuele semantische applicatieblokken kwalitatief testen, en niet alleen het hele product als geheel volgens een of andere checklist.
Binnen het team geeft dit ons meer expertise - niet om in het donker te lopen, maar om te begrijpen hoe de belangrijkste scenario's en behoeften van mensen veranderen (en ze veranderen binnen 1-2 jaar, stel je voor). En als je dan bestudeert hoe je drie tot vier keer in twee jaar een bankrekening voor ondernemers kunt openen, krijg je een idee van het ideale proces, wat het zou kunnen zijn onder de huidige technische beperkingen.
En de situatie als "Ik wilde in de beoordeling worden opgenomen - ik betaalde voor de beoordeling - ik kwam in de beoordeling" werd nog steeds saai. En de behoefte aan een nieuwe beoordeling op basis van productkwaliteit is al rijp.
En voor degenen die tot het einde van het artikel hebben gelezen, hier zijn twee links naar и
Bron: www.habr.com