Lidé milují hodnocení. Kolik aplikací, her a dalších věcí již bylo vytvořeno ve jménu touhy člověka být na nějakém seznamu o pár řádků výše než někdo jiný. Nebo než například konkurence. Lidé dosahují umístění v žebříčku různými způsoby v závislosti na jejich motivaci a morálním charakteru. Někteří se budou snažit zlepšit a poctivě přejít z #142 na #139, zatímco jiní se rozhodnou vydělat peníze a s radostí vezmou #21 (protože top 20 přineslo ještě víc).
S firmami je to skoro stejné. Dnes budeme hovořit o bankách a ratingu, do kterého se tyto banky snaží dostat. V tomto příspěvku budu hovořit o obecných problémech s výzkumem, které v zemi máme, o praktickém rozdílu mezi kvantitativním a kvalitativním testováním a o tom, jak jsme se snažili současný stav napravit.
A na konci článku je překvapení.
Všechno to začalo, když jsme před rokem začali testovat pět bank pro právnické osoby, vybrali jsme pár stylových pro mladé (Modulbank a Tinkoff Bank) a tři klasické (VTB, Raiffeisenbank a Promsvyazbank). Nejprve ale trochu materiálu.
Hodnocení bank v Ruské federaci
Na trhu je poměrně dost hráčů, kteří dělají hodnocení použitelnosti pro bankovní průmysl. A sice dva - Markswebb a USABILITYLAB.
A ukázalo se, že MW a UL se nyní staly jakýmsi KPI. To je na jednu stranu dobře, protože samotná přítomnost alespoň něčeho konkurenčního nastavuje obecný pohyb na trhu, který je v tomto ohledu spíše pomalý. Na druhou stranu to všechno většinou závisí na funkční analýze. A motivací ze strany bankovní špičky už není udělat úžasný produkt, který se rozjede a přinese uživatelům spoustu výhod, díky kterým se v žebříčku umístí, ale prostě být v žebříčku .
Vaše banka je v hodnocení = splnili jste KPI = dostali jste bonus. Navíc se zdá, že vás tým má rád, pomohl jste bance dostat se do ratingu. U některých to skutečně škrábe svědění. Obecně, kdo ví co, ale motivací jsou vesměs tyto druhy „bonusů“ různého druhu a ne pohyb ke zlepšení produktu.
A zde je z hlediska významu takového hodnocení pro trh důležité pochopit ještě jednu věc. Přibližně 98 % uživatelů bankovních aplikací o těchto hodnoceních vůbec neví. Je jim to upřímně jedno. Tato hodnocení jsou speciálně pro manažery a management. Zbývající 2 % o hodnocení vědí, ale považují je za prodejní argument. Jednou jsme testovali webové stránky bank s těmito znaky o prvních místech.
Lidé si nevybírají banku pro podnikání podle toho, zda je na webových stránkách banky znak s logem konkrétního ratingu či nikoli. Pro člověka je jednodušší zavolat přátelům nebo na Facebooku, kdo používá kterou banku a s čím je spokojený/nespokojený, a omezit se na to z hlediska sociálního kapitálu.
Začněme vytvořením hodnocení. Chcete-li vytvořit hodnocení, musíte provést průzkum a zde se vše obvykle omezuje na průzkum jedné konkrétní funkce, řekněme, testování kontroly měny.
A výzkum stojí peníze, a to poměrně značné peníze. Abyste to udělali efektivně, musíte dobře investovat – portrét podnikatele na testování stojí více než běžného uživatele. Společnosti, které se snaží stavět své příjmy pouze na výzkumu jako své hlavní a jediné činnosti, proto vynakládají značné náklady. Navzdory skutečnosti, že náš výzkumný trh je téměř prázdný: toto se neučí na univerzitách, neučí se to ve školách.
Mimochodem o penězích, aby byla jasná čísla. Řekněme, že máme v hodnocení 20 bank. Každý člověk musí prozkoumat 7 hlavních funkcí a scénářů, přičemž stráví přibližně 1,5 hodiny času. Nemá smysl provádět test na jednom respondentovi déle, protože hodina a půl je limit, po kterém se pozornost již rozptýlí a lidé se prostě unaví a začnou odpovídat na cokoli, jen aby si rychle šli dát svačinu a konečně se vydýchali .
Tak tady to je. Nábor lidí z databáze banky pro takový výzkum je obtížné a časově náročné, takže zbývá jen rekrut. 5–7 scénářů pro 20 bank znamená, že potřebujete získat alespoň 140 respondentů. A pak, pokud je na jedné osobě testováno více bank
Náklady na jednoho takového respondenta se pohybují mezi 5-10 tisíci rubly, existuje jasná závislost na portrétu, řekněme, že jednotlivý podnikatel bude stát poměrně levně, 5 tisíc. Ale portrét vyvážejícího podnikatele s měnovou kontrolou bude stát asi 13 tisíc.
Celkem jde o 140 lidí, kterým je třeba za účast ve studii zaplatit. Odhadneme nejjednodušší a nejlevnější scénář, 5000 700 rublů na respondenta, a dostaneme neiluzorních 000 1 rublů. Minimálně ano. Obvykle se toto číslo blíží 400 000 XNUMX. Je čas otevřít si vlastní personální agenturu :)
A to pouze pro hlavní případy použití banky. Kromě peněz existuje cennější zdroj – čas. Také se plýtvá s tak velkou hromadou navrchu. Můžete provést testy s 30 respondenty a nezbláznit se za 2 týdny. Za měsíc je obvykle kolem 60 schůzek, pokud chcete zachovat kvalitu pohovorů. 140 lidí = 2,5 člověkoměsíce.
Po všech respondentech musíte strávit ještě asi 2 měsíce, abyste informace uvedli do stravitelné podoby – přepište výsledky, proveďte analýzu a seskupení, vytvořte krásnou prezentaci a ne konečný excelový soubor s hromadou řádků.
Obecně se ukazuje, že je to přibližně 4 měsíce práce a 2–3 miliony rublů, s přihlédnutím ke všem nákladům během tohoto období. A ještě jsme nepočítali daně. A vzhledem k tomu, že na samotném výzkumu se zatím nikomu nepodařilo vydělat, tento model evidentně nevypadá jako nejvýnosnější. Pokud samozřejmě nevyděláváte peníze na samotném žebříčku a umístěních v něm namísto výzkumu.
Kvantitativní a kvalitativní výzkum, funkční analýza
Prezentace MW jsou přibližně z 60 % o funkční analýze a ze 40 % o použitelnosti. Navíc pojem „funkční analýza“ v případě takových studií představuje pouze kontrolní seznam pro přítomnost určitých funkcí. Sednete si, napíšete seznam funkcí - takže by tam měla být normální platba, plus platba podle fotky a taky ze souboru, kontrola protistrany, nejnovější protistrany nebo platby a tak dále. Poté provedete analýzu a zkontrolujete, zda funkce ze seznamu jsou nebo nejsou. Pokud existuje, skvělé, zaškrtněte v hodnocení znaménko plus. Pokud ne, rozumíte.
Zní to logicky. Ale, bohužel, jde o to, že plusem a zaškrtnutím v takovém testování je prostě přítomnost funkce v seznamu, a ne její kvalita nebo obecná nutnost pro uživatele. Mobilní aplikace tedy začaly sklouznout k tomu, aby do sebe nacpaly vše, aby splnily hodnocení, a ne to, co uživatel potřebuje. No a takhle má Yandex.Phone duální fotoaparát. Existuje, ale říkají, že nefunguje. Ale existuje. Celkově se ukazuje, že 60 % významu takového hodnocení je prostě samotné zaškrtnutí, ať už tam funkce je nebo ne. A ne jak je to pohodlné a jak je to pro uživatele nutné.
Kromě funkční analýzy existují také kvantitativní a kvalitativní studie.
Kvantitativní studie použitelnosti budou velmi užitečné, pokud chcete provádět testy na toku. Naberete další respondenty, spustíte je rozhraním aplikace, zadáte jim základní úkoly a na závěr se jednoduše zeptáte, jak to obecně je a jaké byly problémy.
Vysoce kvalitní test použitelnosti je mnohem obtížnější - musíte pomocí metody vykreslit vnímání celého procesu a doslova všech prvků v procesu . Všechny myšlenky a otázky, které lidé mají, všechny texty a prvky, které jsou pro ně nesrozumitelné. A všechny základní příčiny – proč to není jasné, jak očekáváte, že se to bude jmenovat, a jaké slovo nosíte v hlavě?
Když znáte základní příčiny vnímání, neříkáte jen:
Lidé to nenašli - neobvyklé umístění.
Rozumíte tomu, jak změnit:
Uživatel hledá tento prvek nikoli dole, jak jsme jej umístili, ale v pravém horním rohu obrazovky. Hledá podle slova „Hledat“ a máme „Enter“, hledá ikonu lupy a máme tlačítko „Hledat“.
Abychom to shrnuli, po kvantitativním testu použitelnosti skončíte se seznamem problémů v jeho nejobecnější podobě. Řekněme: "Uživatel nemohl najít hledání." Proč jsi to nezvládl? Ale prostě jsem to nezvládl - tento test nedá odpověď.
A po kvalitním testu budete mít problém i jeho hlavní příčinu. V případě Search budete mít skript, uživatel vám přesně řekne, jak Search hledal, jaké prvky očekával, že uvidí a kde, jaká slova ho napadla, když Search nenašel a podobně.
Jakmile budete mít hlavní příčinu problému a jeho podrobný popis, můžete již něco opravit, změnit rozhraní tak, aby splňovalo očekávání uživatelů a řešilo problémy, které má.
Kvalitní jsou samozřejmě dražší. Místo úkolu a dotazníku musíte vyškolit osobu, která bude takové testy provádět. Vezměte člověka se správným zázemím a představte mu oblast, kterou zkoumáte. To trvá asi 3-6 měsíců. Hotových specialistů je na trhu jen pár – tedy prakticky žádný.
Ale i kdyby byly všechny tyto testy prováděny normálně, dostaneme následující situaci – země neví, co s těmito studiemi a zprávami dělat. Trh k tomu stále přistupuje jako k nějaké pomíjivé entitě, věří, že si kupují jen prezentaci, a ne řešení problému.
Protože se ukázalo: banka nařídila testování, v reakci na to obdržela nějakou povrchní prezentaci, u které nebylo jasné, jak ji použít, nebo „to všechno jsme věděli sami“. Co bude dál? To je v pořádku, položte to na stůl a buďte rádi, že to existuje. Protože lidé nevědí, co s touto prezentací dělat, jak ji využít ke zlepšení produktu, jak poznatky v ní popsané převést do nových rozhraní, která už nebudou tak problematická. Pokud neuvedete hloubku a základní příčiny problémů, pak nepochopíte, jak s problémy pracovat.
Je všechno opravdu smutné?
Obecně je to docela smutné, ano, ale to neznamená, že situaci nelze napravit. Naším cílem bylo udělat dobrý průzkum věcí, ve kterých jsme již měli dobré znalosti. Například o fungování plateb v aplikaci jsme na ni měli určité statistiky. Chtěli jsme vzít hlavní scénáře a nekontrolovat je pouze na „Ano nebo Ne“, ale přesně pochopit, jaké problémy lidé mají, v jakých fázích a obecně, proč vznikají.
Rozdělení podle hlavních scénářů právnických osob
Může se jednat o soubor bariér, které na bance samotné příliš nezávisí, jen lidem není prezentace nějaké funkce příliš jasná.
A samozřejmě jsme chtěli udělat komplexní studii a ne porovnávat pár bank mezi sebou. Věřili jsme, že pak dokážeme tyto podrobné studie prodat a zároveň otestovat obecnou poptávku po nich.
Naše první palačinka samozřejmě vyšla s pár hrudkami.
Ještě jsme se snažili vzít všechny scénáře a projít je s jedním respondentem. Spoiler alert - přežil. Snad nyní používá bankovní aplikace mnohem méně často. Opět jsme ale potvrdili tezi, že po hodině a půl je potřeba vše vypnout a spustit další. Z hlubokého testování všech funkcí jsme proto přešli k tomu, abychom viděli, jak lidé určité funkce nacházejí, čemu věnují pozornost a jak vnímají strukturu hlavní stránky.
Distribuce jednotlivci pomocí platforem
Když testujete bankovní aplikace, nemůžete je jen spouštět v režimu hosta a dělat závěry. Musíte mít alespoň bankovní účet, abyste pochopili, jak tam všechno funguje. V případě banky ale podnikatelé potřebují živý účet, s historií, u tam založené firmy. Pokud testujete i ovládání měny a další radosti, budete potřebovat devizové účty a trochu Afobazolu. Zůstatek nemůže být prázdný, historie transakcí musí být vážnější než „Převedu 200 rublů ze svého účtu na svůj účet, uvidíme, jak to půjde“.
Mysleli jsme si, že registrace účtů ve všech námi zkoumaných bankách a převod peněz do nich bude docela rychlý úkol.
Někdy se vše protáhlo i na pár týdnů. Ze strany bank ano. A také jsme testovali 5 bank, ale bylo by jich 20?
Sami jsme ale mohli pochopit rozložení hlavních funkcí a počet některých izolovaných a nepopulárních. Z první palačinky jsme proto šli do druhého běhu s propracovanější metodikou. Do týmu se přidal i designér, který samotné prezentace posunul na novou úroveň. To je při předkládání takových informací opravdu důležitější, než se zdá.
Výsledkem práce byla prezentace 100+ snímků. Když jsme dělali studii o čtyřech bankách pro fyzické osoby, neprodali jsme to. Ale první studie o bankách pro podnikatele byla prodána, aby bylo vidět, jak zajímavá je pro trh v zásadě. Tohle od nás koupili 7x (banky z top 5 a několik firem, které bankám prodávaly vývoj a design), kromě příspěvků na Facebooku jsme žádnou reklamu neposkytovali.
- Ale sám jsi napsal, že to je jistá cesta, jak jít do mínusu!
Skvělý způsob, ano, pokud právě děláte výzkum. Vyděláváme peníze především prostřednictvím designu a inženýrství.
Výzkum je pro nás příležitostí utvářet trh, protože, jak vidíte, téměř žádný neexistuje. Často se nás ptali, říkají, proč dáváte takovou věc k dispozici zdarma, nestojí to za ty peníze? Ale díky tomu můžeme komunitě ukázat, jaký vlastně výzkum může být. Nyní, abyste viděli vzorek takových studií, musíte si je koupit. No, nebo se zeptejte toho, kdo to koupil.
Zveřejňujeme je jen tak. Aby i trh pochopil, co je výzkum. Aby klienti, kteří si výzkum objednají jinde, mohli alespoň s něčím porovnat a ověřit kvalitu toho, co jim prodávají jiné firmy. Aby vzniklo společné porozumění – výzkum může být vysoce kvalitní a z něj můžete získat užitek a pochopit, co s ním dál dělat. Nás vlastně trochu uráží, že ta vzdělávací část z hlediska výzkumu u nás je tristní. Proto se prozatím snažíme situaci takto změnit – vytvořením porozumění, že můžete dosáhnout lepšího výsledku
A kromě vzdělávacího aspektu je takový výzkum a jeho zveřejnění dobrou příležitostí k získávání potenciálních zákazníků. A tady je výhoda nejen v tom, že k nám klienti chodí. Nedávno na základě jednoho z našich příspěvků začali prototypovat banku z top 3. Ještě před pár lety bychom si opravdu mysleli – sakra, slízli jsme si téma a šli dělat něco vlastního.
A teď si myslíme – super, poslouchají nás a opravdu se snaží dělat produkty lepší a blíže k uživateli. Proto budeme v takovém výzkumu pokračovat, kvalitativně testovat jednotlivé sémantické bloky aplikací, a ne jen celý produkt jako celek podle nějakého kontrolního seznamu.
V týmu nám to dává větší odbornost – nechodit ve tmě, ale pochopit, jak se mění hlavní scénáře a potřeby lidí (a ty se mění za 1-2 roky, představte si). A když si pak prostudujete otevření bankovního účtu pro podnikatele 3-4x za 2 roky, získáte představu o ideálním procesu, jaký by mohl být za současných technických omezení.
A situace typu „chtěl jsem být zařazen do hodnocení - zaplatil jsem za hodnocení - dostal jsem se do hodnocení“ stále nudil. A potřeba nového hodnocení na základě kvality produktu již dozrála.
A pro ty, kteří dočetli článek až do konce, zde jsou dva odkazy na и
Zdroj: www.habr.com