Людзі любяць рэйтынгі. Колькі прыкладанняў, гульняў і іншага ўжо зроблена ў імя жадання чалавека быць у нейкім спісе на пару радкоў вышэй, чым нехта яшчэ. Або чым канкурэнт, напрыклад. Дамагаюцца месцаў у рэйтынгу людзі па-рознаму, у залежнасці ад матывацыі і маральнага аблічча. Хтосьці паспрабуе стаць лепш і сапраўды перасягнуць з месца #142 на #139, а хтосьці вырашыць занесці грошай і радасна заняць #21 (таму што верхнія 20 занеслі яшчэ больш).
З кампаніямі ўсё прыкладна гэтак жа. Сёння мы пагаворым аб банках і рэйтынгах, у якія гэтыя банкі імкнуцца патрапіць. У гэтым пасце я раскажу пра агульныя праблемы з даследаваннямі, якія ёсць у нас у краіне, пра практычную розніцу паміж колькаснымі і якаснымі тэставаннямі, і пра тое, як мы спрабавалі выправіць сітуацыю, якая склалася.
А напрыканцы артыкула сюрпрыз.
Пачалося ўсё з таго, што год таму мы пачалі тэсціраванне пяці банкаў для юрыдычных асоб, выбраўшы пару стыльных-моладзевых (Модульбанк і Тинькофф Банк) і тры класічныя (ВТБ, Райффайзенбанк і Прамсувязьбанк). Але спачатку крыху матчасці.
Банкаўскія рэйтынгі ў РФ
На рынку ёсць даволі мала гульцоў, якія робяць юзабіліці-рэйтынгі для банкаўскай сферы. А менавіта цэлых два - Markswebb і USABILITYLAB.
І атрымалася так, што MW і UL сталі зараз своеасаблівым KPI. З аднаго боку, гэта добра, бо сама наяўнасць хоць чагосьці спаборніцкага задае агульную движуху на даволі непаваротлівым у гэтым плане рынку. З іншага боку, усё зводзіцца па большай частцы да функцыянальнага аналізу. І матывацыя тут з боку банкаўскіх топаў ужо заключаецца не ў тым, каб зрабіць афігенны прадукт, які ўзляціць і прынясе кучу карысці карыстальнікам, дзякуючы чаму і зойме месца ў рэйтынгу, а ў тым, каб проста быць у рэйтынгу.
Твой банк ёсць у рэйтынгу = ты выканаў KPI = ты атрымаў прэмію. Плюс, цябе ў камандзе быццам любяць, дапамог банку трапіць у рэйтынг. Камусьці гэта шчыра чухае АУВ. Увогуле, хто ў што здольны, але матывацыя па вялікім рахунку гэта вось такія "прэміі" рознага роду, а не рух у бок паляпшэння прадукта.
І тут у плане значэння такіх рэйтынгаў для рынку важна разумець яшчэ вось што. Каля 98% карыстальнікаў банкаўскіх дадаткаў пра гэтыя рэйтынгі не ведаюць зусім. Ім адкрыта пофіг. Гэтыя рэйтынгі менавіта для мэнэджэраў і кіраўніцтва. Астатнія 2% пра рэйтынгі ведаюць, але лічаць іх пакупной тэмай. Аднойчы мы тэставалі сайты банкаў з гэтымі плашкамі пра першыя месцы.
Людзі не выбіраюць банк для бізнесу на аснове таго, ёсць на сайце банка плашчак з лагатыпам таго ці іншага рэйтынгу ці не. Чалавеку прасцей кінуць кліч па знаёмых ці ў ФБ, хто якім банкам карыстаецца і чым задаволены / не задаволены, і абмежавацца гэтым у частцы сацыяльнага капіталу.
Пачнём са стварэння рэйтынгу. Каб стварыць рэйтынг, трэба правесці даследаванне, і тут звычайна ўсё абмяжоўваецца даследаваннем адной канкрэтнай функцыі, скажам, тэсціруюць валютны кантроль.
А даследаванні каштуюць грошай, прычым грошай даволі адчувальных. Каб рабіць гэта якасна, трэба добра ўкладвацца - партрэт прадпрымальніка для тэставання каштуе даражэй, чым сярэднестатыстычны карыстальнік. Таму кампаніі, якія спрабуюць пабудаваць сваю выручку толькі на даследаваннях як на асноўным і адзіным відзе дзейнасці, нясуць адчувальныя выдаткі. Пры тым, што ў нас рынак даследаванняў амаль пусты: гэтаму не вучаць у ВНУ, не вучаць у школах.
Дарэчы, аб грошах, каб былі зразумелыя лічбы. Дапушчальны, у нас у рэйтынгу 20 банкаў. У кожнага трэба даследаваць топ-7 функцый і сцэнарыяў, затраціўшы прыкладна 1,5 гадзіны часу. Даўжэй праводзіць тэст на адным рэспандэнты не мае сэнсу, таму што паўтары гадзіны - гэта мяжа, пасля якой увага ўжо рассейваецца, ды і людзі банальна стамляюцца і пачынаюць адказваць ужо што заўгодна, абы хутчэй пайсці перакусіць і выдыхнуць нарэшце.
Дык вось. Людзей з базы банка для такога даследавання браць складана і доўга, таму застаецца рэкрут. 5/7 сцэнарыяў для 20 банкаў азначаюць, што трэба набраць мінімум 140 рэспандэнтаў. І тое, калі на адным чалавеку будзе тэсціравацца не адзін банк.
Кошт аднаго такога рэспандэнта вар'іруецца ў межах 5-10 тысяч рублёў, тут ёсць выразная залежнасць ад партрэта, скажам, ІП-адзіночка будзе каштаваць даволі нядорага, тысяч 5. А вось партрэт прадпрымальніка-экспарцёра з валютным кантролем абыдзецца недзе ў 13 тысяч.
Разам выходзіць 140 чалавек, якім трэба заплаціць за ўдзел у даследаванні. Прыкінем самы просты і танны сцэнар, па 5000 рублёў за рэспандэнта, і атрымаем неілюзорныя 700 000 рублёў. Мінімум, так. Звычайна ж гэтая лічба набліжаецца да 1 400 000. Як бы сваё рэкрут-агенцтва адкрыць 🙂
І гэта толькі для асноўных сцэнарыяў выкарыстання банка. Акрамя грошай, ёсць больш каштоўны рэсурс - час. Яго таксама марнуецца з вялікай такой горачкай зверху. Правесці тэсты з 30 рэспандэнтамі і не звар'яцець можна за 2 тыдні. За месяц звычайна атрымліваецца прыкладна 60 сустрэч, калі хочацца захаваць якасць інтэрв'ю. 140 чалавек = 2,5 чалавека-месяца.
Пасля ўсіх рэспандэнтаў трэба выдаткаваць яшчэ каля 2-х месяцаў, каб прывесці інфармацыю ў зручны выгляд - транскрыбаваць вынікі, правесці аналіз і групоўку, зрабіць прыгожую прэзентацыю, а не выніковы файлік у экселе на кучу радкоў.
Агулам атрымліваецца прыкладна 4 месяцы працы і 2-3 мільёны рублёў, улічваючы ўсе выдаткі ў гэты перыяд. І гэта мы яшчэ падаткі не палічылі. А пры ўмове, што зарабляць на саміх даследаваннях пакуль асабліва нікому не ўдаецца, такая мадэль, відавочна, выглядае не самай прыбытковай. Калі ты не зарабляеш на самым рэйтынгу і месцах у ім замест даследаванняў, само сабой.
Колькасныя і якасныя даследаванні, функцыянальны аналіз
Прэзентацыі MW – гэта прыкладна 60% пра функцыянальны аналіз і 40% пра юзабіліці. Прычым паняцце "функцыянальны аналіз" у выпадку з такімі даследаваннямі гэта проста чэкліст наяўнасці тых ці іншых функцый. Ты садзішся, пішаш спіс функцый - так, павінна быць нармальная плацёжка, плюс плацёжка па фота, а яшчэ з файла, праверка контрагента, апошнія контрагенты або плацяжы і іншае. Потым праводзіш аналіз і правяраеш, ці ёсць там функцыі са спісу ці не. Калі ёсць - выдатна, ставіш галачку, плюс у рэйтынгу. Калі не - ну вы зразумелі.
Гучыць лагічна. Але, нажаль, скочваецца да таго, што плюсам і галачкай пры такім тэставанні з'яўляецца проста наяўнасць функцыі ў спісе, а не яе якасць ці ўвогуле неабходнасць для карыстача. Так мабільныя прыкладанні сталі скочвацца да таго каб запхнуць у сябе ўсё, каб адпавядаць рэйтынгу, а не не тое, што трэба карыстачу. Ну вось як падвойная камера ў Яндекс.Тэлефона. Яна ёсць, але, кажуць, не працуе. Але ёсць. Разам атрымліваецца, што 60% значнасці такога рэйтынгу гэта проста сама галачка, ці ёсць функцыя ці не. А не тое, наколькі яна зручная і патрэбна карыстачу.
Акрамя функцыянальнага аналізу ёсць яшчэ колькасныя і якасныя даследаванні.
Колькасныя usability-даследаванні будуць вельмі дарэчы, калі вы хочаце паставіць тэсты на паток. Вы набіраеце пабольш рэспандэнтаў, праганяеце іх па інтэрфейсе прыкладання, даяце базавыя задачы і на выхадзе проста пытаецеся, як яно ў цэлым і якія праблемы былі.
Якасны ж usability-тэст значна складаней - табе трэба выцягнуць успрыманне ўсяго працэсу і літаральна ўсіх элементаў падчас метадам . Усе думкі і пытанні, якія ўзнікаюць у людзей, усе незразумелыя для іх тэксты і элементы. І ўсе першапрычыны - а чаму незразумела, а як ты чакаеш, каб было названа, а якое слова трымаеш у галаве?
Ведаючы першапрычыны ўспрымання, ты не проста кажаш:
Людзі гэта не знайшлі - нязвыклае размяшчэнне.
А ты разумееш, як трэба змяніць:
Карыстальнік шукае гэты элемент не ўнізе як мы яго размясцілі, а ў верхнім правым куце экрана. Шукае па слове "Пошук", а ў нас "Увядзіце", шукае абразок лупы, а ў нас кнопка "Шукаць".
Калі рэзюмаваць, то пасля колькаснага юзабіліці-тэсту ў вас на выхадзе будзе спіс праблем у яго самым агульным выглядзе. Скажам, «Юзэр не здужаў знайсці Пошук». Чаму не здужаў? А проста не здужаў - гэты тэст не дасць адказу.
А пасля якаснага цеста ў вас будзе і праблема, і яе першапрычына. У выпадку з Пошукам - у вас будзе сцэнар, карыстальнік раскажа, як менавіта шукаў Пошук, якія элементы ён чакаў убачыць і дзе, якія менавіта словы прыходзілі яму на розум, калі ён не знайшоў Пошук, і іншае.
Калі ў вас з'яўляецца першапрычына праблемы і яе падрабязнае апісанне, вы ўжо можаце нешта выправіць, змяніць інтэрфейс так, каб ён адпавядаў чаканням карыстачоў і вырашаў якія ўзнікаюць у іх праблемы.
Само сабой, якасныя каштуюць даражэй. Замест задання і апытальніка трэба навучыць чалавека, які будзе праводзіць такія тэсты. Узяць чалавека з правільным бэкграўндам, увесці яго ў сферу, якую даследуеце. На гэта ідзе каля 3-6 месяцаў. Гатовых спяцоў на рынку адзінкі - гэта значыць практычна няма.
Але нават калі нармальна правесці ўсе гэтыя тэсты, мы атрымаем наступную сітуацыю - у краіне не ведаюць, што рабіць з гэтымі даследаваннямі і справаздачамі. На рынку да гэтага часу да гэтага ставяцца як да нейкай эфемернай сутнасці, лічаць, што купляюць проста прэзентацыю, а не вырашэнне праблемы.
Таму што атрымліваецца: замовіў банк тэсціраванне, атрымаў у адказ нейкую павярхоўную прэзентацыю, якую незразумела, як прымяніць ці "мы ўсё гэта і самі ведалі". Што далей? А нічога, пакласці яе ў стол і цешыцца, што яна ёсць. Бо людзі не ведаюць, што рабіць з гэтай прэзентацыяй, як выкарыстоўваць яе, каб палепшыць прадукт, як ператварыць апісаныя ў ёй высновы ў новыя інтэрфейсы, якія ўжо не будуць такімі праблемнымі. Калі не даваць глыбіні і першапрычын узнікнення праблем, то і не зразумець, як працаваць з праблемамі.
Усё зусім сумна?
Наогул - даволі сумна, так, але гэта не значыць, што сітуацыю нельга выправіць. Нашай мэтай было добра даследаваць тыя рэчы, у якіх у нас ужо была нядрэнная экспертыза. Напрыклад, пра працу плацёжак у дадатку, у нас была пэўная статыстыка па ёй. Мы хацелі ўзяць галоўныя сцэнары і не проста прачакаць іх на «Ёсць - Не», а зразумець, якія менавіта ў людзей узнікаюць праблемы, на якіх этапах, і ўвогуле - чаму яны ўзнікаюць.
Размеркаванне па асноўных сцэнарах юрыдычных асоб
Гэта можа быць набор бар'ераў, які не моцна залежыць ад самога банка, проста падача нейкай функцыі зроблена для людзей не вельмі зразумела.
І, само сабой, мы хацелі зрабіць аб'ёмнае даследаванне, а не параўнаць пару банкаў паміж сабой. Мы лічылі, што можна будзе потым прадаць гэтыя падрабязныя даследаванні, і заадно патэставаць агульны попыт на іх.
Само сабой, першы блін у нас атрымаўся з парай камячкоў.
Мы ўсё ж паспрабавалі ўзяць усе сцэнары і прайсці іх з адным рэспандэнтам. Спойлер - ён выжыў. Магчыма, зараз значна радзей карыстаецца банкаўскімі праграмамі. Але мы яшчэ раз пацвердзілі тэзу аб тым, што праз паўтары гадзіны трэба ўсё згортваць і запускаць іншага. Таму мы перайшлі з глыбокага тэставання ўсіх фічаў на тое, каб паглядзець, як людзі знаходзяць тыя ці іншыя функцыі, на што зважаюць, як успрымаюць структуру галоўнай старонкі.
Размеркаванне па выкарыстанні платформаў у фізічных асоб
Калі ты тэстуеш банкаўскія прыкладанні, ты не можаш проста ўзяць і запусціць іх у госцевым рэжыме, каб зрабіць высновы. Трэба як мінімум мець рахунак у банку, каб разумець, як там усё працуе. А ў выпадку з банкам для прадпрымальнікаў патрэбен жывы рахунак, з гісторыяй, з заведзенай тамака кампаніяй. Калі тэстуеш яшчэ і валютны кантроль і іншыя радасці, спатрэбяцца валютныя рахункі і крыху афабазолу. Рэшта не можа быць пустой, гісторыя транзакцый павінна быць больш сур'ёзнай, чым «закіну сабе з рахунку на рахунак 200 р, паглядзім, як яно».
Мы думалі, што зарэгаць рахункі ва ўсіх доследных банках і завесці грошы на іх будзе даволі хуткай задачай.
Часам усё зацягвалася на пару тыдняў. З боку банкаў, так. І гэта мы яшчэ тэсціравалі 5 банкаў, а было б іх 20?
Але зразумець для сябе размеркаванне асноўных функцый і колькасць нейкіх адзінкавых і непапулярных мы змаглі. Таму з першага бліна на другі заход мы пайшлі ўжо з больш вывастранай метадалогіяй. А яшчэ ў камандзе з'явіўся дызайнер, што вывела самі прэзентацыі на новы ўзровень. Гэта праўда важней, чым здаецца, калі ты падаеш падобную інфармацыю.
Вынікам працы сталі прэзентацыі на 100+ слайдаў. Калі мы рабілі даследаванне па чатырох банках для фізічных асоб, мы яго не прадавалі. А вось першае даследаванне, па банках для прадпрымальнікаў - прадавалі, каб паглядзець, наколькі рынку гэта цікава ў прынцыпе. Купілі ў нас гэта 7 разоў (банкі з топ-5 і некалькі кампаній, якія прадавалі банкам распрацоўку і дызайн), мы не давалі нейкую рэкламу, акрамя пастоў у Facebook.
- Але вы ж самі пісалі, што гэта дакладны спосаб выйсці ў мінус!
Выдатны спосаб, так, калі займаешся толькі даследаваннямі. Зарабляем мы перш за ўсё праектаваннем і дызайнам.
Даследаванні для нас - гэта магчымасць фармаваць рынак, таму што, як бачыце, яго амаль няма. У нас часта пыталі, маўляў, хлопцы, вы чаго, размясцілі такую штуку ў бясплатным доступе, яно ж грошай каштуе? Але дзякуючы гэтаму мы можам паказаць супольнасці, якімі ў прынцыпе даследавання могуць быць. Цяпер, каб проста паглядзець узор падобных даследаванняў, іх трэба купіць. Ну ці папрасіць у таго, хто купіў.
Мы публікуем іх проста так. Каб рынак таксама разумеў, што такое даследаванне. Каб кліенты, якія заказваюць даследаванні недзе яшчэ, маглі хоць з нечым параўноўваць і валідаваць якасць таго, што ім прадаюць іншыя кампаніі. Каб узнікла агульнае разуменне - даследаванні могуць быць якаснымі, і з іх можна атрымліваць карысць і разуменне што з гэтым далей рабіць. Нас на самой справе крыху карабаціць, што з адукацыйнай часткай у плане даследаванняў у нас у краіне сумна. Таму пакуль спрабуем змяніць сітуацыю вось так - сфармаваўшы разуменне, што можна атрымліваць лепшы вынік.
А акрамя адукацыйнага аспекту, такія даследаванні і іх публікацыя - гэта нядрэнная магчымасць згенераваць ліды. І тут ужо плюс не толькі ў тым, што да нас прыходзяць кліенты. Нядаўна па адным з нашых пастоў пачалі прататыпіраваць банк з топ-3. Яшчэ некалькі гадоў таму мы б рэальна падумалі - вось блін, злізалі нашу тэму і пайшлі рабіць нешта сваё.
А зараз думаем - крута, да нас прыслухоўваюцца, і сапраўды імкнуцца зрабіць прадукты лепш і бліжэй да карыстача. Таму мы будзем рабіць такія даследаванні і далей, якасна тэсціруючы ўжо асобныя сэнсавыя блокі дадаткаў, а не проста ўвесь прадукт у цэлым па нейкім чэклісце.
Унутры каманды нам гэта дае павышэнне экспертызы — не ісці ў цемры, а разумець, як мяняюцца асноўныя сцэнары і патрэбы людзей (а яны за 1-2 гады мяняюцца, уявіце). І потым, калі 3-4 разы за 2 гады даследуеш адкрыццё рахунку ў банку для прадпрымальнікаў, у цябе вымалёўваецца ідэальны працэс, якім ён можа быць ва ўмовах бягучых тэхнічных абмежаванняў.
І сітуацыя выгляду «Захацеў у рэйтынг - заплаціў за рэйтынг - патрапіў у рэйтынг» усё ж такі надакучыла. І неабходнасць новага рэйтынгу, заснаванага на якасці прадукта, ужо наспела.
А для тых, хто дачытаў да канца артыкула, вось дзве спасылкі на и
Крыніца: habr.com