Люди люблять рейтинги. Скільки програм, ігор та іншого вже зроблено в ім'я бажання людини бути в якомусь списку на кілька рядків вище, ніж хтось ще. Або ніж конкурент, наприклад. Добиваються місць у рейтингу люди по-різному, залежно від мотивації та моральної подоби. Хтось спробує стати краще і чесно переступити з місця #142 на #139, а хтось вирішить занести грошей і радісно зайняти #21 (бо верхні 20 занесли ще більше).
З компаніями все приблизно так само. Сьогодні ми поговоримо про банки та рейтинги, до яких ці банки прагнуть потрапити. У цьому посту я розповім про спільні проблеми з дослідженнями, які є в нашій країні, про практичну різницю між кількісними та якісними тестуваннями, і про те, як ми намагалися виправити ситуацію, що склалася.
А наприкінці статті – сюрприз.
Почалося все з того, що рік тому ми розпочали тестування п'яти банків для юридичних осіб, обравши пару стильно-молодіжних (Модульбанк та Тінькофф Банк) та три класичні (ВТБ, Райффайзенбанк та Промзв'язокбанк). Але спершу трохи матчасті.
Банківські рейтинги в РФ
На ринку є досить мало гравців, які роблять юзабіліті рейтинги для банківської сфери. А саме цілих два – Markswebb та USABILITYLAB.
І вийшло так, що MW та UL стали зараз своєрідним KPI. З одного боку, це добре, оскільки сама наявність хоч чогось змагального задає загальну движуху на досить неповороткому в цьому плані ринку. З іншого боку, все зводиться здебільшого до функціонального аналізу. І мотивація тут з боку банківських топів вже полягає не в тому, щоб зробити офігенний продукт, який злетить і принесе купу користі користувачам, завдяки чому і займе місце в рейтингу, а просто бути в рейтингу.
Ваш банк є в рейтингу = ти виконав KPI = ти отримав премію. Плюс, тебе в команді начебто люблять, допоміг банку потрапити до рейтингу. Комусь це щиро чухає НСВ. Загалом, хто будь що, але мотивація за великим рахунком це ось такі «премії» різного роду, а не рух у бік поліпшення продукту.
І тут у плані значення таких рейтингів для ринку важливо розуміти ще ось що. Близько 98% користувачів банківських програм про ці рейтинги не знають зовсім. Їм відверто пофіг. Ці рейтинги саме для менеджерів та керівництва. Інші 2% про рейтинги знають, але вважають їх покупною темою. Якось ми тестували сайти банків із цими плашками про перші місця.
Люди не обирають банк для бізнесу на основі того, чи є на сайті банку плашка з логотипом того чи іншого рейтингу чи ні. Людині простіше кинути клич по знайомих або у ФБ, хто яким банком користується і чим задоволений/не задоволений, і обмежитися цим у частині соціального капіталу.
Почнемо зі створення рейтингу. Щоб створити рейтинг, треба провести дослідження, і тут зазвичай обмежується дослідженням однієї конкретної функції, скажімо, тестують валютний контроль.
А дослідження коштують грошей, причому грошей досить відчутних. Щоб робити це якісно, треба добре вкладатися — портрет підприємця для тестування коштує дорожче за середньостатистичного користувача. Тому компанії, які намагаються побудувати свій виторг тільки на дослідженнях як на основному і єдиному виді діяльності, несуть відчутні витрати. При тому, що у нас ринок досліджень майже порожній: цього не навчають у вишах, не навчають у школах.
До речі, про гроші, щоби були зрозумілі цифри. Припустимо, у нас у рейтингу 20 банків. У кожного треба дослідити топ-7 функцій та сценаріїв, витративши приблизно 1,5 години часу. Довше проводити тест на одному респонденті немає сенсу, бо півтори години — це межа, після якої увага вже розсіюється, та й люди банально втомлюються і починають відповідати вже що завгодно, аби скоріше піти перекусити і видихнути нарешті.
Так ось. Людей із бази банку для такого дослідження брати складно та довго, тому залишається рекрут. 5-7 сценаріїв для 20 банків означають, що треба набрати щонайменше 140 респондентів. І те, якщо на одній людині тестуватиметься не один банк
Вартість одного такого респондента варіюється в межах 5-10 тисяч рублів, тут є чітка залежність від портрета, скажімо, ІП-одина коштуватиме досить недорого, тисяч 5. А ось портрет підприємця-експортера з валютним контролем коштуватиме десь 13 тисяч.
Отже, виходить 140 осіб, яким треба заплатити за участь у дослідженні. Прикинемо найпростіший і найдешевший сценарій, по 5000 рублів за респондента, і отримаємо неілюзорні 700 000 рублів. Мінімум, так. Зазвичай ця цифра наближається до 1 400 000. Можна своє рекрут-агентство відкрити 🙂
І це лише для основних сценаріїв використання банку. Крім грошей, є цінніший ресурс — час. Його теж витрачається з великою такою гіркою зверху. Провести тести з 30 респондентами і не збожеволіти можна за 2 тижні. За місяць зазвичай виходить приблизно 60 зустрічей, якщо хочеться зберегти якість інтерв'ю. 140 чоловік = 2,5 людино-місяця.
Після всіх респондентів треба витратити ще близько 2-х місяців, щоб привести інформацію в зручно виглядати - транскрибувати результати, провести аналіз і угруповання, зробити красиву презентацію, а не підсумковий файлик в екселі на купу рядків.
Загалом, виходить приблизно 4 місяці роботи і 2-3 мільйони рублів, враховуючи всі витрати в цей період. І це ми ще не порахували податки. А за умови, що заробляти на самих дослідженнях поки що особливо нікому не вдається, така модель, очевидно, виглядає не найприбутковішою. Якщо ти не заробляєш на самому рейтингу та місцях у ньому замість досліджень, само собою.
Кількісні та якісні дослідження, функціональний аналіз
Презентації MW - це приблизно 60% для функціонального аналізу і 40% для юзабіліті. Причому поняття «функціональний аналіз» у разі таких досліджень це просто чекліст наявності тих чи інших функцій. Ти сідаєш, пишеш список функцій - так, повинна бути нормальна платіжка, плюс платіжка по фото, а ще з файлу, перевірка контрагента, останні контрагенти або платежі та інше. Потім проводиш аналіз та перевіряєш, чи є там функції зі списку чи ні. Якщо є чудово, ставиш галочку, плюс у рейтингу. Якщо ні, ну ви зрозуміли.
Звучить логічно. Але, на жаль, скочується до того, що плюсом і галочкою при такому тестуванні є наявність функції в списку, а не її якість або взагалі необхідність для користувача. Так мобільні програми стали скочуватися до того щоб запхати все, щоб відповідати рейтингу, а не те, що потрібно користувачеві. Ну як подвійна камера у Яндекс.Телефона. Вона є, але, кажуть, не працює. Але є. Разом виходить, що 60% значущості такого рейтингу це просто галочка, чи є функція чи ні. А не те, наскільки вона зручна та потрібна користувачеві.
Крім функціонального аналізу є ще кількісні та якісні дослідження.
Кількісні usability-дослідження будуть дуже доречними, якщо ви хочете поставити тести на потік. Ви набираєте більше респондентів, проганяєте їх за інтерфейсом програми, даєте базові завдання і на виході просто питаєте, як воно загалом і які проблеми були.
Якісний же usability-тест набагато складніший – тобі потрібно витягнути сприйняття всього процесу та буквально всіх елементів у процесі методом . Усі думки та питання, які виникають у людей, усі незрозумілі для них тексти та елементи. І всі причини – а чому незрозуміло, а як ти очікуєш, щоб було названо, а яке слово тримаєш у голові?
Знаючи першопричини сприйняття, ти не просто кажеш:
Люди це не знайшли – незвичне розміщення.
А ти розумієш, як треба змінити:
Користувач шукає цей елемент не внизу, як ми його розмістили, а у верхньому правому кутку екрана. Шукає за словом "Пошук", а у нас "Введіть", шукає іконку лупи, а у нас кнопка "Шукати".
Якщо резюмувати, то після кількісного юзабіліті-тесту у вас на виході буде список проблем у його загальному вигляді. Скажімо, «Юзер не подужав знайти Пошук». Чому не подужав? А просто не подужав – цей тест не дасть відповіді.
А після якісного тесту у вас буде і проблема, і її причина. У випадку з Пошуком - у вас буде сценарій, користувач розповість, як саме шукав Пошук, які елементи він очікував побачити і де, які саме слова спадали йому на думку, коли він не знайшов Пошук, та інше.
Коли у вас з'являється першопричина проблеми та її докладний опис, ви вже можете щось виправити, змінити інтерфейс так, щоб він відповідав очікуванням користувачів і вирішував проблеми, що виникають у них.
Звісно, якісні коштують дорожче. Замість завдання та опитувальника потрібно навчити людину, яка проводитиме такі тести. Взяти людину з правильним бекграундом, запровадити її у сферу, яку досліджуєте. На це йде близько 3-6 місяців. Готових спеців на ринку одиниці - тобто майже немає.
Але навіть якщо нормально провести всі ці тести, ми отримаємо наступну ситуацію — у країні не знають, що робити із цими дослідженнями та звітами. На ринку досі до цього ставляться як до якоїсь ефемерної сутності, вважають, що купують просто презентацію, а не вирішення проблеми.
Бо виходить: замовив банк тестування, одержав у відповідь якусь поверхневу презентацію, яку незрозуміло, як застосувати, чи «ми все це й самі знали». Що далі? А нічого, покласти її в стіл і радіти, що вона є. Тому що люди не знають, що робити з цією презентацією, як використовувати її, щоб покращити продукт, як перетворити описані в ній висновки на нові інтерфейси, які вже не будуть такими проблемними. Якщо не давати глибини та причин виникнення проблем, то й не зрозуміти, як працювати з проблемами.
Все зовсім сумно?
Взагалі досить сумно, так, але це не означає, що ситуацію не можна виправити. Нашою метою було добре дослідити ті речі, в яких ми вже мали непогану експертизу. Наприклад, про роботу платіжок у додатку, у нас була певна статистика щодо неї. Ми хотіли взяти головні сценарії і не просто прочекати їх на «Є — Ні», а зрозуміти, які саме люди мають проблеми, на яких етапах, і взагалі — чому вони виникають.
Розподіл за основними сценаріями юридичних осіб
Це може бути набір бар'єрів, який не сильно залежить від самого банку, просто подання якоїсь функції зроблено для людей не дуже зрозуміло.
І, звісно ж, ми хотіли зробити об'ємне дослідження, а не порівняти пару банків між собою. Ми вважали, що можна буде потім продати ці докладні дослідження, і заразом потестувати загальний попит на них.
Само собою, перший млинець у нас вийшов із парою грудочок.
Ми все ж таки спробували взяти всі сценарії і пройти їх з одним респондентом. Спойлер – він вижив. Можливо, тепер дуже рідше користується банківськими додатками. Але ми ще раз підтвердили тезу про те, що за півтори години треба все згортати і запускати іншого. Тому ми перейшли з глибокого тестування всіх фіч, щоб подивитися, як люди знаходять ті чи інші функції, на що звертають увагу, як сприймають структуру головної сторінки.
Розподіл з використання платформ у фізосіб
Коли ти тестуєш банківські програми, ти не можеш просто взяти та запустити їх у гостьовому режимі, щоб зробити висновки. Треба, як мінімум, мати рахунок у банку, щоб розуміти, як там усе працює. А у випадку з банком для підприємців потрібен живий рахунок, з історією, із заведеною там компанією. Якщо тестуєш ще й валютний контроль та інші радощі, знадобляться валютні рахунки та трохи афобазолу. Залишок не може бути порожнім, історія транзакцій має бути серйознішою, ніж «закину собі з рахунку на рахунок 200 р, подивимося, як воно».
Ми думали, що зареєструвати рахунки у всіх досліджуваних банках і завести гроші на них буде досить швидким завданням.
Іноді все затягувалося на кілька тижнів. З боку банків, так. І це ми ще тестували 5 банків, а чи було б їх 20?
Але зрозуміти для себе розподіл основних функцій та кількість якихось поодиноких та непопулярних ми змогли. Тому з першого млинця на другий захід ми пішли вже з більш відточеною методологією. А ще у команді з'явився дизайнер, що вивело самі презентації на новий рівень. Це правда важливіше, ніж здається, коли ти подаєш таку інформацію.
Підсумком роботи стали презентації на 100+ слайдів. Коли ми робили дослідження з чотирьох банків для фізичних осіб, ми його не продавали. А ось перше дослідження щодо банків для підприємців — продавали, щоб подивитися, наскільки ринку це цікаво в принципі. Купили у нас це 7 разів (банки з топ-5 та кілька компаній, які продавали банкам розробку та дизайн), ми не давали якусь рекламу, окрім постів у Facebook.
— Але ж ви самі писали, що це вірний спосіб вийти в мінус!
Відмінний спосіб, так, якщо займаєшся лише дослідженнями. Заробляємо ми передусім проектуванням та дизайном.
Дослідження для нас — це можливість формувати ринок, бо, як бачите, майже немає. У нас часто питали, мовляв, хлопці, ви чого розмістили таку штуку в безкоштовному доступі, воно ж грошей коштує? Але завдяки цьому ми можемо показати спільноті, якими, в принципі, дослідження можуть бути. Зараз, щоби просто подивитися зразок подібних досліджень, їх треба купити. Ну чи попросити у того, хто купив.
Ми публікуємо їх просто так. Щоб ринок також розумів, що таке дослідження. Щоб клієнти, які замовляють дослідження десь ще, могли хоч із чимось порівнювати та валідувати якість того, що їм продають інші компанії. Щоб виникло загальне розуміння — дослідження можуть бути якісними, і з них можна отримувати користь та розуміння, що з цим далі робити. Нас насправді трохи коробить, що з освітньою частиною у плані досліджень у нас у країні сумно. Тому поки що намагаємося змінити ситуацію ось так – сформувавши розуміння, що можна отримувати найкращий результат
А крім освітнього аспекту такі дослідження та їх публікація — це непогана можливість згенерувати ліди. І тут уже плюс не лише у тому, що до нас приходять клієнти. Нещодавно по одному з наших постів почали прототипувати банк із топ-3. Ще кілька років тому ми реально подумали б — ось млинець, злизали нашу тему і пішли робити щось своє.
А тепер думаємо — круто, до нас прислухаються, і справді намагаються зробити продукти кращими та ближчими до користувача. Тому ми робитимемо такі дослідження і далі, якісно тестуючи вже окремі смислові блоки додатків, а не просто весь продукт загалом за якимось чеклістом.
Усередині команди нам це дає підвищення експертизи — не йти у темряві, а розуміти, як змінюються основні сценарії та потреби людей (а вони за 1-2 роки змінюються, уявіть). І потім, коли 3-4 рази за 2 роки досліджуєш відкриття рахунку у банку для підприємців, у тебе вимальовується ідеальний процес, яким він може бути в умовах поточних технічних обмежень.
І ситуація виду «Захотів до рейтингу — заплатив за рейтинг — потрапив до рейтингу» все-таки набридла. І необхідність нового рейтингу, що базується на якості продукту, вже назріла.
А для тих, хто дочитав до кінця статті, ось два посилання на и
Джерело: habr.com