Ludzie kochają oceny. Ile aplikacji, gier i innych rzeczy zostało już stworzonych w imię pragnienia danej osoby, aby znaleźć się na jakiejś liście kilka linii wyżej od kogoś innego. Albo na przykład konkurent. Ludzie zdobywają miejsca w rankingach w różny sposób, w zależności od swojej motywacji i charakteru moralnego. Niektórzy będą starali się poprawić i uczciwie przejść z miejsca 142 na 139, podczas gdy inni zdecydują się zarobić pieniądze i szczęśliwie zajmą miejsce 21 (ponieważ pierwsza 20 przyniosła jeszcze więcej).
Z firmami jest prawie tak samo. Dzisiaj porozmawiamy o bankach i ratingach, do których te banki starają się dostać. W tym poście omówię ogólne problemy z badaniami, jakie mamy w kraju, praktyczną różnicę między badaniami ilościowymi i jakościowymi oraz to, jak próbowaliśmy naprawić obecną sytuację.
A na końcu artykułu niespodzianka.
Wszystko zaczęło się, gdy rok temu rozpoczęliśmy testy pięciu banków dla osób prawnych, wybierając kilka stylowych młodzieżowych (Modulbank i Tinkoff Bank) oraz trzy klasyczne (VTB, Raiffeisenbank i Promsvyazbank). Ale najpierw trochę materiału.
Ratingi banków w Federacji Rosyjskiej
Na rynku jest wielu graczy, którzy przeprowadzają oceny użyteczności dla branży bankowej. Mianowicie dwa - Markswebb i USABILITYLAB.
I okazało się, że MW i UL stały się teraz swego rodzaju KPI. Z jednej strony jest to dobre, ponieważ sama obecność przynajmniej czegoś konkurencyjnego wyznacza ogólny ruch na rynku, który jest pod tym względem dość powolny. Z drugiej strony wszystko sprowadza się głównie do analizy funkcjonalnej. A motywacją tutaj ze strony bankowej wierchuchy nie jest już zrobienie rewelacyjnego produktu, który wystartuje i przyniesie użytkownikom mnóstwo korzyści, dzięki czemu zajmie miejsce w rankingu, ale po prostu bycie w rankingu .
Twój bank znalazł się w rankingu = spełniłeś KPI = otrzymałeś premię. Poza tym wydaje się, że zespół cię lubi, pomogłeś bankowi dostać się do ratingu. Dla niektórych to naprawdę drapie swędzenie. W sumie nie wiadomo co, ale motywacja to w zasadzie tego rodzaju „bonusy” różnego rodzaju, a nie ruch w stronę ulepszania produktu.
I tutaj, jeśli chodzi o znaczenie takich ocen dla rynku, warto zrozumieć jeszcze jedną rzecz. Około 98% użytkowników aplikacji bankowych w ogóle nie wie o tych ocenach. Szczerze mówiąc, jest im to obojętne. Oceny te są przeznaczone specjalnie dla menedżerów i kadry zarządzającej. Pozostałe 2% wie o ocenach, ale uważa je za atut. Kiedyś testowaliśmy strony banków z tymi znakami o pierwszych miejscach.
Ludzie nie wybierają banku do prowadzenia działalności gospodarczej na podstawie tego, czy na stronie internetowej banku znajduje się szyld z logo danego ratingu, czy też nie. Łatwiej jest wypytać znajomych czy na Facebooku, kto korzysta z jakiego banku i z czego jest zadowolona/niezadowolona, i do tego ograniczy się w zakresie kapitału społecznego.
Zacznijmy od stworzenia oceny. Aby stworzyć rating, trzeba przeprowadzić badania, a tutaj wszystko zwykle ogranicza się do badania jednej konkretnej funkcji, powiedzmy, testowania kontroli waluty.
A badania kosztują, i to całkiem spore pieniądze. Aby robić to skutecznie, trzeba dobrze zainwestować – portret przedsiębiorcy do testowania kosztuje więcej niż przeciętny użytkownik. Dlatego firmy, które starają się budować swoje przychody wyłącznie na badaniach jako swojej głównej i jedynej działalności, ponoszą znaczne koszty. Mimo że nasz rynek badawczy jest prawie pusty: nie uczy się tego na uniwersytetach, nie uczy się tego w szkołach.
Nawiasem mówiąc, o pieniądzach, żeby liczby były jasne. Załóżmy, że mamy w rankingu 20 banków. Każda osoba musi zbadać 7 najważniejszych funkcji i scenariuszy, poświęcając około 1,5 godziny. Nie ma sensu dłużej przeprowadzać testu na jednym respondentu, bo półtorej godziny to granica, po której uwaga już się rozprasza, a ludzie po prostu się męczą i zaczynają odpowiadać na cokolwiek, żeby szybko pójść coś przekąsić i w końcu odetchnąć .
Więc oto jest. Rekrutacja osób z bazy banku do takich badań jest trudna i czasochłonna, dlatego pozostaje tylko rekrutacja. 5-7 scenariuszy dla 20 banków oznacza, że trzeba zrekrutować co najmniej 140 respondentów. A potem, jeśli na jednej osobie testowany jest więcej niż jeden bank
Koszt jednego takiego respondenta waha się w granicach 5-10 tysięcy rubli, istnieje wyraźna zależność od portretu, powiedzmy, pojedynczy indywidualny przedsiębiorca będzie kosztować dość niedrogo, 5 tysięcy, ale portret przedsiębiorcy eksportującego z kontrolą dewizową będzie kosztować około 13 tys.
W sumie za udział w badaniu przypada 140 osób, którym należy zapłacić wynagrodzenie. Oszacujmy najprostszy i najtańszy scenariusz, 5000 rubli na respondenta, a otrzymamy nieiluzoryczne 700 000 rubli. Przynajmniej tak. Zwykle liczba ta zbliża się do 1 400 000. Czas otworzyć własną agencję rekrutacyjną :)
I to dotyczy tylko głównych przypadków użycia banku. Oprócz pieniędzy istnieje cenniejszy zasób – czas. Jest to również marnowanie przy tak dużym stosie na górze. Można przeprowadzić testy na 30 respondentach i nie zwariować w 2 tygodnie. Miesiąc zazwyczaj oznacza około 60 spotkań, jeśli chcesz utrzymać jakość rozmów kwalifikacyjnych. 140 osób = 2,5 osobo-miesięcy.
Przecież wszyscy respondenci muszą poświęcić jeszcze około 2 miesięcy na doprowadzenie informacji do zrozumiałej formy - przepisać wyniki, przeprowadzić analizę i grupowanie, zrobić piękną prezentację, a nie końcowy plik Excel z kilkoma linijkami.
Ogólnie okazuje się, że jest to około 4 miesiące pracy i 2-3 miliony rubli, biorąc pod uwagę wszystkie koszty w tym okresie. A my jeszcze nie obliczyliśmy podatków. A biorąc pod uwagę, że na samych badaniach nikomu dotychczas nie udało się zarobić, model ten oczywiście nie wygląda na najbardziej opłacalny. Jeśli nie zarabiasz na samym rankingu i miejscach w nim zamiast na badaniach oczywiście.
Badania ilościowe i jakościowe, analiza funkcjonalna
Prezentacje MW w około 60% dotyczą analizy funkcjonalnej, a w 40% użyteczności. Co więcej, koncepcja „analizy funkcjonalnej” w przypadku takich badań jest po prostu listą kontrolną na obecność określonych funkcji. Siadasz, spisujesz listę funkcji - powinna być więc płatność normalna, plus płatność na podstawie zdjęcia, a także z pliku, sprawdzanie kontrahenta, ostatnich kontrahentów czy płatności i tak dalej. Następnie przeprowadzasz analizę i sprawdzasz, czy funkcje z listy się tam znajdują, czy nie. Jeśli tak, świetnie, zaznacz plus w ocenie. Jeśli nie, cóż, rozumiesz.
Brzmi logicznie. Ale, niestety, sprowadza się to do tego, że plusem i hakiem w takich testach jest po prostu obecność funkcji na liście, a nie jej jakość czy ogólna konieczność dla użytkownika. Aplikacje mobilne zaczęły więc zmierzać w stronę upchania w sobie wszystkiego, aby sprostać ocenie, a nie tym, czego potrzebuje użytkownik. Cóż, tak Yandex.Phone ma podwójny aparat. Istnieje, ale mówią, że nie działa. Ale tam jest. W sumie okazuje się, że 60% znaczenia takiej oceny to po prostu sam znacznik, niezależnie od tego, czy funkcja jest, czy nie. A nie to, jak wygodne jest to i jak konieczne jest dla użytkownika.
Oprócz analizy funkcjonalnej istnieją również badania ilościowe i jakościowe.
Ilościowe badania użyteczności będą bardzo przydatne, jeśli chcesz przeprowadzić testy przepływu. Rekrutujesz kolejnych respondentów, przeprowadzasz ich przez interfejs aplikacji, przydzielasz podstawowe zadania, a na koniec po prostu pytasz, jak jest ogólnie i jakie były problemy.
Wysokiej jakości test użyteczności jest znacznie trudniejszy - trzeba za pomocą tej metody wydobyć percepcję całego procesu i dosłownie wszystkich elementów procesu . Wszystkie myśli i pytania, które ludzie mają, wszystkie teksty i elementy, które są dla nich niezrozumiałe. I wszystkie podstawowe przyczyny - dlaczego nie jest jasne, jak spodziewasz się, że zostanie to nazwane i jakie słowo masz w głowie?
Znając podstawowe przyczyny percepcji, nie mówisz po prostu:
Ludzie tego nie znaleźli – nietypowe umiejscowienie.
Czy rozumiesz jak zmienić:
Użytkownik szuka tego elementu nie na dole tak jak go umieściliśmy, ale w prawym górnym rogu ekranu. Wyszukuje słowo „Szukaj” i mamy „Enter”, wyszukuje ikonę szkła powiększającego i mamy przycisk „Szukaj”.
Podsumowując, po ilościowym teście użyteczności otrzymasz listę problemów w najbardziej ogólnej formie. Załóżmy, że „Użytkownik nie mógł znaleźć wyszukiwania”. Dlaczego tego nie opanowałeś? Ale po prostu tego nie opanowałem - ten test nie da odpowiedzi.
Po teście jakości będziesz mieć zarówno problem, jak i jego pierwotną przyczynę. W przypadku Wyszukiwania będziesz miał skrypt, użytkownik powie Ci dokładnie, w jaki sposób szukał Wyszukiwania, jakie elementy spodziewał się zobaczyć i gdzie, jakie słowa przyszły mu na myśl, gdy nie znalazł Wyszukiwania i tak dalej.
Mając już pierwotną przyczynę problemu i jego szczegółowy opis, można już coś naprawić, zmienić interfejs tak, aby spełniał oczekiwania użytkownika i rozwiązywał jego problemy.
Oczywiście te wysokiej jakości są droższe. Zamiast zadania i ankiety trzeba przeszkolić osobę, która takie badania przeprowadzi. Wybierz osobę z odpowiednim doświadczeniem i przedstaw ją w obszarze, który badasz. Trwa to około 3-6 miesięcy. Gotowych specjalistów na rynku jest niewielu – czyli praktycznie nie ma ich wcale.
Ale nawet jeśli wszystkie te badania zostaną przeprowadzone normalnie, otrzymamy następującą sytuację – kraj nie wie, co zrobić z tymi badaniami i raportami. Rynek nadal traktuje to jako swego rodzaju efemeryczny byt, uważa, że kupuje tylko prezentację, a nie rozwiązanie problemu.
Bo okazuje się: bank zlecił przeprowadzenie testów, w odpowiedzi otrzymał jakąś powierzchowną prezentację, w której nie było jasne, jak zastosować, albo „sami to wszystko wiedzieliśmy”. Co dalej? W porządku, połóż to na stole i ciesz się, że istnieje. Bo ludzie nie wiedzą, co zrobić z tą prezentacją, jak ją wykorzystać do ulepszenia produktu, jak opisane w niej ustalenia przełożyć na nowe interfejsy, które nie będą już tak problematyczne. Jeśli nie podasz głębi i pierwotnych przyczyn problemów, nie zrozumiesz, jak pracować z problemami.
Czy wszystko jest naprawdę smutne?
Ogólnie rzecz biorąc, jest to dość smutne, ale to nie znaczy, że sytuacji nie można naprawić. Naszym celem było przeprowadzenie dobrych badań na temat rzeczy, w których mieliśmy już dużą wiedzę. Przykładowo, jeśli chodzi o działanie płatności w aplikacji, mieliśmy na ten temat pewne statystyki. Chcieliśmy wziąć pod uwagę główne scenariusze i nie tylko sprawdzać je pod kątem „tak” lub „nie”, ale także dokładnie zrozumieć, jakie problemy mają ludzie, na jakich etapach i ogólnie, dlaczego się pojawiają.
Dystrybucja według głównych scenariuszy podmiotów prawnych
Może to być zbiór barier, który nie zależy zbytnio od samego banku, po prostu przedstawienie jakiejś funkcji jest dla ludzi mało jasne.
I oczywiście chcieliśmy przeprowadzić kompleksowe badanie, a nie porównywać ze sobą kilka banków. Wierzyliśmy, że uda nam się następnie sprzedać te szczegółowe opracowania i jednocześnie sprawdzić ogólny popyt na nie.
Oczywiście nasz pierwszy naleśnik wyszedł z kilkoma grudkami.
Nadal staraliśmy się wziąć wszystkie scenariusze i przeanalizować je z jednym respondentem. Uwaga, spoiler – przeżył. Być może teraz znacznie rzadziej korzysta z aplikacji bankowych. Ale po raz kolejny potwierdziliśmy tezę, że po półtorej godzinie trzeba wszystko wyłączyć i zacząć nowe. Dlatego przeszliśmy od głębokiego testowania wszystkich funkcji do sprawdzenia, jak ludzie znajdują określone funkcje, na co zwracają uwagę i jak postrzegają strukturę strony głównej.
Dystrybucja za pomocą platform przez osoby fizyczne
Testując aplikacje bankowe, nie można po prostu uruchomić ich w trybie gościa i wyciągnąć wnioski. Trzeba mieć chociaż konto w banku, żeby zrozumieć, jak tam wszystko działa. Natomiast w przypadku banku przedsiębiorcom potrzebne jest konto żywe, z historią, w założonej tam firmie. Jeśli testujesz także kontrolę walutową i inne przyjemności, będziesz potrzebować kont walutowych i trochę Afobazolu. Saldo nie może być puste, historia transakcji musi być poważniejsza niż „Przeleję 200 rubli z mojego konta na moje konto, zobaczymy, jak to będzie”.
Myśleliśmy, że rejestracja kont we wszystkich sprawdzanych przez nas bankach i przesyłanie do nich pieniędzy będzie dość szybkim zadaniem.
Czasami wszystko przeciągało się przez kilka tygodni. Ze strony banków tak. Przetestowaliśmy też 5 banków, ale czy byłoby ich 20?
Ale byliśmy w stanie sami zrozumieć rozkład głównych funkcji i liczbę niektórych izolowanych i niepopularnych. Dlatego od pierwszego naleśnika do drugiego przeszliśmy z bardziej wyrafinowaną metodologią. Do zespołu dołączył także projektant, co wyniosło same prezentacje na nowy poziom. To jest naprawdę ważniejsze, niż się wydaje, gdy prezentujesz takie informacje.
Efektem pracy była prezentacja ponad 100 slajdów. Kiedy robiliśmy badanie dotyczące czterech banków dla osób fizycznych, nie sprzedawaliśmy ich. Ale pierwsze badanie, dotyczące banków dla przedsiębiorców, sprzedano, żeby zobaczyć, jakie jest w zasadzie interesujące dla rynku. Kupili to od nas 7 razy (banki z pierwszej piątki i kilka firm, które sprzedały bankom rozwój i projektowanie), nie zapewnialiśmy żadnych reklam poza postami na Facebooku.
- Ale sam napisałeś, że to pewny sposób na zejście na czerwono!
Świetny sposób, jeśli tylko prowadzisz badania. Zarabiamy przede wszystkim poprzez projektowanie i inżynierię.
Badania są dla nas szansą na kształtowanie rynku, bo jak widać, prawie go nie ma. Często nas pytano, mówią, dlaczego udostępniacie coś takiego za darmo, czy nie jest warte swojej ceny? Ale dzięki temu możemy pokazać społeczeństwu, jak naprawdę mogą wyglądać badania. Teraz, żeby zobaczyć próbkę takich badań, trzeba je kupić. Albo zapytaj osobę, która to kupiła.
Publikujemy je tak po prostu. Aby rynek również zrozumiał, czym są badania. Aby klienci, którzy zlecają badania gdzie indziej, mogli przynajmniej z czymś porównać i potwierdzić jakość tego, co sprzedają im inne firmy. Aby powstało powszechne zrozumienie - badania mogą być wysokiej jakości, z których można uzyskać korzyści i zrozumieć, co z nimi dalej zrobić. Właściwie to jesteśmy trochę urażeni, że część edukacyjna w zakresie badań w naszym kraju jest smutna. Dlatego na razie staramy się zmienić taką sytuację - budując zrozumienie, że można uzyskać lepszy wynik
Poza aspektem edukacyjnym, takie badania i ich publikacja to dobra okazja do generowania leadów. I tutaj zaletą jest nie tylko to, że klienci przychodzą do nas. Niedawno na podstawie jednego z naszych postów rozpoczęli prototypowanie banku z pierwszej trójki. Jeszcze kilka lat temu naprawdę byśmy pomyśleli – cholera, liznęliśmy temat i poszliśmy zrobić coś własnego.
A teraz myślimy – super, słuchają nas i naprawdę starają się, aby produkty były lepsze i bliższe użytkownikowi. Dlatego będziemy nadal prowadzić takie badania, testując jakościowo poszczególne bloki semantyczne aplikacji, a nie tylko cały produkt według jakiejś listy kontrolnej.
Daje nam to w zespole większą wiedzę – nie pozwalamy chodzić w ciemności, ale rozumiemy, jak zmieniają się główne scenariusze i potrzeby ludzi (a zmieniają się one w ciągu 1–2 lat, wyobraźcie sobie). A potem, studiując otwieranie konta bankowego dla przedsiębiorców 3-4 razy w ciągu 2 lat, masz pojęcie o idealnym procesie, jak mógłby wyglądać przy obecnych ograniczeniach technicznych.
A sytuacja typu „Chciałem być wpisany do rankingu – zapłaciłem za ocenę – dostałem się do rankingu” nadal nudziła. Potrzeba nowej oceny opartej na jakości produktu jest już dojrzała.
A dla tych, którzy przeczytali do końca artykułu, oto dwa linki do и
Źródło: www.habr.com