Utrzymanie użytkownika w aplikacji mobilnej to cała nauka. Autor kursu opisał jego podstawy w naszym artykule na VC.ru Maxim Godzi, szef uczenia maszynowego w App in the Air. Maxim opowiada o narzędziach opracowanych w firmie na przykładzie pracy nad analizą i optymalizacją aplikacji mobilnej. To systematyczne podejście do ulepszania produktu, opracowane w App in the Air, nazywa się Retentioneering. Możesz użyć tych narzędzi w swoim produkcie: niektóre z nich są dostępne na GitHubie.
App in the Air to aplikacja z ponad 3 milionami aktywnych użytkowników na całym świecie, dzięki której możesz śledzić loty, uzyskiwać informacje o zmianach w godzinach odlotów/lądowań, odprawach i charakterystyce lotnisk.
Od lejka do trajektorii
Wszystkie zespoły programistyczne budują lejek onboardingowy (proces mający na celu akceptację produktu przez użytkownika). Jest to pierwszy krok, który pomaga spojrzeć na cały system z góry i znaleźć problemy z aplikacją. Jednak w miarę rozwoju produktu poczujesz ograniczenia tego podejścia. Za pomocą prostego lejka nie da się dostrzec nieoczywistych punktów wzrostu produktu. Celem lejka jest ogólne spojrzenie na etapy użytkowników w aplikacji, pokazanie wskaźników normy. Ale lejek ostrożnie ukryje odchylenia od normy w kierunku oczywistych problemów lub, wręcz przeciwnie, specjalnej aktywności użytkownika.
W App in the Air zbudowaliśmy własny lejek, ale ze względu na specyfikę produktu skończyło się na klepsydrze. Następnie postanowiliśmy rozszerzyć podejście i wykorzystać bogate informacje, jakie daje nam sama aplikacja.
Budując lejek, tracisz ścieżki wdrażania użytkownika. Trajektorie składają się z sekwencji działań użytkownika i samej aplikacji (np. wysłanie powiadomienia push).
Korzystając ze znaczników czasu, można bardzo łatwo zrekonstruować trajektorię użytkownika i sporządzić z niej wykres dla każdego z nich. Oczywiście jest mnóstwo wykresów. Dlatego należy grupować podobnych użytkowników. Na przykład możesz uporządkować wszystkich użytkowników według wierszy tabeli i wyświetlić listę, jak często korzystają z określonej funkcji.
Na podstawie takiej tabeli zrobiliśmy macierz i pogrupowaliśmy użytkowników według częstotliwości korzystania z funkcji, czyli według węzłów na wykresie. Zwykle jest to pierwszy krok w kierunku wglądu: np. już na tym etapie zauważysz, że niektórzy użytkownicy w ogóle nie korzystają z niektórych funkcji. Kiedy wykonaliśmy analizę częstotliwości, zaczęliśmy badać, które węzły na wykresie są „największe”, czyli jakie strony odwiedzają użytkownicy najczęściej. Kategorie, które różnią się zasadniczo według jakiegoś ważnego dla Ciebie kryterium, zostaną natychmiast wyróżnione. Oto przykładowo dwa skupienia użytkowników, które podzieliliśmy na podstawie decyzji o subskrypcji (w sumie było 16 klastrów).
Jak tego użyć
Patrząc na swoich użytkowników w ten sposób, możesz zobaczyć, jakich funkcji używasz, aby ich zatrzymać lub na przykład skłonić do zarejestrowania się. Naturalnie matryca pokaże także rzeczy oczywiste. Na przykład osoby, które zakupiły subskrypcję, odwiedziły ekran subskrypcji. Ale poza tym możesz znaleźć również wzory, o których inaczej byś się nie dowiedział.
Zupełnie przypadkowo znaleźliśmy więc grupę użytkowników, którzy dodają lot, aktywnie śledzą go przez cały dzień, a potem znikają na dłuższy czas, aż znów gdzieś polecą. Gdybyśmy przeanalizowali ich zachowanie za pomocą konwencjonalnych narzędzi, pomyślelibyśmy, że po prostu nie byli zadowoleni z funkcjonalności aplikacji: jak inaczej wytłumaczyć, że korzystali z niej przez jeden dzień i nigdy nie wrócili. Ale za pomocą wykresów zobaczyliśmy, że są bardzo aktywne, po prostu cała ich aktywność mieści się w jednym dniu.
Teraz naszym głównym zadaniem jest zachęcenie takiego użytkownika do zalogowania się do programu lojalnościowego swojej linii lotniczej podczas korzystania z naszych statystyk. W takim przypadku zaimportujemy wszystkie zakupione przez niego loty i spróbujemy nakłonić go do zarejestrowania się, gdy tylko kupi nowy bilet. Aby rozwiązać ten problem, rozpoczęliśmy także współpracę z Aviasales, Svyaznoy.Travel i innymi aplikacjami. Kiedy użytkownik kupuje bilet, aplikacja prosi go o dodanie lotu do App in the Air, a my od razu to widzimy.
Dzięki wykresowi widzieliśmy, że 5% osób, które przechodzą do ekranu subskrypcji, rezygnuje z niej. Zaczęliśmy analizować takie przypadki i zauważyliśmy, że jest użytkownik, który przechodzi na pierwszą stronę, inicjuje połączenie swojego konta Google i natychmiast je anuluje, ponownie trafia na pierwszą stronę i tak dalej cztery razy. Na początku pomyśleliśmy: „Coś jest wyraźnie nie tak z tym użytkownikiem”. A potem zdaliśmy sobie sprawę, że najprawdopodobniej w aplikacji wystąpił błąd. Na ścieżce zostałoby to zinterpretowane w następujący sposób: użytkownikowi nie spodobał się zestaw uprawnień, o które prosi aplikacja, i opuścił aplikację.
W innej grupie 5% użytkowników gubiło się na ekranie, na którym aplikacja wyświetlała monit o wybranie jednej ze wszystkich aplikacji kalendarza na smartfonie. Użytkownicy wielokrotnie wybierali różne kalendarze, a następnie po prostu wychodzili z aplikacji. Okazuje się, że wystąpił problem z UX: po wybraniu kalendarza osoba musiała kliknąć Gotowe w prawym górnym rogu. Tyle, że nie wszyscy użytkownicy to widzieli.
Pierwszy ekran aplikacji w powietrzu
Na naszym wykresie widzieliśmy, że około 30% użytkowników nie wychodzi poza pierwszy ekran: wynika to z faktu, że dość agresywnie namawiamy użytkownika do subskrypcji. Na pierwszym ekranie aplikacja prosi o rejestrację za pomocą Google lub Triplt i nie ma informacji o pominięciu rejestracji. Spośród tych, którzy opuszczą pierwszy ekran, 16% użytkowników kliknie „Więcej” i wróci ponownie. Dowiedzieliśmy się, że szukają sposobu na wewnętrzną rejestrację w aplikacji i udostępnimy go w następnej aktualizacji. Poza tym 2/3 osób, które od razu wychodzą, w ogóle niczego nie klika. Aby dowiedzieć się, co się z nimi dzieje, stworzyliśmy mapę cieplną. Okazuje się, że klienci klikają listę funkcji aplikacji, które nie są klikalnymi linkami.
Uchwyć mikrochwilę
Często można zobaczyć ludzi depczących ścieżki przy asfaltowej drodze. Retencja jest próbą odnalezienia tych ścieżek i, jeśli to możliwe, zmiany dróg.
Oczywiście źle, że uczymy się od prawdziwych użytkowników, ale przynajmniej zaczęliśmy automatycznie śledzić wzorce, które wskazują na problem użytkownika w aplikacji. Teraz menedżer produktu otrzymuje powiadomienia e-mailem, jeśli wystąpi duża liczba „pętli” – gdy użytkownik będzie wielokrotnie powracał do tego samego ekranu.
Przyjrzyjmy się, jakie wzorce w trajektoriach użytkowników są ogólnie interesujące do analizy problemów i obszarów rozwoju aplikacji:
- Pętle i cykle. Pętle wspomniane powyżej mają miejsce, gdy jedno zdarzenie powtarza się na trajektorii użytkownika, na przykład kalendarz-kalendarz-kalendarz-kalendarz. Pętla z dużą liczbą powtórzeń jest wyraźnym wskaźnikiem problemu z interfejsem lub niewystarczającym oznaczeniem zdarzenia. Cykl jest także zamkniętą trajektorią, lecz w odróżnieniu od pętli zawiera więcej niż jedno zdarzenie, np.: przeglądanie historii lotów – dodanie lotu – przeglądanie historii lotów.
- Flowstoppers - gdy użytkownik z powodu jakiejś przeszkody nie może kontynuować pożądanego ruchu po aplikacji, np. na ekranie z nieoczywistym dla klienta interfejsem. Takie zdarzenia spowalniają i zmieniają trajektorię użytkowników.
- Punkty rozwidlenia to istotne zdarzenia, po których rozdzielają się trajektorie klientów różnych typów. W szczególności są to ekrany, które nie zawierają bezpośredniego przejścia czy wezwania do działania do docelowej akcji, skutecznie popychając do niej część użytkowników. Na przykład niektóre ekrany, które nie są bezpośrednio związane z kupowaniem treści w aplikacji, ale na których klienci są skłonni kupować lub nie kupować treści, będą zachowywać się inaczej. Punkty rozwidlenia mogą być punktami wpływu na działania Twoich użytkowników ze znakiem plusem – mogą wpłynąć na decyzję o dokonaniu zakupu lub kliknięciu, lub znakiem minus – mogą przesądzić o tym, że po kilku krokach użytkownik opuści aplikację.
- Przerwane punkty konwersji są potencjalnymi punktami rozwidlenia. Można o nich myśleć jak o ekranach, które mogą skłonić do wykonania docelowej akcji, ale tak nie jest. Może to być również moment, w którym użytkownik ma potrzebę, ale my jej nie zaspokajamy, ponieważ po prostu o tym nie wiemy. Analiza trajektorii powinna pozwolić na zidentyfikowanie tej potrzeby.
- Punkt rozpraszający - ekrany/wyskakujące okienka, które nie przynoszą wartości użytkownikowi, nie wpływają na konwersję i mogą „zamazywać” trajektorie, odwracając uwagę użytkownika od docelowych działań.
- Martwe punkty to ukryte punkty aplikacji, ekranów i funkcji, do których użytkownik może bardzo trudno dotrzeć.
- Dreny – miejsca wycieków ruchu
Generalnie podejście matematyczne pozwoliło nam zrozumieć, że klient korzysta z aplikacji w zupełnie inny sposób, niż zazwyczaj myślą menadżerowie produktu, próbując zaplanować dla użytkownika jakiś standardowy scenariusz użytkowania. Siedząc w biurze i uczestnicząc w najfajniejszych konferencjach produktowych, wciąż bardzo trudno jest sobie wyobrazić całą różnorodność rzeczywistych warunków terenowych, w których użytkownik będzie rozwiązywał swoje problemy za pomocą aplikacji.
To mi przypomina świetny żart. Tester wchodzi do baru i zamawia: szklankę piwa, 2 szklanki piwa, 0 szklanek piwa, 999999999 szklanek piwa, jaszczurkę w szklance, -1 szklankę piwa, qwertyuip szklanki piwa. Pierwszy prawdziwy klient wchodzi do baru i pyta, gdzie jest toaleta. Bar staje w płomieniach i wszyscy giną.
Analitycy produktów, głęboko zanurzeni w tym problemie, zaczęli wprowadzać koncepcję mikromomentu. Współczesny użytkownik potrzebuje natychmiastowego rozwiązania swojego problemu. Google zaczął o tym mówić kilka lat temu: firma nazywała takie działania użytkowników mikromomentami. Użytkownik rozprasza się, przez przypadek zamyka aplikację, nie rozumie, czego się od niego wymaga, loguje się ponownie dzień później, ponownie zapomina, a następnie podąża za linkiem, który wysłał mu znajomy w komunikatorze. Wszystkie te sesje mogą trwać nie dłużej niż 20 sekund.
Zaczęliśmy więc próbować tak skonfigurować pracę działu wsparcia, aby pracownicy mogli niemal w czasie rzeczywistym zrozumieć, na czym polega problem. Zanim dana osoba wejdzie na stronę wsparcia i zacznie pisać swoje pytanie, możemy określić istotę problemu, znając jego trajektorię - ostatnie 100 zdarzeń. Wcześniej zautomatyzowaliśmy podział wszystkich zgłoszeń serwisowych na kategorie, korzystając z analizy ML tekstów zgłoszeń serwisowych. Pomimo sukcesu kategoryzacji, gdy 87% wszystkich żądań jest prawidłowo przydzielonych do jednej z 13 kategorii, to właśnie praca z trajektoriami może automatycznie znaleźć rozwiązanie najbardziej odpowiednie dla sytuacji użytkownika.
Nie jesteśmy w stanie szybko wypuścić aktualizacji, ale jesteśmy w stanie zauważyć problem i jeśli użytkownik zastosuje się do scenariusza, który już widzieliśmy, wysłać mu powiadomienie push.
Widzimy, że zadanie optymalizacji aplikacji wymaga bogatych narzędzi do badania trajektorii użytkowników. Co więcej, znając wszystkie ścieżki, którymi podążają użytkownicy, możesz wytyczyć niezbędne ścieżki, a za pomocą spersonalizowanych treści, powiadomień push i adaptacyjnych elementów interfejsu użytkownika „za rękę” poprowadzić użytkownika do ukierunkowanych działań, które najlepiej odpowiadają jego potrzebom i przynoszą pieniądze , dane i inne wartości dla Twojej firmy.
Na co zwrócić uwagę
- Badanie konwersji użytkowników wyłącznie na przykładzie lejków oznacza utratę bogatych informacji, które dostarcza nam sama aplikacja.
- Analiza retencji trajektorii użytkowników na wykresach pomaga zobaczyć, jakich funkcji używasz, aby zatrzymać użytkowników lub na przykład zachęcić ich do subskrypcji.
- Narzędzia retencji pomagają automatycznie, w czasie rzeczywistym, śledzić wzorce wskazujące na problemy użytkownika w aplikacji, znajdować i zamykać błędy tam, gdzie były trudne do zauważenia.
- Pomagają znaleźć nieoczywiste wzorce zachowań użytkowników.
- Narzędzia do retencji umożliwiają budowanie zautomatyzowanych narzędzi ML do przewidywania kluczowych zdarzeń i wskaźników użytkownika: utraty użytkowników, LTV i wielu innych wskaźników, które można łatwo określić na wykresie.
Budujemy społeczność wokół Retencji w celu swobodnej wymiany pomysłów. Narzędzia, które rozwijamy, można traktować jako język, w którym analitycy i produkty z różnych aplikacji mobilnych i internetowych mogą wymieniać spostrzeżenia, najlepsze techniki i metody. W trakcie kursu możesz dowiedzieć się, jak korzystać z tych narzędzi Dzielnica Binarna.
Źródło: www.habr.com