Wie Retentioneering in App in the Air implementiert wird

Einen Benutzer in einer mobilen Anwendung zu halten, ist eine ganze Wissenschaft. Der Autor des Kurses hat seine Grundlagen in unserem Artikel auf VC.ru beschrieben Growth Hacking: Analyse mobiler Apps Maxim Godzi, Leiter Maschinelles Lernen bei App in the Air. Maxim spricht über die im Unternehmen entwickelten Tools am Beispiel der Arbeit zur Analyse und Optimierung einer mobilen Anwendung. Dieser systematische Ansatz zur Produktverbesserung, der in App in the Air entwickelt wurde, wird Retentioneering genannt. Sie können diese Tools in Ihrem Produkt verwenden: Einige davon sind in den freien Zugang auf GitHub.

App in the Air ist eine Anwendung mit mehr als 3 Millionen aktiven Nutzern auf der ganzen Welt, mit der Sie Flüge verfolgen und Informationen über Änderungen der Abflug-/Landezeiten, des Check-ins und der Flughafeneigenschaften erhalten können.

Vom Trichter zur Flugbahn

Alle Entwicklungsteams bauen einen Onboarding-Trichter auf (ein Prozess, der auf die Benutzerakzeptanz des Produkts abzielt). Dies ist der erste Schritt, der Ihnen hilft, das gesamte System von oben zu betrachten und Anwendungsprobleme zu finden. Mit der Weiterentwicklung des Produkts werden Sie jedoch die Grenzen dieses Ansatzes spüren. Mithilfe eines einfachen Trichters können Sie keine nicht offensichtlichen Wachstumspunkte für ein Produkt erkennen. Der Zweck des Trichters besteht darin, einen allgemeinen Überblick über die Phasen der Benutzer in der Anwendung zu geben und Ihnen die Metriken der Norm zu zeigen. Der Trichter wird jedoch Abweichungen von der Norm aufgrund offensichtlicher Probleme oder im Gegenteil besonderer Benutzeraktivitäten sorgfältig verbergen.

Bei App in the Air haben wir unseren eigenen Trichter gebaut, aber aufgrund der Besonderheiten des Produkts haben wir am Ende eine Sanduhr erhalten. Dann beschlossen wir, den Ansatz zu erweitern und die umfangreichen Informationen zu nutzen, die uns die Anwendung selbst bietet.

Wenn Sie einen Trichter aufbauen, verlieren Sie die Onboarding-Verläufe der Benutzer. Trajektorien bestehen aus einer Abfolge von Aktionen des Benutzers und der Anwendung selbst (z. B. dem Senden einer Push-Benachrichtigung).

Mithilfe von Zeitstempeln können Sie die Flugbahn des Benutzers sehr einfach rekonstruieren und daraus für jeden Benutzer ein Diagramm erstellen. Natürlich gibt es viele Grafiken. Daher müssen Sie ähnliche Benutzer gruppieren. Sie können beispielsweise alle Benutzer nach Tabellenzeilen anordnen und auflisten, wie oft sie eine bestimmte Funktion verwenden.

Basierend auf einer solchen Tabelle haben wir eine Matrix erstellt und Benutzer nach Häufigkeit der Verwendung von Funktionen, also nach Knoten im Diagramm, gruppiert. Dies ist in der Regel der erste Schritt zu Erkenntnissen: So stellt man beispielsweise bereits in diesem Stadium fest, dass einige Nutzer einige Funktionen überhaupt nicht nutzen. Als wir die Häufigkeitsanalyse durchführten, begannen wir zu untersuchen, welche Knoten im Diagramm die „größten“ sind, d. h. welche Seiten Benutzer am häufigsten besuchen. Kategorien, die sich nach einem für Sie wichtigen Kriterium grundlegend unterscheiden, werden sofort hervorgehoben. Hier sind zum Beispiel zwei Cluster von Benutzern, die wir basierend auf der Abonnemententscheidung aufgeteilt haben (insgesamt gab es 16 Cluster).

Wie man es benutzt

Indem Sie Ihre Benutzer auf diese Weise betrachten, können Sie erkennen, welche Funktionen Sie nutzen, um sie zu binden oder sie beispielsweise dazu zu bringen, sich anzumelden. Natürlich zeigt die Matrix auch offensichtliche Dinge an. Zum Beispiel, dass diejenigen, die ein Abonnement gekauft haben, den Abonnementbildschirm besucht haben. Darüber hinaus lassen sich aber auch Muster finden, von denen man sonst nie erfahren hätte.

So haben wir völlig zufällig eine Gruppe von Benutzern gefunden, die einen Flug hinzufügen, ihn den ganzen Tag über aktiv verfolgen und dann für längere Zeit verschwinden, bis sie wieder irgendwohin fliegen. Wenn wir ihr Verhalten mit herkömmlichen Tools analysieren würden, würden wir denken, dass sie mit der Funktionalität der Anwendung einfach nicht zufrieden waren: Wie sonst wäre es zu erklären, dass sie sie einen Tag lang verwendet und nie wieder zurückgekehrt haben. Aber mithilfe der Grafiken haben wir gesehen, dass sie sehr aktiv sind, ihre gesamte Aktivität passt nur in einen Tag.

Unsere Hauptaufgabe besteht nun darin, einen solchen Benutzer zu ermutigen, sich mit dem Treueprogramm seiner Fluggesellschaft zu verbinden, während er unsere Statistiken nutzt. In diesem Fall importieren wir alle von ihm gekauften Flüge und versuchen, ihn dazu zu bewegen, sich anzumelden, sobald er ein neues Ticket kauft. Um dieses Problem zu lösen, haben wir auch begonnen, mit Aviasales, Svyaznoy.Travel und anderen Anwendungen zusammenzuarbeiten. Wenn der Benutzer ein Ticket kauft, wird er von der App aufgefordert, den Flug zu App in the Air hinzuzufügen, und wir sehen ihn sofort.

Dank der Grafik haben wir gesehen, dass 5 % der Leute, die den Abonnementbildschirm aufrufen, das Abonnement kündigen. Wir begannen, solche Fälle zu analysieren und stellten fest, dass es einen Nutzer gibt, der auf die erste Seite geht, die Verbindung zu seinem Google-Konto initiiert und diese sofort wieder abbricht, wieder auf die erste Seite gelangt und so weiter viermal. Zuerst dachten wir: „Mit diesem Benutzer stimmt eindeutig etwas nicht.“ Und dann wurde uns klar, dass höchstwahrscheinlich ein Fehler in der Anwendung vorlag. Im Trichter würde dies wie folgt interpretiert werden: Dem Benutzer gefielen die von der Anwendung angeforderten Berechtigungen nicht und er verließ die Anwendung.

Bei einer anderen Gruppe verirrten sich 5 % der Benutzer auf dem Bildschirm, wo die App sie aufforderte, eine der Kalender-Apps auf ihrem Smartphone auszuwählen. Benutzer würden immer wieder verschiedene Kalender auswählen und die App dann einfach verlassen. Es stellte sich heraus, dass es ein UX-Problem gab: Nachdem eine Person einen Kalender ausgewählt hatte, musste sie oben rechts auf „Fertig“ klicken. Es ist nur so, dass nicht alle Benutzer es gesehen haben.

Erster Bildschirm von App in the Air

In unserer Grafik haben wir gesehen, dass etwa 30 % der Nutzer nicht über den ersten Bildschirm hinausgehen: Dies liegt daran, dass wir den Nutzer recht aggressiv zum Abonnieren drängen. Auf dem ersten Bildschirm werden Sie von der App aufgefordert, sich mit Google oder Triplt zu registrieren. Es gibt keine Informationen zum Überspringen der Registrierung. Von denen, die den ersten Bildschirm verlassen, klicken 16 % der Nutzer auf „Mehr“ und kehren wieder zurück. Wir haben herausgefunden, dass sie nach einer Möglichkeit suchen, sich intern in der Anwendung zu registrieren, und wir werden diese im nächsten Update veröffentlichen. Darüber hinaus klicken 2/3 derjenigen, die sofort gehen, überhaupt nichts. Um herauszufinden, was mit ihnen passiert, haben wir eine Heatmap erstellt. Es stellt sich heraus, dass Kunden auf eine Liste von App-Funktionen klicken, bei denen es sich nicht um anklickbare Links handelt.

Halten Sie einen Mikromoment fest

Oft sieht man Menschen, die Wege neben der Asphaltstraße trampeln. Beim Retentioneering wird versucht, diese Wege zu finden und wenn möglich die Straßen zu verändern.

Natürlich ist es schlecht, dass wir von echten Benutzern lernen, aber zumindest haben wir damit begonnen, automatisch Muster zu verfolgen, die auf ein Benutzerproblem in der Anwendung hinweisen. Jetzt erhält der Produktmanager E-Mail-Benachrichtigungen, wenn eine große Anzahl von „Schleifen“ auftritt – wenn der Benutzer immer wieder zum gleichen Bildschirm zurückkehrt.

Schauen wir uns an, nach welchen Mustern in Benutzerverläufen man generell suchen sollte, um Probleme und Wachstumsbereiche einer Anwendung zu analysieren:

• Schleifen und Zyklen. Die oben erwähnten Schleifen entstehen, wenn sich ein Ereignis in der Flugbahn des Benutzers wiederholt, zum Beispiel Kalender-Kalender-Kalender-Kalender. Eine Schleife mit vielen Wiederholungen ist ein klarer Hinweis auf ein Schnittstellenproblem oder eine unzureichende Ereignismarkierung. Ein Zyklus ist ebenfalls eine geschlossene Flugbahn, umfasst aber im Gegensatz zu einer Schleife mehr als ein Ereignis, zum Beispiel: Anzeigen des Flugverlaufs – Hinzufügen eines Flugs – Anzeigen des Flugverlaufs.
• Flowstopper – wenn der Benutzer aufgrund eines Hindernisses seine gewünschte Bewegung durch die Anwendung nicht fortsetzen kann, beispielsweise ein Bildschirm mit einer Schnittstelle, die für den Kunden nicht offensichtlich ist. Solche Ereignisse verlangsamen und verschieben die Flugbahn der Benutzer.
• Bifurkationspunkte sind bedeutende Ereignisse, nach denen die Flugbahnen von Klienten unterschiedlichen Typs getrennt werden. Dabei handelt es sich insbesondere um Bildschirme, die keinen direkten Übergang oder Call-to-Action zur Zielaktion enthalten, wodurch einige Benutzer effektiv dazu gedrängt werden. Beispielsweise verhält sich ein Bildschirm, der nicht direkt mit dem Kauf von Inhalten in einer Anwendung zusammenhängt, auf dem Kunden jedoch dazu neigen, Inhalte zu kaufen oder nicht, anders zu verhalten. Bifurkationspunkte können Einflusspunkte auf die Aktionen Ihrer Benutzer sein. Mit einem Pluszeichen – sie können die Kauf- oder Klickentscheidung beeinflussen, oder einem Minuszeichen – sie können bestimmen, dass der Benutzer nach wenigen Schritten die Anwendung verlässt.
• Abgebrochene Konvertierungspunkte sind potenzielle Bifurkationspunkte. Man kann sie sich als Bildschirme vorstellen, die eine gezielte Aktion auslösen könnten, aber das ist nicht der Fall. Dies könnte auch ein Zeitpunkt sein, an dem der Nutzer ein Bedürfnis hat, wir es aber nicht befriedigen, weil wir einfach nichts davon wissen. Durch die Trajektorienanalyse sollte dieser Bedarf ermittelt werden.
• Ablenkungspunkt – Bildschirme/Pop-ups, die dem Benutzer keinen Mehrwert bieten, keinen Einfluss auf die Konvertierung haben und die Flugbahnen „verwischen“ können, wodurch der Benutzer von Zielaktionen abgelenkt wird.
• Blinde Flecken sind versteckte Punkte der Anwendung, Bildschirme und Funktionen, die für den Benutzer nur sehr schwer zu erreichen sind.
• Abflüsse – Stellen, an denen Verkehr entweicht

Im Allgemeinen ermöglichte uns der mathematische Ansatz zu verstehen, dass der Kunde die Anwendung auf eine völlig andere Art und Weise nutzt, als Produktmanager normalerweise denken, wenn sie versuchen, ein Standardnutzungsszenario für den Benutzer zu planen. Wenn man im Büro sitzt und an den coolsten Produktkonferenzen teilnimmt, ist es immer noch sehr schwer, sich die Vielfalt der realen Feldbedingungen vorzustellen, in denen der Benutzer seine Probleme mithilfe der Anwendung lösen wird.

Das erinnert mich an einen tollen Witz. Ein Tester betritt eine Bar und bestellt: ein Glas Bier, 2 Gläser Bier, 0 Gläser Bier, 999999999 Gläser Bier, eine Eidechse in einem Glas, -1 Glas Bier, qwertyuip Gläser Bier. Der erste echte Kunde betritt die Bar und fragt, wo die Toilette ist. Die Bar geht in Flammen auf und alle sterben.

Produktanalysten, die tief in dieses Problem vertieft waren, begannen, das Konzept eines Mikromoments einzuführen. Der moderne Benutzer benötigt eine sofortige Lösung für sein Problem. Google begann vor einigen Jahren darüber zu sprechen: Das Unternehmen nannte solche Nutzeraktionen Micro-Momente. Der Benutzer wird abgelenkt, schließt versehentlich die Anwendung, versteht nicht, was von ihm verlangt wird, meldet sich einen Tag später erneut an, vergisst es erneut und folgt dann dem Link, den ihm ein Freund im Messenger geschickt hat. Und alle diese Sitzungen dürfen nicht länger als 20 Sekunden dauern.

Deshalb begannen wir zu versuchen, die Arbeit des Supportdienstes so zu gestalten, dass die Mitarbeiter fast in Echtzeit verstehen konnten, wo das Problem lag. Wenn jemand die Support-Seite aufruft und anfängt, seine Frage zu schreiben, können wir den Kern des Problems ermitteln, indem wir seinen Verlauf kennen – die letzten 100 Ereignisse. Zuvor haben wir die Verteilung aller Supportanfragen in Kategorien mithilfe der ML-Analyse der Texte der Supportanfragen automatisiert. Trotz des Erfolgs der Kategorisierung: Wenn 87 % aller Anfragen korrekt in eine der 13 Kategorien verteilt werden, ist es die Arbeit mit Trajektorien, die automatisch die am besten geeignete Lösung für die Situation des Benutzers finden kann.

Wir können Updates nicht schnell veröffentlichen, aber wir sind in der Lage, das Problem zu bemerken und ihm eine Push-Benachrichtigung zu senden, wenn der Benutzer dem Szenario folgt, das wir bereits gesehen haben.

Wir sehen, dass die Optimierung einer Anwendung umfassende Tools zur Untersuchung von Benutzerverläufen erfordert. Wenn Sie außerdem alle Wege kennen, die Benutzer einschlagen, können Sie die notwendigen Wege ebnen und den Benutzer mithilfe von benutzerdefinierten Inhalten, Push-Benachrichtigungen und adaptiven UI-Elementen „an der Hand“ zu gezielten Aktionen führen, die seinen Bedürfnissen am besten entsprechen und Geld bringen , Daten und andere Werte für Ihr Unternehmen.

Was Sie beachten sollten

• Wenn wir die Benutzerkonvertierung nur am Beispiel von Trichtern untersuchen, verlieren wir die umfangreichen Informationen, die uns die Anwendung selbst liefert.

• Mithilfe der Retentioneering-Analyse von Benutzerverläufen in Diagrammen können Sie erkennen, welche Funktionen Sie verwenden, um Benutzer zu binden oder sie beispielsweise zum Abonnieren zu ermutigen.
• Retentioneering-Tools helfen dabei, automatisch und in Echtzeit Muster zu verfolgen, die auf Benutzerprobleme in der Anwendung hinweisen, und Fehler dort zu finden und zu schließen, wo sie schwer zu bemerken waren.

• Sie helfen dabei, nicht offensichtliche Muster im Nutzerverhalten zu erkennen.

• Retentioneering-Tools ermöglichen die Erstellung automatisierter ML-Tools zur Vorhersage wichtiger Benutzerereignisse und -metriken: Benutzerverlust, LTV und viele andere Metriken, die in der Grafik leicht ermittelt werden können.

Wir bauen eine Community rund um Retentioneering für den freien Ideenaustausch auf. Sie können sich die Tools, die wir entwickeln, als eine Sprache vorstellen, in der Analysten und Produkte aus verschiedenen Mobil- und Webanwendungen Erkenntnisse, beste Techniken und Methoden austauschen können. Den Umgang mit diesen Tools können Sie im Kurs erlernen Growth Hacking: Analyse mobiler Apps Binärbezirk.

Source: habr.com