🥇Retentioneering: wie wir Open-Source-Tools für Produktanalytik in Python und Pandas entwickelt haben

Hallo, Habr. Dieser Artikel befasst sich mit den Ergebnissen der vierjährigen Entwicklung eines Sets von Methoden und Werkzeugen zur Verarbeitung der Bewegungsbahnen von Nutzern in einer App oder auf einer Webseite. Der Entwickler ist Maxim Godzi, der die Produktentwicklung leitet und auch der Autor dieses Artikels ist. Das Produkt trägt den Namen Retentioneering, es wurde jetzt in eine Open-Source-Bibliothek umgewandelt und auf Github veröffentlicht, sodass jeder Interessierte es nutzen kann. Dies könnte für alle von Interesse sein, die mit Produkt- und Marketinganalysen, Promotion und Produktentwicklung zu tun haben. Übrigens wurde auf Habr bereits ein Artikel über einen der Anwendungsfälle von Retentioneering veröffentlicht.Im neuen Material wird erklärt, wozu das Produkt in der Lage ist und wie es verwendet werden kann.

Nachdem Sie den Artikel gelesen haben, werden Sie in der Lage sein, Ihr eigenes Retentioneering zu schreiben; es kann jede standardisierte Methode zur Verarbeitung der Nutzerbewegungen innerhalb und außerhalb der App sein, die es ermöglicht, das Verhalten detailliert zu betrachten und daraus Erkenntnisse zur Steigerung der Geschäftszahlen zu gewinnen.

Was ist Retentioneering und wozu braucht man das?

Ursprünglich war unser Ziel, Growth Hacking aus der Welt des "digitalen Schamanismus" in die Welt der Zahlen, Analysen und Prognosen zu übertragen. Folglich haben wir die Produktanalyse auf reine Mathematik und Programmierung reduziert, für diejenigen, die anstelle von fantastischen Geschichten Zahlen und anstatt schick klingenden Begriffen wie "Rebranding", "Repositionierung" usw. bevorzugen, die schön klingen, aber in der Praxis wenig helfen.

Um die genannten Aufgaben zu erfüllen, benötigten wir ein Framework für Analysen durch Graphen und Trajektorien und gleichzeitig eine Bibliothek, die die typischen Routinen von Analysten vereinfacht, als Methode zur Beschreibung regelmäßiger Aufgaben der Produktanalyse, die sowohl für Menschen als auch für Maschinen verständlich wäre. Die Bibliothek ermöglicht es, das Nutzerverhalten zu beschreiben und es mit den Geschäftszahlen des Produkts in einer formalen und klaren Sprache zu verknüpfen, um die routinemäßigen Aufgaben von Entwicklern und Analysten zu vereinfachen und zu automatisieren sowie ihre Kommunikation mit dem Geschäft zu erleichtern.

Retentioneering — eine Methode und analytische Software-Tools, die an jedes digitale (und nicht nur) Produkt angepasst und integriert werden können.

Wir haben 2015 mit der Arbeit an dem Produkt begonnen. Heute ist es bereits ein fertiges, wenn auch noch nicht perfektes Set von Tools in Python und Pandas für die Datenverarbeitung, Modelle des maschinellen Lernens mit einem sklearn-ähnlichen API, sowie Tools zur Interpretation der Ergebnisse von Modellen des maschinellen Lernens wie eli5 und shap.

Das alles ist verpackt in einer praktischen Open-Source-Bibliothek im öffentlichen Github-Repository — retentioneering-tools. Die Bibliothek ist leicht zu nutzen; nahezu jeder, der sich für Produktanalyse interessiert, aber noch nie Code geschrieben hat, kann unsere Analysemethoden selbständig und ohne erhebliche Zeitaufwendung auf seine Daten anwenden.

Ein Programmierer, der Ersteller der Anwendung oder ein Mitglied des Entwicklungs- oder Testteams, das noch nie mit Analytik gearbeitet hat, kann mit diesem Code experimentieren und die Nutzungsmuster ihrer Anwendung ohne fremde Hilfe erkennen.

Die Nutzertrajektorie als grundlegendes Element der Analyse und ihre Verarbeitung

Die Nutzertrajektorie ist die Abfolge von Zuständen eines Nutzers zu bestimmten Zeitpunkten. Dabei können Ereignisse aus verschiedenen Datenquellen stammen, sowohl online als auch offline. Ereignisse, die mit dem Nutzer passiert sind, sind Teil seiner Trajektorie. Beispiele:
• auf einen Button geklickt
• ein Bild gesehen
• auf einem Bildschirm gelandet
• eine E-Mail erhalten
• ein Produkt einem Freund empfohlen
• ein Formular ausgefüllt
• den Bildschirm angetippt
• nach unten gescrollt
• zur Kasse gegangen
• ein Burrito bestellt
• ein Burrito gegessen
• von dem gegessenen Burrito vergiftet worden
• durch den Hintereingang ins Café gegangen
• durch den Haupteingang gegangen
• die Anwendung minimiert
• eine Push-Benachrichtigung erhalten
• länger Zeit auf den Bildschirm gestarrt
• die Bestellung bezahlt
• die Bestellung abgeholt
• eine Kreditablehnung erhalten

Wenn man die Trajektorien von Gruppen von Nutzern betrachtet und untersucht, wie die Übergänge gestaltet sind, kann man nachvollziehen, wie sich ihr Verhalten in der Anwendung entwickelt. Dies lässt sich gut über ein Diagramm darstellen, in dem die Zustände — Knoten und die Übergänge zwischen den Zuständen — Kanten sind:

Der Begriff „Trajektorie“ ist sehr nützlich – er enthält detaillierte Informationen über alle Handlungen des Benutzers, mit der Möglichkeit, beliebige zusätzliche Daten in die Beschreibung dieser Handlungen aufzunehmen. Dies macht ihn zu einem universellen Objekt. Wenn Sie schöne und praktische Werkzeuge haben, die es ermöglichen, mit Trajektorien zu arbeiten, können Ähnlichkeiten gefunden und sie segmentiert werden.

Die Segmentierung von Trajektorien mag anfangs sehr kompliziert erscheinen. In einer normalen Situation ist das auch so – es müssen Vergleichsmatrizen oder Sequenzabgleiche verwendet werden. Es ist uns gelungen, einen einfacheren Weg zu finden – eine große Anzahl von Trajektorien zu studieren und sie durch Clusterung zu segmentieren.

Es hat sich herausgestellt, dass man eine Trajektorie in einen Punkt mittels kontinuierlicher Darstellungen umwandeln kann, zum Beispiel TF-IDF. Nach der Umwandlung wird die Trajektorie zu einem Punkt im Raum, wobei die verschiedenen Ereignisse und Übergänge in der Trajektorie entlang der Achsen durch die normierte Häufigkeit dargestellt werden. Dieses Konstrukt aus einem riesigen mehr als tausenddimensionalen Raum (dimS=sum(event types)+sum(ngrams_2 types)) kann mit Hilfe von TSNEprojiziert werden. TSNE – eine Transformation, die die Dimension des Raumes auf 2 Achsen reduziert und nach Möglichkeit die relativen Abstände zwischen den Punkten bewahrt. Folglich wird es möglich, auf einer flachen Karte, einer bildlichen Projektionskarte der Trajektorien, zu untersuchen, wie die Punkte verschiedener Trajektorien zueinander standen. Es wird analysiert, wie nahe oder unterschiedlich sie sich waren, ob sie Cluster bildeten oder sich auf der Karte verteilten usw.:

Die Analysetools von Retentioneering bieten die Möglichkeit, einen Satz komplexer Daten und Trajektorien in eine Darstellung zu verwandeln, die untereinander vergleichbar ist und dann das Ergebnis der Transformation untersucht und interpretiert werden kann.

Wenn von den Standardmethoden der Trajektorienverarbeitung die Rede ist, meint man drei Hauptwerkzeuge, die wir in Retentioneering implementiert haben – Graphen, Schrittmatrizen und Projektionskarten der Trajektorien.

Die Arbeit mit Google Analytics, Firebase und ähnlichen Analysesystemen ist recht komplex und nicht zu 100% effektiv. Das Problem liegt in einer Reihe von Einschränkungen für den Benutzer, was dazu führt, dass die Arbeit des Analysts in solchen Systemen auf Mausklicks und die Auswahl von Segmenten beschränkt ist. Retentioneering ermöglicht es, mit den Nutzerpfaden zu arbeiten und nicht nur mit Trichtern, wie es bei Google Analytics der Fall ist, wo der Detaillierungsgrad oft auf einen Trichter reduziert wird, auch wenn dieser für ein bestimmtes Segment erstellt wurde.

Retentioneering und Fallstudien

Als Beispiel für die Nutzung des entwickelten Instruments kann der Fall eines großen Nischenservices in Russland genannt werden. Das Unternehmen verfügt über eine mobile Anwendung für Android, die bei den Kunden beliebt ist. Der jährliche Umsatz aus der mobilen Anwendung betrug etwa 7 Millionen Rubel, mit saisonalen Schwankungen im Bereich von 60-130 Tausend. Das Unternehmen hat auch eine Anwendung für iOS, und der durchschnittliche Warenkorbwert des Nutzers der "Apple"-Anwendung überstieg den durchschnittlichen Warenkorbwert des Nutzers der Android-App — 1080 Rubel im Vergleich zu 1300 Rubel.

Das Unternehmen beschloss, die Effizienz der Android-Anwendung zu steigern und führte eine gründliche Analyse durch. Es wurden mehrere Dutzend Hypothesen zur Steigerung der Effektivität der Anwendung formuliert. Nach der Nutzung von Retentioneering stellte sich heraus, dass das Problem bei den Botschaften lag, die neuen Nutzern angezeigt wurden. Sie erhielten Informationen über die Marke, die Vorteile des Unternehmens und die Preise. Doch wie sich herausstellte, sollten die Botschaften dem Nutzer helfen, zu lernen, wie man die Anwendung nutzt.

Das wurde auch umgesetzt, wodurch die Anwendung seltener deinstalliert wurde und die Konversionsrate in Aufträge um 23% stieg. Zunächst wurden 20 Prozent des eingehenden Traffics für den Test verwendet, aber nach ein paar Tagen, nachdem die ersten Ergebnisse analysiert und der Trend bewertet wurde — wechselten sie die Proportionen und ließen stattdessen 20 Prozent für die Kontrollgruppe, während achtzig Prozent in den Test einging. Eine weitere Woche später wurde beschlossen, schrittweise zwei weitere Hypothesen zu testen. Insgesamt stieg der Umsatz aus der Android-Anwendung innerhalb von sieben Wochen um das 1,5-fache im Vergleich zum vorherigen Niveau.

Wie arbeitet man mit Retentioneering?

Die ersten Schritte sind recht einfach – wir laden die Bibliothek mit dem Befehl pip install retentioneering herunter. Im Repository befinden sich fertige Beispiele und Anwendungsfälle zur Datenverarbeitung für einige Aufgaben der Produktanalyse. Das Set wird kontinuierlich erweitert, aber es reicht aus, um sich einen ersten Eindruck zu verschaffen. Jeder kann die fertigen Module nutzen und sofort auf seine Aufgaben anwenden – das ermöglicht, den Prozess einer detaillierteren Analyse und Optimierung der Benutzerpfade schnell und effizient einzurichten. All dies gibt die Möglichkeit, Nutzungsmuster der Anwendung durch verständlichen Code zu identifizieren und diese Erfahrungen an Kollegen weiterzugeben.

Retentioneering ist ein Werkzeug, das während der gesamten Lebensdauer der Anwendung genutzt werden sollte, und das aus folgenden Gründen:

Retentioneering ist effektiv für die Verfolgung und kontinuierliche Optimierung von Benutzerpfaden und zur Verbesserung von Geschäftszahlen. So werden in eCommerce-Anwendungen häufig neue Funktionen hinzugefügt, deren Einfluss auf das Produkt nicht immer vorhersehbar ist. In einigen Fällen entstehen Inkompatibilitätsprobleme zwischen neuen und alten Funktionen – zum Beispiel "kanibalisieren" neue Funktionen bereits bestehende. Und genau in dieser Situation ist eine ständige Analyse der Pfade erforderlich.
Eine ähnliche Situation gibt es bei der Arbeit mit Werbekanälen: Es werden ständig neue Traffic-Quellen und kreative Anzeigen getestet, die Saisonalität, Trends und den Einfluss anderer Ereignisse müssen verfolgt werden, was zur Entstehung immer neuer Klassen von Problemen führt. Auch hier ist eine ständige Verfolgung und Interpretation von Benutzermustern erforderlich.
Es gibt eine ganze Reihe von Faktoren, die ständig die Funktionsweise der Anwendung beeinflussen. Zum Beispiel neue Releases von Entwicklern: Bei der Behebung eines aktuellen Problems bringen sie unbeabsichtigt ein altes zurück oder schaffen ein völlig neues. Im Laufe der Zeit steigt die Anzahl neuer Releases, und der Prozess der Fehlerverfolgung muss automatisiert werden – unter anderem durch die Analyse von Benutzerpfaden.

Insgesamt ist Retentioneering ein effektives Werkzeug. Doch es gibt keine Grenzen für die Verbesserung – es kann und sollte weiterentwickelt, verbessert und darauf basierend neue tolle Produkte gebaut werden. Je aktiver die Community des Projekts ist, desto mehr Forks wird es geben, und es werden neue interessante Möglichkeiten zur Nutzung entstehen.

Zusätzliche Informationen zu den Werkzeugen von Retentioneering: