Im Internet gibt es Hunderte von Artikeln über die Vorteile der Analyse des Kundenverhaltens. Am häufigsten betrifft dies den Einzelhandel. Von der Warenkorbanalyse über die ABC- und XYZ-Analyse bis hin zu Kundenbindungsmarketing und persönlichen Angeboten. Seit Jahrzehnten werden verschiedene Techniken eingesetzt, die Algorithmen sind durchdacht, der Code ist geschrieben und debuggt – nehmen Sie ihn und verwenden Sie ihn. In unserem Fall trat ein grundlegendes Problem auf: Wir bei ISPsystem sind in der Softwareentwicklung tätig, nicht im Einzelhandel.
Mein Name ist Denis und ich bin derzeit für das Backend der Analysesysteme bei ISPsystem verantwortlich. Und das ist die Geschichte, wie mein Kollege und ich – die Verantwortlichen für die Datenvisualisierung – haben versucht, unsere Softwareprodukte durch das Prisma dieses Wissens zu betrachten. Beginnen wir wie immer mit der Geschichte.
Am Anfang stand ein Wort, und das Wort lautete: „Sollen wir es versuchen?“
Zu diesem Zeitpunkt arbeitete ich als Entwickler in der Forschungs- und Entwicklungsabteilung. Alles begann, als Danil hier auf Habré las – ein Tool zur Analyse von Benutzerübergängen in Anwendungen. Ich war etwas skeptisch gegenüber der Idee, es hier zu verwenden. Als Beispiele nannten die Bibliotheksentwickler eine Analyse von Anwendungen, bei denen die Zielaktion klar definiert war – das Aufgeben einer Bestellung oder eine andere Variante der Bezahlung des Eigentümerunternehmens. Unsere Produkte werden vor Ort geliefert. Das heißt, der Benutzer kauft zunächst eine Lizenz und beginnt erst dann seine Reise in der Anwendung. Ja, wir haben Demoversionen. Dort können Sie das Produkt ausprobieren, um nicht die Katze im Sack zu haben.
Die meisten unserer Produkte richten sich jedoch an den Hosting-Markt. Dabei handelt es sich um Großkunden, die von der Geschäftsentwicklungsabteilung hinsichtlich der Produktfähigkeiten beraten werden. Daraus folgt auch, dass unsere Kunden bereits zum Zeitpunkt des Kaufs wissen, welche Probleme unsere Software ihnen bei der Lösung hilft. Ihre Routen in der Anwendung müssen mit dem im Produkt eingebetteten CJM übereinstimmen, und UX-Lösungen helfen ihnen, auf dem richtigen Weg zu bleiben. Spoiler: Das passiert nicht immer. Die Einführung in die Bibliothek wurde verschoben... aber nicht für lange.
Mit der Veröffentlichung unseres Startups änderte sich alles - – Plattformen zum Erstellen eines Online-Shops aus einem Instagram-Konto. In dieser Anwendung wurde dem Benutzer eine zweiwöchige Frist zur kostenlosen Nutzung aller Funktionen eingeräumt. Dann mussten Sie sich entscheiden, ob Sie ein Abonnement abschließen möchten. Und das passte perfekt in das Konzept „Route-Ziel-Aktion“. Es stand fest: Versuchen wir es!
Erste Ergebnisse oder woher man Ideen nehmen kann
Das Entwicklungsteam und ich haben das Produkt buchstäblich innerhalb eines Tages mit dem Ereigniserfassungssystem verbunden. Ich möchte gleich sagen, dass ISPsystem sein eigenes System zum Sammeln von Ereignissen über Seitenbesuche verwendet, aber nichts hindert Sie daran, Yandex.Metrica für die gleichen Zwecke zu verwenden, wodurch Sie Rohdaten kostenlos herunterladen können. Beispiele für die Nutzung der Bibliothek wurden untersucht und nach einer Woche Datenerfassung erhielten wir ein Übergangsdiagramm.
Übergangsdiagramm. Grundlegende Funktionalität, andere Übergänge wurden aus Gründen der Übersichtlichkeit entfernt
Es ist genauso geworden wie im Beispiel: flächig, klar, schön. Anhand dieser Grafik konnten wir die häufigsten Routen und Kreuzungen identifizieren, auf denen sich die Menschen am längsten aufhalten. Dadurch konnten wir Folgendes verstehen:
- Anstelle eines großen CJM, das ein Dutzend Einheiten abdeckt, werden nur zwei aktiv genutzt. Es ist notwendig, Benutzer mithilfe von UX-Lösungen zusätzlich an die Orte zu leiten, die wir benötigen.
- Manche Seiten, die von UX-Designern als End-to-End-Seiten konzipiert wurden, führen dazu, dass die Leute unangemessen viel Zeit damit verbringen. Sie müssen herausfinden, welche Stoppelemente auf einer bestimmten Seite vorhanden sind, und diese anpassen.
- Nach 10 Übergängen wurden 20 % der Menschen müde und brachen die Sitzung in der Anwendung ab. Und das unter Berücksichtigung der Tatsache, dass wir in der Bewerbung bis zu 5 Onboarding-Seiten hatten! Sie müssen Seiten identifizieren, auf denen Benutzer regelmäßig Sitzungen abbrechen, und den Weg dorthin verkürzen. Noch besser: Identifizieren Sie alle regulären Routen und ermöglichen Sie einen schnellen Übergang von der Quellseite zur Zielseite. Finden Sie nicht, dass es etwas mit der ABC-Analyse und der Analyse abgebrochener Warenkörbe gemeinsam hat?
Und hier haben wir unsere Einstellung zur Anwendbarkeit dieses Tools für On-Premise-Produkte überdacht. Es wurde beschlossen, ein aktiv verkauftes und gebrauchtes Produkt zu analysieren - . Es ist viel komplexer, es gibt eine Größenordnung mehr Entitäten. Wir warteten gespannt darauf, wie das Übergangsdiagramm aussehen würde.
Über Enttäuschungen und Inspirationen
Enttäuschung Nr. 1
Es war das Ende des Arbeitstages, das Ende des Monats und das Ende des Jahres zugleich – der 27. Dezember. Daten wurden gesammelt, Abfragen wurden geschrieben. Es blieben noch Sekunden, bis alles verarbeitet war und wir das Ergebnis unserer Arbeit betrachten konnten, um herauszufinden, wo das nächste Arbeitsjahr beginnen würde. Die Forschungs- und Entwicklungsabteilung, der Produktmanager, die UX-Designer, der Teamleiter und die Entwickler versammelten sich vor dem Monitor, um zu sehen, wie die Benutzerpfade in ihrem Produkt aussehen, aber ... wir haben Folgendes gesehen:
Von der Retentioneering-Bibliothek erstelltes Übergangsdiagramm
Inspiration Nr. 1
Stark verbunden, Dutzende von Entitäten, nicht offensichtliche Szenarien. Es war nur klar, dass das neue Arbeitsjahr nicht mit einer Analyse beginnen würde, sondern mit der Erfindung einer Möglichkeit, die Arbeit mit einem solchen Diagramm zu vereinfachen. Aber ich wurde das Gefühl nicht los, dass alles viel einfacher war, als es schien. Und nachdem wir den Retentioneering-Quellcode fünfzehn Minuten lang studiert hatten, konnten wir das erstellte Diagramm in das Punktformat exportieren. Dadurch war es möglich, das Diagramm in ein anderes Tool – Gephi – hochzuladen. Und es gibt bereits Möglichkeiten zur Analyse von Diagrammen: Layouts, Filter, Statistiken – Sie müssen lediglich die erforderlichen Parameter in der Oberfläche konfigurieren. Mit diesem Gedanken im Hinterkopf machten wir uns auf den Weg zum Neujahrswochenende.
Enttäuschung Nr. 2
Nach der Rückkehr zur Arbeit stellte sich heraus, dass unsere Kunden das Produkt studierten, während sich alle ausruhten. Ja, so hart, dass im Speicher Ereignisse auftraten, die es vorher nicht gab. Dies bedeutete, dass die Abfragen aktualisiert werden mussten.
Ein kleiner Hintergrund, um die Traurigkeit dieser Tatsache zu verstehen. Wir übermitteln sowohl die von uns markierten Ereignisse (z. B. Klicks auf bestimmte Schaltflächen) als auch die URLs der Seiten, die der Benutzer besucht hat. Im Fall von Cartbee funktionierte das „Eine Aktion – eine Seite“-Modell. Bei VMmanager war die Situation jedoch völlig anders: Auf einer Seite konnten mehrere modale Fenster geöffnet werden. In ihnen könnte der Benutzer verschiedene Probleme lösen. Beispiel: URL:
/host/item/24/ip(modal:modal/host/item/ip/create)
bedeutet, dass der Benutzer auf der Seite „IP-Adressen“ eine IP-Adresse hinzugefügt hat. Und hier sind gleich zwei Probleme sichtbar:
- Die URL enthält eine Art Pfadparameter – die ID der virtuellen Maschine. Es muss ausgeschlossen werden.
- Die URL enthält die modale Fenster-ID. Sie müssen solche URLs irgendwie „entpacken“.
Ein weiteres Problem bestand darin, dass genau die von uns markierten Ereignisse Parameter hatten. Beispielsweise gab es fünf verschiedene Möglichkeiten, aus der Liste auf die Seite mit Informationen zu einer virtuellen Maschine zu gelangen. Dementsprechend wurde ein Ereignis gesendet, jedoch mit einem Parameter, der angab, mit welcher Methode der Benutzer den Übergang vorgenommen hatte. Es gab viele solcher Ereignisse und alle Parameter waren unterschiedlich. Und wir verfügen über die gesamte Datenabruflogik im SQL-Dialekt für Clickhouse. Abfragen mit 150 bis 200 Zeilen schienen allmählich alltäglich zu sein. Probleme umgaben uns.
Inspiration Nr. 2
Eines frühen Morgens schlug mir Danil, der traurig die zweite Minute durchblätterte, vor: „Lass uns Datenverarbeitungspipelines schreiben?“ Wir haben darüber nachgedacht und beschlossen, dass es so etwas wie ETL sein würde, wenn wir es tun würden. Damit es sofort filtert und die notwendigen Daten aus anderen Quellen abruft. So entstand unser erster Analysedienst mit einem vollwertigen Backend. Es implementiert fünf Hauptphasen der Datenverarbeitung:
- Ereignisse aus dem Rohdatenspeicher entladen und für die Verarbeitung vorbereiten.
- Bei der Klärung handelt es sich um das „Auspacken“ genau der Bezeichner modaler Fenster, Ereignisparameter und anderer Details, die das Ereignis verdeutlichen.
- Anreicherung (vom Wort „reich werden“) ist die Ergänzung von Ereignissen mit Daten aus Drittquellen. Hierzu zählte damals nur unser Abrechnungssystem BILLmanager.
- Beim Filtern werden Ereignisse herausgefiltert, die die Ergebnisse der Analyse verfälschen (Ereignisse aus internen Ständen, Ausreißer usw.).
- Hochladen empfangener Ereignisse in den Speicher, was wir als saubere Daten bezeichnen.
Jetzt war es möglich, die Relevanz aufrechtzuerhalten, indem Regeln für die Verarbeitung eines Ereignisses oder sogar Gruppen ähnlicher Ereignisse hinzugefügt wurden. Seitdem haben wir beispielsweise das URL-Entpacken nie aktualisiert. Allerdings wurden in dieser Zeit mehrere neue URL-Variationen hinzugefügt. Sie entsprechen den bereits im Service festgelegten Regeln und werden korrekt verarbeitet.
Enttäuschung Nr. 3
Als wir mit der Analyse begannen, wurde uns klar, warum die Grafik so kohärent war. Tatsache ist, dass fast jedes N-Gramm Übergänge enthielt, die nicht über die Schnittstelle ausgeführt werden konnten.
Eine kleine Untersuchung begann. Ich war verwirrt, dass es innerhalb einer Einheit keine unmöglichen Übergänge gab. Dies bedeutet, dass es sich hierbei nicht um einen Fehler im Ereigniserfassungssystem oder unserem ETL-Dienst handelt. Es bestand das Gefühl, dass der Benutzer gleichzeitig in mehreren Einheiten arbeitete, ohne von einer zur anderen zu wechseln. Wie erreicht man das? Verwendung verschiedener Registerkarten im Browser.
Bei der Analyse von Cartbee hat uns seine Spezifität gerettet. Die Anwendung wurde von mobilen Geräten aus verwendet, wo das Arbeiten über mehrere Registerkarten einfach umständlich ist. Hier haben wir einen Desktop und während eine Aufgabe in einer Entität ausgeführt wird, ist es sinnvoll, diese Zeit damit zu verbringen, den Status in einer anderen Entität einzurichten oder zu überwachen. Und um den Fortschritt nicht zu verlieren, öffnen Sie einfach einen anderen Tab.
Inspiration Nr. 3
Kollegen aus der Frontend-Entwicklung brachten dem Event-Collection-System bei, zwischen Tabs zu unterscheiden. Die Analyse konnte beginnen. Und wir haben angefangen. Wie erwartet stimmte CJM nicht mit echten Pfaden überein: Benutzer verbrachten viel Zeit auf Verzeichnisseiten, brachen Sitzungen ab und Tabs an den unerwartetsten Stellen. Mithilfe der Übergangsanalyse konnten wir in einigen Mozilla-Builds Probleme finden. In ihnen verschwanden aufgrund von Implementierungsmerkmalen Navigationselemente oder es wurden halbleere Seiten angezeigt, die nur dem Administrator zugänglich sein sollten. Die Seite wurde geöffnet, aber es kam kein Inhalt vom Backend. Durch das Zählen der Übergänge konnte beurteilt werden, welche Features tatsächlich genutzt wurden. Die Ketten ermöglichten es zu verstehen, wie der Benutzer diesen oder jenen Fehler erhalten hat. Die Daten ermöglichten Tests basierend auf dem Benutzerverhalten. Es war ein Erfolg, die Idee war nicht umsonst.
Analytics-Automatisierung
In einer der Ergebnisdemonstrationen haben wir gezeigt, wie Gephi für die Diagrammanalyse verwendet wird. In diesem Tool können Konvertierungsdaten in einer Tabelle angezeigt werden. Und der Leiter der UX-Abteilung sagte einen sehr wichtigen Gedanken, der die Entwicklung der gesamten Verhaltensanalyserichtung im Unternehmen beeinflusste: „Machen wir dasselbe, aber in Tableau und mit Filtern – es wird bequemer.“
Dann dachte ich: Warum nicht, Retentioneering speichert alle Daten in einer pandas.DataFrame-Struktur. Und das ist im Großen und Ganzen ein Tisch. So entstand ein weiterer Dienst: Datenanbieter. Er hat aus der Grafik nicht nur eine Tabelle erstellt, sondern auch berechnet, wie beliebt die Seite und die damit verbundene Funktionalität ist, wie sie sich auf die Benutzerbindung auswirkt, wie lange Benutzer auf ihr bleiben und welche Seiten Benutzer am häufigsten verlassen. Und der Einsatz der Visualisierung in Tableau reduzierte die Kosten für die Untersuchung des Diagramms so sehr, dass die Iterationszeit für die Verhaltensanalyse im Produkt fast halbiert wurde.
Danil wird darüber sprechen, wie diese Visualisierung verwendet wird und welche Schlussfolgerungen sie zulässt.
Mehr Tische für den Tischgott!
In vereinfachter Form wurde die Aufgabe wie folgt formuliert: Den Übergangsgraphen in Tableau anzeigen, die Möglichkeit zum Filtern bereitstellen und ihn so klar und komfortabel wie möglich gestalten.
Ich wollte eigentlich keinen gerichteten Graphen in Tableau zeichnen. Und selbst wenn es erfolgreich war, schien der Gewinn im Vergleich zu Gephi nicht offensichtlich zu sein. Wir brauchten etwas viel Einfacheres und Zugänglicheres. Tisch! Schließlich lässt sich der Graph leicht in Form von Tabellenzeilen darstellen, wobei jede Zeile eine Kante vom Typ „Quelle-Ziel“ ist. Darüber hinaus haben wir eine solche Tabelle bereits sorgfältig mit den Tools Retentioneering und Data Provider vorbereitet. Jetzt musste nur noch die Tabelle in Tableau angezeigt und der Bericht durchgewühlt werden.
Apropos: Jeder liebt Tische.
Allerdings stehen wir hier vor einem weiteren Problem. Was tun mit der Datenquelle? Es war unmöglich, pandas.DataFrame zu verbinden; Tableau verfügt nicht über einen solchen Connector. Die Schaffung einer separaten Basis für die Speicherung des Diagramms schien eine zu radikale Lösung mit vagen Aussichten zu sein. Und lokale Entlademöglichkeiten waren aufgrund der Notwendigkeit ständiger manueller Vorgänge nicht geeignet. Wir haben die Liste der verfügbaren Anschlüsse durchgesehen und unser Blick fiel auf den Artikel , der ganz unten verloren zusammenkauerte.
Tableau verfügt über eine große Auswahl an Konnektoren. Wir haben eines gefunden, das unser Problem gelöst hat
Was für ein Tier? Ein paar neue geöffnete Tabs im Browser – und es wurde klar, dass dieser Connector es ermöglicht, Daten beim Zugriff auf eine URL zu empfangen. Das Backend zur Berechnung der Daten selbst war fast fertig, es blieb nur noch, sich mit WDC anzufreunden. Denis studierte mehrere Tage lang die Dokumentation, kämpfte mit den Tableau-Mechanismen und schickte mir dann einen Link, den ich in das Verbindungsfenster einfügte.
Verbindungsformular zu unserem WDC. Denis machte seine Front und sorgte für die Sicherheit
Nach ein paar Minuten Wartezeit (die Daten werden auf Anfrage dynamisch berechnet) erschien die Tabelle:
So sieht ein Rohdatenarray in der Tableau-Benutzeroberfläche aus
Wie versprochen stellte jede Zeile einer solchen Tabelle eine Kante des Diagramms dar, also einen gerichteten Übergang des Benutzers. Es enthielt auch mehrere zusätzliche Merkmale. Zum Beispiel die Anzahl der einzelnen Benutzer, die Gesamtzahl der Übergänge und andere.
Es wäre möglich, diese Tabelle unverändert im Bericht anzuzeigen, die Filter großzügig einzustreuen und das Tool zum Segeln zu bringen. Klingt logisch. Was kann man mit dem Tisch machen? Aber das ist nicht unser Weg, denn wir erstellen nicht nur eine Tabelle, sondern ein Werkzeug zur Analyse und Produktentscheidung.
Normalerweise möchte eine Person bei der Analyse von Daten Antworten auf Fragen erhalten. Großartig. Beginnen wir mit ihnen.
- Was sind die häufigsten Übergänge?
- Wohin gehen sie von bestimmten Seiten aus?
- Wie lange verweilen Sie durchschnittlich auf dieser Seite, bevor Sie sie verlassen?
- Wie oft machen Sie den Übergang von A nach B?
- Auf welchen Seiten endet die Sitzung?
Jeder der Berichte oder eine Kombination davon soll es dem Benutzer ermöglichen, selbstständig Antworten auf diese Fragen zu finden. Die wichtigste Strategie besteht darin, Ihnen die Werkzeuge an die Hand zu geben, mit denen Sie es selbst tun können. Dies ist sowohl zur Entlastung der Analyseabteilung als auch zur Verkürzung der Zeit für die Entscheidungsfindung nützlich – schließlich müssen Sie nicht mehr zu Youtrack gehen und eine Aufgabe für den Analysten erstellen, sondern nur noch den Bericht öffnen.
Was haben wir bekommen?
Wo weichen Menschen am häufigsten vom Dashboard ab?
Auszug aus unserem Bericht. Nach dem Dashboard ging jeder entweder zur Liste der VMs oder zur Liste der Knoten
Nehmen wir eine allgemeine Tabelle mit Übergängen und filtern Sie nach Quellseite. Meistens gelangen sie vom Dashboard zur Liste der virtuellen Maschinen. Darüber hinaus deutet die Spalte „Regelmäßigkeit“ darauf hin, dass es sich um eine sich wiederholende Aktion handelt.
Woher kommen sie in der Liste der Cluster?
Filter in Berichten funktionieren in beide Richtungen: Sie können herausfinden, wo Sie aufgehört haben oder wohin Sie gegangen sind
Aus den Beispielen wird deutlich, dass Sie bereits durch das Vorhandensein von zwei einfachen Filtern und die Reihenfolge der Zeilen nach Werten schnell Informationen erhalten.
Fragen wir etwas Schwierigeres.
Wo brechen Benutzer ihre Sitzung am häufigsten ab?
VMmanager-Benutzer arbeiten häufig in separaten Registerkarten
Dazu benötigen wir einen Bericht, dessen Daten nach Empfehlungsquellen aggregiert sind. Und als Aufgaben wurden die sogenannten Haltepunkte genommen – Ereignisse, die als Ende der Übergangskette dienten.
Hierbei ist zu beachten, dass dies entweder das Ende der Sitzung oder das Öffnen eines neuen Tabs sein kann. Das Beispiel zeigt, dass die Kette am häufigsten an einer Tabelle mit einer Liste virtueller Maschinen endet. In diesem Fall besteht das charakteristische Verhalten darin, zu einer anderen Registerkarte zu wechseln, die mit dem erwarteten Muster übereinstimmt.
Die Nützlichkeit dieser Berichte haben wir zunächst an uns selbst getestet, als wir die Analyse auf ähnliche Weise durchgeführt haben , ein weiteres unserer Produkte. Mit dem Aufkommen von Tabellen und Filtern konnten Hypothesen schneller getestet werden und die Augen ermüdeten weniger.
Bei der Entwicklung von Berichten haben wir die visuelle Gestaltung nicht vergessen. Bei der Arbeit mit Tischen dieser Größe ist dies ein wichtiger Faktor. Wir haben zum Beispiel eine ruhige, leicht wahrnehmbare Farbpalette verwendet bei Zahlen farbliche Hervorhebung von Linien entsprechend den Zahlenwerten der Merkmale. Solche Details verbessern das Benutzererlebnis und erhöhen die Wahrscheinlichkeit, dass sich das Tool im Unternehmen erfolgreich durchsetzt.
Die Tabelle ist recht umfangreich geworden, aber wir hoffen, dass sie weiterhin gut lesbar ist
Besonders hervorzuheben ist die Ausbildung unserer internen Kunden: Produktspezialisten und UX-Designer. Speziell für sie wurden Handbücher mit Analysebeispielen und Tipps zum Umgang mit Filtern erstellt. Wir haben Links zu Handbüchern direkt in die Berichtsseiten eingefügt.
Wir haben das Handbuch einfach als Präsentation in Google Docs erstellt. Mit Tableau-Tools können Sie Webseiten direkt in einer Berichtsarbeitsmappe anzeigen.
Statt einem Epilog
Was steht im Endergebnis? Wir konnten relativ schnell und günstig ein Werkzeug für jeden Tag besorgen. Ja, dies ist definitiv kein Ersatz für die Grafik selbst, die Heatmap der Klicks oder den Webviewer. Solche Berichte ergänzen die aufgeführten Tools jedoch erheblich und liefern Denkanstöße und neue Produkt- und Schnittstellenhypothesen.
Diese Geschichte diente nur als Anfang für die Entwicklung der Analyse im ISPsystem. In den letzten sechs Monaten sind sieben weitere neue Dienste erschienen, darunter digitale Porträts des Benutzers im Produkt und ein Dienst zum Erstellen von Datenbanken für Lookalike-Targeting, über die wir in den folgenden Episoden sprechen werden.
Source: habr.com