🥇Retentioneering: hur vi skrev open-source verktyg för produktanalys i Python och Pandas

Hej, Habr. Denna artikel handlar om slutsatserna från fyra års utveckling av en uppsättning metoder och verktyg för att behandla användarbewegelsers banor i en app eller på en webbplats. Utvecklaren är Maksim Godzi, som står i spetsen för produktutvecklingsteamet och är även artikelförfattaren. Produkten har fått namnet Retentioneering, och den har nu omvandlats till ett open-source bibliotek som finns på Github, så att alla intresserade kan använda det. Detta kan vara intressant för dem som arbetar med produkt- och marknadsanalys, produktmarknadsföring och produktutveckling. Förresten, en artikel om ett av fallen med Retentioneering har redan publicerats på Habr. I det nya materialet diskuteras vad produkten klarar av och hur den kan användas.Genom att läsa artikeln kan du själv skapa din egen Retentioneering; det kan bli vilken standardiserad metod som helst för behandling av användarbewegelsers banor både inom och utanför appen, vilket gör det möjligt att se detaljerade beteenden och utvinna insikter för att öka affärsmetrik.

Vad är Retentioneering och varför behövs det?

Vårt ursprungliga mål var att översätta Growth Hacking från världar av "digitalt skrock" till världen av siffror, analyser och prognoser. Som ett resultat — att reducera produktanalysen till ren matematik och programmering för dem som föredrar siffror framför fantasifulla berättelser, och formler framför snobbiga termer som "rebranding", "repositionering" osv., som låter snyggt men till liten hjälp i praktiken.

För att lösa dessa uppgifter behövdes ett ramverk för analyser genom grafer och banor, och samtidigt ett bibliotek som förenklar analytikers typiska rutiner, som ett sätt att beskriva vanliga uppgifter inom produktanalys, vilket skulle vara begripligt både för människor och robotar. Biblioteket erbjuder möjligheten att beskriva användarbeteenden och koppla dem till produktens affärsmetrik på ett så formellt och klart språk att det förenklar och automatiserar utvecklarnas och analytikernas rutinuppgifter och underlättar deras kommunikation med affärssidan.

Retentioneering — en metod och analytiska programvaruverktyg som kan anpassas och integreras i vilken digital (och icke-digital) produkt som helst.

Retentioneering — en metod och analytiska programvaruverktyg som kan anpassas och integreras i vilken digital (och icke-digital) produkt som helst.

Vi började arbeta med produkten 2015. Nu är det en färdig, om än inte perfekt, uppsättning verktyg på Python och Pandas för att arbeta med data, maskininlärningsmodeller med ett sklearn-liknande API, samt verktyg för att tolka resultaten från maskininlärningsmodeller, eli5 och shap.

Allt detta är inslaget i ett användarvänligt open-source-bibliotek i det öppna GitHub-repositoriet — retentioneering-tools.Att använda biblioteket är enkelt, nästan vilken person som helst som gillar produktanalys, men som aldrig har skrivit kod tidigare, kan tillämpa våra analytiska metoder på sina egna data självständigt och utan betydande tidsåtgång.

Och en programmerare, skapare av applikationen eller medlem av utvecklings- eller testteamet, som aldrig tidigare har sysslat med analytics, kan börja leka med denna kod och se användningsmönstren för sin applikation utan extern hjälp.

Användarens väg som en grundläggande analyskomponent och metoder för dess bearbetning.

Användarens väg är en sekvens av användarens tillstånd vid bestämda tidpunkter. Och händelser kan komma från olika datakällor, både online och offline. Händelser som har inträffat för användaren är en del av hans väg. Exempel:
• tryckte på en knapp
• såg en bild
• kom till en skärm
• fick ett mail
• rekommenderade produkten till en vän
• fyllde i ett formulär
• tryckte på skärmen
• scrollade
• gick till kassan
• beställde en burrito
• åt en burrito
• blev matförgiftad av den ätna burriton
• gick in i kaféet från en bakdörr
• gick in genom huvudingången
• stängde applikationen
• fick en push-notis
• stirrade på skärmen längre än tid X
• betalade beställningen
• hämtade beställningen
• fick avslag på lån

Om man tar data från vägarna för en grupp användare och studerar hur övergångarna är uppbyggda, kan man se hur deras beteenden i applikationen formas. Detta är lätt att göra med en graf där tillstånd är noder och övergångar mellan tillstånd är kanter:

"Trajektori" är ett mycket praktiskt begrepp – det innehåller detaljerad information om alla användarhandlingar, med möjlighet att lägga till vilka ytterligare data som helst i beskrivningen av dessa handlingar. Detta gör det till ett universellt objekt. Om du har vackra och användarvänliga verktyg som gör det möjligt att arbeta med trajektorier, kan du hitta likheter och segmentera dem.

Segmentering av trajektorier kan till en början verka mycket komplicerat. I vanliga fall är det så – man måste använda matrisjämförelser eller sekvensjusteringar. Vi har lyckats hitta ett enklare sätt – att studera ett stort antal trajektorier och segmentera dem genom klusteranalys.

Det visade sig att man kan förvandla en trajektori till en punkt med hjälp av kontinuerliga representationer, till exempel, TF-IDF. Efter omvandlingen blir trajektorin en punkt i rummet, där de normerade frekvenserna av olika händelser och övergångar mellan dem avläggs längs axlarna. Denna sak från det enorma rummet med över tusen dimensioner (dimS=sum(event types)+sum(ngrams_2 types)) kan projiceras på en plan yta med hjälp av TSNE. TSNE – en transformation som reducerar dimensionen av rummet till 2 axlar och så långt som möjligt bevarar relativa avstånd mellan punkterna. Därmed blir det möjligt att studera hur punkterna från olika trajektorier låg i förhållande till varandra på den plan karta som bildas av trajektorier. Man analyserar hur nära eller olika de var från varandra, om de bildade kluster eller spriddes på kartan, etc.:

Analysverktygen Retentioneering möjliggör att omvandla en mängd komplexa data och trajektorier till en representation som kan jämföras med varandra, och sedan utforska och tolka resultatet av omvandlingen.

När vi talar om standardmetoder för behandling av trajektorier, avses tre grundläggande verktyg som vi har implementerat i Retentioneering – grafer, step-matriser och projiceringskartor av trajektorier.

Att arbeta med Google Analytics, Firebase och liknande analysverktyg är ganska komplicerat och inte 100% effektivt. Problemet ligger i en rad begränsningar för användaren, vilket gör att analytikerns arbete begränsas till musklick och val av segment. Retentioneering erbjuder möjligheten att arbeta med användartillvägagångssätt, snarare än bara tratten, som i Google Analytics, där detaljnivån ofta reduceras till tratten, även om den är byggd för ett specifikt segment.

Retentioneering och fallstudier

Ett exempel på hur det utvecklade verktyget används är fallet med en stor nischtjänst i Ryssland. Företaget har en mobilapplikation för Android som är populär bland kunder. Den årliga omsättningen från mobilapplikationen var cirka 7 miljoner rubel, med säsongsfluktuationer mellan 60 000 och 130 000 rubel. Företaget har också en iOS-applikation, där genomsnittligt köpbelopp för användare av 'äpple'-applikationen var högre än för klienter som använde Android-applikationen - 1080 rubel mot 1300 rubel.

Företaget beslutade att öka effektiviteten för Android-applikationen, så de genomförde en noggrann analys av den. Flera dussin hypoteser om att öka applikationens resultat formulerades. Efter att ha använt Retentioneering visade det sig att problemet låg i meddelandena som visades för nya användare. De fick information om varumärket, företagets fördelar och priser. Men det visade sig att meddelandena skulle hjälpa användaren att lära sig hur man arbetar i applikationen.

Detta utfördes, vilket ledde till att applikationen blev mindre borttagen, och tillväxten av konverteringar till beställningar uppgick till 23%. Inledningsvis avsattes 20 procent av den inkommande trafiken för testet, men efter några dagar, när de analyserade de första resultaten och bedömde trenden, ändrade de förhållandena spegelvänt och lämnade istället 20 procent för kontrollgruppen, medan åttio procent gick till testet. Ytterligare en vecka senare fattades beslutet att successivt lägga till testning av ytterligare två hypoteser. Totalt, efter sju veckor, ökade omsättningen från Android-applikationen med en och en halv gång jämfört med den tidigare nivån.

Hur arbetar man med Retentioneering?

De första stegen är ganska enkla — ladda ner biblioteket med kommandot pip install retentioneering. I själva repository finns färdiga exempel och fall för databehandling för vissa uppgifter inom produktanalys. Samlingen utökas ständigt, men den är tillräcklig för en första introduktion. Var och en kan ta färdiga moduler och direkt tillämpa dem på sina uppgifter — detta gör det möjligt att snabbt och effektivt ställa in en mer detaljerad analys och optimering av användarens resor. Allt detta möjliggör att upptäcka mönster i användningen av applikationen genom tydlig kod och överföra denna erfarenhet till kollegor.

Retentioneering är ett verktyg som bör användas under hela applikationens livscykel, och här är varför:

Retentioneering är effektivt för att spåra och kontinuerligt optimera användarresor samt förbättra affärsresultat. Så i ecommerce-applikationer läggs ofta nya funktioner till, vars påverkan på produkten inte alltid kan förutsägas korrekt. I vissa fall uppstår kompatibilitetsproblem mellan nya och gamla funktioner — till exempel kan nya "kanibalera" befintliga. Och i denna situation behövs ständig analys av resorna.
En liknande situation gäller för arbete med annonseringskanaler: nya trafik- och reklamkällor testas ständigt, och det är nödvändigt att spåra säsongsmässiga trender och påverkan av andra händelser, vilket leder till nya klasser av problem. Här krävs också ständig övervakning och tolkning av användarmekanismer.
Det finns ett helt antal faktorer som ständigt påverkar applikationens drift. Till exempel, nya versioner från utvecklarna: genom att lösa aktuella problem återinför de oavsiktligt gamla eller skapar helt nya. Med tiden ökar antalet nya versioner, och processen för att spåra buggar måste automatiseras — även genom analys av användarresor.

Generellt är Retentioneering ett effektivt verktyg. Men perfektion har inga gränser — det kan och bör förbättras, utvecklas och utgöra grunden för nya fantastiska produkter. Ju mer aktivt projektets gemenskap är, desto fler fork kommer det att finnas och nya intressanta användningsvarianter kommer att dyka upp.

Ytterligare information om Retentioneering-verktygen: