Retentioneering: како напишавме алатки со отворен код за аналитика на производи во Python и Pandas

Здраво, Хабр. Оваа статија е посветена на резултатите од четиригодишниот развој на збир на методи и алатки за обработка на траектории на движење на корисниците во апликација или веб-локација. Автор на развојот - Максим Гоџи, кој го предводи тимот на креатори на производи и воедно е автор на статијата. Самиот производ беше наречен Retentioneering, тој сега е претворен во библиотека со отворен код и објавен на Github за да може секој да го користи. Сето ова може да биде од интерес за оние кои се вклучени во анализа на производи и маркетинг, промоција и развој на производи. Патем, на Хабре веќе е објавена статија за еден од случаите на работа со Retaineering. Новиот материјал објаснува што може да направи производот и како може да се користи.

Откако ќе ја прочитате статијата, вие самите ќе можете да напишете свој Retentioneering, тоа може да биде кој било стандардизиран метод за обработка на траектории на корисниците во апликацијата и пошироко, што ќе ви овозможи детално да ги видите карактеристиките на однесувањето и да извлечете увид од ова за растот; на деловните метрики.

Што е задржување и зошто е потребно?

Нашата првична цел беше да го преместиме Growth Hacking од светот на „дигиталните вештерки“ во светот на бројките, аналитиката и прогнозите. Како последица на тоа, аналитиката на производите е сведена на чиста математика и програмирање за оние кои претпочитаат бројки наместо фантастични приказни, а формулите наместо звучните зборови како „ребрендирање“, „репозиционирање“ итн., кои звучат убаво, но во пракса малку помагаат.

За да ги решиме овие проблеми, ни требаше рамка за аналитика преку графикони и траектории, а во исто време и библиотека што ги поедноставува типичните рутини на аналитичарите, како начин да се опишат редовните задачи за анализа на производи кои би биле разбирливи и за луѓето и за роботите. Библиотеката обезбедува можност да се опише однесувањето на корисниците и да се поврзе со деловните метрики на производот на таков формален и јасен јазик што ги поедноставува и автоматизира рутинските задачи на програмерите и аналитичарите и ја олеснува нивната комуникација со бизнисот.

Retentioneering е метод и аналитички софтверски алатки кои можат да се прилагодат и интегрираат во секој дигитален (и не само) производ.

Почнавме да работиме на производот во 2015 година. Сега ова е готов, иако сè уште не идеален, сет на алатки во Python и Pandas за работа со податоци, модели за машинско учење со api слични на sklearn, алатки за толкување на резултатите од моделите за машинско учење eli5 и shap.

Сè е завршено до пригодна библиотека со отворен код во отвореното складиште Github - алатки за задржување. Користењето на библиотеката не е тешко речиси секој што сака аналитика на производи, но претходно нема напишано код, може да ги примени нашите аналитички методи на своите податоци независно и без значителни временски инвестиции.

Па, програмер, креатор на апликации или член на тим за развој или тестирање кој никогаш претходно не правел аналитика може да започне да игра со овој код и да ги види шемите на употреба на нивната апликација без помош однадвор.

Корисничката траекторија како основен елемент на анализа и методи за нејзина обработка

Корисничката траекторија е низа од состојби на корисникот во одредени временски точки. Покрај тоа, настаните можат да доаѓаат од различни извори на податоци, и онлајн и офлајн. Настаните што му се случуваат на корисникот се дел од неговата траекторија. Примери:
• го притиснавте копчето
• ја виде сликата
• притиснете го екранот
• прими е-пошта
• го препорача производот на пријател
• го пополнил формуларот
• го допревте екранот
• лизгање
• отиде на каса
• нарача бурито
• јадеше бурито
• се отрул јадејќи бурито
• влегол во кафулето од задниот влез
• влезе од предниот влез
• ја минимизираше апликацијата
• добиле известување за push
• беше заглавен на екранот подолго од X
• платил за нарачката
• ја купил нарачката
• бил одбиен заем

Ако ги земете податоците за траекторијата на група корисници и проучите како се структурирани транзициите, можете точно да следите како е структурирано нивното однесување во апликацијата. Удобно е да се направи ова преку графикон во кој состојбите се јазли, а транзициите помеѓу состојбите се рабови:

„Траекторија“ е многу удобен концепт - содржи детални информации за сите дејства на корисникот, со можност за додавање дополнителни податоци во описот на овие дејства. Ова го прави универзален објект. Ако имате убави и удобни алатки кои ви дозволуваат да работите со траектории, тогаш можете да најдете сличности и да ги сегментирате.

Сегментацијата на траекторијата на почетокот може да изгледа многу комплицирана. Во нормална ситуација, ова е случај - треба да користите споредба на матрицата за поврзување или порамнување на низата. Успеавме да најдеме поедноставен начин - да проучиме голем број траектории и да ги сегментираме преку кластерирање.

Како што се испостави, можно е да се претвори траекторијата во точка користејќи континуирани претстави, на пример, ТФ-ИДФ. По трансформацијата, траекторијата станува точка во просторот каде долж оските се исцртува нормализираното појавување на различни настани и транзиции меѓу нив во траекторијата. Ова нешто од огромен илјада димензионален простор (dimS=sum(типови на настани)+sum(ngrams_2 типови)) може да се проектира на рамнина користејќи ТСНЕ. TSNE е трансформација која ја намалува димензијата на просторот на 2 оски и, ако е можно, ги зачувува релативните растојанија помеѓу точките. Соодветно на тоа, станува возможно на рамна карта, фигуративна проекциска карта на траектории, да се проучи како точките на различни траектории биле лоцирани меѓу себе. Анализира колку биле блиски или различни еден до друг, дали формирале кластери или биле расфрлани низ картата итн.:

Алатките за аналитика за задржување обезбедуваат можност сложените податоци и траектории да се претворат во поглед што може да се спореди едни со други, а потоа резултатот од трансформацијата може да се испита и интерпретира.

Зборувајќи за стандардни методи за обработка на траектории, мислиме на три главни алатки кои ги имплементиравме во Retentioneering - графикони, матрици на чекори и мапи за проекција на траекторија.

Работата со Google Analytics, Firebase и слични аналитички системи е доста сложена и не е 100% ефективна. Проблемот е голем број ограничувања за корисникот, како резултат на што работата на аналитичарот во такви системи зависи од кликањето на глувчето и изборот на парчиња. Retentioneering овозможува да се работи со траектории на корисници, а не само со инки, како во Google Analytics, каде што нивото на детали често се сведува на инка, иако е изградено за одреден сегмент.

Задржување и случаи

Како пример за користење на развиената алатка, можеме да го наведеме случајот со голема ниша услуга во Русија. Оваа компанија има Android мобилна апликација која е популарна меѓу клиентите. Годишниот промет од мобилната апликација беше околу 7 милиони рубли, сезонските флуктуации се движеа од 60-130 илјади Истата компанија има апликација и за iOS, а просечната сметка на еден корисник на апликацијата Apple беше повисока од просечната сметка. клиент кој користи апликација за Android - 1080 руб. наспроти 1300 руб.

Компанијата одлучи да ја зголеми ефикасноста на апликацијата Android, за што направи темелна анализа. Беа генерирани неколку десетици хипотези за зголемување на ефективноста на апликацијата. По користењето на Retentionneering, се покажа дека проблемот е во пораките што им се прикажувале на новите корисници. Добиле информации за брендот, придобивките од компанијата и цените. Но, како што се испостави, пораките требаше да му помогнат на корисникот да научи како да работи во апликацијата.

Ова беше направено, како резултат на што апликацијата стана помалку деинсталирана, а зголемувањето на конверзија по нарачка беше 23%. Отпрвин, 20 проценти од дојдовниот сообраќај беа дадени на тестот, но по неколку дена, откако ги анализираа првите резултати и го оценија трендот, тие ги сменија пропорциите и, напротив, оставија 20 проценти за контролната група, а осумдесет проценти беа ставени на тестот. Една недела подоцна, беше одлучено последователно да се додаде тестирање на уште две хипотези. За само седум недели прометот од Android апликацијата се зголеми за еден и пол пати во однос на претходното ниво.

Како да се работи со Retentioneering?

Првите чекори се прилично едноставни - преземете ја библиотеката со командата за задржување на инсталација на пип. Самото складиште содржи готови примери и случаи на обработка на податоци за некои задачи за анализа на производи. Сетот постојано се ажурира додека не биде доволно за прво познанство. Секој може да земе готови модули и веднаш да ги примени на своите задачи - ова му овозможува веднаш да го постави процесот на подетална анализа и оптимизација на траекториите на корисниците што е можно побрзо и поефикасно. Сето ова овозможува да се пронајдат шеми за користење на апликациите преку јасен код и да се сподели ова искуство со колегите.

Retentioneering е алатка која вреди да се користи во текот на целиот век на вашата апликација, а еве зошто:

• Задржувањето е ефикасно за следење и континуирано оптимизирање на траекториите на корисниците и за подобрување на деловните перформанси. Така, во апликациите за е-трговија често се додаваат нови функции, чие влијание врз производот не може секогаш правилно да се предвиди. Во некои случаи, се појавуваат проблеми со компатибилноста помеѓу новите и старите функции - на пример, новите ги „канибализираат“ постоечките. И во оваа ситуација, постојаната анализа на траекториите е токму она што е потребно.
• Слична е ситуацијата и кога се работи со рекламни канали: постојано се тестираат нови извори на сообраќај и рекламни креативци, неопходно е да се следи сезонската, трендовите и влијанието на другите настани, што доведува до појава на се повеќе и повеќе нови класи на проблеми. Ова исто така бара постојано следење и толкување на механиката на корисникот.
• Постојат голем број на фактори кои постојано влијаат на перформансите на апликацијата. На пример, нови изданија од програмери: затворање на тековниот проблем, тие несвесно го враќаат стариот или создаваат сосема нов. Со текот на времето, бројот на нови изданија расте, а процесот на следење на грешките треба да се автоматизира, вклучително и со анализа на траекторијата на корисниците.

Генерално, Retentioneering е ефективна алатка. Но, не постои ограничување до совршенството - може и треба да се подобрува, развива и врз негова основа да се изградат нови кул производи. Колку е поактивна заедницата на проектот, толку повеќе вилушки ќе има и ќе се појават нови интересни опции за нејзино користење.

Повеќе информации за алатките за задржување:

• Нашата веб-страница: retaineering.com
• Распоред на состаноци и пријавување за учество
• Разговор на производи и аналитичари во Telegram
• Бесплатно Складиште за задржување на GitHub

Извор: www.habr.com