Retentioneering: как написахме open-source инструменти за продуктова аналитика на Python и Pandas

Здравей, Хабр. Тази статия е посветена на резултатите от четиригодишната разработка на набор от методи и инструменти за анализ на траекториите на потребителите в приложение или на сайт. Автор на разработката е Максим Годзи, който е начело на екипа създатели на продукта и същевременно е автор на статията. Самият продукт носи името Retentioneering, който в момента е преведен в open-source библиотека и е публикуван в GitHub, за да може всеки да се възползва от него. Всичко това може да бъде интересно за тези, които са свързани с продуктов и маркетингов анализ, популяризиране и развитие на продукта. Между другото, на Хабр вече е публикувана статия за един от казусите, свързани с Retentioneering. В новия материал се разказва за възможностите на продукта и как може да се използва.

След като прочетете статията, ще можете сами да създадете свой Retentioneering, който може да бъде всеки стандартизиран метод за анализ на траекториите на потребителите в приложението и извън него, който позволява детайлно да се видят особеностите на поведението и да се извлекат инсайти за растеж на бизнес метриките.

Какво е Retentioneering и защо е нужно?

Първоначално целта ни беше да преведем Growth Hacking от света на "цифровото знахарство" в света на числата, анализите и прогнозите. Следователно — сведохме продуктова аналитика до чиста математика и програмиране за тези, които вместо фантастични истории предпочитат цифри, а формулите — на умни термини като "ребрандинг", "репозициониране" и т.н., които звучат красиво, но на практика помагат малко.

За решаване на посочените задачи ни беше нужен фреймуърк за анализ чрез графи и траектории, и в същото време библиотека, улесняваща типичните рутини на аналитика, като начин за описание на регулярни задачи на продуктова аналитика, който да бъде разбираем както за хората, така и за роботите. Библиотеката предоставя възможност да се описва поведението на потребителите и да се свързва с бизнес метриките на продукта на такъв формален и ясен език, че да се улеснят и автоматизират рутинните задачи на разработчиците и аналитиците, и да се подобри тяхната комуникация с бизнеса.

Retentioneering — метод и аналитични софтуерни инструменти, които могат да бъдат адаптирани и интегрирани в всеки цифров (и не само) продукт.

Започнахме работа по продукта през 2015 година. В момента това е готов, макар и все още не идеален набор от инструменти на Python и Pandas за работа с данни, модели за машинно обучение с API, подобен на sklearn, инструменти за интерпретация на резултатите от моделите за машинно обучение eli5 и shap.

Всичко това е опаковано в удобна open-source библиотека в открит репозиторий на Github — retentioneering-tools.Използването на библиотеката не е трудно, практически всеки, който обича продуктова аналитика, но не е програмирал преди, може да приложи нашите аналитични методи върху своите данни самостоятелно и без значителни разходи от време.

А програмист, създател на приложение или член на екипа по разработка или тестове, който никога преди не се е занимавал с аналитика, може да започне да играе с този код и да види моделите на използване на своето приложение без външна помощ.

Потребителската траектория като основен елемент на анализа и методите за нейното обработване.

Потребителската траектория — последователност от състояния на потребителя в определени времеви точки. Като при това събитията могат да бъдат от различни източници на данни, както онлайн, така и офлайн. Събитията, случили се с потребителя, са част от неговата траектория. Примери:
• натиснал бутона
• видял картинка
• попаднал на екрана
• получил имейл
• препоръчал продукта на приятел
• попълнил формуляра
• натиснал екрана
• проскролил
• отишъл до касата
• поръчал бурито
• ял бурито
• отровил се с изяденото бурито
• влязъл в кафето от страничния вход
• влязъл от главния вход
• затворил приложението
• получил push известие
• гледал в екрана по-дълго време Х
• платил поръчката
• изкупил поръчката
• получил отказ за кредит

Ако вземем данни за траекториите на група потребители и изучим как са организирани преходите, може да проследим как точно се изгражда тяхното поведение в приложението. Това е удобно да се направи чрез граф, в който състоянията са възли, а преходите между състоянията — ребра:

«Траектория» е много удобно понятие – то съдържа подробна информация за всички действия на потребителя, с възможност за добавяне на всякакви допълнителни данни в описанието на тези действия. Това я прави универсален обект. Ако разполагате с красиви и удобни инструменти, които позволяват работа с траектории, можете да намирате подобия и да ги сегментирате.

Сегментацията на траектории в началото може да изглежда много сложна. В нормални ситуации наистина е така – необходимо е да се използва сравнение на матрици на свързаност или подравняване на последователности. Успяхме да намерим по-прост начин – изучаване на голям брой траектории и сегментиране на тях чрез кластеризация.

Както се оказа, траекторията може да бъде превърната в точка с помощта на непрекъснати представяния, например, TF-IDF. След преобразуването, траекторията става точка в пространството, където по осите е отклонена нормализираната срещаемост на различни събития и преходи между тях. Тази структура от огромното хиляди и повече измерно пространство (dimS=sum(event types)+sum(ngrams_2 types)) може да бъде проектирана на равнина с помощта на TSNE. TSNE – преобразуването, намалява размерността на пространството до 2 оси и по възможност запазва относителни разстояния между точките. Съответно, става възможно на плоска карта, образна проекционна карта на траектории, да се изследва как са били разположени точките от различни траектории. Анализира се колко близки или различни са били помежду си, образували ли са кластери или са се разпръснали по картата и т.н.:

Аналитичните инструменти на Retentioneering предоставят възможност да се превърне масивът от сложни данни и траектории в представяне, което може да бъде сравнено помежду си, а след това да бъде изследвано и интерпретирано резултатът от преобразуването.

Говорейки за стандартни методи за обработка на траектория, имаме предвид три основни инструмента, които реализирахме в Retentioneering – графи, матрици на стъпки и карти на проекции на траектории.

Работата с Google Analytics, Firebase и подобни аналитични системи е доста сложна и не напълно ефективна. Проблемата се състои в редица ограничения за потребителя, в резултат на което работата на аналитика в тези системи се състои в кликове с мишката и избор на срезове. Retentioneering предоставя възможност да се работи с траектории на потребителите, а не само с фунии, както в Google Analytics, където нивото на детайлност често се свежда до фуния, дори и да е изградена за определен сегмент.

Retentioneering и казуси

Като пример за използването на разработения инструмент може да се посочи казус на голям нишов сервис в Русия. Тази компания разполага с мобилно приложение за Android, което е популярно сред клиентите. Годишният оборот от мобилното приложение е около 7 млн рубли, а сезонните колебания варират между 60-130 хиляди. Освен това, компанията има и приложение за iOS, а средният чек на потребителя на 'ябълковото' приложение е по-висок от средния чек на клиента, използващ Android приложението — 1080 рубли срещу 1300 рубли.

Компанията реши да увеличи ефективността на Android приложението, за което проведе задълбочен анализ. Бяха формулирани няколко десетки хипотези за увеличаване на резултатността на приложението. След използването на Retentioneering стана ясно, че проблемът е в съобщенията, които се показват на новите потребители. Те получаваха информация за бранда, предимствата на компанията и цените. Но, както се оказа, съобщенията трябваше да помогнат на потребителя да научи как да работи с приложението.

Това беше направено, в резултат на което приложението започна да се изтрива по-малко, а ръстът в конверсията на поръчки състави 23%. Първоначално за теста беше отделен 20 процента от входящия трафик, но след няколко дни, анализирайки първоначалните резултати и оценявайки тенденцията — пропорциите бяха променени зеркално и, напротив, оставихме 20 процента за контролна група, а 80 процента поставихме в тест. Още след една седмица беше взето решение последователно да се добави тестването на още две хипотези. В общи линии, след седем седмици оборотът от Android приложението се увеличи с полутора пъти спрямо предишното ниво.

Как да работим с Retentioneering?

Първите стъпки са достатъчно простичък — изтеглете библиотеката с командата pip install retentioneering. В самия репозиторий има готови примери и казуси за обработка на данни за някои задачи в продуктова аналитика. Наборът постоянно се попълва, но е достатъчен за първоначално запознаване. Всеки може да вземе готови модули и веднага да ги приложи към своите задачи — това позволява бързо да се настрои процеса за по-подробен анализ и оптимизация на потребителските траектории. Всичко това предоставя възможността да се открият модели на ползване на приложението чрез разбираем код и да се предаде този опит на колегите.

Retentioneering — инструмент, който трябва да се използва през целия живот на приложението, и ето защо:

• Retentioneering е ефективен за проследяване и непрекъсната оптимизация на потребителските траектории и подобряване на бизнес показателите. В ecommerce приложенията често се добавят нови функции, чието влияние върху продукта не винаги може да се предвиди правилно. В някои случаи възникват проблеми с несъвместимостта между новите и старите функции — например, новите "канибализират" вече съществуващите. И в тази ситуация е необходимо постоянното анализиране на траекториите.
• Аналогична ситуация съществува и в работата с рекламните канали: постоянно се тестват нови източници на трафик и рекламни креативи, необходимо е да се наблюдава сезонността, тенденциите и влиянието на други събития, което води до появата на нови класове проблеми. Тук също е нужно постоянно проследяване и интерпретация на потребителските механики.
• Има редица фактори, които постоянно влияят на работата на приложението. Например, новите версии от разработчиците: решавайки актуален проблем, те неволно възвръщат стари или създават напълно нови. С времето броят на новите версии расте и процесът на проследяване на грешки трябва да се автоматизира — включително чрез анализ на потребителските траектории.

В общи линии, Retentioneering е ефективен инструмент. Но научаването не спира — той може и трябва да се подобрява, развива и изграждат нови страхотни продукти на базата му. Колкото по-активна е общността на проекта, толкова повече форкове ще се появят и ще се появят нови интересни варианти за неговото използване.

Допълнителна информация за инструментите на Retentioneering:

• Нашият сайт: retentioneering.com
• График на събитията и записване за участие
• Чат на продукти и анализатори в Telegram
• Безплатен репозиторият на Retentioneering в GitHub

Източник: habr.com