Retentioneering: как написахме open-source инструменти за продуктова аналитика на Python и Pandas

Здравей, Хабр. Тази статия е посветена на резултатите от четиригодишната разработка на набор от методи и инструменти за обработка на траектории на потребителите в приложение или на сайт. Автор на разработката е Максим Годзи, който е начело на екипа на създателите на продукта и също е автор на статията. Самият продукт получил името Retentioneering, сега той е трансформиран в open-source библиотека и е публикуван на Github, за да може всеки заинтересован да го използва. Всичко това може да бъде интересно за онези, които са свързани с продуктов и маркетингов анализ, промоция и развитие на продукта. Междувременно на Хабр вече беше публикувана статия за един от случаите на работа с Retentioneering. В новия материал се разказва до какво е способен продуктът и как може да бъде използван.

След като прочетете статията, сами ще можете да напишете свой Retentioneering, който може да стане всякакъв стандартизиран метод за обработка на траектории на потребителите в приложението и извън него, позволяващ да се видят детайлно особеностите на поведението и да се извлекат от това инсајти за растеж на бизнес метриките.

Какво е Retentioneering и за какво служи?

Първоначалната ни цел беше да преведем Growth Hacking от света на „цифровите вълшебства“ в света на числата, аналитиката и прогнозите. В резултат — съкращаване на продуктовата аналитика до чиста математика и програмиране за онези, които вместо фантастични истории предпочитат числа, а формули — на умни термини като „ребрандиране“, „репозициониране“ и т.н., които звучат красиво, но на практика помагат малко.

За решаването на посочените задачи беше необходима рамка за аналитика чрез графи и траектории, и в същото време библиотека, улесняваща типичните рутини на аналитика, като начин за описание на регулярни задачи на продуктовата аналитика, която да бъде разбираема както за хората, така и за роботите. Библиотеката предлага възможност за описване на поведението на потребителите и свързване с бизнес метриките на продукта на такъв формален и ясен език, че да се опростят и автоматизират рутинните задачи на разработчиците и аналитиците и да се улесни тяхната комуникация с бизнеса.

Retentioneering — метод и аналитични софтуерни инструменти, които могат да бъдат адаптирани и интегрирани в всеки цифров (и не само) продукт.

Започнахме работа по продукта през 2015 година. Сега вече е готов, макар и все още не идеален набор от инструменти на Python и Pandas за работа с данни, модели за машинно обучение с sklearn-подобно API, инструменти за интерпретация на резултатите от модели за машинно обучение eli5 и shap.

Всичко това е опаковано в удобна open-source библиотека в публичен репозиторий в Github — retentioneering-tools. Използването на библиотеката не е трудно, практически всеки, който обича продуктова аналитика, но не е писал преди код, може да приложи нашите аналитични методи върху своите данни самостоятелно и без значителни времеви разходи.

А програмисът, създателят на приложението или член на екипа за разработка или тестване, който никога преди не се е занимавал с аналитика, може да започне да играе с този код и да види паттерни в използването на своето приложение без външна помощ.

Потребителската траектория като основен елемент на анализа и методи за обработка

Потребителската траектория е последователност от състояния на потребителя в определени времеви моменти. Събитията могат да бъдат от различни източници на данни, както онлайн, така и офлайн. Събитията, случили се с потребителя, са част от неговата траектория. Примери:
• натисна бутон
• видя образ
• стигна до екран
• получи имейл
• препоръча продукта на приятел
• попълни форма
• натисна екрана
• превъртя
• отиде до касата
• поръча бурито
• изяде бурито
• отрови се с изяденото бурито
• влезе в кафето през страничния вход
• влезе през главния вход
• затвори приложението
• получи push известие
• гледа екрана по-дълго от време Х
• плати поръчката
• изкупи поръчката
• получи отказ за кредит

Ако вземем данните от траекториите на група потребители и изучим как са устроени преходите, можем да проследим как точно се изгражда тяхното поведение в приложението. Удобно е да се направи това чрез граф, в който състоянията са възли, а преходите между състоянията — ръбове:

«Траектория» е много удобно понятие - то съдържа подробна информация за всички действия на потребителя, с възможност за добавяне на всякакви допълнителни данни в описанието на тези действия. Това я прави универсален обект. Ако разполагате с красиви и удобни инструменти, които позволяват работа с траектории, можете да откриете подобия и да ги сегментирате.

Сегментацията на траектории в началото може да изглежда нещо много сложно. В обикновен случай наистина е така - необходимо е да се използва сравнение на матрици на свързаност или изравняване на последователности. Успяхме да намерим по-прост начин - да изучаваме голям брой траектории и да ги сегментираме чрез клъстеризация.

Както се оказа, можете да преобразувате траектория в точка с помощта на непрекъснати представяния, например, TF-IDF. След преобразуването траекторията става точка в пространството, където по осите е отклонена нормализираната срещаемост на различни събития и преходи между тях. Тази структура от огромно, с хиляда и повече измерения пространство (dimS=sum(event types)+sum(ngrams_2 types)) може да бъде проектирана на равнина с помощта на TSNE. TSNE - преобразование, намалява размерностите на пространството до 2 оси и по възможност запазва относителните разстояния между точките. Съответно, става възможно на плоска карта, образна проекционна карта на траектории, да се изучава как са се разполагали точките на различни траектории. Анализира се доколко те са били близки или различни помежду си, образували ли са клъстери или са се разпръснали по картата и т.н.:

Аналитичните инструменти Retentioneering дават възможност да се превърне масив от сложни данни и траектории в представяне, което може да бъде сравнено помежду си, а след това да се изследва и интерпретира резултатът от преобразуването.

Когато говорим за стандартни методи за обработка на траектории, имаме предвид три основни инструмента, които реализирахме в Retentioneering - графи, step матрици и проекционни карти на траектории.

Работата с Google Analytics, Firebase и подобни системи за анализ е достатъчно сложна и не напълно ефективна. Проблемата се състои в редица ограничения за потребителите, в резултат на което работата на аналитика е ограничена до кликове с мишката и избор на срезове. Retentioneering дава възможност да се работи с траектории на потребителите, а не само с фунии, както в Google Analytics, където нивото на детайлност често е сведено до фуния, дори и да е изградена за определен сегмент.

Retentioneering и казуси

Като пример за използването на разработения инструмент може да се приведe казус от голям нишов сервиз в Русия. Тази компания има мобилно приложение за Android, което е популярно сред клиентите. Годишният оборот от мобилното приложение бил около 7 млн. рубли, сезонните флуктуации варирали между 60-130 хиляди. Освен това, компанията разполага и с приложение за iOS, а средната стойност на поръчка от потребителя на „ябълчното“ приложение била по-висока от средната стойност на клиента, използващ Android приложението — 1080 рубли срещу 1300 рубли.

Компанията реши да увеличи ефективността на Android приложението, поради което проведе неговия подробен анализ. Бяха формулирани няколко десетки хипотези за увеличаване на резултатността на приложението. След използването на Retentioneering стана ясно, че проблемът е в съобщенията, които се показваха на новите потребители. Те получаваха информация за бранда, предимствата на компанията и цените. Но, както стана ясно, съобщенията трябваше да помогнат на потребителя да се научи как да работи с приложението.

Това и беше направено, в резултат на което приложението започна да се премахва по-малко, а ръстът в конверсията в поръчки нарасна с 23%. Поначало за тестовете бяха заделени 20 процента от входящия трафик, но след няколко дни, анализирайки първите резултати и оценявайки тенденцията — те обърнаха пропорциите и, обратно, оставиха 20 процента за контролна група, а осемдесет процента ги поставиха в тест. Още след седмица беше взето решение последователно да се добавят тестовете на още две хипотези. След седем седмици оборотът от Android приложението се увеличи с една и половина пъти спрямо предишното ниво.

Как да работим с Retentioneering?

Първите стъпки са достатъчно лесни — сваляме библиотеката с команда pip install retentioneering. В самия репозиторий има готови примери и казуси за обработка на данни по някои задачи на продуктова аналитика. Наборът постоянно се допълва, но към момента е достатъчен за първо запознаване. Всеки може да вземе готови модули и веднага да ги приложи в собствените си задачи — това позволява бързо да се настрои процесът на по-дълбочинна аналитика и оптимизация на потребителските траектории максимално бързо и ефективно. Всичко това дава възможност за намиране на модели на използване на приложението чрез разбираем код и предаване на този опит на колегите.

Retentioneering — инструмент, който си струва да се използва през целия живот на приложението, и ето защо:

• Retentioneering е ефективен за проследяване и непрекъсната оптимизация на потребителските траектории и подобряване на бизнес показателите. Например, в ecommerce приложения често се добавят нови функции, чието влияние върху продукта не винаги може да се предвиди правилно. В някои случаи възникват проблеми с несъвместимост между новите и старите функции — например новите „канибализират“ вече съществуващите. И в тази ситуация точно това е необходимо — постоянното анализиране на траекториите.
• Подобна е ситуацията и с рекламните канали: постоянно се тестват нови източници на трафик и рекламни креативи, необходимо е да се проследяват сезонността, трендовете и влиянието на други събития, което води до появата на все нови класове проблеми. И тук е необходимо постоянно проследяване и интерпретация на потребителските механики.
• Има цял ред фактори, които постоянно влияят на работата на приложението. Например, новите релизи от разработчиците: разрешавайки актуален проблем, те неволно възстановяват стар или създават съвсем нов. С времето броят на новите релизи нараства и процесът на проследяване на грешки трябва да се автоматизира — включително чрез анализ на траекториите на потребителите.

Като цяло, Retentioneering е ефективен инструмент. Но предел на съвършенството няма — той може и трябва да се подобрява, развива, да се изграждат нови интересни продукти на негова основа. Колкото по-активна е общността на проекта, толкова повече ще има fork-ове и ще се появят нови интересни варианти за неговото използване.

Допълнителна информация за инструментите на Retentioneering:

• Нашият сайт: retentioneering.com
• График на срещите и записване за участие
• Чат на продукти и анализатори в Telegram
• Безплатно репозиторият на Retentioneering в GitHub

Източник: habr.com