Retentioneering: как написахме инструменти за продуктов анализ с отворен код в Python и Pandas

Хей Хабр. Тази статия е посветена на резултатите от четиригодишно разработване на набор от методи и инструменти за обработка на траекториите на движение на потребителите в приложение или на уебсайт. Автор на разработката - Максим Годзи, който е начело на екипа от създатели на продукти, той е и автор на статията. Самият продукт се нарича Retentioneering, сега той е превърнат в библиотека с отворен код и се хоства в Github, така че всеки да може да го използва. Всичко това може да представлява интерес за тези, които се занимават с продуктов и маркетингов анализ, промоция и развитие на продукта. Между другото, на Хабре вече е публикувана статия за един от случаите на работа с Retentioneering. Новият материал обяснява на какво е способен продуктът и как може да се използва.

След като прочетете статията, вие ще можете да напишете свой собствен Retentioneering, това може да бъде всеки стандартизиран метод за обработка на потребителски траектории в приложението и извън него, което ви позволява да видите в детайли характеристиките на поведението и да извлечете прозрения от това за растежа на бизнес показатели.

Какво е Retentioneering и защо е необходимо?

Първоначално нашата цел беше да преместим Growth Hacking от света на „дигиталното магьосничество“ в света на числата, анализите и прогнозите. В резултат на това продуктовият анализ се свежда до чиста математика и програмиране за тези, които предпочитат числата вместо фантастични истории, и формулите пред умни думи като „ребрандиране“, „препозициониране“ и т.н., които звучат красиво, но не помагат много в практика.

За да разрешим тези проблеми, се нуждаехме от рамка за анализи чрез графики и траектории и в същото време библиотека, която опростява типичните рутинни процедури на анализатора, като начин за описване на редовни задачи за анализ на продукти, които биха били разбираеми както за хората, така и за роботите. Библиотеката предоставя възможността да се опише поведението на потребителите и да се свърже с продуктовите бизнес показатели на такъв формален и ясен език, за да опрости и автоматизира рутинните задачи на разработчиците и анализаторите и да улесни комуникацията им с бизнеса.

Retentioneering е метод и аналитични софтуерни инструменти, които могат да бъдат адаптирани и интегрирани във всеки дигитален (и не само) продукт.

Започнахме да работим по продукта през 2015 г. Сега това е готов, макар и все още не идеален набор от инструменти за работа с данни в Python и Pandas, модели за машинно обучение с sklearn-подобен api, инструменти за интерпретиране на резултатите от модели за машинно обучение eli5 и shap.

Всичко е опаковано в удобна библиотека с отворен код в отвореното хранилище на Github - retentioneering-tools. Използването на библиотеката не е трудно, почти всеки, който обича продуктовия анализ, но не е писал код преди, може да приложи нашите методи за анализ към своите данни сам и без да отделя много време.

Е, програмист, създател на приложение или член на екип за разработка или тестване, който никога преди не е правил анализи, може да започне да играе с този код и да види модели в използването на своето приложение без външна помощ.

Потребителската траектория като основен елемент на анализа и методи за нейната обработка

Потребителската траектория е поредица от потребителски състояния в определени моменти от време. Освен това събитията могат да бъдат от различни източници на данни, както онлайн, така и офлайн. Събитията, случили се на потребителя, са част от неговата траектория. Примери:
• натисна бутона
• видях снимка
• ударете екрана
• получи имейл
• препоръча продукта на приятел
• попълни формуляра
• докосна екрана
• превъртани
• се приближи до касата
• поръча бурито
• яде бурито
• отровен от бурито, което е изял
• влезе в кафенето от задния вход
• влиза се от главния вход
• минимизира приложението
• получи насочено известие
• глупав в екрана за по-дълго време Х
• платени за поръчката
• осребрихте поръчката
• е бил отказан кредит

Ако вземете данните за траекторията на група потребители и проучите как работят преходите, можете да видите как точно е изградено тяхното поведение в приложението. Удобно е да направите това чрез графика, в която състоянията са възли, а преходите между състоянията са ръбове:

„Траекторията“ е много удобна концепция - съдържа подробна информация за всички действия на потребителя, с възможност за добавяне на допълнителни данни към описанието на тези действия. Това го прави генеричен обект. Ако имате красиви и удобни инструменти, които ви позволяват да работите с траектории, тогава можете да намерите прилики и да ги сегментирате.

Сегментирането на траекторията може да изглежда много сложно в началото. В нормална ситуация това е вярно - трябва да използвате сравнение на матрици за свързване или подравняване на последователности. Успяхме да намерим по-лесен начин - да изследваме голям брой траектории и да ги сегментираме чрез групиране.

Както се оказа, възможно е да се превърне траектория в точка, като се използват непрекъснати представяния, например, TF-IDF. След трансформацията траекторията се превръща в точка в пространството, където по осите се нанася нормализирана поява в траекторията на различни събития и преходи между тях. Това нещо от огромно хилядо- и повече-измерно пространство (dimS=sum(типове събития)+sum(ngrams_2 типове)), може да бъде проектирано върху равнина, използвайки TSNE. TSNE - трансформация, намалява размерността на пространството до 2 оси и по възможност запазва относителните разстояния между точките. Съответно става възможно върху плоска карта, фигуративна проекционна карта на траектории, да се изследва как точките на различни траектории са разположени помежду си. Анализира се колко близки или различни са били те един до друг, дали са образували групи или са разпръснати по картата и т.н.:

Аналитичните инструменти за задържане осигуряват способността за превръщане на сложни данни и траектории в представяне, което може да се сравнява помежду си, и след това да изследвате и интерпретирате резултата от трансформацията.

Говорейки за стандартни методи за обработка на траектории, имаме предвид три основни инструмента, които сме внедрили в Retentioneering – графики, стъпкови матрици и карти на проекции на траектории.

Работата с Google Analytics, Firebase и подобни аналитични системи е доста сложна и не е 100% ефективна. Проблемът е в редица ограничения за потребителя, в резултат на което работата на анализатора в такива системи се основава на щраквания на мишката и избор на срезове. Retentioneering дава възможност да се работи с потребителски траектории, а не само с фунии, както в Google Analytics, където нивото на детайлност често се свежда до фуния, макар и изградена за определен сегмент.

Задържане и казуси

Като пример за използване на разработения инструмент можем да цитираме случая с голяма ниша услуга в Русия. Тази компания има мобилно приложение за Android, което е популярно сред клиентите. Годишният оборот от мобилното приложение беше около 7 милиона рубли, сезонните колебания бяха в рамките на 60-130 хил. Същата компания има и приложение за iOS, а средният чек на потребителя на приложението "ябълка" беше по-висок от средния проверка на клиента с помощта на приложението Android - 1080 rub. срещу 1300 рубли.

Компанията реши да повиши ефективността на Android приложението, за което направи задълбочен анализ. Формирани са няколко десетки хипотези за повишаване на ефективността на приложението. След използване на Retentionneering се оказа, че проблемът е в съобщенията, които се показват на новите потребители. Те получиха информация за марката, фирмените предимства и цени. Но, както се оказа, съобщенията трябваше да помогнат на потребителя да се научи как да работи в приложението.

Това беше направено, в резултат на което приложението започна да се изтрива по-малко, а увеличението на преобразуването към поръчка беше 23%. Първоначално 20 процента от входящия трафик бяха дадени на теста, но няколко дни по-късно, след като анализираха първите резултати и оцениха тенденцията, те обърнаха пропорциите и, напротив, оставиха 20 процента за контролната група и поставиха осемдесет процента в теста. Седмица по-късно беше решено последователно да се добави тестване на още две хипотези. Само за седем седмици оборотът от приложението за Android се е увеличил с един и половина пъти в сравнение с предишното ниво.

Как да работим с Retentioneering?

Първите стъпки са съвсем прости – зареждаме библиотеката с командата pip install retentioneering. Самото хранилище съдържа готови примери и случаи на обработка на данни за някои задачи за продуктов анализ. Комплектът непрекъснато се актуализира, докато стане достатъчен за първото запознаване. Всеки може да вземе готови модули и незабавно да приложи към задачите си - това ви позволява незабавно да настроите процеса на по-подробен анализ и оптимизиране на потребителските траектории възможно най-бързо и ефективно. Всичко това прави възможно намирането на модели на използване на приложението чрез разбираем код и споделянето на този опит с колегите.

Retentioneering е инструмент, който си струва да се използва през целия живот на приложението и ето защо:

• Задържането е ефективно за проследяване и непрекъснато оптимизиране на траекториите на потребителите и подобряване на бизнес ефективността. Така че към приложенията за електронна търговия често се добавят нови функции, чието въздействие върху продукта не винаги може да бъде предвидено правилно. В някои случаи има проблеми със съвместимостта между нови и стари функции – например новите „канибализират“ съществуващите. И в тази ситуация е необходим постоянен анализ на траекториите.
• Подобна е ситуацията и при работата с рекламни канали: постоянно се тестват нови източници на трафик и рекламни реклами, необходимо е да се следи сезонността, тенденциите и влиянието на други събития, което води до появата на нови класове проблеми. Освен това изисква постоянно наблюдение и интерпретация на потребителската механика.
• Има редица фактори, които постоянно влияят на работата на приложението. Например нови издания от разработчици: затваряйки действителен проблем, те несъзнателно връщат стария или създават напълно нов. С течение на времето броят на новите версии нараства и процесът на проследяване на грешки трябва да бъде автоматизиран, включително чрез анализ на траекториите на потребителите.

Като цяло, задържането е ефективен инструмент. Но няма ограничение за съвършенството - то може и трябва да се подобрява, развива и на негова основа да се изграждат нови страхотни продукти. Колкото по-активна е общността на проекта, толкова повече разклонения ще има, ще се появят нови интересни опции за неговото използване.

Повече информация за инструментите за задържане:

• Нашият сайт: retentioneering.com
• График за срещи и записване
• Чат на продукти и анализатори в Telegram
• Безплатно Retentioneering repository на GitHub

Източник: www.habr.com