{"id":38424,"date":"2019-10-31T22:23:40","date_gmt":"2019-10-31T19:23:40","guid":{"rendered":"https:\/\/prohoster.info\/blog\/retentioneering-kak-my-open-source-instrumenty-dlya-produktovoj-analitiki-na-python-i-pandas-napisali\/"},"modified":"2026-07-06T16:02:25","modified_gmt":"2026-07-06T14:02:25","slug":"retentioneering-kak-my-open-source-instrumenty-dlya-produktovoj-analitiki-na-python-i-pandas-napisali","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/retentioneering-kak-my-open-source-instrumenty-dlya-produktovoj-analitiki-na-python-i-pandas-napisali","title":{"rendered":"Retentioneering: como escrevemos ferramentas open-source para an\u00e1lise de produtos em Python e Pandas.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ol\u00e1, Habr. Este artigo \u00e9 dedicado aos resultados de quatro anos de desenvolvimento de um conjunto de m\u00e9todos e ferramentas para o processamento de trajet\u00f3rias de movimento de usu\u00e1rios em aplicativos ou sites. O autor do desenvolvimento \u00e9 Maxim Godzi<\/a><\/noindex>, que est\u00e1 \u00e0 frente da equipe de criadores do produto, e ele tamb\u00e9m \u00e9 o autor do artigo. O produto recebeu o nome de Retentioneering, agora foi transformado em uma biblioteca open-source e hospedado no Github, para que qualquer pessoa interessada possa utiliz\u00e1-lo. Tudo isso pode ser interessante para quem est\u00e1 relacionado \u00e0 an\u00e1lise de produtos e marketing, promo\u00e7\u00e3o e desenvolvimento de produtos. A prop\u00f3sito, no Habr j\u00e1 foi publicada uma artigo sobre um dos casos de uso do Retentioneering<\/a><\/noindex>. O novo material descreve do que o produto \u00e9 capaz e como pode ser utilizado.<\/p>\n

Ao ler o artigo, voc\u00ea ser\u00e1 capaz de criar seu pr\u00f3prio Retentioneering; qualquer m\u00e9todo padronizado de processamento de trajet\u00f3rias de usu\u00e1rios em um aplicativo e fora dele pode se tornar isso, permitindo uma vis\u00e3o detalhada das caracter\u00edsticas do comportamento e extraindo insights para o crescimento das m\u00e9tricas de neg\u00f3cios.
\n<\/a><\/noindex><\/p>\n

O que \u00e9 Retentioneering e por que isso \u00e9 necess\u00e1rio?<\/h3>\n

\nInicialmente, nosso objetivo era traduzir o Growth Hacking do mundo da \"magia digital\" para o mundo dos n\u00fameros, da an\u00e1lise e das previs\u00f5es. Como consequ\u00eancia, a an\u00e1lise de produtos foi reduzida a matem\u00e1tica pura e programa\u00e7\u00e3o para aqueles que, ao inv\u00e9s de hist\u00f3rias fant\u00e1sticas, preferem n\u00fameros, e f\u00f3rmulas a palavras sofisticadas como \"rebranding\", \"reposicionamento\" e assim por diante, que soam bem, mas na pr\u00e1tica ajudam pouco. <\/p>\n

Para resolver essas quest\u00f5es, foi necess\u00e1rio um framework para an\u00e1lise atrav\u00e9s de grafos e trajet\u00f3rias, e ao mesmo tempo uma biblioteca que simplificasse as rotinas t\u00edpicas dos analistas, como uma forma de descrever tarefas regulares de an\u00e1lise de produto, que fosse compreens\u00edvel tanto para pessoas quanto para rob\u00f4s. A biblioteca permite descrever o comportamento dos usu\u00e1rios e conect\u00e1-lo \u00e0s m\u00e9tricas de neg\u00f3cios do produto em uma linguagem t\u00e3o formal e clara, que simplifica e automatiza as tarefas rotineiras dos desenvolvedores e analistas, facilitando sua comunica\u00e7\u00e3o com os neg\u00f3cios.<\/p>\n

Retentioneering \u00e9 um m\u00e9todo e ferramentas anal\u00edticas de software que podem ser adaptadas e integradas em qualquer produto digital (e n\u00e3o apenas). <\/b><\/p>\n

Come\u00e7amos a desenvolver o produto em 2015. Agora, j\u00e1 \u00e9 um conjunto de ferramentas pronto, embora ainda n\u00e3o ideal, em Python e Pandas para trabalhar com dados, modelos de aprendizado de m\u00e1quina com API semelhante ao sklearn, ferramentas de interpreta\u00e7\u00e3o dos resultados de modelos de aprendizado de m\u00e1quina eli5 e shap. <\/p>\n

Tudo isso est\u00e1 embrulhado em uma biblioteca open-source conveniente no reposit\u00f3rio aberto do Github \u2014 retentioneering-tools<\/a><\/noindex>. Usar a biblioteca n\u00e3o \u00e9 dif\u00edcil; praticamente qualquer pessoa que gosta de an\u00e1lise de produto, mas que nunca programou antes, pode aplicar nossos m\u00e9todos de an\u00e1lise aos seus dados de forma independente e sem gastar muito tempo. <\/p>\n

Um programador, o criador do aplicativo ou um membro da equipe de desenvolvimento ou teste, que nunca antes lidou com an\u00e1lise, pode come\u00e7ar a brincar com esse c\u00f3digo e ver padr\u00f5es de uso de seu aplicativo sem ajuda externa. <\/p>\n

A trajet\u00f3ria do usu\u00e1rio como elemento b\u00e1sico da an\u00e1lise e m\u00e9todos de seu processamento<\/h3>\n

\nA trajet\u00f3ria do usu\u00e1rio \u00e9 a sequ\u00eancia de estados do usu\u00e1rio em determinados pontos temporais.<\/b> Al\u00e9m disso, os eventos podem vir de diferentes fontes de dados, tanto online quanto offline. Os eventos que aconteceram com o usu\u00e1rio s\u00e3o parte de sua trajet\u00f3ria. Exemplos:
\n\u2022 clicou no bot\u00e3o
\n\u2022 viu a imagem
\n\u2022 chegou \u00e0 tela
\n\u2022 recebeu um e-mail
\n\u2022 recomendou o produto a um amigo
\n\u2022 preencheu o formul\u00e1rio
\n\u2022 tocou na tela
\n\u2022 rolou
\n\u2022 chegou ao caixa
\n\u2022 pediu um burrito
\n\u2022 comeu o burrito
\n\u2022 ficou doente ap\u00f3s comer o burrito
\n\u2022 entrou no caf\u00e9 pela porta dos fundos
\n\u2022 entrou pela porta da frente
\n\u2022 fechou o aplicativo
\n\u2022 recebeu uma notifica\u00e7\u00e3o push
\n\u2022 ficou encarando a tela por mais tempo
\n\u2022 pagou o pedido
\n\u2022 retirou o pedido
\n\u2022 teve o pedido de cr\u00e9dito negado<\/p>\n

Se pegarmos os dados das trajet\u00f3rias de um grupo de usu\u00e1rios e estudarmos como ocorrem as transi\u00e7\u00f5es, podemos acompanhar como se constr\u00f3i seu comportamento no aplicativo. Isso \u00e9 conveniente de fazer atrav\u00e9s de um gr\u00e1fico, onde estados s\u00e3o n\u00f3s, e transi\u00e7\u00f5es entre estados s\u00e3o arestas:<\/p>\n

\"Retentioneering:
\n
\nA \"trajet\u00f3ria\" \u00e9 um conceito muito conveniente \u2014 ela cont\u00e9m informa\u00e7\u00f5es detalhadas sobre todas as a\u00e7\u00f5es do usu\u00e1rio, com a possibilidade de adicionar quaisquer dados adicionais na descri\u00e7\u00e3o dessas a\u00e7\u00f5es. Isso a torna um objeto universal. Se voc\u00ea possui ferramentas bonitas e pr\u00e1ticas que permitem trabalhar com trajet\u00f3rias, pode encontrar semelhan\u00e7as e segment\u00e1-las.<\/p>\n

A segmenta\u00e7\u00e3o de trajet\u00f3rias pode parecer algo muito complicado a princ\u00edpio. Em uma situa\u00e7\u00e3o normal, realmente \u00e9 \u2014 \u00e9 necess\u00e1rio usar compara\u00e7\u00e3o de matrizes de conectividade ou alinhamento de sequ\u00eancias. Conseguimos encontrar uma maneira mais simples \u2014 estudar um grande n\u00famero de trajet\u00f3rias e segment\u00e1-las por meio de clusteriza\u00e7\u00e3o.<\/p>\n

Como se descobriu, \u00e9 poss\u00edvel transformar uma trajet\u00f3ria em um ponto utilizando representa\u00e7\u00f5es cont\u00ednuas, por exemplo, TF-IDF<\/a><\/noindex>. Ap\u00f3s a transforma\u00e7\u00e3o, a trajet\u00f3ria se torna um ponto no espa\u00e7o, onde os eixos representam a frequ\u00eancia normalizada de diferentes eventos e transi\u00e7\u00f5es na trajet\u00f3ria. Essa representa\u00e7\u00e3o, que vem de um espa\u00e7o enorme de mil e mais dimens\u00f5es (dimS=soma(tipos de eventos)+soma(tipos de ngrams_2)), pode ser projetada em um plano usando TSNE<\/a><\/noindex>. O TSNE \u2014 uma transforma\u00e7\u00e3o que reduz a dimensionalidade do espa\u00e7o a 2 e, na medida do poss\u00edvel, preserva as dist\u00e2ncias relativas entre os pontos. Consequentemente, torna-se poss\u00edvel, em um mapa plano, um mapa de proje\u00e7\u00e3o imag\u00e9tica das trajet\u00f3rias, estudar como os pontos de diferentes trajet\u00f3rias se posicionam entre si. Analisa-se o quanto eles eram pr\u00f3ximos ou distintos entre si, se formavam clusters ou se dispersavam pelo mapa, etc.:<\/p>\n

\"Retentioneering:
\n
\nAs ferramentas anal\u00edticas do Retentioneering permitem transformar um conjunto de dados complexos e trajet\u00f3rias em uma representa\u00e7\u00e3o que pode ser comparada entre si, e, em seguida, investigar e interpretar o resultado da transforma\u00e7\u00e3o.<\/p>\n

Falando sobre m\u00e9todos padr\u00e3o de processamento de trajet\u00f3rias, referimo-nos a tr\u00eas ferramentas principais que implementamos no Retentioneering \u2014 grafos, matrizes de passo e mapas de proje\u00e7\u00e3o de trajet\u00f3rias. <\/p>\n

Trabalhar com Google Analytics, Firebase e sistemas de an\u00e1lise semelhantes \u00e9 bastante complicado e n\u00e3o 100% eficaz. O problema reside em uma s\u00e9rie de limita\u00e7\u00f5es para o usu\u00e1rio, resultando em uma an\u00e1lise que se limita a cliques do mouse e sele\u00e7\u00e3o de cortes. Retentioneering permite trabalhar com trajet\u00f3rias de usu\u00e1rios, e n\u00e3o apenas com funis, como no Google Analytics, onde o n\u00edvel de detalhamento muitas vezes se resume a um funil, mesmo que seja constru\u00eddo para um segmento espec\u00edfico. <\/p>\n

Retentioneering e casos de uso<\/h3>\n

\nComo exemplo do uso da ferramenta desenvolvida, podemos citar o caso de um grande servi\u00e7o de nicho na R\u00fassia. Esta empresa possui um aplicativo m\u00f3vel para Android, que \u00e9 bem popular entre os clientes. O faturamento anual do aplicativo m\u00f3vel era de cerca de 7 milh\u00f5es de rublos, com flutua\u00e7\u00f5es sazonais entre 60-130 mil. A mesma empresa tamb\u00e9m possui um aplicativo para iOS, e o ticket m\u00e9dio do usu\u00e1rio do aplicativo 'da ma\u00e7\u00e3' foi superior ao ticket m\u00e9dio do cliente que utilizava o aplicativo Android \u2014 1080 rublos contra 1300 rublos.<\/p>\n

A empresa decidiu aumentar a efic\u00e1cia do aplicativo Android, para o qual realizou uma an\u00e1lise minuciosa. Foram formadas v\u00e1rias dezenas de hip\u00f3teses para aumentar a efic\u00e1cia do aplicativo. Ap\u00f3s o uso do Retentioneering, ficou claro que o problema estava nas mensagens exibidas para novos usu\u00e1rios. Eles recebiam informa\u00e7\u00f5es sobre a marca, vantagens da empresa e pre\u00e7os. No entanto, como se revelou, as mensagens deveriam ajudar os usu\u00e1rios a aprender a usar o aplicativo. <\/p>\n

\"Retentioneering:
\n
\nIsso foi realizado, resultando em uma diminui\u00e7\u00e3o nas desinstala\u00e7\u00f5es do aplicativo e um aumento de 23% na convers\u00e3o em pedidos. Inicialmente, 20% do tr\u00e1fego de entrada foi alocado para o teste, mas ap\u00f3s alguns dias, ao analisar os primeiros resultados e avaliar a tend\u00eancia \u2014 as propor\u00e7\u00f5es foram invertidas e, ao contr\u00e1rio, 20% foram deixados para o grupo de controle, enquanto 80% foram colocados no teste. Uma semana depois, foi decidido adicionar progressivamente o teste de mais duas hip\u00f3teses. Em apenas sete semanas, o faturamento do aplicativo Android aumentou em 1,5 vezes em rela\u00e7\u00e3o ao n\u00edvel anterior.<\/p>\n

Como trabalhar com Retentioneering?<\/h3>\n

\nOs primeiros passos s\u00e3o bastante simples \u2014 carregamos a biblioteca com o comando pip install retentioneering. No pr\u00f3prio reposit\u00f3rio, h\u00e1 exemplos prontos e casos de tratamento de dados para algumas tarefas de an\u00e1lise de produtos. O conjunto est\u00e1 constantemente se expandindo, mas j\u00e1 \u00e9 suficiente para uma primeira familiariza\u00e7\u00e3o. Qualquer pessoa pode pegar m\u00f3dulos prontos e aplic\u00e1-los imediatamente \u00e0s suas tarefas \u2014 isso permite configurar rapidamente o processo de an\u00e1lise mais detalhada e otimiza\u00e7\u00e3o das trajet\u00f3rias dos usu\u00e1rios de forma eficiente. Tudo isso possibilita encontrar padr\u00f5es de uso do aplicativo atrav\u00e9s de um c\u00f3digo claro e transmitir essa experi\u00eancia aos colegas.<\/p>\n

Retentioneering \u2014 uma ferramenta que deve ser usada durante toda a vida \u00fatil do aplicativo, e aqui est\u00e1 o porqu\u00ea:<\/p>\n