Manter um usuário em um aplicativo móvel é uma ciência completa. O autor do curso descreveu seus fundamentos em nosso artigo em VC.ru Maxim Godzi, chefe de aprendizado de máquina da App in the Air. Maxim fala sobre as ferramentas desenvolvidas na empresa a partir do exemplo de trabalho de análise e otimização de um aplicativo mobile. Essa abordagem sistemática para melhoria do produto, desenvolvida no App in the Air, é chamada de Retentioneering. Você pode usar essas ferramentas em seu produto: algumas delas estão em no GitHub.
App in the Air é uma aplicação com mais de 3 milhões de utilizadores ativos em todo o mundo, com a qual é possível acompanhar voos, obter informações sobre alterações de horários de partida/desembarque, check-in e características do aeroporto.
Do funil à trajetória
Todas as equipes de desenvolvimento constroem um funil de integração (processo que visa a aceitação do produto pelo usuário). Esta é a primeira etapa que ajuda você a observar todo o sistema de cima e encontrar problemas de aplicativo. Mas à medida que o produto se desenvolve, você sentirá as limitações dessa abordagem. Usando um funil simples, você não consegue ver pontos de crescimento não óbvios de um produto. O objetivo do funil é dar uma visão geral das etapas dos usuários na aplicação, para mostrar as métricas da norma. Mas o funil esconderá prudentemente desvios da norma em direção a problemas óbvios ou, pelo contrário, atividades especiais do usuário.
No App in the Air construímos nosso próprio funil, mas pelas especificidades do produto acabamos com uma ampulheta. Decidimos então ampliar a abordagem e utilizar as ricas informações que o próprio aplicativo nos fornece.
Ao construir um funil, você perde as trajetórias de integração do usuário. As trajetórias consistem em uma sequência de ações do usuário e do próprio aplicativo (por exemplo, enviar uma notificação push).
Usando carimbos de data e hora, você pode reconstruir facilmente a trajetória do usuário e fazer um gráfico para cada um deles. Claro, existem muitos gráficos. Portanto, você precisa agrupar usuários semelhantes. Por exemplo, você pode organizar todos os usuários por linhas da tabela e listar com que frequência eles usam uma determinada função.
Com base nessa tabela, fizemos uma matriz e agrupamos os usuários por frequência de uso das funções, ou seja, por nós do gráfico. Este é geralmente o primeiro passo para obter insights: por exemplo, já nesta fase você verá que alguns usuários não utilizam algumas das funções. Quando fizemos a análise de frequência, começamos a estudar quais nós do gráfico são os “maiores”, ou seja, quais páginas os usuários visitam com mais frequência. Categorias que são fundamentalmente diferentes de acordo com algum critério importante para você são imediatamente destacadas. Aqui, por exemplo, estão dois clusters de usuários que dividimos com base na decisão de assinatura (eram 16 clusters no total).
Como usá-lo
Observando seus usuários dessa forma, você pode ver quais recursos usa para retê-los ou, por exemplo, fazer com que se inscrevam. Naturalmente, a matriz também mostrará coisas óbvias. Por exemplo, quem comprou uma assinatura visitou a tela de assinatura. Mas, além disso, você também pode encontrar padrões que de outra forma nunca conheceria.
Então, encontramos acidentalmente um grupo de usuários que adicionam um voo, rastreiam-no ativamente ao longo do dia e depois desaparecem por um longo tempo até voarem para algum lugar novamente. Se analisássemos o seu comportamento utilizando ferramentas convencionais, pensaríamos que simplesmente não estavam satisfeitos com a funcionalidade da aplicação: de que outra forma poderíamos explicar que a utilizaram por um dia e nunca mais voltaram. Mas com a ajuda dos gráficos vimos que eles são muito ativos, só que toda a sua atividade cabe em um dia.
Agora, nossa principal tarefa é incentivar esse usuário a se conectar ao programa de fidelidade de sua companhia aérea enquanto usa nossas estatísticas. Nesse caso, importaremos todos os voos que ele comprar e tentaremos pressioná-lo a se inscrever assim que comprar uma nova passagem. Para resolver este problema, também começamos a cooperar com Aviasales, Svyaznoy.Travel e outras aplicações. Quando o usuário compra uma passagem, o aplicativo solicita que ele adicione o voo ao App in the Air e vemos isso imediatamente.
Graças ao gráfico, vimos que 5% das pessoas que acessam a tela de assinatura cancelam. Começamos a analisar esses casos e vimos que há um usuário que vai para a primeira página, inicia a conexão de sua conta Google, cancela imediatamente, volta para a primeira página e assim por diante quatro vezes. A princípio pensamos: “Algo está claramente errado com este usuário”. E então percebemos que provavelmente havia um bug no aplicativo. No funil, isso seria interpretado da seguinte forma: o usuário não gostou do conjunto de permissões que o aplicativo solicita e saiu.
Outro grupo teve 5% dos usuários perdidos na tela onde o aplicativo solicita que selecionem um de todos os aplicativos de calendário em seus smartphones. Os usuários selecionariam calendários diferentes repetidamente e simplesmente sairiam do aplicativo. Acontece que havia um problema de UX: depois que uma pessoa selecionava um calendário, ela precisava clicar em Concluído no canto superior direito. Só que nem todos os usuários viram.
Primeira tela do App in the Air
Em nosso gráfico, vimos que cerca de 30% dos usuários não passam da primeira tela: isso se deve ao fato de sermos bastante agressivos em pressionar o usuário a se inscrever. Na primeira tela, o aplicativo solicita o cadastro usando o Google ou Triplt, e não há informações sobre como pular o cadastro. Dos que saem da primeira tela, 16% dos usuários clicam em “Mais” e voltam novamente. Descobrimos que eles estão procurando uma forma de se cadastrar internamente no aplicativo e iremos liberá-la na próxima atualização. Além disso, 2/3 dos que saem imediatamente não clicam em nada. Para descobrir o que está acontecendo com eles, construímos um mapa de calor. Acontece que os clientes estão clicando em uma lista de recursos do aplicativo que não são links clicáveis.
Capture um micromomento
Muitas vezes é possível ver pessoas pisoteando caminhos próximos à estrada de asfalto. A retenção é uma tentativa de encontrar esses caminhos e, se possível, mudar as estradas.
Claro, é ruim aprendermos com usuários reais, mas pelo menos começamos a rastrear automaticamente padrões que indicam um problema do usuário no aplicativo. Agora, o gerente de produto recebe notificações por e-mail se ocorrer um grande número de “loops” – quando o usuário retorna à mesma tela repetidamente.
Vejamos quais padrões nas trajetórias dos usuários geralmente são interessantes para analisar problemas e áreas de crescimento de um aplicativo:
- Loops e ciclos. Os loops mencionados acima ocorrem quando um evento se repete na trajetória do usuário, por exemplo, calendário-calendário-calendário-calendário. Um loop com muita repetição é um indicador claro de um problema de interface ou marcação insuficiente de eventos. Um ciclo também é uma trajetória fechada, mas ao contrário de um loop inclui mais de um evento, por exemplo: visualizar o histórico de voo - adicionar um voo - visualizar o histórico de voo.
- Flowstoppers - quando o usuário, devido a algum obstáculo, não consegue continuar a movimentação desejada pela aplicação, por exemplo, uma tela com interface que não é óbvia para o cliente. Tais eventos desaceleram e mudam a trajetória dos usuários.
- Os pontos de bifurcação são eventos significativos após os quais as trajetórias de clientes de diferentes tipos são separadas. Em particular, estas são telas que não contêm uma transição direta ou apelo à ação para a ação alvo, empurrando efetivamente alguns usuários para ela. Por exemplo, alguma tela que não esteja diretamente relacionada à compra de conteúdo em um aplicativo, mas na qual os clientes estejam inclinados a comprar ou não conteúdo, terá um comportamento diferente. Os pontos de bifurcação podem ser pontos de influência nas ações de seus usuários com um sinal de mais - podem influenciar a decisão de fazer uma compra ou clique, ou um sinal de menos - podem determinar que após alguns passos o usuário sairá do aplicativo.
- Os pontos de conversão abortados são potenciais pontos de bifurcação. Você pode pensar neles como telas que poderiam desencadear uma ação direcionada, mas não o fazem. Este também pode ser um momento em que o usuário tem uma necessidade, mas não a satisfazemos porque simplesmente não sabemos disso. A análise de trajetória deverá permitir identificar esta necessidade.
- Ponto de distração - telas/pop-ups que não agregam valor ao usuário, não afetam a conversão e podem “borrar” trajetórias, distraindo o usuário das ações alvo.
- Os pontos cegos são pontos ocultos do aplicativo, telas e funcionalidades que são muito difíceis de serem alcançados pelo usuário.
- Drenos – pontos onde o tráfego vaza
De forma geral, a abordagem matemática permitiu entender que o cliente utiliza a aplicação de uma forma completamente diferente do que os gerentes de produto costumam pensar ao tentar planejar algum cenário de utilização padrão para o usuário. Sentado no escritório e participando das conferências de produtos mais bacanas, ainda é muito difícil imaginar toda a variedade de condições reais de campo em que o usuário resolverá seus problemas utilizando o aplicativo.
Isso me lembra uma ótima piada. Um testador entra em um bar e pede: um copo de cerveja, 2 copos de cerveja, 0 copos de cerveja, 999999999 copos de cerveja, um lagarto em um copo, -1 copo de cerveja, copos qwertyuip de cerveja. O primeiro cliente real entra no bar e pergunta onde fica o banheiro. O bar pega fogo e todos morrem.
Analistas de produto, profundamente imersos neste problema, começaram a introduzir o conceito de micromomento. O usuário moderno precisa de uma solução instantânea para seu problema. O Google começou a falar sobre isso há alguns anos: a empresa chamou essas ações do usuário de micromomentos. O usuário se distrai, fecha o aplicativo sem querer, não entende o que é exigido dele, faz login novamente um dia depois, esquece novamente e segue o link que um amigo lhe enviou no messenger. E todas essas sessões não podem durar mais de 20 segundos.
Então começamos a tentar montar o trabalho do serviço de suporte para que os funcionários pudessem entender qual era o problema quase em tempo real. No momento em que uma pessoa chega à página de suporte e começa a escrever sua pergunta, podemos determinar a essência do problema, conhecendo sua trajetória - os últimos 100 eventos. Anteriormente, automatizamos a distribuição de todas as solicitações de suporte em categorias usando a análise de ML dos textos das solicitações de suporte. Apesar do sucesso da categorização, quando 87% de todas as solicitações estão corretamente distribuídas em uma das 13 categorias, é um trabalho com trajetórias que consegue encontrar automaticamente a solução mais adequada para a situação do usuário.
Não conseguimos liberar atualizações rapidamente, mas conseguimos perceber o problema e, caso o usuário siga o cenário que já vimos, enviar-lhe uma notificação push.
Vemos que a tarefa de otimizar uma aplicação requer ferramentas ricas para estudar as trajetórias dos usuários. Além disso, conhecendo todos os caminhos que os usuários percorrem, você pode pavimentar os caminhos necessários e, com a ajuda de conteúdo customizado, notificações push e elementos de UI adaptativos “pela mão” levam o usuário a ações direcionadas que melhor atendem às suas necessidades e trazem dinheiro , dados e outros valores para o seu negócio.
O que observar
- Estudar a conversão de usuários apenas usando funis como exemplo significa perder a riqueza de informações que a própria aplicação nos fornece.
- A análise de retenção das trajetórias dos usuários em gráficos ajuda a ver quais recursos você usa para reter usuários ou, por exemplo, incentivá-los a se inscrever.
- As ferramentas de retenção ajudam automaticamente, em tempo real, a rastrear padrões que indicam problemas do usuário na aplicação, encontrar e fechar bugs onde eles eram difíceis de perceber.
- Eles ajudam a encontrar padrões não óbvios de comportamento do usuário.
- As ferramentas de retenção possibilitam a construção de ferramentas automatizadas de ML para prever os principais eventos e métricas do usuário: perda de usuários, LTV e muitas outras métricas que são facilmente determinadas no gráfico.
Estamos construindo uma comunidade em torno da Retenção para a livre troca de ideias. Você pode pensar nas ferramentas que estamos desenvolvendo como uma linguagem na qual analistas e produtos de diferentes aplicações móveis e web podem trocar insights, melhores técnicas e métodos. Você pode aprender como usar essas ferramentas no curso Distrito Binário.
Fonte: habr.com