Testes A/B, pipeline e varejo: trimestre de marca para Big Data da GeekBrains e X5 Retail Group

Testes A/B, pipeline e varejo: trimestre de marca para Big Data da GeekBrains e X5 Retail Group

As tecnologias de Big Data são agora utilizadas em todo o lado – na indústria, na medicina, nos negócios e no entretenimento. Assim, sem analisar big data, os grandes varejistas não conseguirão operar normalmente, as vendas na Amazon cairão e os meteorologistas não conseguirão prever o tempo com muitos dias, semanas e meses de antecedência. É lógico que os especialistas em big data sejam agora muito procurados e a procura esteja em constante crescimento.

GeekBrains forma representantes desta área, procurando proporcionar aos alunos conhecimentos teóricos e ensino por meio de exemplos, para os quais estão envolvidos especialistas experientes. Este ano faculdade Analistas de Big Data da universidade online GeekUniversity e do maior varejista da Federação Russa, X5 Retail Group, tornaram-se parceiros. Os especialistas da empresa, com amplo conhecimento e experiência, ajudaram a criar um curso de marca, no qual os alunos recebem formação teórica e experiência prática durante o curso de formação.

Conversamos com Valery Babushkin, diretor de modelagem e análise de dados do X5 Retail Group. Ele é um dos topo cientistas de dados do mundo (30º no ranking global de especialistas em aprendizado de máquina). Juntamente com outros professores, Valery conta aos alunos do GeekBrains sobre os testes A/B, as estatísticas matemáticas nas quais esses métodos se baseiam, bem como práticas modernas para cálculos e recursos de implementação de testes A/B no varejo offline.

Por que precisamos de testes A/B?

Este é um dos melhores métodos para encontrar as melhores maneiras de melhorar as conversões, a economia e os fatores comportamentais. Existem outros métodos, mas são mais caros e complexos. As principais vantagens dos testes A/B são o preço relativamente baixo e a disponibilidade para empresas de qualquer tamanho.

Sobre os testes A/B, podemos dizer que esta é uma das formas mais importantes de pesquisar e tomar decisões nos negócios, decisões das quais dependem tanto o lucro quanto o desenvolvimento de diversos produtos de qualquer empresa. Os testes permitem tomar decisões baseadas não apenas em teorias e hipóteses, mas também no conhecimento prático de como mudanças específicas modificam as interações dos clientes com a rede.

É importante lembrar que no varejo é preciso testar tudo - campanhas de marketing, mailings SMS, testes dos próprios mailings, colocação dos produtos nas gôndolas e das próprias gôndolas nos pregões. Se falamos de uma loja online, aqui você pode testar a disposição dos elementos, design, inscrições e textos.

Os testes A/B são uma ferramenta que ajuda uma empresa, por exemplo, um varejista, a ser sempre competitiva, a sentir as mudanças no tempo e a mudar a si mesma. Isso permite que o negócio seja o mais eficiente possível, maximizando os lucros.

Quais são as nuances desses métodos?

O principal é que deve haver um objetivo ou problema no qual o teste será baseado. Por exemplo, o problema é um pequeno número de clientes em um ponto de venda ou loja online. O objetivo é aumentar o fluxo de clientes. Hipótese: se os cartões de produtos de uma loja online forem maiores e as fotografias mais brilhantes, haverá mais compras. Em seguida, é realizado um teste A/B, cujo resultado é uma avaliação das mudanças. Depois que os resultados de todos os testes forem recebidos, você poderá começar a formular um plano de ação para mudar o site.

Não é recomendado realizar testes com processos sobrepostos, caso contrário os resultados serão mais difíceis de avaliar. Recomenda-se realizar testes primeiro nos objetivos de maior prioridade e nas hipóteses formuladas.

O teste deve durar o suficiente para que os resultados sejam considerados confiáveis. Quanto exatamente depende, é claro, do próprio teste. Assim, na passagem de ano, o tráfego da maioria das lojas online aumenta. Se o design da loja online foi alterado antes, um teste de curto prazo mostrará que está tudo bem, as mudanças foram bem-sucedidas e o tráfego está crescendo. Mas não, não importa o que você faça antes do feriado, o tráfego vai aumentar, o teste não pode ser feito antes do Ano Novo ou imediatamente depois, deve ser longo o suficiente para identificar todas as correlações.

A importância da conexão correta entre a meta e o indicador que está sendo medido. Por exemplo, ao alterar o design do site de uma mesma loja online, a empresa vê um aumento no número de visitantes ou clientes e fica satisfeita com isso. Mas, na verdade, o tamanho médio do cheque pode ser menor do que o normal, então sua renda geral será ainda menor. É claro que isso não pode ser chamado de resultado positivo. O problema é que a empresa não verificou simultaneamente a relação entre o aumento do número de visitantes, o aumento do número de compras e a dinâmica do tamanho do cheque médio.

Os testes são apenas para lojas online?

De jeito nenhum. Um método popular no varejo offline é a implementação de um pipeline completo para testar hipóteses offline. Trata-se da construção de um processo em que se reduzem os riscos de seleção incorreta de grupos para o experimento, se seleciona a relação ótima entre o número de lojas, o tempo piloto e o tamanho do efeito estimado. É também a reutilização e melhoria contínua de metodologias de análise pós-efeitos. O método é necessário para reduzir a probabilidade de erros de aceitação falsa e efeitos perdidos, bem como para aumentar a sensibilidade, porque mesmo um pequeno efeito na escala de um grande negócio é de grande importância. Portanto, você precisa ser capaz de identificar até mesmo as alterações mais fracas e minimizar os riscos, incluindo conclusões incorretas sobre os resultados do experimento.

Varejo, Big Data e casos reais

No ano passado, os especialistas do X5 Retail Group avaliaram a dinâmica dos volumes de vendas dos produtos mais populares entre os torcedores da Copa do Mundo de 2018. Não houve surpresas, mas as estatísticas revelaram-se interessantes.

Assim, a água acabou por ser o “best-seller número 1”. Nas cidades que sediaram a Copa do Mundo, as vendas de água aumentaram aproximadamente 46%; a líder foi Sochi, onde o faturamento aumentou 87%. Em dias de jogos, o valor máximo foi registado em Saransk - aqui as vendas aumentaram 160% em relação aos dias normais.

Além da água, os torcedores compraram cerveja. De 14 de junho a 15 de julho, nas cidades onde aconteceram as partidas, o faturamento da cerveja aumentou em média 31,8%. Sochi também se tornou líder - a cerveja foi comprada aqui de forma 64% mais ativa. Mas em São Petersburgo o crescimento foi pequeno - apenas 5,6%. Nos dias de jogos em Saransk, as vendas de cerveja aumentaram 128%.

Pesquisas também foram realizadas em outros produtos. Os dados obtidos nos dias de pico de consumo alimentar permitem-nos prever com maior precisão a procura no futuro, tendo em conta fatores de eventos. Uma previsão precisa permite antecipar as expectativas do cliente.

Durante os testes, o X5 Retail Group usou dois métodos:
Modelos bayesianos de séries temporais estruturais com estimação de diferenças cumulativas;
Análise de regressão com avaliação da mudança na distribuição dos erros antes e durante o campeonato.

O que mais o varejo utiliza do Big Data?

  • Existem muitos métodos e tecnologias, pelo que pode ser chamado de imediato, são eles:
  • Previsão de demanda;
  • Otimização da matriz de sortimento;
  • Visão computacional para identificar vazios nas prateleiras e detectar formação de fila;
  • Previsão promocional.

Falta de especialistas

A demanda por especialistas em Big Data está em constante crescimento. Assim, em 2018, o número de vagas relacionadas com big data aumentou 7 vezes em relação a 2015. No primeiro semestre de 2019, a procura por especialistas superou 65% da procura de todo o ano de 2018.

As grandes empresas necessitam especialmente dos serviços de analistas de Big Data. Por exemplo, no Grupo Mail.ru eles são necessários em qualquer projeto onde sejam processados ​​​​dados de texto, conteúdo multimídia, seja realizada síntese e análise de fala (isto é, em primeiro lugar, serviços em nuvem, redes sociais, jogos, etc.). O número de vagas na empresa triplicou nos últimos dois anos. Nos primeiros oito meses deste ano, Mail.ru contratou o mesmo número de especialistas em Big Data que em todo o ano passado. Na Ozon, o departamento de Ciência de Dados triplicou nos últimos dois anos. A situação é semelhante no Megafon - a equipe que analisa os dados cresceu várias vezes nos últimos 2,5 anos.

Sem dúvida que no futuro a procura por representantes de especialidades relacionadas com Big Data crescerá ainda mais. Portanto, se você tem interesse nesta área, experimente.

Fonte: habr.com

Adicionar um comentário