Métricas são irrelevantes, você dirá, e terá razão. Em certa medida.
De fato, quando se fala em métricas, a primeira que vem à mente é o tráfego.
Muitos adoram meditar por horas olhando para o gráfico de visitas do seu site.
É incrível observar como a linha sobe e desce, sobe e desce... E ainda mais incrível é quando o tráfego do site cresce continuamente.
Então, uma doce sensação de calor percorre todo o corpo e a mente se eleva aos céus na expectativa de uma bênção.
Ah, que alegria, que bênção!
E mesmo que a situação seja triste...
É impossível desviar os olhos do gráfico, pois ele te cativa.
Parece que o gráfico esconde um significado secreto. Um pouco mais, e a imagem revelará seus segredos e contará um jeito incrivelmente simples e eficaz de atrair uma enorme quantidade de clientes. E então o dinheiro certamente fluirá como um rio.
Mas, na verdade, o tráfego é uma típica 'métrica enganosa', que não carrega um significado útil.
E a maioria das métricas é assim. Na verdade, todas as métricas que você verá são enganosas. E é exatamente por isso que as métricas têm uma má reputação como uma perda de tempo e esforço.
Mas, na verdade, isso não é verdade. Métricas corretas fornecem informações extremamente importantes, e às vezes valiosas, para o negócio e o projeto.
O principal bônus e propósito das métricas é que elas permitem que você gerencie seu negócio ou projeto.
Como saber se uma métrica é ruim?
Vamos considerar um exemplo muito simples — a velocidade de um carro.
Por favor, diga-me, o que significa a velocidade...
100 km/h?
Hum...
Hum...
Então, o que isso significa?
Acho que você provavelmente já adivinhou que… não significa nada!
Ok. Agora, a segunda pergunta:
100 km/h é bom ou ruim?
Hum...
Nem bom nem ruim?
Correto!
A velocidade é uma métrica totalmente inútil e sem sentido. Se, claro, for usada sozinha. Combinada com outras métricas, pode dizer algo, mas sozinha — definitivamente não.
O tráfego do site é exatamente a mesma velocidade.
É por isso que ficar olhando para o gráfico de tráfego do site não faz sentido nenhum. Ele não revelará o segredo da vida. Agora você entende?
E quais métricas então são boas?
Por exemplo, Churn rate. Esta métrica indica quantos clientes deixaram a empresa/site para sempre ao longo do tempo.
Churn rate = 1% significa que estamos perdendo apenas 1% dos clientes. Ou seja, quase ninguém está saindo.
Por outro lado, se Churn rate = 90%, isso significa que estamos perdendo quase todos os nossos clientes. Isso é terrível!
Você vê a diferença entre esta métrica e a taxa de crescimento?
Churn rate é uma métrica cheia de significado, que responde à pergunta se é bom ou ruim. E você não precisa adivinhar o que ela significa.
É uma métrica que fala por si mesma!
E agora estamos prontos para tomar medidas urgentes para reduzir a perda de clientes.
É por isso que essas métricas são chamadas de ação. Porque elas nos levam à ação.
O critério de "futilidade" das métricas
Há uma maneira muito simples de determinar se uma métrica é "fútil" (em inglês, vanity).
A maioria das métricas absolutas, como visitas, número de downloads, número de retweets, número de e-mails/assinantes, número de curtidas, etc. são fúteis..
Métricas relativas e ponderadas costumam ser eficazes. Mas nem todas!
No que diz respeito às métricas qualitativas, não há clareza, já que a avaliação qualitativa por si só não pode ser precisa e inequívoca.
Mas, por outro lado, a usabilidade do programa pode e deve ser avaliada precisamente pelo nível de percepção dos usuários finais e nada mais.
Como abordar métricas em geral?
Primeiramente, é preciso mudar a mentalidade.
Sem brincadeiras.
Cada um que se depara com métricas, começa a procurar a razão de ser delas. Mas, infelizmente, elas não vão mostrar isso.
As métricas são tão simples quanto uma régua comum com a qual medimos tudo o que quisermos.
Você não procura a razão de ser em uma régua de madeira comum, certo?
Procurar o sentido da vida em uma régua é o que chamamos de "abordagem de baixo para cima".
Para trabalhar corretamente com métricas, é preciso trocar a paradigma e começar a agir de maneira contrária, de cima para baixo.
Ou seja, primeiro realizar uma ação e, em seguida, medir o efeito resultante com as métricas.
Deve-se usar métricas como um simples instrumento de medição e nada mais.
Pense bem nessas palavras.
Meça o efeito de suas ações com as métricas, e não crie ações com base nas indicações de uma régua de madeira.
Essa abordagem também é chamada de “Hipótese->Medida”.
Ok, isso está claro.
Pergunta nº 2: “O que exatamente medir? Como encontrar as métricas certas?”
Como montar seu próprio conjunto de métricas?
Procurando na Internet, você certamente encontrará dezenas, senão centenas, de métricas diferentes sobre o mesmo tema.
Por exemplo, existem cerca de cem métricas de qualidade de software. Isso inclui as normas GOST R-ISO, as métricas calculadas no SonarQube, algumas opções personalizadas e até mesmo métricas “qualitativas” baseadas em feedbacks de usuários.
Quais delas devemos usar e quais devemos evitar?
A melhor abordagem é se guiar pelo “valor principal”.
OMTM (Uma Métrica Que Importa)
Vamos considerar um exemplo.
É claro que, se você deseja melhorar a qualidade do seu produto de software, pode medir essa qualidade de várias maneiras.
Qualidade não se resume apenas à quantidade de erros. Ao olhar para a qualidade como um todo, temos:
o número de incidentes em produção,
a usabilidade e simplicidade de percepção,
a rapidez no funcionamento,
a completude e a pontualidade na implementação das funcionalidades planejadas,
a segurança.
Existem muitos critérios e trabalhar com todos ao mesmo tempo é impossível. A abordagem é simples: escolhe-se um critério, o mais importante no momento, e trabalha-se apenas com ele.
Essa abordagem é chamada de OMTM (Uma Métrica Que Importa) — Uma Métrica Importante.
Para a qualidade do software, é lógico escolher o número de incidentes graves (importantes e críticos) no ambiente industrial.
Para lojas virtuais, não há dúvida — é o volume de vendas ou lucro (dependendo da sua decisão).
Essa Uma Métrica Importante será o valor principal do seu conjunto de métricas. E é dela que dependerá o conjunto final.
Valor Interno
Muitas vezes, as pessoas começam a montar um conjunto de métricas “ao acaso”, pesquisando na Internet e escolhendo os melhores exemplos com base no princípio: “Oh! Isso serve para nós!”
Como você pode entender, esse não é o melhor método, certo?
Mas como decidir qual métrica usar e qual não usar?
Por exemplo, muitas vezes se medem diferentes taxas de conversão de usuários.
Mas por que medir usuários em vez de qualquer outra coisa? Você já se perguntou isso?
Naturalmente, há uma resposta.
Vamos considerar uma loja virtual como o exemplo mais simples de entender.
Suponha que você queira aumentar o volume de vendas. Quais métricas você precisará para isso? Como abordar isso?
Há um jeito simples, lógico e eficaz. Tudo se encaixa quando você responde à pergunta:
QUEM GERA VALOR?
Estamos trabalhando para aumentar o volume de vendas, certo? Queremos aumentá-lo, correto?
Em quem ou em que é preciso influenciar para aumentar o volume de vendas?
Claro,
É necessário influenciar a causa —
aquele que 'produz' valor.
Quem gera dinheiro em uma loja virtual? De onde vem o dinheiro?
É muito simples: dos clientes.
Onde exatamente em uma loja virtual você pode influenciar os clientes?
Em qualquer lugar!
Correto. Em cada etapa do ciclo de vida do cliente.
Para representar o ciclo de vida, é conveniente construir uma 'funnel' do movimento do cliente no processo.
Exemplo de funil de uma loja virtual:
Por que assim? Porque os clientes se perdem exatamente nas transições de uma etapa do funil para outra.
Aumentando o número de clientes em qualquer nível do funil, automaticamente aumentamos o volume de vendas resultante.
Um exemplo simples.
A métrica 'Percentual de carrinhos abandonados' essencialmente mostra a conversão ao passar do carrinho de compras para o pedido finalizado.
Suponha que na primeira medição você descobriu que 90% dos carrinhos se perdem, ou seja, de 10 carrinhos, apenas 1 se transforma em pedido.
Algo claramente não está certo com o carrinho, correto?
Para simplificar, vamos considerar que o valor de um pedido é de 100 reais. Assim, o volume total de vendas será de apenas 100 reais.
Após a melhoria do carrinho, a porcentagem de carrinhos abandonados caiu em 10%, para 80%. Como isso se reflete em números?
De 10 carrinhos, agora são realizados 2 pedidos. 100 reais * 2 = 200 reais.
Mas isso é um aumento de 100% nas vendas! Bingo!
Aumentando a conversão do passo em apenas 10%, você aumentou o volume de vendas em 100%.
Fantástico!
Mas é exatamente assim que funciona.
Agora você entende o charme das métricas bem construídas?
Com elas, você pode ter um impacto fantástico nos seus processos.
Com a loja virtual, tudo é bastante simples, mas como aplicar isso, por exemplo, na qualidade do produto de software? Exatamente da mesma maneira:
- Escolhemos o valor principal em que estamos trabalhando. Por exemplo, reduzimos o número de incidentes em produção.
- Entendemos quem e o que gera esse valor. Por exemplo, o código fonte.
- Construímos um funil de ciclo de vida do código-fonte e estabelecemos métricas em cada etapa do funil. Tudo.
Aqui estão, por exemplo, algumas métricas de qualidade que poderiam surgir (de maneira rápida)…
Indicador de valor:
- densidade de defeitos de produção por 1000 linhas de código
Métricas baseadas no ciclo de vida do código-fonte:
- percentagem de compilações falhas,
- cobertura por testes automatizados,
- percentagem de testes automatizados falhos,
- percentagem de implantações falhas.
Métricas baseadas no ciclo de vida dos defeitos:
- dinâmica de detecção de defeitos,
- dinâmica de correção,
- dinâmica de reaberturas,
- dinâmica de desvios de defeitos,
- tempo médio de espera pela correção,
- tempo médio de correção.
Resultados
Como podem ver, o tema das métricas é realmente muito importante, necessário e interessante.
Como escolher as métricas corretamente:
Escolha uma OMTM, pense em seu valor principal e meça os produtores desse valor.
Construa métricas com base no funil de ciclo de vida do produtor.
Tente não usar métricas absolutas.
O que mais ler sobre este tema
O tema das métricas se popularizou com o movimento Lean Startup, então é melhor começar a leitura com as fontes primárias — os livros “Lean Startup” (tradução em russo — “Negócios do Zero: O Método Lean Startup” no Ozon) e “Lean Analytics” (sem tradução, mas o livro em inglês está à venda no Ozon).
Algumas informações podem ser encontradas na Internet, até mesmo em russo, mas, infelizmente, ainda não conseguimos encontrar um manual abrangente, nem mesmo no segmento ocidental.
Aliás, já surgiram especialistas “productologists”, cuja tarefa é construir um sistema adequado de métricas para seu produto e propor formas de melhorá-las.
Isso é tudo.
Se o artigo ajudou você a entender melhor a essência da questão, o autor ficará grato por um “like” e repost.
Fonte: habr.com
