As pessoas adoram classificações. Quantos aplicativos, jogos e outras coisas já foram feitos em nome do desejo de uma pessoa de estar em alguma lista algumas linhas acima de outra. Ou do que um concorrente, por exemplo. As pessoas alcançam posições nos rankings de diferentes maneiras, dependendo da sua motivação e caráter moral. Alguns tentarão melhorar e passar honestamente do 142º para o 139º lugar, enquanto outros decidirão ganhar dinheiro e ficar felizes com o 21º lugar (porque os 20 primeiros renderam ainda mais).
É praticamente a mesma coisa com as empresas. Hoje falaremos sobre os bancos e as classificações que esses bancos se esforçam para obter. Neste post falarei sobre os problemas gerais de pesquisa que temos no país, a diferença prática entre testes quantitativos e qualitativos e como temos tentado corrigir a situação atual.
E no final do artigo há uma surpresa.
Tudo começou quando, há um ano, começamos a testar cinco bancos para pessoas jurídicas, escolhendo alguns jovens elegantes (Modulbank e Tinkoff Bank) e três clássicos (VTB, Raiffeisenbank e Promsvyazbank). Mas primeiro, um pouco de material.
Classificações bancárias na Federação Russa
Existem alguns players no mercado que fazem classificações de usabilidade para o setor bancário. Ou seja, dois - Markswebb e USABILITYLAB.
E descobriu-se que MW e UL agora se tornaram uma espécie de KPI. Por um lado, isso é bom, pois a própria presença de pelo menos algo competitivo define o movimento geral de um mercado bastante lento nesse aspecto. Por outro lado, tudo se resume principalmente à análise funcional. E a motivação aqui por parte dos banqueiros não é mais fazer um produto incrível que vai decolar e trazer muitos benefícios aos usuários, graças ao qual vai ocupar um lugar no ranking, mas simplesmente estar no ranking .
Seu banco está na classificação = você atingiu os KPIs = recebeu um bônus. Além disso, a equipe parece gostar de você, você ajudou o banco a entrar na classificação. Para alguns, isso realmente alivia a coceira. Em geral, sabe-se lá o quê, mas a motivação, em geral, são esses tipos de “bônus” de vários tipos, e não um movimento para melhorar o produto.
E aqui, em termos da importância dessas classificações para o mercado, é importante entender mais uma coisa. Cerca de 98% dos usuários de aplicativos bancários não têm conhecimento dessas classificações. Eles francamente não se importam. Essas classificações são especificamente para gerentes e gestores. Os 2% restantes conhecem as classificações, mas as consideram um argumento de venda. Certa vez, testamos sites de bancos com esses sinais sobre os primeiros lugares.
As pessoas não escolhem um banco para negócios com base no fato de o site do banco ter ou não uma placa com o logotipo de uma classificação específica. É mais fácil uma pessoa ligar para amigos ou no Facebook quem usa qual banco e com o que está feliz/insatisfeito, e se limitar a isso em termos de capital social.
Vamos começar criando uma classificação. Para criar uma classificação, você precisa realizar pesquisas, e aqui tudo geralmente se limita a pesquisar uma função específica, por exemplo, testar o controle de moeda.
E a pesquisa custa dinheiro, um dinheiro bastante significativo. Para fazer isso com eficiência, é preciso investir bem – um retrato de um empreendedor para teste custa mais do que o usuário médio. Portanto, as empresas que tentam construir as suas receitas apenas com base na investigação como atividade principal e única incorrem em custos significativos. Apesar de o nosso mercado de investigação estar quase vazio: isto não é ensinado nas universidades, não é ensinado nas escolas.
Aliás, sobre dinheiro, para que os números fiquem claros. Digamos que temos 20 bancos em nossa classificação. Cada pessoa precisa pesquisar as 7 principais funções e cenários, gastando aproximadamente 1,5 horas. Não faz sentido fazer um teste em um entrevistado por mais tempo, porque uma hora e meia é o limite após o qual a atenção já se dissipa, e as pessoas simplesmente se cansam e começam a responder qualquer coisa, só para ir fazer um lanche rápido e finalmente expirar .
Então aqui está. É difícil e demorado recrutar pessoas da base de dados do banco para esse tipo de investigação, pelo que a única coisa que resta é um recrutamento. 5 a 7 cenários para 20 bancos significam que você precisa recrutar pelo menos 140 entrevistados. E então, se mais de um banco for testado em uma pessoa
O custo de um desses entrevistados varia entre 5 a 10 mil rublos, há uma clara dependência do retrato, digamos, um único empresário individual custará muito barato, 5 mil. Mas um retrato de um empresário exportador com controle cambial custará cerca de 13 mil.
No total, são 140 pessoas que precisam ser remuneradas para participar do estudo. Vamos estimar o cenário mais simples e barato, 5000 rublos por entrevistado, e obteremos 700 rublos não ilusórios. No mínimo, sim. Normalmente esse número se aproxima de 000. É hora de abrir sua própria agência de recrutamento :)
E isso é apenas para os principais casos de uso do banco. Além do dinheiro, existe um recurso mais valioso: o tempo. Também é desperdiçado com uma pilha tão grande no topo. Você pode realizar testes com 30 entrevistados e não enlouquecer em 2 semanas. Um mês geralmente resulta em cerca de 60 reuniões se você quiser manter a qualidade das entrevistas. 140 pessoas = 2,5 homens-mês.
Depois de todos os entrevistados, é preciso gastar mais cerca de 2 meses para trazer as informações de forma digerível - transcrever os resultados, fazer análises e agrupamentos, fazer uma bela apresentação, e não um arquivo Excel final com um monte de linhas.
Em geral, são aproximadamente 4 meses de trabalho e 2 a 3 milhões de rublos, levando em consideração todos os custos desse período. E ainda não calculamos os impostos. E dado que até agora ninguém conseguiu ganhar dinheiro com a investigação em si, este modelo obviamente não parece o mais rentável. Se você não ganha dinheiro com o próprio ranking e coloca nele em vez de pesquisar, é claro.
Pesquisa quantitativa e qualitativa, análise funcional
As apresentações do MW são aproximadamente 60% sobre análise funcional e 40% sobre usabilidade. Além disso, o conceito de “análise funcional” no caso de tais estudos é simplesmente uma lista de verificação para a presença de determinadas funções. Você senta, escreve uma lista de funções - então, deve haver um pagamento normal, mais um pagamento baseado em uma foto, e também de um arquivo, verificando a contraparte, as últimas contrapartes ou pagamentos, e assim por diante. Aí você faz uma análise e verifica se as funções da lista estão lá ou não. Se houver, ótimo, marque mais na avaliação. Se não, bem, você entende.
Parece lógico. Mas, infelizmente, tudo se resume ao fato de que um ponto positivo em tais testes é simplesmente a presença de uma função na lista, e não sua qualidade ou necessidade geral para o usuário. Assim, os aplicativos móveis começaram a amontoar tudo dentro de si para atender à classificação, e não ao que o usuário precisa. Bem, é assim que o Yandex.Phone tem uma câmera dupla. Existe, mas dizem que não funciona. Mas existe. No total, verifica-se que 60% da importância de tal classificação é simplesmente o próprio tick, esteja a função presente ou não. E não quão conveniente e necessário para o usuário.
Além da análise funcional, também existem estudos quantitativos e qualitativos.
Estudos quantitativos de usabilidade serão muito úteis se você quiser executar testes no fluxo. Você recruta mais entrevistados, passa-os pela interface do aplicativo, dá-lhes tarefas básicas e no final simplesmente pergunta como está em geral e quais problemas ocorreram.
Um teste de usabilidade de alta qualidade é muito mais difícil - você precisa extrair a percepção de todo o processo e literalmente de todos os elementos do processo usando o método . Todos os pensamentos e dúvidas que as pessoas têm, todos os textos e elementos que lhes são incompreensíveis. E todas as causas básicas - por que não está claro, como você espera que seja nomeado e que palavra você mantém na cabeça?
Conhecendo as causas profundas da percepção, você não diz apenas:
As pessoas não encontraram - posicionamento incomum.
Você entende como mudar:
O usuário procura este elemento não na parte inferior como o colocamos, mas no canto superior direito da tela. Pesquisa pela palavra “Pesquisar”, e temos “Enter”, busca por um ícone de lupa, e temos um botão “Pesquisar”.
Resumindo, após um teste quantitativo de usabilidade, você terá uma lista de problemas em sua forma mais geral. Digamos: “O usuário não conseguiu encontrar a Pesquisa”. Por que você não dominou isso? Mas eu simplesmente não dominei - este teste não dará uma resposta.
E depois de um teste de qualidade, você terá tanto o problema quanto sua causa raiz. No caso do Search, você terá um script, o usuário lhe dirá exatamente como pesquisou o Search, quais elementos esperava ver e onde, quais palavras lhe vieram à mente quando não encontrou o Search, e assim por diante.
Depois de ter a causa raiz do problema e sua descrição detalhada, você já pode consertar algo, alterar a interface para que atenda às expectativas do usuário e resolva os problemas que ele tem.
Claro, os de qualidade são mais caros. Em vez de uma tarefa e um questionário, você precisa treinar uma pessoa que realizará esses testes. Pegue uma pessoa com a formação certa e apresente-a à área que você está pesquisando. Isso leva cerca de 3-6 meses. Existem poucos especialistas prontos no mercado – ou seja, praticamente nenhum.
Mas mesmo que todos esses testes sejam feitos normalmente, teremos a seguinte situação - o país não sabe o que fazer com esses estudos e relatórios. O mercado ainda trata isso como uma espécie de entidade efêmera, acredita que está apenas comprando uma apresentação e não uma solução para o problema.
Porque acontece que: o banco encomendou testes, recebeu em resposta uma espécie de apresentação superficial, que não estava claro como aplicar ou “nós mesmos sabíamos de tudo isso”. Qual é o próximo? Está tudo bem, coloque-o sobre a mesa e fique feliz por ele existir. Porque as pessoas não sabem o que fazer com esta apresentação, como utilizá-la para melhorar o produto, como transformar as descobertas nela descritas em novas interfaces que não serão mais tão problemáticas. Se você não fornecer a profundidade e as causas básicas dos problemas, não entenderá como lidar com os problemas.
Está tudo realmente triste?
Em geral é bastante triste, sim, mas isso não significa que a situação não possa ser corrigida. Nosso objetivo era fazer boas pesquisas sobre coisas nas quais já tínhamos bons conhecimentos. Por exemplo, sobre o funcionamento dos pagamentos no aplicativo, tínhamos algumas estatísticas sobre ele. Queríamos pegar nos principais cenários e não apenas verificá-los para Sim ou Não, mas compreender exactamente quais os problemas que as pessoas têm, em que fases e, em geral, porque surgem.
Distribuição por principais cenários de pessoas jurídicas
Esse pode ser um conjunto de barreiras que não depende muito do próprio banco, só que a apresentação de alguma função não é muito clara para as pessoas.
E, claro, queríamos fazer um estudo abrangente e não comparar alguns bancos entre si. Acreditávamos que poderíamos então vender esses estudos detalhados e, ao mesmo tempo, testar a demanda geral por eles.
Claro, nossa primeira panqueca saiu com alguns caroços.
Ainda tentamos pegar todos os cenários e analisá-los com um entrevistado. Alerta de spoiler – ele sobreviveu. Talvez agora ele use aplicativos bancários com muito menos frequência. Mas confirmamos mais uma vez a tese de que depois de uma hora e meia precisamos desligar tudo e iniciar outro. Portanto, passamos dos testes profundos de todos os recursos para ver como as pessoas encontram determinadas funções, no que prestam atenção e como percebem a estrutura da página principal.
Distribuição por utilização de plataformas por particulares
Ao testar aplicativos bancários, você não pode simplesmente executá-los no modo visitante e tirar conclusões. Você deve pelo menos ter uma conta em banco para entender como tudo funciona por lá. Mas no caso de um banco, o empresário precisa de uma conta viva, com histórico, em uma empresa ali estabelecida. Se você também está testando o controle cambial e outras alegrias, precisará de contas em moeda estrangeira e de um pouco de Afobazol. O saldo não pode estar vazio, o histórico de transações deve ser mais sério do que “Vou transferir 200 rublos da minha conta para a minha conta, vamos ver no que dá”.
Achávamos que registrar contas em todos os bancos que estávamos pesquisando e transferir dinheiro para eles seria uma tarefa bastante rápida.
Às vezes, tudo se arrastava por algumas semanas. Do lado dos bancos, sim. E também testamos 5 bancos, mas seriam 20?
Mas conseguimos compreender por nós próprios a distribuição das funções principais e o número de algumas isoladas e impopulares. Portanto, passamos da primeira panqueca para a segunda execução com uma metodologia mais refinada. Um designer também se juntou à equipe, o que elevou as próprias apresentações a um novo patamar. Isso é realmente mais importante do que parece quando você apresenta essas informações.
O resultado do trabalho foi uma apresentação de mais de 100 slides. Quando fizemos um estudo sobre quatro bancos para pessoas físicas, não vendemos. Mas o primeiro estudo, sobre bancos para empreendedores, foi vendido para ver o quão interessante era para o mercado em princípio. Eles compraram isso de nós 7 vezes (bancos dos 5 primeiros e várias empresas que venderam desenvolvimento e design para bancos), não fornecemos nenhuma publicidade além de postagens no Facebook.
- Mas você mesmo escreveu que esse é um caminho certo para entrar no vermelho!
Uma ótima maneira, sim, se você estiver apenas pesquisando. Ganhamos dinheiro principalmente através de design e engenharia.
A pesquisa para nós é uma oportunidade de moldar o mercado, porque, como vocês podem ver, quase não existe. Muitas vezes nos perguntavam, eles dizem, por que vocês estão disponibilizando uma coisa dessas de graça, não vale a pena o dinheiro gasto? Mas graças a isto, podemos mostrar à comunidade como pode realmente ser a investigação. Agora, só para ver uma amostra desses estudos, é preciso comprá-los. Bem, ou pergunte a quem comprou.
Nós os publicamos assim mesmo. Para que o mercado também entenda o que é pesquisa. Para que os clientes que encomendam pesquisas em outro lugar possam pelo menos comparar com algo e validar a qualidade do que outras empresas lhes vendem. Para que surja um entendimento comum - a pesquisa pode ser de alta qualidade, e dela você pode se beneficiar e entender o que fazer a seguir. Na verdade, ficamos um pouco ofendidos porque a parte educacional em termos de pesquisa em nosso país é triste. Portanto, por enquanto estamos tentando mudar a situação assim - criando um entendimento de que você pode obter um resultado melhor
E além do aspecto educacional, tais pesquisas e sua publicação são uma boa oportunidade para gerar leads. E aqui a vantagem não é só que os clientes nos procuram. Recentemente, com base em um de nossos posts, eles começaram a prototipar um banco entre os 3 primeiros. Apenas alguns anos atrás, teríamos realmente pensado - caramba, lambemos nosso tema e fomos fazer algo nosso.
E agora pensamos - legal, eles nos ouvem e estão realmente tentando tornar os produtos melhores e mais próximos do usuário. Portanto, continuaremos a fazer essas pesquisas, testando qualitativamente blocos semânticos individuais de aplicativos, e não apenas o produto inteiro como um todo, de acordo com alguma lista de verificação.
Dentro da equipe, isso nos dá maior expertise – não para andar no escuro, mas para entender como os principais cenários e necessidades das pessoas mudam (e mudam em 1-2 anos, imagine). E aí, quando você estuda abrir conta bancária para empreendedores de 3 a 4 vezes em 2 anos, você tem uma ideia do processo ideal, como poderia ser nas atuais limitações técnicas.
E a situação do tipo “Eu queria ser incluído na classificação - paguei pela classificação - entrei na classificação” ainda era chata. E a necessidade de uma nova classificação baseada na qualidade do produto já está madura.
E para quem leu até o final do artigo, aqui estão dois links para и
Fonte: habr.com