🥇Como identificar um charlatão em Data Science?

Talvez você tenha ouvido falar de analistas, especialistas em aprendizado de máquina e inteligência artificial, mas já ouviu falar daqueles que são injustamente supervalorizados? Conheça o charlatão de dados! Esses espertalhões, atraídos por empregos lucrativos, criam uma má reputação para os verdadeiros especialistas em processamento de dados. Neste material, vamos explorar como expor essas pessoas.

Charlatães de dados estão por toda parte

Charlatães de dados são tão bons em se esconder à vista que você pode ser um deles, sem mesmo perceber. É provável que sua organização tenha abrigado esses espertalhões por anos, mas há uma boa notícia: eles são fáceis de identificar se você souber o que procurar.
O primeiro sinal de alerta é a falta de compreensão de que análise e estatística são disciplinas muito diferentes. A seguir, explicarei isso.

Disciplinas diferentes

Estatísticos são treinados para tirar conclusões sobre o que está além de seus dados, enquanto analistas são treinados para estudar o conteúdo de um conjunto de dados. Em outras palavras, analistas tiram conclusões sobre o que está contido em seus dados, enquanto estatísticos tiram conclusões sobre o que não está nos dados. Analistas ajudam a formular boas perguntas (levantar hipóteses), enquanto estatísticos ajudam a obter boas respostas (testar hipóteses).

Existem também funções híbridas peculiares, onde uma pessoa tenta se equilibrar em dois bancos… Por que não? O princípio básico da ciência de dados é que, ao lidar com incerteza, não se pode usar o mesmo ponto de dados para formular e testar hipóteses. Quando os dados são limitados, a incerteza força a escolha entre estatística ou análise. Explicação aqui.

Sem estatística, você ficará preso e não saberá se a afirmação recém-formulada resiste ao escrutínio, e sem análise, você avança às cegas, com poucas chances de dominar o desconhecido. É uma escolha difícil.

A saída do charlatão dessa situação é ignorá-la e depois fingir surpresa ao que de repente é descoberto. A lógica de testar hipóteses estatísticas se resume à questão: os dados são suficientemente surpreendentes para mudar nossa opinião? Como podemos nos surpreender com os dados se já os vimos?

Sempre que charlatães encontram um padrão, eles se sentem inspirados, então testam os mesmos dados para do mesmo padrão, para publicar um resultado com um valor p legítimo ou dois, próximo à sua teoria. Assim, eles estão mentindo para você (e talvez até para si mesmos também). Tal valor p não importa, a menos que você mantenha sua hipótese. até sobre como analisaram seus dados. Charlatães imitam as ações de analistas e estatísticos sem entender as causas. Como resultado, toda a área da ciência de dados ganha uma má reputação.

Os verdadeiros estatísticos sempre tiram suas conclusões.

Devido à quase mística reputação dos especialistas em estatística que realizam argumentos rigorosos, a quantidade de informações falsas em Data Science é recorde. É fácil enganar e não ser pego, especialmente se a vítima desavisada pensar que tudo se resume a equações e dados. Um conjunto de dados é um conjunto de dados, certo? Não. O que importa é como você o utiliza.

Felizmente, você só precisa de uma dica para pegar os charlatães: eles ‘descobrem a América retroativamente’. Redescobrindo fenômenos que já se sabe que estão presentes nos dados.

Ao contrário dos charlatães, bons analistas não têm preconceitos e entendem que ideias inspiradoras podem ter muitas explicações diferentes. Ao mesmo tempo, bons estatísticos definem cuidadosamente suas conclusões antes de fazê-las.

Os analistas estão isentos de responsabilidades… até que saiam do âmbito de seus dados. Se eles sentirem a tentação de afirmar algo que não viram, isso é um trabalho totalmente diferente. Eles deveriam ‘tirar os sapatos’ de analistas e ‘colocar os sapatos’ de estatísticos. Afinal, não importa qual seja o título oficial do cargo, não existe regra que impeça você de estudar ambas as profissões, se quiser. Apenas não confunda as duas.

Se você entende bem de estatística, isso não significa que você entenda bem de análise, e vice-versa. Se alguém tenta dizer o contrário, vale a pena ficar alerta. Se essa pessoa lhe diz que é permitido fazer inferências estatísticas com dados que você já analisou, isso é motivo para ficar ainda mais alerta.

Explicações bizarras

Ao observar os charlatães de dados na natureza, você notará que eles adoram inventar histórias fantásticas para "explicar" os dados observados. Quanto mais acadêmicas, melhor. Não importa que essas histórias sejam ajustadas retroativamente.

Quando os charlatães fazem isso — permitam-me não economizar nas palavras — eles estão mentindo. Nenhuma quantidade de equações ou conceitos bonitos compensa o fato de que eles forneceram uma prova zero de suas versões. Não se surpreenda com quão peculiares são suas explicações.

É o mesmo que demonstrar suas habilidades "extra-sensoriais", primeiro olhando para as cartas em suas mãos e, em seguida, prever o que você está segurando... o que você está segurando. Isso é um viés retrospectivo, e a profissão de cientista de dados está cheia disso até a borda.

Os analistas dizem: "Você acabou de jogar a dama de copas". Os estatísticos dizem: "Eu escrevi minhas hipóteses neste pedaço de papel antes de começarmos. Vamos jogar, ver alguns dados e ver se estou certo." Os charlatães dizem: "Eu sabia que você ia jogar essa dama de copas porque..."

A divisão de dados é uma solução rápida para o problema que todos precisam.

Quando não há muitos dados, você precisa escolher entre estatística e análise, mas quando há dados em abundância, há uma ótima oportunidade de aproveitar a análise sem truques. e statísticas. Você tem a defesa perfeita contra os charlatães — é a divisão de dados e, na minha opinião, essa é a ideia mais poderosa em Ciência de Dados.

Para se proteger contra charlatães, tudo o que você precisa fazer é garantir que mantenha alguns dados de teste fora do alcance de seus olhares curiosos e, em seguida, tratar todo o resto como análise. Quando você se depara com uma teoria que corre o risco de aceitar, use-a para avaliar a situação e, em seguida, abra seus dados de teste secretos para verificar se a teoria não é uma bobagem. É simples assim!

Certifique-se de que ninguém tenha permissão para visualizar os dados de teste na fase de pesquisa. Para isso, mantenha-se apenas com dados de pesquisa. Dados de teste não devem ser utilizados para análise.

Este é um grande avanço em comparação com o que as pessoas estavam acostumadas na era dos "dados pequenos", quando era necessário explicar de onde você sabe o que sabe para finalmente convencer as pessoas de que você realmente sabe algo.

Aplicamos as mesmas regras ao ML\/AI

É fácil identificar alguns charlatães que se apresentam como especialistas em ML\/AI. Você os pegará da mesma forma que pegaria qualquer outro mau engenheiro: as "soluções" que eles tentam construir constantemente falham. Um sinal de alerta precoce é a falta de experiência com as linguagens e bibliotecas padrão da indústria.

Mas e quanto às pessoas que criam sistemas que parecem funcionais? Como saber se algo suspeito está acontecendo? A mesma regra se aplica! Um charlatão é um personagem sinistro que mostra a você o quão bem o modelo funcionou... nos mesmos dados que ele usou para criar o modelo.

Se você criou um sistema de aprendizado de máquina extremamente complexo, como saber o quão bom ele é? Você não saberá até mostrar que ele funciona com novos dados que ele nunca viu antes.

Quando você já viu os dados antes da previsão — dificilmente isso conta comoprevisão.

Quando você tem dados suficientes para separação, não precisa se referir à beleza de suas fórmulas para justificar o projeto (um velho hábito que vejo em todo lugar, não apenas na ciência). Você pode dizer: "Eu sei que isso funciona, porque posso pegar um conjunto de dados que nunca vi antes e prever com precisão o que acontecerá... e estarei certo. Novamente e novamente."

Testar seu modelo\/teoria em novos dados é a melhor base para confiança.

Não tolero charlatães de dados. Não me importa se sua opinião se baseia em diferentes truques. A beleza das explicações não me impressiona. Mostre-me que sua teoria\/modelo funciona (e continua funcionando) em uma variedade de novos dados que você nunca viu antes. Isso é o verdadeiro teste de robustez da sua opinião.

Recorrendo a especialistas em Data Science

Se você quer que todos que entenderem esse humor levem você a sério, pare de se esconder atrás de equações elaboradas para sustentar preconceitos pessoais. Mostre o que você tem. Se você deseja que aqueles que "entenderam" considerem sua teoria/modelo como algo mais do que apenas poesia inspiradora, tenha a coragem de fazer uma grande demonstração de quão bem ela funciona em um novo conjunto de dados... na presença de testemunhas!

Apelo aos gestores

Recuse-se a levar a sério qualquer "ideia" sobre dados até que sejam testadas em novos dados. Não quer se esforçar? Fique com a análise, mas não confie nessas ideias — elas são pouco confiáveis e não foram testadas quanto à sua robustez. Além disso, quando uma organização tem dados em abundância, não há motivo para não fazer a separação ser a base da ciência e mantê-la em nível de infraestrutura, controlando o acesso a dados de teste para a estatística. Esta é uma ótima maneira de evitar tentativas de enganação!

Se você quer ver mais exemplos de charlatães tramando algo ruim — aqui está um maravilhoso thread no Twitter.

Resultados

Quando há poucos dados para separação, apenas um charlatão tenta seguir rigidamente a inspiração, redescobrindo a América retrospectivamente, reabrindo matematicamente fenômenos que já se sabe que existem nos dados e chamando a surpresa de estatisticamente significativa. Isso os distingue de um analista imparcial que lida com inspiração e de um estatístico meticuloso que oferece provas ao prever.

Quando há muitos dados, crie o hábito de separar os dados, assim você poderá ter o melhor dos dois mundos! Certifique-se de fazer análise e estatística separadamente em subconjuntos distintos do acúmulo de dados original.

Analistas oferecem a você inspiração e amplitude de visão.
Estatísticos oferecem a você testes rigorosos.
Charlatães oferecem uma visão retrospectiva distorcida que finge ser uma combinação de análise e estatística.

Depois de ler o artigo, é possível que você tenha a impressão de "estou sendo um charlatão"? Isso é normal. Você pode afastar esse pensamento de duas maneiras: primeiro, refletindo sobre o que você realizou, se seu trabalho com dados trouxe algum benefício prático. E, em segundo lugar, você pode continuar a aprimorar suas habilidades (o que de fato não será um desperdício), especialmente porque oferecemos aos nossos alunos habilidades práticas e conhecimentos que os capacitam a se tornarem verdadeiros cientistas de dados.