{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Como distinguir um charlat\u00e3o em Data Science?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Como<\/a><\/noindex>
\nTalvez voc\u00ea tenha ouvido falar de analistas, especialistas em aprendizado de m\u00e1quina e intelig\u00eancia artificial, mas j\u00e1 ouviu falar daqueles que s\u00e3o injustamente supervalorizados? Conhe\u00e7a o charlat\u00e3o de dados<\/strong>! Esses espertalh\u00f5es, atra\u00eddos por empregos lucrativos, criam uma m\u00e1 reputa\u00e7\u00e3o para os verdadeiros especialistas em processamento de dados. Neste material, vamos explorar como expor essas pessoas.
\n<\/a><\/noindex><\/p>\n

Charlat\u00e3es de dados est\u00e3o por toda parte<\/h2>\n

\nCharlat\u00e3es de dados s\u00e3o t\u00e3o bons em se esconder \u00e0 vista que voc\u00ea pode ser um deles<\/i>, sem mesmo perceber. \u00c9 prov\u00e1vel que sua organiza\u00e7\u00e3o tenha abrigado esses espertalh\u00f5es por anos, mas h\u00e1 uma boa not\u00edcia: eles s\u00e3o f\u00e1ceis de identificar se voc\u00ea souber o que procurar.
\nO primeiro sinal de alerta \u00e9 a falta de compreens\u00e3o de que an\u00e1lise e estat\u00edstica s\u00e3o disciplinas muito diferentes<\/strong>. A seguir, explicarei isso.<\/p>\n

Disciplinas diferentes<\/h2>\n

\nEstat\u00edsticos s\u00e3o treinados para tirar conclus\u00f5es sobre o que est\u00e1 al\u00e9m de seus dados, enquanto analistas s\u00e3o treinados para estudar o conte\u00fado de um conjunto de dados. Em outras palavras, analistas tiram conclus\u00f5es sobre o que est\u00e1 contido em seus dados, enquanto estat\u00edsticos tiram conclus\u00f5es sobre o que n\u00e3o est\u00e1 nos dados. Analistas ajudam a formular boas perguntas (levantar hip\u00f3teses), enquanto estat\u00edsticos ajudam a obter boas respostas (testar hip\u00f3teses).<\/p>\n

Existem tamb\u00e9m fun\u00e7\u00f5es h\u00edbridas peculiares, onde uma pessoa tenta se equilibrar em dois bancos\u2026 Por que n\u00e3o? O princ\u00edpio b\u00e1sico da ci\u00eancia de dados \u00e9 que, ao lidar com incerteza, n\u00e3o se pode usar o mesmo<\/i> ponto de dados para formular e testar hip\u00f3teses. Quando os dados s\u00e3o limitados, a incerteza for\u00e7a a escolha entre estat\u00edstica ou an\u00e1lise. Explica\u00e7\u00e3o<\/i> aqui<\/i><\/a><\/noindex>.<\/p>\n

Sem estat\u00edstica, voc\u00ea ficar\u00e1 preso e n\u00e3o saber\u00e1 se a afirma\u00e7\u00e3o rec\u00e9m-formulada resiste ao escrut\u00ednio, e sem an\u00e1lise, voc\u00ea avan\u00e7a \u00e0s cegas, com poucas chances de dominar o desconhecido. \u00c9 uma escolha dif\u00edcil.<\/p>\n

A sa\u00edda do charlat\u00e3o dessa situa\u00e7\u00e3o \u00e9 ignor\u00e1-la e depois fingir surpresa ao que de repente \u00e9 descoberto. A l\u00f3gica de testar hip\u00f3teses estat\u00edsticas se resume \u00e0 quest\u00e3o: os dados s\u00e3o suficientemente surpreendentes para mudar nossa opini\u00e3o? Como podemos nos surpreender com os dados se j\u00e1 os vimos?<\/p>\n

Sempre que charlat\u00e3es encontram um padr\u00e3o, eles se sentem inspirados, ent\u00e3o testam os mesmos dados<\/i> para do mesmo padr\u00e3o<\/i>, para publicar um resultado com um valor p leg\u00edtimo ou dois, pr\u00f3ximo \u00e0 sua teoria. Assim, eles est\u00e3o mentindo para voc\u00ea (e talvez at\u00e9 para si mesmos tamb\u00e9m). Tal valor p n\u00e3o importa, a menos que voc\u00ea mantenha sua hip\u00f3tese. at\u00e9<\/b> sobre como analisaram seus dados. Charlat\u00e3es imitam as a\u00e7\u00f5es de analistas e estat\u00edsticos sem entender as causas. Como resultado, toda a \u00e1rea da ci\u00eancia de dados ganha uma m\u00e1 reputa\u00e7\u00e3o.<\/p>\n

Os verdadeiros estat\u00edsticos sempre tiram suas conclus\u00f5es.<\/h2>\n

\nDevido \u00e0 quase m\u00edstica reputa\u00e7\u00e3o dos especialistas em estat\u00edstica que realizam argumentos rigorosos, a quantidade de informa\u00e7\u00f5es falsas em Data Science \u00e9 recorde. \u00c9 f\u00e1cil enganar e n\u00e3o ser pego, especialmente se a v\u00edtima desavisada pensar que tudo se resume a equa\u00e7\u00f5es e dados. Um conjunto de dados \u00e9 um conjunto de dados, certo? N\u00e3o. O que importa \u00e9 como voc\u00ea o utiliza.<\/p>\n

Felizmente, voc\u00ea s\u00f3 precisa de uma dica para pegar os charlat\u00e3es: eles \u2018descobrem a Am\u00e9rica retroativamente\u2019. Redescobrindo fen\u00f4menos que j\u00e1 se sabe que est\u00e3o presentes nos dados. <\/p>\n

Ao contr\u00e1rio dos charlat\u00e3es, bons analistas n\u00e3o t\u00eam preconceitos e entendem que ideias inspiradoras podem ter muitas explica\u00e7\u00f5es diferentes. Ao mesmo tempo, bons estat\u00edsticos definem cuidadosamente suas conclus\u00f5es antes de faz\u00ea-las.<\/p>\n

Os analistas est\u00e3o isentos de responsabilidades\u2026 at\u00e9 que saiam do \u00e2mbito de seus dados. Se eles sentirem a tenta\u00e7\u00e3o de afirmar algo que n\u00e3o viram, isso \u00e9 um trabalho totalmente diferente. Eles deveriam \u2018tirar os sapatos\u2019 de analistas e \u2018colocar os sapatos\u2019 de estat\u00edsticos. Afinal, n\u00e3o importa qual seja o t\u00edtulo oficial do cargo, n\u00e3o existe regra que impe\u00e7a voc\u00ea de estudar ambas as profiss\u00f5es, se quiser. Apenas n\u00e3o confunda as duas.<\/p>\n

Se voc\u00ea entende bem de estat\u00edstica, isso n\u00e3o significa que voc\u00ea entenda bem de an\u00e1lise, e vice-versa. Se algu\u00e9m tenta dizer o contr\u00e1rio, vale a pena ficar alerta. Se essa pessoa lhe diz que \u00e9 permitido fazer infer\u00eancias estat\u00edsticas com dados que voc\u00ea j\u00e1 analisou, isso \u00e9 motivo para ficar ainda mais alerta.<\/p>\n

Explica\u00e7\u00f5es bizarras<\/h2>\n

\nAo observar os charlat\u00e3es de dados na natureza, voc\u00ea notar\u00e1 que eles adoram inventar hist\u00f3rias fant\u00e1sticas para \"explicar\" os dados observados. Quanto mais acad\u00eamicas, melhor. N\u00e3o importa que essas hist\u00f3rias sejam ajustadas retroativamente.<\/p>\n

Quando os charlat\u00e3es fazem isso \u2014 permitam-me n\u00e3o economizar nas palavras \u2014 eles est\u00e3o mentindo. Nenhuma quantidade de equa\u00e7\u00f5es ou conceitos bonitos compensa o fato de que eles forneceram uma prova zero de suas vers\u00f5es. N\u00e3o se surpreenda com qu\u00e3o peculiares s\u00e3o suas explica\u00e7\u00f5es.<\/p>\n

\u00c9 o mesmo que demonstrar suas habilidades \"extra-sensoriais\", primeiro olhando para as cartas em suas m\u00e3os e, em seguida, prever o que voc\u00ea est\u00e1 segurando... o que voc\u00ea est\u00e1 segurando. Isso \u00e9 um vi\u00e9s retrospectivo, e a profiss\u00e3o de cientista de dados est\u00e1 cheia disso at\u00e9 a borda.<\/p>\n

\"Como<\/p>\n

Os analistas dizem: \"Voc\u00ea acabou de jogar a dama de copas\". Os estat\u00edsticos dizem: \"Eu escrevi minhas hip\u00f3teses neste peda\u00e7o de papel antes de come\u00e7armos. Vamos jogar, ver alguns dados e ver se estou certo.\" Os charlat\u00e3es dizem: \"Eu sabia que voc\u00ea ia jogar essa dama de copas porque...\" <\/p>\n

A divis\u00e3o de dados \u00e9 uma solu\u00e7\u00e3o r\u00e1pida para o problema que todos precisam.<\/p><\/blockquote>\n

\nQuando n\u00e3o h\u00e1 muitos dados, voc\u00ea precisa escolher entre estat\u00edstica e an\u00e1lise, mas quando h\u00e1 dados em abund\u00e2ncia, h\u00e1 uma \u00f3tima oportunidade de aproveitar a an\u00e1lise sem truques. e<\/i> stat\u00edsticas. Voc\u00ea tem a defesa perfeita contra os charlat\u00e3es \u2014 \u00e9 a divis\u00e3o de dados e, na minha opini\u00e3o, essa \u00e9 a ideia mais poderosa em Ci\u00eancia de Dados. <\/p>\n

Para se proteger contra charlat\u00e3es, tudo o que voc\u00ea precisa fazer \u00e9 garantir que mantenha alguns dados de teste fora do alcance de seus olhares curiosos e, em seguida, tratar todo o resto como an\u00e1lise. Quando voc\u00ea se depara com uma teoria que corre o risco de aceitar, use-a para avaliar a situa\u00e7\u00e3o e, em seguida, abra seus dados de teste secretos para verificar se a teoria n\u00e3o \u00e9 uma bobagem. \u00c9 simples assim!<\/p>\n

\"Como
\nCertifique-se de que ningu\u00e9m tenha permiss\u00e3o para visualizar os dados de teste na fase de pesquisa. Para isso, mantenha-se apenas com dados de pesquisa. Dados de teste n\u00e3o devem ser utilizados para an\u00e1lise.<\/p>\n

Este \u00e9 um grande avan\u00e7o em compara\u00e7\u00e3o com o que as pessoas estavam acostumadas na era dos \"dados pequenos\", quando era necess\u00e1rio explicar de onde voc\u00ea sabe o que sabe para finalmente convencer as pessoas de que voc\u00ea realmente sabe algo.<\/p>\n

Aplicamos as mesmas regras ao ML\\\/AI<\/h2>\n

\n\u00c9 f\u00e1cil identificar alguns charlat\u00e3es que se apresentam como especialistas em ML\\\/AI. Voc\u00ea os pegar\u00e1 da mesma forma que pegaria qualquer outro mau engenheiro: as \"solu\u00e7\u00f5es\" que eles tentam construir constantemente falham. Um sinal de alerta precoce \u00e9 a falta de experi\u00eancia com as linguagens e bibliotecas padr\u00e3o da ind\u00fastria.<\/p>\n

Mas e quanto \u00e0s pessoas que criam sistemas que parecem funcionais? Como saber se algo suspeito est\u00e1 acontecendo? A mesma regra se aplica! Um charlat\u00e3o \u00e9 um personagem sinistro que mostra a voc\u00ea o qu\u00e3o bem o modelo funcionou... nos mesmos dados que ele usou para criar o modelo.<\/p>\n

Se voc\u00ea criou um sistema de aprendizado de m\u00e1quina extremamente complexo, como saber o qu\u00e3o bom ele \u00e9? Voc\u00ea n\u00e3o saber\u00e1 at\u00e9 mostrar que ele funciona com novos dados que ele nunca viu antes.<\/p>\n

Quando voc\u00ea j\u00e1 viu os dados antes da previs\u00e3o \u2014 dificilmente isso conta como<\/i>previs\u00e3o.<\/p><\/blockquote>\n

\nQuando voc\u00ea tem dados suficientes para separa\u00e7\u00e3o, n\u00e3o precisa se referir \u00e0 beleza de suas f\u00f3rmulas para justificar o projeto (um velho h\u00e1bito que vejo em todo lugar, n\u00e3o apenas na ci\u00eancia). Voc\u00ea pode dizer: \"Eu sei que isso funciona, porque posso pegar um conjunto de dados que nunca vi antes e prever com precis\u00e3o o que acontecer\u00e1... e estarei certo. Novamente e novamente.\"<\/i><\/p>\n

Testar seu modelo\\\/teoria em novos dados \u00e9 a melhor base para confian\u00e7a.<\/p><\/blockquote>\n

\nN\u00e3o tolero charlat\u00e3es de dados. N\u00e3o me importa se sua opini\u00e3o se baseia em diferentes truques. A beleza das explica\u00e7\u00f5es n\u00e3o me impressiona. Mostre-me que sua teoria\\\/modelo funciona (e continua funcionando) em uma variedade de novos dados que voc\u00ea nunca viu antes. Isso \u00e9 o verdadeiro teste de robustez da sua opini\u00e3o.<\/p>\n

Recorrendo a especialistas em Data Science<\/h2>\n

\nSe voc\u00ea quer que todos que entenderem esse humor levem voc\u00ea a s\u00e9rio, pare de se esconder atr\u00e1s de equa\u00e7\u00f5es elaboradas para sustentar preconceitos pessoais. Mostre o que voc\u00ea tem. Se voc\u00ea deseja que aqueles que \"entenderam\" considerem sua teoria\/modelo como algo mais do que apenas poesia inspiradora, tenha a coragem de fazer uma grande demonstra\u00e7\u00e3o de qu\u00e3o bem ela funciona em um novo conjunto de dados... na presen\u00e7a de testemunhas!<\/p>\n

Apelo aos gestores<\/h2>\n

\nRecuse-se a levar a s\u00e9rio qualquer \"ideia\" sobre dados at\u00e9 que sejam testadas em novos<\/i> dados. N\u00e3o quer se esfor\u00e7ar? Fique com a an\u00e1lise, mas n\u00e3o confie nessas ideias \u2014 elas s\u00e3o pouco confi\u00e1veis e n\u00e3o foram testadas quanto \u00e0 sua robustez. Al\u00e9m disso, quando uma organiza\u00e7\u00e3o tem dados em abund\u00e2ncia, n\u00e3o h\u00e1 motivo para n\u00e3o fazer a separa\u00e7\u00e3o ser a base da ci\u00eancia e mant\u00ea-la em n\u00edvel de infraestrutura, controlando o acesso a dados de teste para a estat\u00edstica. Esta \u00e9 uma \u00f3tima maneira de evitar tentativas de engana\u00e7\u00e3o!<\/p>\n

Se voc\u00ea quer ver mais exemplos de charlat\u00e3es tramando algo ruim \u2014 aqui est\u00e1 um maravilhoso thread no Twitter<\/a><\/noindex>.<\/p>\n

Resultados<\/h2>\n

\nQuando h\u00e1 poucos dados para separa\u00e7\u00e3o, apenas um charlat\u00e3o tenta seguir rigidamente a inspira\u00e7\u00e3o, redescobrindo a Am\u00e9rica retrospectivamente, reabrindo matematicamente fen\u00f4menos que j\u00e1 se sabe que existem nos dados e chamando a surpresa de estatisticamente significativa. Isso os distingue de um analista imparcial que lida com inspira\u00e7\u00e3o e de um estat\u00edstico meticuloso que oferece provas ao prever.<\/p>\n

Quando h\u00e1 muitos dados, crie o h\u00e1bito de separar os dados, assim voc\u00ea poder\u00e1 ter o melhor dos dois mundos! Certifique-se de fazer an\u00e1lise e estat\u00edstica separadamente em subconjuntos distintos do ac\u00famulo de dados original.<\/p>\n