{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Comment identifier un charlatan en Data Science ?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Comment<\/a><\/noindex>
\nVous avez peut-\u00eatre entendu parler des analystes, des sp\u00e9cialistes en apprentissage automatique et en intelligence artificielle, mais avez-vous d\u00e9j\u00e0 entendu parler de ceux qui sont ind\u00fbment surpay\u00e9s ? Voici un charlatan des donn\u00e9es<\/strong>! Ces rus\u00e9s, attir\u00e9s par des emplois lucratifs, cr\u00e9ent une mauvaise r\u00e9putation aux v\u00e9ritables sp\u00e9cialistes du traitement des donn\u00e9es. Dans cet article, nous allons examiner comment d\u00e9masquer ces individus.
\n<\/a><\/noindex><\/p>\n

Les charlatans des donn\u00e9es sont partout<\/h2>\n

\nLes charlatans des donn\u00e9es sont si dou\u00e9s pour se cacher \u00e0 la vue de tous que vous pourriez \u00eatre l'un d'eux<\/i>, sans m\u00eame en avoir conscience. Votre organisation a probablement cach\u00e9 ces rus\u00e9s pendant des ann\u00e9es, mais il y a une bonne nouvelle : il est facile de les identifier si vous savez ce que vous cherchez.
\nLe premier signe d'alerte est la m\u00e9compr\u00e9hension de ce que l'analyse et la statistique sont des disciplines tr\u00e8s diff\u00e9rentes<\/strong>. Je vais vous l'expliquer.<\/p>\n

Diff\u00e9rentes disciplines<\/h2>\n

\nLes statisticiens sont form\u00e9s \u00e0 tirer des conclusions au-del\u00e0 de leurs donn\u00e9es, tandis que les analystes sont form\u00e9s \u00e0 \u00e9tudier le contenu d'un ensemble de donn\u00e9es. En d'autres termes, les analystes tirent des conclusions sur ce qu'il y a dans leurs donn\u00e9es, et les statisticiens tirent des conclusions sur ce qui n'est pas dans les donn\u00e9es. Les analystes aident \u00e0 poser de bonnes questions (formuler des hypoth\u00e8ses), tandis que les statisticiens aident \u00e0 obtenir de bonnes r\u00e9ponses (v\u00e9rifier des hypoth\u00e8ses).<\/p>\n

Il existe \u00e9galement des r\u00f4les hybrides \u00e9tranges, lorsque quelqu'un essaie de jongler entre deux chaises... Pourquoi pas ? Le principe fondamental de la science des donn\u00e9es : lorsqu'il s'agit d'incertitude, vous ne pouvez pas utiliser le m\u00eame<\/i> point de donn\u00e9es pour les hypoth\u00e8ses et la v\u00e9rification. Lorsque les donn\u00e9es sont limit\u00e9es, l'incertitude vous oblige \u00e0 choisir entre la statistique ou l'analyse. L'explication<\/i> ici<\/i><\/a><\/noindex>.<\/p>\n

Sans statistiques, vous n'arriverez \u00e0 rien et vous ne pourrez pas comprendre si l'\u00e9nonc\u00e9 que vous avez formul\u00e9 r\u00e9siste \u00e0 la critique, et sans analyse, vous avancez \u00e0 l'aveugle, avec peu de chances de ma\u00eetriser l'inconnu. C'est un choix difficile.<\/p>\n

La sortie du charlatan de ce p\u00e9trin consiste \u00e0 l'ignorer, puis \u00e0 faire semblant d'\u00eatre surpris par ce qui est soudainement d\u00e9couvert. La logique des tests statistiques se r\u00e9sume \u00e0 la question : les donn\u00e9es nous \u00e9tonnent-elles suffisamment pour changer notre opinion ? Comment pouvons-nous \u00eatre surpris par les donn\u00e9es si nous les avons d\u00e9j\u00e0 vues ?<\/p>\n

Chaque fois que les charlatans trouvent un mod\u00e8le, ils s'en inspirent, puis v\u00e9rifient les m\u00eames donn\u00e9es<\/i> pour du m\u00eame mod\u00e8le<\/i>, pour publier un r\u00e9sultat avec une valeur p l\u00e9gitime ou deux, \u00e0 c\u00f4t\u00e9 de leur th\u00e9orie. Ainsi, ils vous mentent (et peut-\u00eatre \u00e0 eux-m\u00eames aussi). Une telle valeur p n'a pas d'importance si vous ne respectez pas votre hypoth\u00e8se. \u00e0<\/b> sur la mani\u00e8re dont ils ont examin\u00e9 leurs donn\u00e9es. Les charlatans imitent les actions des analystes et des statisticiens sans comprendre les raisons. En cons\u00e9quence, l'ensemble du domaine de la science des donn\u00e9es a une mauvaise r\u00e9putation.<\/p>\n

Les v\u00e9ritables statisticiens tirent toujours leurs conclusions.<\/h2>\n

\nAvec la r\u00e9putation presque mystique des sp\u00e9cialistes en statistiques menant des raisonnements rigoureux, la quantit\u00e9 d'informations fausses dans la science des donn\u00e9es atteint des niveaux record. Il est facile de tromper et de ne pas se faire prendre, surtout si la victime sans m\u00e9fiance pense que tout est une question d'\u00e9quations et de donn\u00e9es. Un ensemble de donn\u00e9es est un ensemble de donn\u00e9es, n'est-ce pas ? Non. La mani\u00e8re dont vous l'utilisez compte.<\/p>\n

Heureusement, il vous suffit d'un seul indice pour attraper les charlatans : ils \u00ab red\u00e9couvrent l'Am\u00e9rique a posteriori \u00bb. Red\u00e9couvrant des ph\u00e9nom\u00e8nes qui, selon eux, sont d\u00e9j\u00e0 pr\u00e9sents dans les donn\u00e9es. <\/p>\n

Contrairement aux charlatans, de bons analystes n'ont pas de pr\u00e9jug\u00e9s et comprennent que des id\u00e9es inspirantes peuvent avoir de nombreuses explications diff\u00e9rentes. En m\u00eame temps, de bons statisticiens d\u00e9finissent soigneusement leurs conclusions avant de les tirer.<\/p>\n

Les analystes sont exon\u00e9r\u00e9s de toute responsabilit\u00e9\u2026 tant qu'ils restent dans les limites de leurs donn\u00e9es. S'ils sont tent\u00e9s de faire des d\u00e9clarations sur ce qu'ils n'ont pas vu, c'est un tout autre travail. Ils devraient \u00ab enlever les chaussures \u00bb de l'analyste et \u00ab se chausser \u00bb en tant que statisticien. Apr\u00e8s tout, quel que soit le titre officiel du poste, il n'existe pas de r\u00e8gle qui vous emp\u00eache d'\u00e9tudier les deux professions si vous le souhaitez. Ne les confondez simplement pas.<\/p>\n

Si vous \u00eates bon en statistiques, cela ne signifie pas que vous \u00eates bon en analyse, et vice versa. Si quelqu'un essaie de vous dire le contraire, il convient de rester sur ses gardes. Si cette personne vous dit qu'il est permis de tirer des conclusions statistiques \u00e0 partir de donn\u00e9es que vous avez d\u00e9j\u00e0 examin\u00e9es, c'est un double motif de m\u00e9fiance.<\/p>\n

Explications fantaisistes<\/h2>\n

\nEn observant les charlatans des donn\u00e9es dans la nature, vous remarquerez qu'ils aiment inventer des histoires fantastiques pour \u00ab expliquer \u00bb les donn\u00e9es observ\u00e9es. Plus c'est acad\u00e9mique, mieux c'est. Peu importe que ces histoires soient ajust\u00e9es apr\u00e8s coup.<\/p>\n

Lorsque les charlatans agissent ainsi \u2014 permettez-moi de ne pas \u00eatre avare de mes mots \u2014 ils mentent. Aucun nombre d'\u00e9quations ou de concepts \u00e9l\u00e9gants ne compense leur absence de preuve pour leurs affirmations. Ne soyez pas surpris par le caract\u00e8re \u00e9trange de leurs explications.<\/p>\n

C'est comme d\u00e9montrer vos capacit\u00e9s \u00ab extrasensorielles \u00bb en regardant d'abord les cartes dans vos mains, puis en pr\u00e9disant ce que vous tenez\u2026 ce que vous tenez. C'est un biais de r\u00e9trospection, et la profession de data scientist en est bourr\u00e9e.<\/p>\n

\"Comment<\/p>\n

Les analystes disent : \u00ab Vous venez de tirer la reine de carreau \u00bb. Les statisticiens disent : \u00ab J'ai not\u00e9 mes hypoth\u00e8ses sur ce bout de papier avant que nous commencions. Jouons, examinons certaines donn\u00e9es et voyons si j'ai raison. \u00bb Les charlatans disent : \u00ab Je savais que vous alliez tirer cette reine de carreau, parce que\u2026 \u00bb <\/p>\n

La s\u00e9paration des donn\u00e9es est une solution rapide au probl\u00e8me dont tout le monde a besoin.<\/p><\/blockquote>\n

\nQuand les donn\u00e9es sont rares, il faut choisir entre la statistique et l'analyse, mais quand les donn\u00e9es sont abondantes, il y a une excellente opportunit\u00e9 de tirer parti de l'analyse sans tromperie. et<\/i> statistiques. Vous avez la protection id\u00e9ale contre les charlatans \u2014 c'est la s\u00e9paration des donn\u00e9es et, \u00e0 mon avis, c'est l'id\u00e9e la plus puissante en science des donn\u00e9es. <\/p>\n

Pour vous prot\u00e9ger des charlatans, il vous suffit de vous assurer que vous gardez certaines donn\u00e9es de test hors de leur port\u00e9e curieuse, puis d'aborder tout le reste comme de l'analyse. Lorsque vous \u00eates confront\u00e9 \u00e0 une th\u00e9orie que vous risquez d'accepter, utilisez-la pour \u00e9valuer la situation, puis r\u00e9v\u00e9lez vos donn\u00e9es de test secr\u00e8tes pour v\u00e9rifier que la th\u00e9orie n'est pas absurde. C'est si simple !<\/p>\n

\"Comment
\nAssurez-vous que personne ne peut consulter les donn\u00e9es de test lors de l'exploration. Pour cela, respectez les donn\u00e9es de recherche. Les donn\u00e9es de test ne doivent pas \u00eatre utilis\u00e9es pour l'analyse.<\/p>\n

C'est un grand pas en avant par rapport \u00e0 ce \u00e0 quoi les gens \u00e9taient habitu\u00e9s \u00e0 l'\u00e9poque des \u00ab petites donn\u00e9es \u00bb, o\u00f9 vous deviez expliquer d'o\u00f9 venait votre connaissance pour convaincre enfin les gens que vous savez vraiment quelque chose.<\/p>\n

Nous appliquons les m\u00eames r\u00e8gles au ML\/IA.<\/h2>\n

\nCertains charlatans se faisant passer pour des experts en ML\/IA sont \u00e9galement faciles \u00e0 rep\u00e9rer. Vous pouvez les attraper de la m\u00eame mani\u00e8re que vous attraperiez n'importe quel autre mauvais ing\u00e9nieur : les \u00ab solutions \u00bb qu'ils essaient de construire \u00e9chouent constamment. Un signe avant-coureur est l'absence d'exp\u00e9rience avec les langages de programmation et biblioth\u00e8ques standards de l'industrie.<\/p>\n

Mais qu'en est-il des personnes qui cr\u00e9ent des syst\u00e8mes qui semblent fonctionner ? Comment savoir si quelque chose de suspect se passe ? La m\u00eame r\u00e8gle s'applique ! Un charlatan est un personnage sinistre qui vous montre \u00e0 quel point le mod\u00e8le a bien fonctionn\u00e9... sur les m\u00eames donn\u00e9es utilis\u00e9es pour cr\u00e9er le mod\u00e8le.<\/p>\n

Si vous avez cr\u00e9\u00e9 un syst\u00e8me d'apprentissage automatique extr\u00eamement complexe, comment savoir \u00e0 quel point il est bon ? Vous ne le saurez que lorsque vous montrerez qu'il fonctionne avec de nouvelles donn\u00e9es qu'il n'a jamais vues auparavant.<\/p>\n

Lorsque vous avez vu les donn\u00e9es avant la pr\u00e9vision, il est peu probable que ce soit pr\u00e9d<\/i>iction.<\/p><\/blockquote>\n

\nLorsque vous avez suffisamment de donn\u00e9es pour faire des s\u00e9parations, vous n'avez pas besoin de vous r\u00e9f\u00e9rer \u00e0 la beaut\u00e9 de vos formules pour justifier le projet (une vieille habitude que je vois partout, pas seulement en science). Vous pouvez dire : \u00ab Je sais que \u00e7a fonctionne, car je peux prendre un ensemble de donn\u00e9es que je n'ai jamais vu auparavant et pr\u00e9dire exactement ce qui s'y passera... et avoir raison. Encore et encore \u00bb.<\/i><\/p>\n

V\u00e9rifier votre mod\u00e8le\/th\u00e9orie sur de nouvelles donn\u00e9es est la meilleure base de confiance.<\/p><\/blockquote>\n

\nJe ne tol\u00e8re pas les charlatans des donn\u00e9es. Peu m'importe si votre opinion repose sur des \u00e9l\u00e9ments diff\u00e9rents. Je ne suis pas impressionn\u00e9 par la beaut\u00e9 des explications. Montrez-moi que votre th\u00e9orie \/ mod\u00e8le fonctionne (et continue de fonctionner) sur un ensemble de nouvelles donn\u00e9es que vous n'avez jamais vues auparavant. C'est \u00e7a, la v\u00e9ritable \u00e9preuve de la robustesse de votre opinion.<\/p>\n

Consulter des experts en Data Science<\/h2>\n

\nSi vous souhaitez \u00eatre pris au s\u00e9rieux par ceux qui comprennent cet humour, cessez de vous cacher derri\u00e8re des \u00e9quations fantaisistes pour soutenir des pr\u00e9jug\u00e9s personnels. Montrez ce que vous avez. Si vous voulez que ceux qui \"ont compris\" consid\u00e8rent votre th\u00e9orie\/mod\u00e8le comme quelque chose de plus qu'une simple po\u00e9sie inspirante, ayez le courage de faire une grande d\u00e9monstration de son efficacit\u00e9 sur un tout nouveau jeu de donn\u00e9es\u2026 en pr\u00e9sence de t\u00e9moins !<\/p>\n

S'adresser aux dirigeants<\/h2>\n

\nRefusez de prendre au s\u00e9rieux toute \u00ab id\u00e9e \u00bb sur les donn\u00e9es tant qu'elle n'a pas \u00e9t\u00e9 v\u00e9rifi\u00e9e sur de nouvelles<\/i> donn\u00e9es. Vous ne souhaitez pas faire d'efforts ? En restez \u00e0 l'analyse, mais ne comptez pas sur ces id\u00e9es - elles sont peu fiables et n'ont pas \u00e9t\u00e9 test\u00e9es pour leur fiabilit\u00e9. De plus, lorsque l'organisation dispose d'une abondance de donn\u00e9es, il n'y a pas de mal \u00e0 faire de la s\u00e9paration une base en science et \u00e0 la maintenir au niveau de l'infrastructure, en contr\u00f4lant l'acc\u00e8s aux donn\u00e9es de test pour la statistique. C'est un excellent moyen de pr\u00e9venir les tentatives de tromperie !<\/p>\n

Si vous voulez voir plus d'exemples de charlatans planifiant quelque chose de malveillant \u2014 voici un fil Twitter magnifique<\/a><\/noindex>.<\/p>\n

R\u00e9sultats<\/h2>\n

\nLorsque les donn\u00e9es sont trop rares pour la s\u00e9paration, seul un charlatan essaie de suivre strictement l'inspiration, red\u00e9couvrant r\u00e9trospectivement l'Am\u00e9rique, red\u00e9couvrant math\u00e9matiquement des ph\u00e9nom\u00e8nes d\u00e9j\u00e0 connus dans les donn\u00e9es, et qualifiant la surprise de statistiquement significative. Cela les distingue de l'analyste impartial qui s'occupe d'inspiration, et du statisticien minutieux qui propose des preuves lors de pr\u00e9visions.<\/p>\n

Lorsque les donn\u00e9es sont nombreuses, habituez-vous \u00e0 s\u00e9parer les donn\u00e9es, vous aurez ainsi le meilleur des deux mondes ! Assurez-vous de faire l'analyse et la statistique s\u00e9par\u00e9ment sur des sous-ensembles distincts de l'enchev\u00eatrement initial des donn\u00e9es.<\/p>\n