Vous avez peut-être entendu parler des analystes, des spécialistes en apprentissage automatique et en intelligence artificielle, mais avez-vous déjà entendu parler de ceux qui sont indûment surpayés ? Voici un charlatan des données! Ces rusés, attirés par des emplois lucratifs, créent une mauvaise réputation aux véritables spécialistes du traitement des données. Dans cet article, nous allons examiner comment démasquer ces individus.
Les charlatans des données sont partout
Les charlatans des données sont si doués pour se cacher à la vue de tous que vous pourriez être l'un d'eux, sans même en avoir conscience. Votre organisation a probablement caché ces rusés pendant des années, mais il y a une bonne nouvelle : il est facile de les identifier si vous savez ce que vous cherchez.
Le premier signe d'alerte est la mécompréhension de ce que l'analyse et la statistique sont des disciplines très différentes. Je vais vous l'expliquer.
Différentes disciplines
Les statisticiens sont formés à tirer des conclusions au-delà de leurs données, tandis que les analystes sont formés à étudier le contenu d'un ensemble de données. En d'autres termes, les analystes tirent des conclusions sur ce qu'il y a dans leurs données, et les statisticiens tirent des conclusions sur ce qui n'est pas dans les données. Les analystes aident à poser de bonnes questions (formuler des hypothèses), tandis que les statisticiens aident à obtenir de bonnes réponses (vérifier des hypothèses).
Il existe également des rôles hybrides étranges, lorsque quelqu'un essaie de jongler entre deux chaises... Pourquoi pas ? Le principe fondamental de la science des données : lorsqu'il s'agit d'incertitude, vous ne pouvez pas utiliser le même point de données pour les hypothèses et la vérification. Lorsque les données sont limitées, l'incertitude vous oblige à choisir entre la statistique ou l'analyse. L'explication .
Sans statistiques, vous n'arriverez à rien et vous ne pourrez pas comprendre si l'énoncé que vous avez formulé résiste à la critique, et sans analyse, vous avancez à l'aveugle, avec peu de chances de maîtriser l'inconnu. C'est un choix difficile.
La sortie du charlatan de ce pétrin consiste à l'ignorer, puis à faire semblant d'être surpris par ce qui est soudainement découvert. La logique des tests statistiques se résume à la question : les données nous étonnent-elles suffisamment pour changer notre opinion ? Comment pouvons-nous être surpris par les données si nous les avons déjà vues ?
Chaque fois que les charlatans trouvent un modèle, ils s'en inspirent, puis vérifient les mêmes données pour du même modèle, pour publier un résultat avec une valeur p légitime ou deux, à côté de leur théorie. Ainsi, ils vous mentent (et peut-être à eux-mêmes aussi). Une telle valeur p n'a pas d'importance si vous ne respectez pas votre hypothèse. à sur la manière dont ils ont examiné leurs données. Les charlatans imitent les actions des analystes et des statisticiens sans comprendre les raisons. En conséquence, l'ensemble du domaine de la science des données a une mauvaise réputation.
Les véritables statisticiens tirent toujours leurs conclusions.
Avec la réputation presque mystique des spécialistes en statistiques menant des raisonnements rigoureux, la quantité d'informations fausses dans la science des données atteint des niveaux record. Il est facile de tromper et de ne pas se faire prendre, surtout si la victime sans méfiance pense que tout est une question d'équations et de données. Un ensemble de données est un ensemble de données, n'est-ce pas ? Non. La manière dont vous l'utilisez compte.
Heureusement, il vous suffit d'un seul indice pour attraper les charlatans : ils « redécouvrent l'Amérique a posteriori ». Redécouvrant des phénomènes qui, selon eux, sont déjà présents dans les données.
Contrairement aux charlatans, de bons analystes n'ont pas de préjugés et comprennent que des idées inspirantes peuvent avoir de nombreuses explications différentes. En même temps, de bons statisticiens définissent soigneusement leurs conclusions avant de les tirer.
Les analystes sont exonérés de toute responsabilité… tant qu'ils restent dans les limites de leurs données. S'ils sont tentés de faire des déclarations sur ce qu'ils n'ont pas vu, c'est un tout autre travail. Ils devraient « enlever les chaussures » de l'analyste et « se chausser » en tant que statisticien. Après tout, quel que soit le titre officiel du poste, il n'existe pas de règle qui vous empêche d'étudier les deux professions si vous le souhaitez. Ne les confondez simplement pas.
Si vous êtes bon en statistiques, cela ne signifie pas que vous êtes bon en analyse, et vice versa. Si quelqu'un essaie de vous dire le contraire, il convient de rester sur ses gardes. Si cette personne vous dit qu'il est permis de tirer des conclusions statistiques à partir de données que vous avez déjà examinées, c'est un double motif de méfiance.
Explications fantaisistes
En observant les charlatans des données dans la nature, vous remarquerez qu'ils aiment inventer des histoires fantastiques pour « expliquer » les données observées. Plus c'est académique, mieux c'est. Peu importe que ces histoires soient ajustées après coup.
Lorsque les charlatans agissent ainsi — permettez-moi de ne pas être avare de mes mots — ils mentent. Aucun nombre d'équations ou de concepts élégants ne compense leur absence de preuve pour leurs affirmations. Ne soyez pas surpris par le caractère étrange de leurs explications.
C'est comme démontrer vos capacités « extrasensorielles » en regardant d'abord les cartes dans vos mains, puis en prédisant ce que vous tenez… ce que vous tenez. C'est un biais de rétrospection, et la profession de data scientist en est bourrée.
Les analystes disent : « Vous venez de tirer la reine de carreau ». Les statisticiens disent : « J'ai noté mes hypothèses sur ce bout de papier avant que nous commencions. Jouons, examinons certaines données et voyons si j'ai raison. » Les charlatans disent : « Je savais que vous alliez tirer cette reine de carreau, parce que… »
La séparation des données est une solution rapide au problème dont tout le monde a besoin.
Quand les données sont rares, il faut choisir entre la statistique et l'analyse, mais quand les données sont abondantes, il y a une excellente opportunité de tirer parti de l'analyse sans tromperie. et statistiques. Vous avez la protection idéale contre les charlatans — c'est la séparation des données et, à mon avis, c'est l'idée la plus puissante en science des données.
Pour vous protéger des charlatans, il vous suffit de vous assurer que vous gardez certaines données de test hors de leur portée curieuse, puis d'aborder tout le reste comme de l'analyse. Lorsque vous êtes confronté à une théorie que vous risquez d'accepter, utilisez-la pour évaluer la situation, puis révélez vos données de test secrètes pour vérifier que la théorie n'est pas absurde. C'est si simple !
Assurez-vous que personne ne peut consulter les données de test lors de l'exploration. Pour cela, respectez les données de recherche. Les données de test ne doivent pas être utilisées pour l'analyse.
C'est un grand pas en avant par rapport à ce à quoi les gens étaient habitués à l'époque des « petites données », où vous deviez expliquer d'où venait votre connaissance pour convaincre enfin les gens que vous savez vraiment quelque chose.
Nous appliquons les mêmes règles au ML/IA.
Certains charlatans se faisant passer pour des experts en ML/IA sont également faciles à repérer. Vous pouvez les attraper de la même manière que vous attraperiez n'importe quel autre mauvais ingénieur : les « solutions » qu'ils essaient de construire échouent constamment. Un signe avant-coureur est l'absence d'expérience avec les langages de programmation et bibliothèques standards de l'industrie.
Mais qu'en est-il des personnes qui créent des systèmes qui semblent fonctionner ? Comment savoir si quelque chose de suspect se passe ? La même règle s'applique ! Un charlatan est un personnage sinistre qui vous montre à quel point le modèle a bien fonctionné... sur les mêmes données utilisées pour créer le modèle.
Si vous avez créé un système d'apprentissage automatique extrêmement complexe, comment savoir à quel point il est bon ? Vous ne le saurez que lorsque vous montrerez qu'il fonctionne avec de nouvelles données qu'il n'a jamais vues auparavant.
Lorsque vous avez vu les données avant la prévision, il est peu probable que ce soit prédiction.
Lorsque vous avez suffisamment de données pour faire des séparations, vous n'avez pas besoin de vous référer à la beauté de vos formules pour justifier le projet (une vieille habitude que je vois partout, pas seulement en science). Vous pouvez dire : « Je sais que ça fonctionne, car je peux prendre un ensemble de données que je n'ai jamais vu auparavant et prédire exactement ce qui s'y passera... et avoir raison. Encore et encore ».
Vérifier votre modèle/théorie sur de nouvelles données est la meilleure base de confiance.
Je ne tolère pas les charlatans des données. Peu m'importe si votre opinion repose sur des éléments différents. Je ne suis pas impressionné par la beauté des explications. Montrez-moi que votre théorie / modèle fonctionne (et continue de fonctionner) sur un ensemble de nouvelles données que vous n'avez jamais vues auparavant. C'est ça, la véritable épreuve de la robustesse de votre opinion.
Consulter des experts en Data Science
Si vous souhaitez être pris au sérieux par ceux qui comprennent cet humour, cessez de vous cacher derrière des équations fantaisistes pour soutenir des préjugés personnels. Montrez ce que vous avez. Si vous voulez que ceux qui "ont compris" considèrent votre théorie/modèle comme quelque chose de plus qu'une simple poésie inspirante, ayez le courage de faire une grande démonstration de son efficacité sur un tout nouveau jeu de données… en présence de témoins !
S'adresser aux dirigeants
Refusez de prendre au sérieux toute « idée » sur les données tant qu'elle n'a pas été vérifiée sur de nouvelles données. Vous ne souhaitez pas faire d'efforts ? En restez à l'analyse, mais ne comptez pas sur ces idées - elles sont peu fiables et n'ont pas été testées pour leur fiabilité. De plus, lorsque l'organisation dispose d'une abondance de données, il n'y a pas de mal à faire de la séparation une base en science et à la maintenir au niveau de l'infrastructure, en contrôlant l'accès aux données de test pour la statistique. C'est un excellent moyen de prévenir les tentatives de tromperie !
Si vous voulez voir plus d'exemples de charlatans planifiant quelque chose de malveillant — .
Résultats
Lorsque les données sont trop rares pour la séparation, seul un charlatan essaie de suivre strictement l'inspiration, redécouvrant rétrospectivement l'Amérique, redécouvrant mathématiquement des phénomènes déjà connus dans les données, et qualifiant la surprise de statistiquement significative. Cela les distingue de l'analyste impartial qui s'occupe d'inspiration, et du statisticien minutieux qui propose des preuves lors de prévisions.
Lorsque les données sont nombreuses, habituez-vous à séparer les données, vous aurez ainsi le meilleur des deux mondes ! Assurez-vous de faire l'analyse et la statistique séparément sur des sous-ensembles distincts de l'enchevêtrement initial des données.
- Les analystes vous offrent inspiration et ouverture d'esprit.
- Les statisticiens vous offrent des tests rigoureux.
- Les charlatans vous proposent une vision rétrospective déformée qui fait semblant d'être une combinaison d'analyse et de statistique.
Après avoir lu cet article, vous pourriez vous demander : « Suis-je un charlatan ? » C'est normal. Vous pouvez chasser cette pensée de deux manières : d'abord, regardez en arrière et voyez ce que vous avez accompli, si votre travail avec les données a apporté une réelle valeur. Ensuite, vous pouvez également travailler à renforcer vos compétences (ce qui ne fera certainement pas de mal), surtout que nous offrons à nos étudiants des compétences pratiques et des connaissances leur permettant de devenir de véritables data scientists.
Autres cours
Lire la suite
Source : habr.com
