🥇Wie erkennt man einen Scharlatan im Bereich Data Science?

Vielleicht haben Sie von Analysten, Fachleuten für maschinelles Lernen und künstliche Intelligenz gehört, aber haben Sie auch von denen gehört, die zu Unrecht überbezahlt werden? Lernen Sie kennen, den Daten-Scharlatan! Diese Cleverlinge, die von lukrativen Jobs angezogen werden, schädigen den Ruf echter Datenverarbeitungs-Experten. In diesem Artikel erfahren Sie, wie man solche Personen entlarvt.

Daten-Scharlatane sind überall

Daten-Scharlatane können sich so gut tarnen, dass Sie einer von ihnen sein könnten, ohne es zu merken. Wahrscheinlich hat Ihre Organisation diese Scharlatane über Jahre hinweg geschützt, aber die gute Nachricht ist: Sie sind leicht zu identifizieren, wenn Sie wissen, wonach Sie suchen müssen.
Das erste Warnzeichen ist das Missverständnis, dass Analytik und Statistik zwei sehr unterschiedliche Disziplinen sind. Ich werde dies weiter erläutern.

Unterschiedliche Disziplinen

Statistiker ziehen Schlussfolgerungen aus Daten, während Analysten den Inhalt eines Datensatzes untersuchen. Anders ausgedrückt, Analysten schließen aus, was in ihren Daten enthalten ist, während Statistiker herausfinden, was nicht vorhanden ist. Analysten helfen, gute Fragen zu stellen (Hypothesen zu formulieren), während Statistiker helfen, gute Antworten zu bekommen (Hypothesen zu prüfen).

Es gibt auch interessante Mischrollen, in denen jemand versucht, auf zwei Stühlen zu sitzen… Warum nicht? Das Hauptprinzip der Datenwissenschaft: Wenn man mit Unsicherheit konfrontiert ist, sollte man nicht dieselbe Datenpunkt für Hypothesen und deren Prüfung verwenden. Wenn die Daten begrenzt sind, zwingt die Unsicherheit dazu, zwischen Statistik und Analyse zu wählen. Erklärung hier.

Ohne Statistik bleiben Sie stecken und können nicht beurteilen, ob eine gerade formulierte Aussage der Kritik standhält. Ohne Analyse bewegen Sie sich im Dunkeln und haben wenig Chancen, das Unbekannte zu zähmen. Es ist eine schwierige Entscheidung.

Der Ausweg aus diesem Schlamassel für Quacksalber besteht darin, ihn zu ignorieren und dann überrascht zu tun, wenn etwas Unerwartetes entdeckt wird. Die Logik der Überprüfung statistischer Hypothesen stellt die Frage: Sind die Daten überraschend genug, um unsere Meinung zu ändern? Wie können wir von Daten überrascht sein, wenn wir sie schon gesehen haben?

Jedes Mal, wenn Quacksalber ein Muster finden, lassen sie sich inspirieren und überprüfen dann die gleichen Daten für dasselbe Muster, um Ergebnisse mit einem legitimen p-Wert oder zwei zu veröffentlichen, die neben ihrer Theorie stehen. Damit lügen sie Sie an (und vielleicht auch sich selbst). Ein solches p-Wert ist bedeutungslos, wenn Sie nicht an Ihrer Hypothese festhalten. bis zu wie Sie Ihre Daten betrachtet haben. Quacksalber ahmen das Verhalten von Analysten und Statistiken nach, ohne die Gründe zu verstehen. Infolgedessen hat das gesamte Feld der Datenwissenschaft einen schlechten Ruf.

Echte Statistiker ziehen immer ihre Schlüsse

Dank der fast mystischen Reputation von Statistikexperten, die sich mit strengen Überlegungen befassen, ist die Verbreitung von Fehlinformationen in der Data Science auf einem Rekordhoch. Es ist einfach, zu täuschen und nicht erwischt zu werden, insbesondere wenn das ahnungslose Opfer denkt, dass alles nur auf Gleichungen und Daten beruht. Ein Datensatz ist ein Datensatz, oder? Nein. Es kommt darauf an, wie Sie ihn verwenden.

Glücklicherweise benötigen Sie nur einen Hinweis, um Scharlatane zu entlarven: Sie "entdecken Amerika im Nachhinein". Sie stellen Phänomene wieder her, von denen sie bereits wissen, dass sie in den Daten vorhanden sind.

Im Gegensatz zu Scharlatanen haben gute Analysten keine Vorurteile und verstehen, dass inspirierende Ideen viele verschiedene Erklärungen haben können. Gleichzeitig formulieren gute Statistiker ihre Schlussfolgerungen sorgfältig, bevor sie diese aussprechen.

Analysten sind von ihrer Verantwortung entbunden… solange sie im Rahmen ihrer Daten bleiben. Wenn sie den Drang verspüren, über das hinauszugehen, was sie nicht gesehen haben, wird das zu einer ganz anderen Aufgabe. Sie sollten die "Schuhe" eines Analysten absetzen und sich in die "Schuhe" eines Statistikers begeben. Schließlich gibt es, egal wie der offizielle Titel auch lautet, keine Regel, die besagt, dass Sie die beiden Berufe nicht studieren können, wenn Sie möchten. Verpassen Sie nur nicht, sie zu verwechseln.

Wenn Sie sich gut mit Statistik auskennen, bedeutet das nicht automatisch, dass Sie auch gut im Bereich Analyse sind, und umgekehrt. Wenn jemand versucht, Ihnen das Gegenteil zu erklären, sollten Sie vorsichtig sein. Wenn diese Person Ihnen mitteilt, dass es erlaubt ist, statistische Schlussfolgerungen aus Daten zu ziehen, die Sie bereits untersucht haben, ist das ein doppelter Grund zur Vorsicht.

Fantasievolle Erklärungen

Wenn Sie die Datenbetrüger in freier Wildbahn beobachten, werden Sie feststellen, dass sie es lieben, fantastische Geschichten zu erfinden, um die beobachteten Daten zu "erklären". Je akademischer, desto besser. Es spielt keine Rolle, dass diese Geschichten im Nachhinein konstruiert werden.

Wenn Scharlatane so handeln – erlauben Sie mir, mich nicht zurückzuhalten – lügen sie. Kein noch so großes Gleichgewicht oder schöne Konzepte können das kompensieren, was sie als null Beweis ihrer Aussagen angeboten haben. Seien Sie nicht überrascht von der Ungewöhnlichkeit ihrer Erklärungen.

Das ist dasselbe, als würde man seine „hellseherischen“ Fähigkeiten demonstrieren, indem man zunächst auf die Karten in den Händen schaut und dann vorhersagt, was Sie halten… das, was Sie halten. Das ist eine Rückschau-Bias, und der Beruf des Datenwissenschaftlers ist bis zum Rand damit gefüllt.

Analytiker sagen: „Gerade haben Sie die Kreuz-Dame gezogen“. Statistiker sagen: „Ich habe meine Hypothesen auf diesem Stück Papier notiert, bevor wir begonnen haben. Lass uns spielen, einige Daten anschauen und überprüfen, ob ich recht habe“. Scharlatane sagen: „Ich wusste, dass Sie diese Kreuz-Dame ziehen würden, weil…“

Die Aufteilung von Daten ist eine schnelle Lösung, die jeder benötigt.

Wenn die Datenmenge begrenzt ist, muss man zwischen Statistik und Analyse wählen. Aber wenn die Daten reichlich vorhanden sind, hat man die großartige Möglichkeit, die Analyse uneingeschränkt zu nutzen. und Statistik. Sie haben den perfekten Schutz vor Scharlatanen – die Trennung von Daten. Meiner Meinung nach ist das die stärkste Idee im Bereich Data Science.

Um sich vor Scharlatanen zu schützen, müssen Sie sicherstellen, dass Sie einige Testdaten außerhalb ihrer neugierigen Augen aufbewahren. Behandeln Sie alles andere als Analyse. Wenn Sie mit einer Theorie konfrontiert werden, die Sie möglicherweise annehmen, verwenden Sie diese, um die Situation zu beurteilen, und öffnen Sie dann Ihre geheimen Testdaten, um zu überprüfen, ob die Theorie nicht absurd ist. Es ist ganz einfach!

Stellen Sie sicher, dass niemand während der Forschung Zugriff auf die Testdaten erhält. Halten Sie sich an die Forschungsdaten. Testdaten sollten nicht für die Analyse verwendet werden.

Dies ist ein großer Schritt nach vorn im Vergleich zu dem, was Menschen aus der Ära der "Small Data" gewohnt sind, als man erklären musste, woher man das Wissen hat, um die Leute schließlich zu überzeugen, dass man tatsächlich etwas weiß.

Wir wenden die gleichen Regeln auf ML/AI an.

Auch einige Scharlatane, die sich als Experten für ML/AI ausgeben, sind leicht zu erkennen. Man kann sie genauso entlarven wie jeden anderen schlechten Ingenieur: Die "Lösungen", die sie zu entwickeln versuchen, scheitern ständig. Ein frühes Warnsignal ist das Fehlen von Erfahrung mit den gängigen branchenspezifischen Sprachen und Programmierbibliotheken.

Aber was ist mit den Personen, die Systeme erstellen, die funktional erscheinen? Wie erkennt man, dass etwas Verdächtiges vor sich geht? Das gleiche Prinzip gilt! Ein Scharlatan ist eine zwielichtige Figur, die Ihnen zeigt, wie gut das Modell funktioniert hat... mit denselben Daten, die sie zur Erstellung des Modells verwendet haben.

Wenn Sie ein wahnsinnig komplexes maschinelles Lernsystem erstellt haben, wie erkennen Sie, wie gut es ist? Sie werden es nicht wissen, bis Sie zeigen, dass es mit neuen Daten funktioniert, die es vorher nicht gesehen hat.

Wenn Sie die Daten vor der Vorhersage gesehen haben – ist das wenig wahrscheinlich. vorAussage.

Wenn Sie genügend Daten haben, um zu teilen, müssen Sie die Eleganz Ihrer Formeln nicht beschönigen, um das Projekt zu rechtfertigen (eine altmodische Gewohnheit, die ich überall sehe, nicht nur in der Wissenschaft). Sie können sagen: „Ich weiß, dass es funktioniert, weil ich einen Datensatz nehmen kann, den ich noch nie zuvor gesehen habe, und genau vorhersagen kann, was dort passieren wird… und ich werde recht haben. Immer wieder.“

Die Überprüfung Ihres Modells/Theorie mit neuen Daten ist die beste Grundlage für Vertrauen.

Ich habe kein Erbarmen mit Datenbetrügern. Es ist mir egal, ob Ihre Meinung auf verschiedenen Tricks basiert. Mich beeindruckt die Schönheit der Erklärungen nicht. Zeigen Sie mir, dass Ihre Theorie/Modell funktioniert (und weiterhin funktioniert) mit einer Vielzahl neuer Daten, die Sie noch nie zuvor gesehen haben. Das ist der wahre Test der Belastbarkeit Ihrer Meinung.

Einschaltung von Data-Science-Experten

Wenn Sie möchten, dass Sie von allen, die diesen Humor verstehen, ernst genommen werden, hören Sie auf, sich hinter skurrilen Gleichungen zu verstecken, um persönliche Vorurteile zu stützen. Zeigen Sie, was Sie haben. Wenn Sie möchten, dass die, die es "verstanden" haben, Ihre Theorie/Modell als mehr als nur inspirierende Poesie betrachten, haben Sie den Mut, eine großangelegte Demonstration davon zu veranstalten, wie gut es mit einem völlig neuen Datensatz funktioniert… vor Zeugen!

An die Führungskräfte

Weigern Sie sich, irgendwelche "Ideen" über Daten ernst zu nehmen, solange sie nicht getestet wurden auf neuen Daten. Möchten Sie sich nicht anstrengen? Halten Sie sich an die Analytik, aber verlassen Sie sich nicht auf diese Ideen – sie sind unzuverlässig und wurden nicht auf Zuverlässigkeit geprüft. Darüber hinaus, wenn eine Organisation Daten im Überfluss hat, gibt es keinen Nachteil, die Trennung zur Grundlage der Wissenschaft zu machen und sie auf Infrastrukturebene zu unterstützen, indem der Zugang zu Testdaten für Statistiken kontrolliert wird. Das ist ein großartiger Weg, um zu verhindern, dass man hereingelegt wird!

Wenn Sie mehr Beispiele von Scharlatanen sehen möchten, die etwas Unrechtes planen – hier ist ein wunderbarer Thread auf Twitter.

Ergebnisse

Wenn die Daten zu spärlich sind, versucht nur ein Scharlatan, strikt dem Inspirierten zu folgen, indem er Amerika retrospektiv entdeckt, Phänomene mathematisch neu entdeckt, von denen bereits bekannt ist, dass sie in den Daten existieren, und bezeichnet Überraschungen als statistisch signifikant. Das unterscheidet sie von einem unvoreingenommenen Analysten, der mit Inspiration umgeht, und einem gewissenhaften Statistiker, der Beweise beim Prognostizieren anbietet.

Wenn die Daten reichen, gewöhnen Sie sich daran, die Informationen zu trennen, so haben Sie das Beste aus beiden Welten! Stellen Sie sicher, dass Sie Analysen und Statistiken getrennt für verschiedene Teilmengen des ursprünglichen Datenhaufens durchführen.

Analysten bieten Ihnen Inspiration und Weitblick.
Statistiker bieten Ihnen strenge Tests.
Scharlatane bieten Ihnen eine verdrehte retrospektive Ansicht, die sich als Kombination aus Analyse und Statistik ausgibt.

Nach dem Lesen des Artikels könnten Sie sich fragen: „Bin ich etwa ein Scharlatan?“ Das ist völlig normal. Diese Gedanken lassen sich auf zwei Arten vertreiben: Erstens, indem Sie zurückblicken und sehen, was Sie erreicht haben und ob Ihre Arbeit mit Daten praktische Vorteile gebracht hat. Und zweitens, indem Sie weiterhin an Ihrer Qualifikation arbeiten (das schadet auf keinen Fall), zumal wir unseren Studenten praktische Fähigkeiten und Kenntnisse vermitteln, die ihnen helfen, echte Data Scientists zu werden.