Vielleicht haben Sie von Analysten, Machine Learning-Spezialisten und künstlicher Intelligenz gehört, aber haben Sie schon von denen gehört, die zu Unrecht überbezahlt werden? Lernen Sie kennen Daten-Scharlatane! Diese Schwindler, angezogen von lukrativen Arbeitsplätzen, schaffen einen schlechten Ruf für echte Datenverarbeitungsspezialisten. In diesem Artikel klären wir, wie man solche Personen entlarvt.
Daten-Scharlatane sind überall
Daten-Scharlatane können sich so gut verstecken, dass Sie einer von ihnen sein könnten, ohne es zu merken. Ihre Organisation hat diese Schwindler wahrscheinlich seit Jahren verborgen, aber die gute Nachricht ist: Sie sind leicht zu identifizieren, wenn Sie wissen, wonach Sie suchen sollen.
Das erste Warnsignal ist das Missverständnis, dass Analyse und Statistik sehr verschiedene Disziplinen sind. Ich werde das näher erläutern.
Verschiedene Disziplinen
Statistiker sind darauf trainiert, Schlussfolgerungen über das zu ziehen, was über ihre Daten hinausgeht, während Analysten darin geschult sind, den Inhalt eines Datensatzes zu untersuchen. Anders ausgedrückt, Analysten ziehen Schlussfolgerungen über das, was in ihren Daten enthalten ist, während Statistiker Schlussfolgerungen über das ziehen, was in den Daten nicht vorhanden ist. Analysten helfen dabei, gute Fragen zu stellen (Hypothesen zu entwickeln), während Statistiker helfen, gute Antworten zu erhalten (Hypothesen zu testen).
Es gibt auch bizarre hybride Rollen, in denen jemand versucht, auf zwei Stühlen zu sitzen … Warum nicht? Grundsatz der Datenwissenschaft: Wenn Sie es mit Unsicherheit zu tun haben, sollten Sie nicht dieselbe Datenpunkt für Hypothesen und Prüfungen verwenden. Wenn die Daten begrenzt sind, zwingt die Unsicherheit dazu, zwischen Statistik oder Analyse zu wählen. , warum ndots=5 in Kubernetes; .
Ohne Statistik stecken Sie fest und können nicht verstehen, ob die gerade gefällte Aussage einer Überprüfung standhält, und ohne Analyse gehen Sie blind voran, mit wenigen Chancen, das Unbekannte zu zähmen. Es ist eine schwierige Wahl.
Der Ausweg für den Scharlatan aus dieser misslichen Lage besteht darin, sie zu ignorieren und dann vorzutäuschen, überrascht zu sein über das, was plötzlich entdeckt wird. Die Logik der statistischen Hypothesenprüfung reduziert sich auf die Frage: Überraschen uns die Daten genug, um unsere Meinung zu ändern? Wie können wir von Daten überrascht werden, wenn wir sie bereits gesehen haben?
Jedes Mal, wenn Scharlatane ein Muster finden, werden sie inspiriert und prüfen dann die gleichen Daten für des gleichen Musters, um das Ergebnis mit einem legitimen p-Wert oder zwei in der Nähe ihrer Theorie zu veröffentlichen. Damit lügen sie Sie an (und vielleicht auch sich selbst). Ein solcher p-Wert spielt keine Rolle, wenn Sie nicht an Ihrer Hypothese festhalten. bis Wie sie ihre Daten betrachtet haben. Scharlatane imitieren die Handlungen von Analysten und Statistikern, ohne die Hintergründe zu verstehen. Infolgedessen hat das gesamte Feld der Datenwissenschaft einen schlechten Ruf.
Echte Statistiker ziehen immer ihre Schlüsse.
Dank des fast mystischen Rufes von Statistikern, die sich mit strengen Überlegungen beschäftigen, ist die Menge an Falschinformationen in der Datenwissenschaft rekordhoch. Es ist einfach, hereinzufallen und nicht erwischt zu werden, insbesondere wenn das ahnungslose Opfer denkt, dass alles nur in Gleichungen und Daten besteht. Ein Datensatz ist ein Datensatz, oder? Nein. Es kommt darauf an, wie Sie ihn verwenden.
Glücklicherweise brauchen Sie nur einen Hinweis, um Scharlatane zu entlarven: Sie 'entdecken Amerika im Nachhinein'. Sie entdecken Phänomene neu, von denen ihnen bereits bekannt ist, dass sie in den Daten vorhanden sind.
Im Gegensatz zu Scharlatanen sind gute Analysten unvoreingenommen und verstehen, dass inspirierende Ideen viele verschiedene Erklärungen haben können. Gleichzeitig definieren gute Statistiker ihre Schlüsse sorgfältig, bevor sie diese ziehen.
Analysten sind von der Verantwortung befreit… solange sie nicht über ihre Daten hinausgehen. Wenn sie in Versuchung geraten, etwas zu behaupten, was sie nicht gesehen haben, ist das eine ganz andere Arbeit. Sie sollten 'die Schuhe des Analysten ausziehen' und 'in die Schuhe des Statistikers schlüpfen'. Schließlich, egal wie der offizielle Jobtitel lautet, gibt es keine Regel, die besagt, dass man nicht beide Berufe studieren kann, wenn man möchte. Verwechseln Sie sie nur nicht.
Wenn Sie in der Statistik gut sind, bedeutet das nicht, dass Sie auch in der Analyse gut sind, und umgekehrt. Wenn Ihnen jemand das Gegenteil erzählen möchte, ist Vorsicht geboten. Wenn diese Person Ihnen mitteilt, dass es erlaubt ist, statistische Schlussfolgerungen aus Daten zu ziehen, die Sie bereits untersucht haben, sollten Sie gleich doppelt vorsichtig sein.
Exotische Erklärungen
Wenn Sie die Daten-Scharlatane in freier Wildbahn beobachten, werden Sie feststellen, dass sie es lieben, fantastische Geschichten zu erfinden, um die beobachteten Daten zu "erklären". Je akademischer, desto besser. Es spielt keine Rolle, dass diese Geschichten rückblickend an die Daten angepasst werden.
Wenn Scharlatane so handeln – lassen Sie mich nicht am Wort sparen – lügen sie. Keine Menge an Gleichungen oder schönen Konzepten kann kompensieren, dass sie einen null Beweis ihrer Thesen angeboten haben. Seien Sie nicht überrascht, wie ungewöhnlich ihre Erklärungen sind.
Es ist dasselbe, wie seine "extrasensorischen" Fähigkeiten zu demonstrieren, indem man zuerst auf die Karten in den Händen schaut und dann vorhersagt, was man hält… das, was man hält. Dies ist eine Verzerrung des retrospektiven Blicks, und der Beruf des Data Scientists ist bis zum Anschlag damit gefüllt.
Analysten sagen: „Sie haben gerade die Kreuzdame gezogen“. Statistiker sagen: „Ich habe meine Hypothesen auf diesem Stück Papier notiert, bevor wir angefangen haben. Lass uns spielen, einige Daten ansehen und sehen, ob ich recht habe.“ Scharlatane sagen: „Ich wusste, dass Sie diese Kreuzdame ziehen würden, weil…“
Die Unterteilung von Daten ist eine schnelle Lösung für ein Problem, das jeder benötigt.
Wenn nicht viele Daten vorhanden sind, muss man zwischen Statistik und Analyse wählen, aber wenn es reichlich Daten gibt, gibt es eine hervorragende Möglichkeit, ohne Betrug von der Analyse zu profitieren. und Statistik. Sie haben den perfekten Schutz gegen Scharlatane – das ist die Unterteilung von Daten und meiner Meinung nach die mächtigste Idee in der Data Science.
Um sich vor Scharlatanen zu schützen, müssen Sie nur sicherstellen, dass Sie einige Testdaten außerhalb ihrer neugierigen Augen aufbewahren und dann alles andere als Analyse betrachten. Wenn Sie auf eine Theorie stoßen, die Sie in Betracht ziehen, verwenden Sie sie, um die Situation zu bewerten, und öffnen Sie dann Ihre geheimen Testdaten, um zu überprüfen, ob die Theorie Unsinn ist. So einfach ist das!
Stellen Sie sicher, dass niemand Zugriff auf die Testdaten in der Forschungsphase hat. Halten Sie sich dafür an die Forschungsdaten. Testdaten sollten nicht für die Analyse verwendet werden.
Dies ist ein großer Schritt nach vorn im Vergleich zu dem, was die Menschen aus der Ära der "kleinen Daten" gewohnt sind, als man erklären musste, woher man das Wissen hat, um die Menschen schließlich zu überzeugen, dass man tatsächlich etwas weiß.
Wir wenden die gleichen Regeln auf ML/AI an
Einige Scharlatane, die sich als Experten im Bereich ML/AI ausgeben, sind ebenfalls leicht zu erkennen. Man erwischt sie genauso, wie man jeden anderen schlechten Ingenieur erwischen würde: Die "Lösungen", die sie zu entwickeln versuchen, scheitern ständig. Ein frühes Warnsignal ist das Fehlen von Erfahrung mit den gängigen Branchenprogrammiersprachen und Bibliotheken.
Aber was ist mit den Menschen, die Systeme erstellen, die funktionsfähig erscheinen? Wie erkennt man, dass etwas Verdächtiges vor sich geht? Dasselbe Regel gilt! Ein Scharlatan ist eine unheilvolle Figur, die dir zeigt, wie gut das Modell funktioniert hat… mit denselben Daten, die sie zur Erstellung des Modells verwendet haben.
Wenn du ein wahnsinnig komplexes maschinelles Lernsystem erstellt hast, wie erkennst du, wie gut es ist? Du wirst es nicht wissen, bis du zeigst, dass es mit neuen Daten funktioniert, die es vorher nicht gesehen hat.
Wenn du die Daten vor der Vorhersage gesehen hast, ist das kaum noch relevant fürVorhersagen.
Wenn du genug Daten zum Aufteilen hast, brauchst du dich nicht auf die Schönheit deiner Formeln zu berufen, um das Projekt zu rechtfertigen (eine alte Gewohnheit, die ich überall sehe, nicht nur in der Wissenschaft). Du kannst sagen: „Ich weiß, dass es funktioniert, weil ich einen Datensatz nehmen kann, den ich noch nie gesehen habe, und genau vorhersagen kann, was dort passieren wird… und werde Recht haben. Immer wieder.“
Die Überprüfung deines Modells/Theorie mit neuen Daten ist die beste Grundlage für Vertrauen.
Ich dulde keine Datenschwindler. Es ist mir egal, ob deine Meinung auf verschiedenen Fakten basiert. Mich beeindruckt nicht die Schönheit der Erklärungen. Zeige mir, dass deine Theorie/Modell (und weiterhin) mit einer ganzen Reihe neuer Daten funktioniert, die du noch nie zuvor gesehen hast. Das ist der wahre Test der Robustheit deiner Meinung.
Wende dich an Spezialisten im Bereich Data Science
Wenn Sie möchten, dass Sie von allen, die diesen Humor verstehen, ernst genommen werden, hören Sie auf, sich hinter skurrilen Gleichungen zu verstecken, um persönliche Vorurteile zu stützen. Zeigen Sie, was Sie haben. Wenn Sie möchten, dass diejenigen, die „verstanden“ haben, Ihre Theorie/Modell als mehr als nur inspirierende Poesie betrachten, haben Sie den Mut, eine grandiose Vorstellung davon zu geben, wie gut es mit einem völlig neuen Datensatz funktioniert ... vor Zeugen!
An die Führungskräfte
Weigern Sie sich, irgendwelche „Ideen“ über Daten ernst zu nehmen, bis sie geprüft wurden an neuen Daten. Keine Lust, Aufwand zu betreiben? Halten Sie sich an Analytik, aber verlassen Sie sich nicht auf diese Ideen — sie sind unzuverlässig und wurden auf ihre Zuverlässigkeit nicht getestet. Darüber hinaus, wenn eine Organisation reichlich Daten hat, gibt es keinen Nachteil darin, das Trennen zur Grundlage der Wissenschaft zu machen und es auf der Infrastruktur-Ebene aufrechtzuerhalten, indem der Zugang zu Testdaten für die Statistik kontrolliert wird. Das ist eine großartige Möglichkeit, um zu verhindern, dass man getäuscht wird!
Wenn Sie mehr Beispiele für Scharlatane sehen möchten, die etwas Unrechtes im Schilde führen — .
Ergebnisse
Wenn es zu wenig Daten für die Trennung gibt, versucht nur ein Scharlatan, strikt dem Inspiration zu folgen, indem er Amerika retrospektiv entdeckt, Phänomene mathematisch wiederentdeckt, von denen bereits bekannt ist, dass sie in den Daten vorhanden sind, und Überraschungen statistisch signifikant nennt. Dies unterscheidet sie von einem unvoreingenommenen Analytiker, der mit Inspiration zu tun hat, und einem gewissenhaften Statistiker, der Beweise beim Prognostizieren anbietet.
Wenn es viele Daten gibt, gewöhnen Sie sich daran, Daten zu trennen, so können Sie das Beste aus beiden Welten haben! Stellen Sie sicher, dass Sie Analytik und Statistik separat nach verschiedenen Teilmengen des ursprünglichen Datenhaufens durchführen.
- Analysten bieten Ihnen Inspiration und Weitblick.
- Statistiken bieten Ihnen strenge Tests.
- Scharlatane bieten Ihnen eine verzerrte retrospektive Sichtweise, die sich als Analytik plus Statistik ausgibt.
Möglicherweise haben Sie nach dem Lesen des Artikels den Gedanken: „Bin ich ein Scharlatan?“ Das ist normal. Sie können diesen Gedanken auf zwei Arten vertreiben: Erstens, indem Sie zurückblicken und sehen, was Sie erreicht haben, und ob Ihre Arbeit mit Daten praktische Vorteile gebracht hat. Und zweitens können Sie an Ihren Fähigkeiten arbeiten (was sicherlich nicht schadet), zumal wir unseren Studenten praktische Fähigkeiten und Wissen vermitteln, die ihnen helfen, echte Data Scientists zu werden.
Weitere Kurse
Weiterlesen
Quelle: habr.com
