🥇 Come riconoscere un ciarlatano nella Data Science?

Forse hai sentito parlare di analisti, specialisti in machine learning e intelligenza artificiale, ma hai mai sentito parlare di quelli che vengono pagati ingiustamente? Incontra il ciarlatano dei dati! Questi furfanti, attratti da lavori ben retribuiti, creano una cattiva reputazione per i veri specialisti dell'elaborazione dei dati. Nel nostro articolo analizziamo come smascherare queste persone.

I ciarlatani dei dati sono ovunque

I ciarlatani dei dati sono così bravi a nascondersi in bella vista che potresti essere uno di loro, senza nemmeno rendertene conto. È probabile che la tua organizzazione abbia coperto questi impostori per anni, ma c'è una buona notizia: è facile identificarli se sai cosa cercare.
Il primo segnale d'allerta è la mancanza di comprensione che analisi e statistica sono discipline molto diverse. Ora te lo spiego.

Discipline diverse

Gli statistici sono addestrati a trarre conclusioni che vanno oltre i loro dati, mentre gli analisti sono addestrati a esaminare il contenuto di un insieme di dati. In altre parole, gli analisti traggono conclusioni su ciò che è presente nei loro dati e gli statistici su ciò che non è presente. Gli analisti aiutano a porre buone domande (formulare ipotesi), mentre gli statistici aiutano a ottenere buone risposte (verificare le ipotesi).

Ci sono anche ruoli ibridi peculiari, in cui una persona cerca di restare su due sedie… Perché no? Il principio fondamentale della scienza dei dati è: se ti confronti con l'incertezza, non puoi utilizzare lo stesso punto dati per formulare ipotesi e verificarle. Quando i dati sono limitati, l'incertezza costringe a scegliere tra statistica e analisi. Spiegazione qui.

Senza statistica, si rischia di rimanere bloccati e non riuscire a comprendere se l'affermazione appena formulata regge alla critica, mentre senza analisi si procede alla cieca, con poche possibilità di domare l'ignoto. È una scelta difficile.

L'uscita di un ciarlatano da questa situazione consiste nel ignorarla, e poi fare finta di sorprendersi quando viene alla luce. La logica del test delle ipotesi statistiche si riduce alla domanda: i dati ci sorprendono abbastanza da farci cambiare idea? Come possiamo essere sorpresi dai dati se li abbiamo già visti?

Ogni volta che i ciarlatani trovano un modello, si ispirano, poi verificano gli stessi dati per dello stesso modello, per pubblicare un risultato con un p-value legittimo o due, accanto alla loro teoria. In questo modo ti mentono (e forse mentono anche a se stessi). Un p-value del genere non ha importanza se non aderisci alla tua ipotesi fino a su come hai esaminato i tuoi dati. I ciarlatani imitano le azioni degli analisti e degli statistici senza comprendere le ragioni. Di conseguenza, l'intero campo della scienza dei dati ottiene una cattiva reputazione.

I veri statistici traggono sempre le loro conclusioni

Grazie a quasi una reputazione mistica degli specialisti in statistica, impegnati in rigorose argomentazioni, la quantità di informazioni false nella Data Science è sorprendentemente alta. È facile ingannare e non essere scoperti, soprattutto se la vittima innocente pensa che il tutto si basi su equazioni e dati. Un dataset è solo un insieme di dati, giusto? No. Conta come lo utilizzi.

Fortunatamente, hai bisogno solo di un indizio per riconoscere i ciarlatani: loro «scoprono l'America retroattivamente». Riportano alla luce fenomeni che sono già noti grazie ai dati.

A differenza dei ciarlatani, i buoni analisti non hanno pregiudizi e comprendono che idee stimolanti possono avere molteplici spiegazioni. Allo stesso tempo, i buoni statistici definiscono con attenzione le loro conclusioni prima di formularle.

Gli analisti sono esenti da responsabilità... fino a quando non oltrepassano i confini dei loro dati. Se hanno la tentazione di dichiarare ciò che non hanno osservato, si tratta di un'altra professione. Dovrebbero "togliersi le scarpe" da analista e "indossare" quelle di uno statistico. Alla fine, qualunque sia il titolo ufficiale, non esiste una regola che impedisca di esplorare entrambe le professioni, se lo si desidera. Ma non confuse le due.

Se hai una buona comprensione della statistica, non significa che tu abbia anche una buona comprensione dell'analisi, e viceversa. Se qualcuno cerca di dirti il contrario, è opportuno essere cauti. Se questa persona ti informa che è consentito trarre conclusioni statistiche dai dati che hai già esaminato, è un motivo per essere doppiamente cauti.

Spiegazioni bizzarre

Osservando i ciarlatani dei dati in azione, noterai che amano inventare storie fantastiche per "spiegare" i dati osservati. Più sono accademiche, meglio è. Non importa che queste storie siano adattate retroattivamente.

Quando ciarlatani si comportano in questo modo — permettetemi di non risparmiare parole — mentono. Nessuna quantità di equazioni o concetti affascinanti può compensare il fatto che non hanno fornito alcuna prova delle loro affermazioni. Non stupitevi di quanto siano bizzarri le loro spiegazioni.

È come mostrare le proprie capacità "extra-sensoriali" guardando prima le carte in mano e poi prevedere ciò che stai tenendo... ciò che stai tenendo. Questa è una distorsione del pensiero retrospettivo e la professione di data scientist è piena di questo.

Gli analisti dicono: "Hai appena pescato la regina di cuori". Gli statistici dicono: "Ho scritto le mie ipotesi su questo pezzetto di carta prima che iniziassimo. Giocchiamo, vediamo alcuni dati e vediamo se ho ragione". I ciarlatani dicono: "Sapevo che saresti andato su questa regina di cuori, perché...".

La separazione dei dati è una soluzione rapida al problema di cui tutti hanno bisogno.

Quando i dati non sono così tanti, si deve scegliere tra statistiche e analisi, ma quando i dati abbondano, c'è una bellissima opportunità di sfruttare l'analisi senza inganni. e Statistiche. Hai la protezione perfetta contro i ciarlatani: questa suddivisione dei dati è, a mio avviso, l'idea più potente nel Data Science.

Per proteggerti dai ciarlatani, tutto ciò che devi fare è assicurarti di conservare alcuni dati di test fuori dalla loro vista curiosa e poi trattare tutto il resto come un'analisi. Quando ti confronti con una teoria, che rischi di accettare, usala per valutare la situazione e poi apri i tuoi segreti dati di test per verificare che la teoria non sia una sciocchezza. È così semplice!

Assicurati che nessuno possa visualizzare i dati di test durante la fase di ricerca. Per farlo, attieniti ai dati di ricerca. I dati di test non dovrebbero essere utilizzati per l'analisi.

Questo è un grande passo avanti rispetto a ciò a cui le persone erano abituate nell'era dei "dati ridotti", quando dovevi spiegare da dove sai ciò che sai per convincere finalmente le persone che realmente conosci qualcosa.

Applichiamo le stesse regole a ML/AI

È facile individuare alcuni ciarlatani che si spacciano per esperti in ML/AI. Li riconoscerai come chiunque altro ingegnere scarso: le "soluzioni" che cercano di realizzare falliscono costantemente. Un segnale di allerta precoce è la mancanza di esperienza con i linguaggi di programmazione e le librerie standard del settore.

Ma come possiamo valutare le persone che creano sistemi che sembrano funzionare? Come fare a sapere se c'è qualcosa di sospetto? Si applica la stessa regola! Un ciarlatano è un personaggio sinistro che ti mostra quanto bene abbia funzionato il modello… sugli stessi dati che hanno utilizzato per crearlo.

Se hai creato un sistema di machine learning incredibilmente complesso, come puoi sapere quanto è buono? Non lo saprai finché non dimostri che funziona con nuovi dati che non ha mai visto prima.

Quando hai visto i dati prima della previsione — è improbabile che sia undichiarazione.

Quando hai abbastanza dati per fare una divisione, non è necessario riferirsi alla bellezza delle tue formule per giustificare il progetto (una vecchia abitudine che vedo ovunque, non solo nella scienza). Puoi dire: «So che funziona, perché posso prendere un set di dati che non ho mai visto prima e prevedere esattamente cosa succederà... e avrò ragione. Ancora e ancora».

Testare il tuo modello/teoria su nuovi dati è la migliore base per la fiducia.

Non tollero i ciarlatani dei dati. Non mi interessa se la tua opinione si basa su caratteristiche diverse. Non sono impressionato dalla bellezza delle spiegazioni. Mostrami che la tua teoria/modello funziona (e continua a funzionare) su un'intera serie di nuovi dati che non hai mai visto prima. Questa è la vera verifica della robustezza della tua opinione.

Rivolgersi a esperti nel campo della Data Science

Se desideri essere preso sul serio da chi comprende questo umorismo, smettila di nasconderti dietro equazioni eccentriche per mantenere pregiudizi personali. Mostra ciò che hai. Se vuoi che chi "ha capito" consideri la tua teoria/modello come qualcosa di più di una semplice poesia ispiratrice, abbi il coraggio di mettere in scena quanto bene funzioni su un set di dati completamente nuovo… di fronte a testimoni!

Rivolgersi ai leader

Rifiuta di prendere sul serio qualsiasi "idea" sui dati finché non è verificata nuove sui dati. Non hai voglia di fare sforzi? Attieniti all'analitica, ma non fare affidamento su queste idee: sono inaffidabili e non sono state verificate per l'affidabilità. Inoltre, quando un'organizzazione ha abbondanza di dati, non c'è mancanza nel fare della separazione un fondamento nella scienza e mantenerla a livello di infrastruttura, controllando l'accesso ai dati di test per la statistica. Questo è un ottimo modo per fermare i tentativi di ingannarti!

Se vuoi vedere più esempi di ciarlatani che tramano qualcosa di male — ecco un meraviglioso thread su Twitter.

Risultati

Quando ci sono troppi pochi dati per fare delle suddivisioni, solo un ciarlatano tenta di seguire rigidamente l'ispirazione, riscoprendo retrospettivamente l'America e riaprendo matematicamente fenomeni di cui si sa già che sono presenti nei dati, e dichiarando la sorpresa statisticamente significativa. Questo li distingue da un analista imparziale che lavora con l'ispirazione e da uno statistico meticoloso che fornisce prove nella previsione.

Quando ci sono molti dati, sviluppa l'abitudine di suddividerli, in modo da poter avere il meglio di entrambi i mondi! Assicurati di condurre analisi e statistiche separatamente su sottoinsiemi distinti dell'ingombrante insieme di dati iniziali.

Gli analisti ti offrono ispirazione e ampiezza di vedute.
Statistiche ti offrono rigorosi test.
Ciarlatani ti offrono una visione distorta retrospettiva che finge di essere analisi più statistiche.

Dopo aver letto l'articolo, potreste avere il pensiero "non sarò un ciarlatano?". È normale. Potete scacciare questo pensiero in due modi: innanzitutto, guardandovi intorno e valutando ciò che avete realizzato, se il vostro lavoro con i dati ha portato un beneficio concreto. In secondo luogo, potete continuare a lavorare sulle vostre competenze (cosa che non fa mai male), specialmente perché ai vostri studenti offriamo competenze pratiche e conoscenze che consentono loro di diventare veri data scientist.