Forse hai sentito parlare di analisti, specialisti in machine learning e intelligenza artificiale, ma hai sentito parlare di coloro a cui vengono pagati ingiustamente? Incontriamo il ciarlatano dei dati! Questi astuti individui, attratti da lavori redditizi, danneggiano la reputazione dei veri specialisti nella gestione dei dati. In questo articolo esploreremo come smascherare queste persone.
I ciarlatani dei dati sono ovunque
I ciarlatani dei dati sanno nascondersi così bene che potresti essere uno di loro, senza nemmeno accorgertene. È probabile che la tua organizzazione abbia coperto questi disonesti per anni, ma c'è una buona notizia: sono facili da identificare se sai cosa cercare.
Il primo segnale d'allerta è la mancanza di comprensione del fatto che analisi e statistica sono discipline molto diverse. In seguito ti spiegherò questo.
Discipline diverse
Gli statistici sono addestrati a trarre conclusioni su ciò che va oltre i loro dati, gli analisti sono addestrati a studiare il contenuto di un insieme di dati. In altre parole, gli analisti traggono conclusioni su ciò che è presente nei loro dati, mentre gli statistici traggono conclusioni su ciò che nei dati non c'è. Gli analisti aiutano a porre buone domande (formulare ipotesi), mentre gli statistici aiutano a ottenere buone risposte (verificare le ipotesi).
Ci sono anche ruoli ibridi stravaganti, in cui una persona cerca di star seduta su due sedie... Perché no? Il principio fondamentale della scienza dei dati è che, se ti trovi ad affrontare l'incertezza, non puoi usare lo stesso punto dati per ipotesi e verifica. Quando i dati sono limitati, l'incertezza costringe a scegliere tra statistica e analisi. Spiegazione .
Senza statistica rimani bloccato e non riesci a capire se l'affermazione appena formulata regge alla prova, mentre senza analisi ti muovi alla cieca, avendo poche possibilità di addomesticare l'ignoto. È una scelta difficile.
L'uscita di un ciarlatano da questa situazione è ignorarla e poi fingere sorpresa per ciò che viene scoperto. La logica della verifica delle ipotesi statistiche si riduce alla domanda: i dati ci sorprendono abbastanza da cambiare la nostra opinione? Come possiamo essere sorpresi dai dati se li abbiamo già visti?
Ogni volta che i ciarlatani trovano un modello, si sentono ispirati, poi verificano gli stessi dati per dello stesso modello, per pubblicare il risultato con un p-valore legittimo o due, accanto alla loro teoria. Così facendo mentono a voi (e, forse, anche a se stessi). Un p-valore di questo tipo non ha importanza se non sostenete la vostra ipotesi fino a su come hanno esaminato i loro dati. I ciarlatani imitano le azioni di analisti e statistici senza comprendere le cause. Di conseguenza, l'intero campo della scienza dei dati ha una cattiva reputazione.
I veri statistici traggono sempre le loro conclusioni
Grazie a una reputazione quasi mistica dei professionisti della statistica impegnati in ragionamenti rigorosi, la quantità di informazioni false nella Data Science è record. È facile ingannare e non venire scoperti, soprattutto se la vittima ignara pensa che tutto si riduca a equazioni e dati. Un dataset è solo un dataset, giusto? No. Ha importanza come lo utilizzi.
Fortunatamente, vi serve solo un indizio per catturare i ciarlatani: 'scoprono l'America retroattivamente'. Riscoprendo fenomeni che già sanno essere presenti nei dati.
A differenza dei ciarlatani, i bravi analisti non hanno pregiudizi e comprendono che idee ispiratrici possono avere molte spiegazioni diverse. Allo stesso tempo, i bravi statistici definiscono con attenzione le loro conclusioni prima di formularle.
Gli analisti sono esenti da responsabilità… fino a quando non si avventurano oltre i loro dati. Se sentono la tentazione di fare affermazioni su ciò che non hanno visto, si tratta di un lavoro completamente diverso. Dovrebbero 'togliersi le scarpe' dell'analista e 'indossare' quelle dello statistico. In fin dei conti, qualunque sia il titolo ufficiale, non esiste una regola che impedisca di studiare entrambe le professioni, se si desidera. Ma non confondetele.
Essere esperti di statistica non significa essere esperti di analisi, e viceversa. Se qualcuno cerca di dirvi il contrario, è bene prestare attenzione. Se questa persona vi dice che è permesso fare inferenze statistiche sui dati che avete già analizzato, è un motivo in più per essere cauti.
Spiegazioni stravaganti
Osservando i ciarlatani dei dati nella loro habitat naturale, noterai che amano inventare storie fantastiche per "spiegare" i dati osservati. Più accademico è il racconto, meglio è. Non importa che queste storie vengano adattate retroattivamente.
Quando i ciarlatani fanno così — permettetemi di non essere avaro con le parole — mentono. Nessuna quantità di equazioni o concetti eleganti компенсирует il fatto che hanno fornito una prova nulla delle loro affermazioni. Non sorprenderti quanto siano strane le loro spiegazioni.
È come dimostrare le proprie capacità "extrasensoriali" guardando prima le carte in mano e poi predire cosa stai tenendo... quello che stai tenendo. Questa è una distorsione retrospettiva, e la professione di data scientist è affollata di essa.
Gli analisti dicono: "Hai appena preso la regina di cuori". Gli statistici dicono: "Ho annotato le mie ipotesi su questo pezzo di carta prima che iniziassimo. Giocattiamo, guardiamo alcuni dati e vediamo se ho ragione". I ciarlatani dicono: "Sapevo già che avresti preso questa regina di cuori, perché..."
La suddivisione dei dati è una soluzione rapida al problema di cui ogni individuo ha bisogno.
Quando ci sono pochi dati, bisogna scegliere tra statistica e analisi, ma quando ci sono dati in abbondanza, c'è l'ottima opportunità di sfruttare l'analisi senza inganno. e Statistica. Hai una protezione perfetta dai ciarlatani: è la suddivisione dei dati e, a mio avviso, è l'idea più potente nella Data Science.
Per difenderti dai ciarlatani, tutto ciò che devi fare è assicurarti di conservare alcuni dati di test lontano dai loro occhi curiosi e poi trattare tutto il resto come un'analisi. Quando ti imbatti in una teoria che rischi di accettare, usala per valutare la situazione, e poi rivelando i tuoi dati di test segreti per verificare che la teoria non sia una sciocchezza. È così semplice!
Assicurati che nessuno possa visualizzare i dati di test nella fase di esplorazione. A tal fine, attieniti ai dati esplorativi. I dati di test non devono essere utilizzati per l'analisi.
Questo è un grande passo avanti rispetto a ciò a cui le persone erano abituate nell'epoca dei "piccoli dati", quando dovevi spiegare da dove sapevi ciò che sapevi per finalmente convincere le persone che sapevi davvero qualcosa.
Applichiamo le stesse regole a ML/AI
Alcuni ciarlatani che si spacciano per esperti in ML/AI sono facili da scoprire. Li catturi esattamente come cattureresti qualsiasi altro cattivo ingegnere: le "soluzioni" che tentano di costruire falliscono costantemente. Un segnale precoce è la mancanza di esperienza con i linguaggi e le librerie di programmazione standard del settore.
Ma cosa dire delle persone che creano sistemi che sembrano funzionare? Come capire se c'è qualcosa di sospetto? Si applica la stessa regola! Il ciarlatano è un personaggio sinistro che ti mostra quanto bene il modello abbia funzionato… sugli stessi dati che hanno usato per costruire il modello.
Se hai creato un sistema di machine learning incredibilmente complesso, come fai a sapere quanto sia buono? Non lo scoprirai finché non mostri che funziona con nuovi dati che non ha mai visto prima.
Quando hai visto i dati prima della previsione, è improbabile che questo siauna previsione.
Quando hai abbastanza dati per fare una divisione, non hai bisogno di fare riferimento alla bellezza delle tue formule per giustificare il progetto (una vecchia abitudine di moda che vedo ovunque, non solo nella scienza). Puoi dire: "So che funziona perché posso prendere un set di dati che non ho mai visto prima e prevedere con precisione cosa succederà… e avrò ragione. Ancora e ancora."
Testare il tuo modello/teoria su nuovi dati è la migliore base per la fiducia.
Non tollero i ciarlatani dei dati. Non mi interessa se la tua opinione si basa su diverse caratteristiche. La bellezza delle spiegazioni non mi impressiona. Mostrami che la tua teoria/modello funziona (e continua a funzionare) su una serie di nuovi dati che non hai mai visto prima. Questa è la vera prova della solidità della tua opinione.
Rivolgersi a esperti nel campo della Data Science
Se vuoi che tutte le persone che capiscono questo umorismo ti prendano sul serio, smettila di nasconderti dietro equazioni fantasiose per sostenere pregiudizi personali. Mostra ciò che hai. Se vuoi che coloro che "hanno capito" considerino la tua teoria/modello come qualcosa di più che semplice poesia ispiratrice, abbi il coraggio di mettere in scena una grande dimostrazione di quanto bene funzioni su un nuovissimo set di dati… alla presenza di testimoni!
Rivolgersi ai dirigenti
Rifiutate di prendere sul serio qualsiasi "idea" sui dati finché non è stata verificata su nuovi dati. Non vuoi sforzarti? Attieniti all'analisi, ma non affidarti a queste idee: sono inaffidabili e non sono state testate per la loro affidabilità. Inoltre, quando un'organizzazione ha dati a volontà, non c'è nulla di male nel rendere la suddivisione una base nella scienza e nel mantenerla a livello di infrastruttura, controllando l'accesso ai dati di test per la statistica. Questo è un ottimo modo per fermare i tentativi di raggirarti!
Se vuoi vedere più esempi di ciarlatani che complottano qualcosa di poco raccomandabile — .
Conclusioni
Quando ci sono pochi dati per la suddivisione, solo un ciarlatano cerca di seguire rigorosamente l'ispirazione, riaprirando l'America retrospettivamente, riscoprendo matematicamente fenomeni di cui si sa già che esistono nei dati e chiamando questo stupore statisticamente significativo. Questo li distingue da un analista imparziale che si confronta con l'ispirazione e da uno statistico scrupoloso che fornisce prove durante le previsioni.
Quando i dati sono abbondanti, fai l'abitudine di separare i dati, così avrai il meglio di entrambi i mondi! Assicurati di eseguire analisi e statistiche separatamente su sottoinsiemi distinti dell'originario ammasso di dati.
- Gli analisti ti offrono ispirazione e ampiezza di vedute.
- Gli statistici ti offrono test rigorosi.
- I ciarlatani ti offrono una distorta visione retrospettiva che finge di essere analisi più statistica.
Potrebbe capitare che, dopo aver letto l'articolo, vi venga in mente il pensiero «non sono forse un ciarlatano»? È normale. Potete scacciare questo pensiero in due modi: innanzitutto, guardatevi indietro e osservate cosa avete realizzato, se il vostro lavoro con i dati ha portato un qualche beneficio pratico. In secondo luogo, potete anche lavorare sulla vostra qualificazione (che non farà certo male), soprattutto perché forniamo ai nostri studenti competenze pratiche e conoscenze che consentono loro di diventare veri data scientist.
Altri corsi
Leggi di più
Fonte: habr.com
