{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Come riconoscere un ciarlatano nel Data Science?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Come<\/a><\/noindex>
\nForse hai sentito parlare di analisti, specialisti in machine learning e intelligenza artificiale, ma hai sentito parlare di coloro a cui vengono pagati ingiustamente? Incontriamo il ciarlatano dei dati<\/strong>! Questi astuti individui, attratti da lavori redditizi, danneggiano la reputazione dei veri specialisti nella gestione dei dati. In questo articolo esploreremo come smascherare queste persone.
\n<\/a><\/noindex><\/p>\n

I ciarlatani dei dati sono ovunque<\/h2>\n

\nI ciarlatani dei dati sanno nascondersi cos\u00ec bene che potresti essere uno di loro<\/i>, senza nemmeno accorgertene. \u00c8 probabile che la tua organizzazione abbia coperto questi disonesti per anni, ma c'\u00e8 una buona notizia: sono facili da identificare se sai cosa cercare.
\nIl primo segnale d'allerta \u00e8 la mancanza di comprensione del fatto che analisi e statistica sono discipline molto diverse<\/strong>. In seguito ti spiegher\u00f2 questo.<\/p>\n

Discipline diverse<\/h2>\n

\nGli statistici sono addestrati a trarre conclusioni su ci\u00f2 che va oltre i loro dati, gli analisti sono addestrati a studiare il contenuto di un insieme di dati. In altre parole, gli analisti traggono conclusioni su ci\u00f2 che \u00e8 presente nei loro dati, mentre gli statistici traggono conclusioni su ci\u00f2 che nei dati non c'\u00e8. Gli analisti aiutano a porre buone domande (formulare ipotesi), mentre gli statistici aiutano a ottenere buone risposte (verificare le ipotesi).<\/p>\n

Ci sono anche ruoli ibridi stravaganti, in cui una persona cerca di star seduta su due sedie... Perch\u00e9 no? Il principio fondamentale della scienza dei dati \u00e8 che, se ti trovi ad affrontare l'incertezza, non puoi usare lo stesso<\/i> punto dati per ipotesi e verifica. Quando i dati sono limitati, l'incertezza costringe a scegliere tra statistica e analisi. Spiegazione<\/i> qui<\/i><\/a><\/noindex>.<\/p>\n

Senza statistica rimani bloccato e non riesci a capire se l'affermazione appena formulata regge alla prova, mentre senza analisi ti muovi alla cieca, avendo poche possibilit\u00e0 di addomesticare l'ignoto. \u00c8 una scelta difficile.<\/p>\n

L'uscita di un ciarlatano da questa situazione \u00e8 ignorarla e poi fingere sorpresa per ci\u00f2 che viene scoperto. La logica della verifica delle ipotesi statistiche si riduce alla domanda: i dati ci sorprendono abbastanza da cambiare la nostra opinione? Come possiamo essere sorpresi dai dati se li abbiamo gi\u00e0 visti?<\/p>\n

Ogni volta che i ciarlatani trovano un modello, si sentono ispirati, poi verificano gli stessi dati<\/i> per dello stesso modello<\/i>, per pubblicare il risultato con un p-valore legittimo o due, accanto alla loro teoria. Cos\u00ec facendo mentono a voi (e, forse, anche a se stessi). Un p-valore di questo tipo non ha importanza se non sostenete la vostra ipotesi fino a<\/b> su come hanno esaminato i loro dati. I ciarlatani imitano le azioni di analisti e statistici senza comprendere le cause. Di conseguenza, l'intero campo della scienza dei dati ha una cattiva reputazione.<\/p>\n

I veri statistici traggono sempre le loro conclusioni<\/h2>\n

\nGrazie a una reputazione quasi mistica dei professionisti della statistica impegnati in ragionamenti rigorosi, la quantit\u00e0 di informazioni false nella Data Science \u00e8 record. \u00c8 facile ingannare e non venire scoperti, soprattutto se la vittima ignara pensa che tutto si riduca a equazioni e dati. Un dataset \u00e8 solo un dataset, giusto? No. Ha importanza come lo utilizzi.<\/p>\n

Fortunatamente, vi serve solo un indizio per catturare i ciarlatani: 'scoprono l'America retroattivamente'. Riscoprendo fenomeni che gi\u00e0 sanno essere presenti nei dati. <\/p>\n

A differenza dei ciarlatani, i bravi analisti non hanno pregiudizi e comprendono che idee ispiratrici possono avere molte spiegazioni diverse. Allo stesso tempo, i bravi statistici definiscono con attenzione le loro conclusioni prima di formularle.<\/p>\n

Gli analisti sono esenti da responsabilit\u00e0\u2026 fino a quando non si avventurano oltre i loro dati. Se sentono la tentazione di fare affermazioni su ci\u00f2 che non hanno visto, si tratta di un lavoro completamente diverso. Dovrebbero 'togliersi le scarpe' dell'analista e 'indossare' quelle dello statistico. In fin dei conti, qualunque sia il titolo ufficiale, non esiste una regola che impedisca di studiare entrambe le professioni, se si desidera. Ma non confondetele.<\/p>\n

Essere esperti di statistica non significa essere esperti di analisi, e viceversa. Se qualcuno cerca di dirvi il contrario, \u00e8 bene prestare attenzione. Se questa persona vi dice che \u00e8 permesso fare inferenze statistiche sui dati che avete gi\u00e0 analizzato, \u00e8 un motivo in pi\u00f9 per essere cauti.<\/p>\n

Spiegazioni stravaganti<\/h2>\n

\nOsservando i ciarlatani dei dati nella loro habitat naturale, noterai che amano inventare storie fantastiche per \"spiegare\" i dati osservati. Pi\u00f9 accademico \u00e8 il racconto, meglio \u00e8. Non importa che queste storie vengano adattate retroattivamente.<\/p>\n

Quando i ciarlatani fanno cos\u00ec \u2014 permettetemi di non essere avaro con le parole \u2014 mentono. Nessuna quantit\u00e0 di equazioni o concetti eleganti \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 il fatto che hanno fornito una prova nulla delle loro affermazioni. Non sorprenderti quanto siano strane le loro spiegazioni.<\/p>\n

\u00c8 come dimostrare le proprie capacit\u00e0 \"extrasensoriali\" guardando prima le carte in mano e poi predire cosa stai tenendo... quello che stai tenendo. Questa \u00e8 una distorsione retrospettiva, e la professione di data scientist \u00e8 affollata di essa.<\/p>\n

\"Come<\/p>\n

Gli analisti dicono: \"Hai appena preso la regina di cuori\". Gli statistici dicono: \"Ho annotato le mie ipotesi su questo pezzo di carta prima che iniziassimo. Giocattiamo, guardiamo alcuni dati e vediamo se ho ragione\". I ciarlatani dicono: \"Sapevo gi\u00e0 che avresti preso questa regina di cuori, perch\u00e9...\" <\/p>\n

La suddivisione dei dati \u00e8 una soluzione rapida al problema di cui ogni individuo ha bisogno.<\/p><\/blockquote>\n

\nQuando ci sono pochi dati, bisogna scegliere tra statistica e analisi, ma quando ci sono dati in abbondanza, c'\u00e8 l'ottima opportunit\u00e0 di sfruttare l'analisi senza inganno. e<\/i> Statistica. Hai una protezione perfetta dai ciarlatani: \u00e8 la suddivisione dei dati e, a mio avviso, \u00e8 l'idea pi\u00f9 potente nella Data Science. <\/p>\n

Per difenderti dai ciarlatani, tutto ci\u00f2 che devi fare \u00e8 assicurarti di conservare alcuni dati di test lontano dai loro occhi curiosi e poi trattare tutto il resto come un'analisi. Quando ti imbatti in una teoria che rischi di accettare, usala per valutare la situazione, e poi rivelando i tuoi dati di test segreti per verificare che la teoria non sia una sciocchezza. \u00c8 cos\u00ec semplice!<\/p>\n

\"Come
\nAssicurati che nessuno possa visualizzare i dati di test nella fase di esplorazione. A tal fine, attieniti ai dati esplorativi. I dati di test non devono essere utilizzati per l'analisi.<\/p>\n

Questo \u00e8 un grande passo avanti rispetto a ci\u00f2 a cui le persone erano abituate nell'epoca dei \"piccoli dati\", quando dovevi spiegare da dove sapevi ci\u00f2 che sapevi per finalmente convincere le persone che sapevi davvero qualcosa.<\/p>\n

Applichiamo le stesse regole a ML\/AI<\/h2>\n

\nAlcuni ciarlatani che si spacciano per esperti in ML\/AI sono facili da scoprire. Li catturi esattamente come cattureresti qualsiasi altro cattivo ingegnere: le \"soluzioni\" che tentano di costruire falliscono costantemente. Un segnale precoce \u00e8 la mancanza di esperienza con i linguaggi e le librerie di programmazione standard del settore.<\/p>\n

Ma cosa dire delle persone che creano sistemi che sembrano funzionare? Come capire se c'\u00e8 qualcosa di sospetto? Si applica la stessa regola! Il ciarlatano \u00e8 un personaggio sinistro che ti mostra quanto bene il modello abbia funzionato\u2026 sugli stessi dati che hanno usato per costruire il modello.<\/p>\n

Se hai creato un sistema di machine learning incredibilmente complesso, come fai a sapere quanto sia buono? Non lo scoprirai finch\u00e9 non mostri che funziona con nuovi dati che non ha mai visto prima.<\/p>\n

Quando hai visto i dati prima della previsione, \u00e8 improbabile che questo sia<\/i>una previsione.<\/p><\/blockquote>\n

\nQuando hai abbastanza dati per fare una divisione, non hai bisogno di fare riferimento alla bellezza delle tue formule per giustificare il progetto (una vecchia abitudine di moda che vedo ovunque, non solo nella scienza). Puoi dire: \"So che funziona perch\u00e9 posso prendere un set di dati che non ho mai visto prima e prevedere con precisione cosa succeder\u00e0\u2026 e avr\u00f2 ragione. Ancora e ancora.\"<\/i><\/p>\n

Testare il tuo modello\/teoria su nuovi dati \u00e8 la migliore base per la fiducia.<\/p><\/blockquote>\n

\nNon tollero i ciarlatani dei dati. Non mi interessa se la tua opinione si basa su diverse caratteristiche. La bellezza delle spiegazioni non mi impressiona. Mostrami che la tua teoria\/modello funziona (e continua a funzionare) su una serie di nuovi dati che non hai mai visto prima. Questa \u00e8 la vera prova della solidit\u00e0 della tua opinione.<\/p>\n

Rivolgersi a esperti nel campo della Data Science<\/h2>\n

\nSe vuoi che tutte le persone che capiscono questo umorismo ti prendano sul serio, smettila di nasconderti dietro equazioni fantasiose per sostenere pregiudizi personali. Mostra ci\u00f2 che hai. Se vuoi che coloro che \"hanno capito\" considerino la tua teoria\/modello come qualcosa di pi\u00f9 che semplice poesia ispiratrice, abbi il coraggio di mettere in scena una grande dimostrazione di quanto bene funzioni su un nuovissimo set di dati\u2026 alla presenza di testimoni!<\/p>\n

Rivolgersi ai dirigenti<\/h2>\n

\nRifiutate di prendere sul serio qualsiasi \"idea\" sui dati finch\u00e9 non \u00e8 stata verificata su nuovi<\/i> dati. Non vuoi sforzarti? Attieniti all'analisi, ma non affidarti a queste idee: sono inaffidabili e non sono state testate per la loro affidabilit\u00e0. Inoltre, quando un'organizzazione ha dati a volont\u00e0, non c'\u00e8 nulla di male nel rendere la suddivisione una base nella scienza e nel mantenerla a livello di infrastruttura, controllando l'accesso ai dati di test per la statistica. Questo \u00e8 un ottimo modo per fermare i tentativi di raggirarti!<\/p>\n

Se vuoi vedere pi\u00f9 esempi di ciarlatani che complottano qualcosa di poco raccomandabile \u2014 ecco un meraviglioso thread su Twitter<\/a><\/noindex>.<\/p>\n

Conclusioni<\/h2>\n

\nQuando ci sono pochi dati per la suddivisione, solo un ciarlatano cerca di seguire rigorosamente l'ispirazione, riaprirando l'America retrospettivamente, riscoprendo matematicamente fenomeni di cui si sa gi\u00e0 che esistono nei dati e chiamando questo stupore statisticamente significativo. Questo li distingue da un analista imparziale che si confronta con l'ispirazione e da uno statistico scrupoloso che fornisce prove durante le previsioni.<\/p>\n

Quando i dati sono abbondanti, fai l'abitudine di separare i dati, cos\u00ec avrai il meglio di entrambi i mondi! Assicurati di eseguire analisi e statistiche separatamente su sottoinsiemi distinti dell'originario ammasso di dati.<\/p>\n