Puderete avè intesu parlà di l'analisti, di l'apprendimentu di macchine è di i specialisti di l'intelligenza artificiale, ma avete intesu parlà di quelli chì sò pagati in modu inghjustu? Scontru data charlatan! Questi pirate, attirati da travaglii lucrativi, dannu à i scientisti di dati veri un cattivu nomu. In u materiale avemu capitu cumu portà tali persone à l'acqua pulita.
I charlatani di dati sò in ogni locu
I charlatans di dati sò cusì boni à ammuccià in vista chjara chì pudete esse unu di ellisenza mancu capisce. A probabilità hè chì a vostra urganizazione hà allughjatu questi ragazzi sneaky per anni, ma a bona nutizia hè chì sò faciuli d'identificà se sapete ciò chì cercate.
U primu signu d'avvertimentu hè una mancanza di capiscenu analitiche è statistiche sò discipline assai diverse. Spiegheraghju questu in più.
Diverse discipline
I statistichi sò furmatu per piglià cunclusioni nantu à ciò chì va oltre i so dati, l'analista sò furmatu per esaminà u cuntenutu di un settore di dati. In altri palori, l'analista tiranu cunclusioni nantu à ciò chì hè in i so dati, è i statistichi tiranu cunclusioni nantu à ciò chì ùn hè micca in i dati. L'analisti aiutanu à dumandà boni dumande (fà ipotesi), è i statistichi aiutanu à ottene risposte boni (pruvà e vostre ipotesi).
Ci sò ancu i roli hibridi strani induve una persona prova à pusà nantu à duie sedie... Perchè micca? Principiu basicu di a scienza di dati: se si tratta di incertezza, ùn pudete micca aduprà u listessu Puntu di dati per ipotesi è teste. Quandu i dati sò limitati, l'incertezza forza una scelta trà statistiche o analitiche. Spiegazione .
Senza statistiche, sarete impiccatu è incapaci di capisce se u ghjudiziu chì avete appena formulatu si mantene, è senza analisi, vi movete à cecu, cù pocu chance di ammansà u scunnisciutu. Questa hè una scelta difficiule.
A manera di u charlatan fora di stu mess hè di ignurallu è dopu finta d'esse surprisatu da ciò chì di colpu apparisce. A logica daretu à a prova di l'ipotesi statistiche vene à a quistione di se e dati ci sorprendenu abbastanza per cambià a nostra mente. Cumu pudemu esse sorpresu da i dati se l'avemu digià vistu?
Ogni volta chì i charlatans trovanu un mudellu, sò inspirati, poi verificate stessi dati di u listessu mudellu, per publicà u risultatu cù un valore p legittimu o dui, vicinu à a so tiuria. Cusì, si mentenu à voi (è, forse, ancu à elli). Stu p-value ùn importa micca s'ellu ùn si ferma micca à a vostra ipotesi à cumu avete vistu i vostri dati. I Charlatans imitanu l'azzioni di l'analista è i statistichi senza capiscenu i motivi. In u risultatu, tuttu u campu di a scienza di i dati riceve una mala reputazione.
I veri statistichi sempre tiranu e so cunclusioni
Grazie à a reputazione quasi mistica di i statistichi per u so rigurosu ragiunamentu, a quantità di infurmazioni falsi in Data Science hè à un altu di tutti i tempi. Hè facilitu per ingannà è micca chjappà, soprattuttu se a vittima insospettiva pensa chì tuttu hè di equazioni è dati. Un dataset hè un dataset, nò? Innò. Hè impurtante cumu si usa.
Per furtuna, avete solu bisognu di una pista per catturà i charlatans: sò "scopre retroattivamente l'America". Per ritruvà i fenomeni ch'elli sanu digià sò prisenti in i dati.
A cuntrariu di i charlatani, i boni analisti sò aperti è capiscenu chì l'idee inspiratori ponu avè parechje spiegazioni diffirenti. À u listessu tempu, i boni statistichi definiscenu currettamente e so cunclusioni prima di fà.
L'analisti sò esentati da a responsabilità ... finu à ch'elli fermanu in u scopu di e so dati. S'elli sò tentati di riclamà qualcosa chì ùn anu micca vistu, questu hè un altru travagliu. Avianu caccià i scarpi di l'analista è mette i scarpi di u statisticu. Dopu tuttu, ùn importa ciò chì hè u titulu ufficiale di u travagliu, ùn ci hè nisuna regula chì dice chì ùn pudete micca studià e duie professioni se vulete. Solu ùn li cunfundite micca.
Solu perchè site bè in statistiche ùn significa micca chì site bè in analitiche, è vice versa. Se qualchissia vi prova di dì altrimenti, duvete esse attentu. Se sta persona vi dice chì hè permissibile di piglià cunclusioni statistiche da e dati chì avete digià studiatu, questu hè un mutivu per esse doppiamente attenti.
Spiegazioni strane
Quandu osservà i charlatans di dati in u salvaticu, avete nutatu chì li piace à fà stori fantastichi per "spiegà" e dati chì osservanu. U più accademicu, u megliu. Ùn importa micca chì queste storie sò aghjustate in retrospettiva.
Quandu i charlatani facenu questu - lasciami esse chjaru - sò minti. Nisuna quantità di equazioni o cuncetti fantastichi ponu cumpensà u fattu chì offrenu prova zero di e so teorie. Ùn vi maravigliate di quantu inusual sò e so spiegazioni.
Questu hè u listessu cum'è dimustrà e vostre capacità "psichiche" prima fighjendu e carte in e vostre mani è dopu predichendu ciò chì tenete ... ciò chì tenete. Questu hè un preghjudiziu di retrovisione, è a prufessione di a scienza di i dati hè piena di questu.
L'analisti dicenu: "Avete ghjustu andatu cù a Regina di Diamanti". I statistichi dicenu: "Aghju scrittu e mo ipotesi nantu à questu pezzu di carta prima di cumincià. Ghjuchemu è guardemu qualchi dati è vede s'ellu aghju ghjustu ". Ciarlatani dicenu: "Sapia chì diventerai sta Regina di Diamanti perchè ..."
A spartera di dati hè a correzione rapida chì tutti anu bisognu.
Quandu ùn ci hè micca assai dati, avete da sceglie trà statistiche è analitiche, ma quandu ci hè più di dati abbastanza, ci hè una grande opportunità per aduprà analitiche senza ingannu. и statistiche. Avete a difesa perfetta contr'à i charlatans - a separazione di dati è, in my opinion, questa hè l'idea più putente in Data Science.
Per prutezzione di i charlatans, tuttu ciò chì duvete fà hè di assicurà chì tenete qualchi dati di teste fora di a portata di i so ochji indiscreti, è poi trattà u restu cum'è analitiche. Quandu scontra una teoria chì site in risicu di accettà, aduprate per evaluà a situazione, è dopu revelate i vostri dati di teste secreti per verificà chì a teoria ùn hè micca assuciatu. Hè cusì simplice!
Assicuratevi chì nimu ùn hè permessu di vede i dati di prova durante a fase di esplorazione. Per fà questu, fate a ricerca di dati. I dati di prova ùn deve esse usatu per l'analisi.
Questu hè un grande passu da ciò chì a ghjente hè abituata à l'era di "picculi dati", induve avete da spiegà cumu sapete ciò chì sapete per cunvince infine a ghjente chì sapete veramente qualcosa.
Applicà e stesse regule à ML / AI
Certi charlatans chì si ponenu cum'è esperti di ML / AI sò ancu faciuli di vede. Li catturà u listessu modu ch'è ogni altru cattivu ingegnere: e "soluzioni" ch'elli cercanu di custruisce continuamente fallenu. Un signu d'avvisu precoce hè a mancanza di sperienza cù i linguaggi di prugrammazione standard di l'industria è e biblioteche.
Ma chì hè di e persone chì creanu sistemi chì parenu travaglià? Cumu sapè s'ellu si passa qualcosa di suspettu? A listessa regula s'applica ! U Charlatan hè un caratteru sinistru chì vi mostra quantu u mudellu hà travagliatu ... nantu à i stessi dati chì anu utilizatu per creà u mudellu.
Sè avete custruitu un sistema di apprendimentu automaticu incredibilmente cumplessu, cumu sapete quantu hè bonu? Ùn sapete micca finu à chì vi mostrarà u so travagliu cù novi dati chì ùn hà micca vistu prima.
Quandu avete vistu i dati prima di a previsione - hè improbabile primadicendu
Quandu avete abbastanza dati per separà, ùn avete micca bisognu di cite a bellezza di e vostre formule per ghjustificà u prugettu (un vechju abitudine chì vecu in ogni locu, micca solu in a scienza). Pudete dì: "Sò chì funziona perchè possu piglià un settore di dati chì ùn aghju micca vistu prima è predice esattamente ciò chì succederà quì ... è aghju da esse ghjustu. Una volta è una volta ".
Pruvate u vostru mudellu / teoria contru novi dati hè a megliu basa per a fiducia.
Ùn tollerà micca i charlatani di dati. Ùn m'importa micca se a vostra opinione hè basatu annantu à diversi trucchi. Ùn sò micca impressiunatu da a bellezza di e spiegazioni. Mostrami chì a vostra teoria / mudellu travaglia (è cuntinueghja à travaglià) nantu à una mansa di dati novi chì ùn avete mai vistu prima. Questa hè a vera prova di a forza di a vostra opinione.
Cuntattate l'Esperti di Data Science
Se vulete esse pigliatu in seriu da tutti quelli chì capiscenu questu umore, smettete di nascondere daretu à equazioni fantastiche per sustene i preghjudizii persunali. Mostrami ciò chì avete. Se vulete chì quelli chì "l'avete" vedenu a vostra teoria / mudellu cum'è più cà una poesia d'ispirazione, avete u curagiu di mette un grande spettaculu di quantu funziona bè nantu à un settore di dati cumplettamente novu ... davanti à i tistimoni. !
Appellu à i capi
Rifiutate di piglià in seriu qualsiasi "idee" nantu à e dati finu à ch'elli sò stati pruvati novu dati. Ùn avete micca voglia di mette in u sforzu? Stick with the analytics, ma ùn si basa micca in queste idee - ùn sò micca affidabili è ùn sò micca stati pruvati per affidabilità. Inoltre, quandu una urganizazione hà dati in abbundanza, ùn ci hè micca un svantaghju per fà a separazione fundamentale in a scienza è di mantene à u livellu di l'infrastruttura cuntrullendu l'accessu à e dati di teste per statistiche. Questu hè un bellu modu per impedisce à e persone chì provanu à ingannà!
Sè vo vulete vede più esempi di charlatans finu à nunda - .
Risultati
Quandu ci hè troppu pocu di dati per separà, solu un charlatan prova à seguità strettamente l'ispirazione scopre l'America retrospettivamente, ritrovendu matematicamente i fenomeni chì sò digià cunnisciuti per esse in i dati, è chjamanu a sorpresa statisticamente significativa. Questu li distingue da l'analista di mente aperta, chì tratta di l'ispirazione, è di u statisticu meticulosu, chì offre evidenza quandu face predizioni.
Quandu ci sò assai dati, pigliate l'abitudine di separà e dati per pudè avè u megliu di i dui mondi! Assicuratevi di fà analitiche è statistiche separatamente per i subsets individuali di a pila originale di dati.
- Analista vi offre ispirazione è apertura di mente.
- Statistiche vi offre una prova rigorosa.
- Ciarlatani vi offre una retrospettiva torciata chì pretende esse analitiche più statistiche.
Forsi, dopu avè lettu l'articulu, avete u pensamentu "sò un charlatan"? Questu hè bè. Ci hè duie manere di caccià stu pensamentu: prima, fighjate in daretu, vede ciò chì avete fattu, se u vostru travagliu cù e dati hà purtatu un benefiziu praticu. È in segundu, pudete ancu travaglià nantu à e vostre qualificazioni (chì certamente ùn serà micca superflua), soprattuttu chì demu à i nostri studienti e cumpetenze pratiche è cunniscenze chì li permettenu di diventà veri scientisti di dati.
Più corsi
Leghjite più
Source: www.habr.com