Probabil că ai auzit despre analiști, specialiști în învățare automată și inteligență artificială, dar ai auzit de cei care sunt plătiți pe nedrept? Întâlnește șarlatanii datelor! Acești dibaci, atrași de un loc de muncă profitabil, creează o reputație proastă pentru adevărații specialiști în analiza datelor. În acest material, ne vom ocupa de modul în care să expunem astfel de persoane.
Șarlatanii datelor sunt peste tot
Șarlatanii datelor sunt atât de buni la a se ascunde la vedere, încât tu poți fi unul dintre ei, fără să-ți dai seama. Cel mai probabil, organizația ta a ascuns acestor dibaci de ani de zile, dar există o veste bună: ei sunt ușor de identificat, dacă știi ce să cauți.
Primul semn de avertizare — neînțelegerea faptului că analiza și statistica sunt discipline foarte diferite. Îți voi explica acest lucru.
Discipline diferite
Statisticienii sunt pregătiți să facă concluzii despre ceea ce depășește datele lor, analiștii sunt pregătiți să studieze conținutul unui set de date. Cu alte cuvinte, analiștii fac concluzii despre ceea ce se găsește în datele lor, iar statisticienii fac concluzii despre ceea ce nu există în date. Analiștii ajută la formularea întrebărilor bune (înaintarea ipotezelor), iar statisticienii ajută la obținerea răspunsurilor corecte (verificarea ipotezelor).
Există de asemenea roluri hibride neobișnuite, atunci când o persoană încearcă să stea pe două scaune... De ce nu? Principiul de bază al științei datelor: dacă te ocupi de incertitudine, nu poți folosi același punct de date pentru ipoteze și verificare. Când datele sunt limitate, incertitudinea te obligă să alegi între statistică sau analiză. Explicație .
Fără statistică, vei rămâne blocat și nu vei putea înțelege dacă afirmația proaspăt formulată rezistă criticii, iar fără analiză te miști în orb, având puține șanse de a îmblânzi necunoscutul. Este o alegere dificilă.
Ieșirea șarlatanului din această situație este să o ignore, apoi să se facă că este surprins de ceea ce se descoperă brusc. Logica verificării ipotezelor statistice se reduce la întrebarea: sunt datele suficient de surprinzătoare pentru a ne schimba opinia? Cum putem fi surprinși de date, dacă le-am văzut deja?
De fiecare dată când șarlatanii găsesc un tipar, ei sunt inspirați, apoi verifică aceleași date pentru ale aceluiași tipar, pentru a publica rezultatul cu o valoare p legitimă sau două, alături de teoria lor. Așa făcând, ei te mint (și, poate, pe ei înșiși). O astfel de valoare p nu are importanță dacă nu îți susții ipoteza. la din modul în care și-au examinat datele. Charlatanii imită acțiunile analiștilor și statisticienilor fără a înțelege cauzele. Din acest motiv, întreaga domeniu al științei datelor are o reputație proastă.
Statisticienii adevărați își formulează întotdeauna concluziile.
Datorită reputației aproape mistice a specialiștilor în statistică care se ocupă de raționamente riguroase, cantitatea de informații false în știința datelor este la cel mai înalt nivel. E ușor să înșeli fără a fi prins, mai ales dacă victima nepăsătoare crede că totul ține de ecuații și date. Un set de date este un set de date, nu-i așa? Nu. Contează modul în care îl folosești.
Din fericire, ai nevoie doar de un singur indiciu pentru a-i prinde pe charlatani: ei „redescoperă America retroactiv”. Redescoperind fenomene care le sunt deja cunoscute, prezente în date.
Spre deosebire de charlatani, analiștii buni nu au prejudecăți și înțeleg că ideile inspiratoare pot avea multe explicații diferite. În același timp, statisticienii buni își definesc cu precizie concluziile înainte de a le formula.
Analiștii sunt scutiți de responsabilitate… până când ies din limitele datelor lor. Dacă simt tentația de a declara ceva ce nu au văzut, acesta este cu totul un alt tip de muncă. Ar trebui să „își dea jos încălțămintea” de analist și să „se încaltze” în pantofii unui statistician. La urma urmei, indiferent de titlul oficial al postului, nu există nicio regulă care să interzică studierea ambelor profesii, dacă își doresc. Doar nu le confunda.
Dacă te pricepi bine la statistică, nu înseamnă că te pricepi la analiză și invers. Dacă cineva încearcă să-ți spună contrariul, ar trebui să te îngrijorezi. Dacă această persoană îți spune că este permis să faci o concluzie statistică pe datele pe care le-ai studiat deja, acesta este un motiv dublu pentru a fi prudent.
Explicații ciudate
Observând vrăjitorii de date în sălbăticie, veți observa că le place să inventeze povești fantastice pentru a „explica” datele observate. Cu cât sunt mai academice, cu atât mai bine. Nu contează că aceste povești sunt ajustate retroactiv.
Când vrăjitorii fac asta - permiteți-mi să nu fiu zgârcit cu cuvintele - mint. Niciun număr de ecuații sau concepte frumoase nu compensează faptul că au oferit o dovadă nulă a versiunilor lor. Nu vă mirați de câte ori sunt neobișnuite explicațiile lor.
Este la fel cu a demonstra abilitățile „extra-senzoriale”, mai întâi aruncând o privire la cărțile din mâinile cuiva și apoi prezicând ce ține… ceea ce ține. Aceasta este o prejudecată a privirii retrospective, iar profesia de data scientist este plină de ea.
Analistii spun: „Tocmai ai trăit cu regina de treflă”. Statisticienii spun: „Mi-am notat ipotezele pe acest petic de hârtie înainte să începem. Hai să jucăm, să vedem unele date și să vedem dacă am avut dreptate”. Vrăjitorii spun: „Știam că urmează să mergi cu această regină de treflă pentru că…”
Împărțirea datelor este o soluție rapidă la problema de care fiecare are nevoie.
Când nu sunt multe date, trebuie să alegi între statistică și analiză, dar când datele sunt din belșug, există o oportunitate fantastică de a profita de analiză fără trucuri. și statistică. Aveți o apărare perfectă împotriva vrăjitorilor - aceasta este împărțirea datelor și, în opinia mea, este cea mai puternică idee în Data Science.
Pentru a te proteja de vrăjitori, tot ce trebuie să faci este să te asiguri că păstrezi unele date de test în afara cuvintelor lor curioase, iar apoi să privești tot restul ca pe o analiză. Când te confrunți cu o teorie pe care riști să o accepți, folosește-o pentru a evalua situația, apoi deschide datele tale secrete de test pentru a verifica că teoria nu este o absurditate. E atât de simplu!
Asigură-te că nimeni nu are voie să vizualizeze datele de test în etapa de cercetare. În acest scop, respectă datele de cercetare. Datele de test nu trebuie folosite pentru analiză.
Este este un pas mare înainte comparativ cu ceea ce oamenii erau obișnuiți în era „datelor mici”, când trebuia să explici de unde știi ceea ce știi pentru a-i convinge, în cele din urmă, pe oameni că știi cu adevărat ceva.
Aplicăm aceleași reguli pentru ML/AI
Anumiți șarlatani care se dau drept experți în domeniul ML/AI pot fi de asemenea ușor identificați. Vei să-i prindă la fel cum ai prinde orice inginer prost: „soluțiile” pe care încearcă să le construiască eșuează constant. Un semn de avertizare timpurie este lipsa de experiență în lucrul cu limbajele și bibliotecile de programare standard din industrie.
Dar ce zici de persoanele care creează sisteme care par funcționale? Cum poți ști că se întâmplă ceva suspect? Se aplică aceeași regulă! Șarlatanul este un personaj sinistru care îți arată cât de bine a funcționat modelul… pe aceleași date pe care le-au folosit pentru a crea modelul.
Dacă ai creat un sistem de învățare automată extrem de complex, cum poți ști cât de bun este? Nu vei ști până nu arăți că funcționează cu date noi pe care nu le-a văzut înainte.
Când ai văzut datele înainte de a face prognoze - este puțin probabil că este predicție.
Când ai suficiente date pentru a face o diviziune, nu trebuie să te referi la frumusețea formulărilor tale pentru a justifica proiectul (o veche obișnuință pe care o văd peste tot, nu doar în știință). Poți spune: „Știu că funcționează pentru că pot lua un set de date pe care nu l-am văzut înainte și pot prezice cu exactitate ce se va întâmpla… și voi avea dreptate. Din nou și din nou.”
Verificarea modelului/talei tale pe date noi este cea mai bună bază pentru încredere.
Nu tolerez șarlatanii datelor. Nu-mi pasă dacă opinia ta se bazează pe diferite trucuri. Nu mă impresionează frumusețea explicațiilor. Arată-mi că teoria/modelul tău funcționează (și continuă să funcționeze) pe o serie de date noi pe care nu le-ai văzut vreodată înainte. Asta este adevărata testare a robusteții opiniei tale.
Consultarea specialiștilor în domeniul Data Science
Dacă vrei să fii luat în serios de toți cei care înțeleg acest umor, încetează să te ascunzi în spatele unor ecuații ciudate pentru a-ți susține prejudecățile personale. Arată ceea ce ai. Dacă vrei ca cei care „au înțeles” să considere teoria/modelul tău ceva mai mult decât o poezie inspiratoare, ai curajul să faci o prezentare grandioasă a cât de bine funcționează pe un set de date complet nou... în fața martorilor!
Apel către lideri
Refuză să iei în serios orice „idei” despre date, până când nu sunt verificate pe noi date. Nu ai chef să depui efort? Rămâi la analiză, dar nu te baza pe aceste idei — sunt nesigure și nu au fost verificate pentru fiabilitate. În plus, atunci când o organizație dispune de date în abundență, nu există niciun dezavantaj în a face separarea o temelie în știință și a o menține la nivelul infrastructurii, controlând accesul la datele de testare pentru statistică. Este o metodă excelentă de a opri încercările de a te păcăli!
Dacă vrei să vezi mai multe exemple de șarlatani conspirați pentru ceva neplăcut — .
Concluzii
Când datele sunt prea puține pentru separare, doar un șarlatan încearcă să urmeze strict inspirația, redescoperind America în mod retrospectiv, redescoperind matematic fenomene despre care se știe deja că există în date și numind surpriza semnificativă din punct de vedere statistic. Aceasta îi deosebește de un analist imparțial care se ocupă cu inspirația și de un statistician meticulos care oferă dovezi în timpul prognozelor.
Când sunt multe date, fă-ți un obicei din a separa datele, astfel vei putea avea cele mai bune din ambele lumi! Asigură-te că faci analiza și statisticile separat, pe submulțimi distincte ale amestecului original de date.
- Analistii îți oferă inspirație și lățime de perspective.
- Statisticienii îți oferă teste riguroase.
- Șarlatanii îți oferă o viziune distorsionată retrospectivă, care se pretinde a fi o combinație de analiză și statistica.
Este posibil ca, după ce ați citit articolul, să aveți gândul „nu cumva sunt un șarlatan”? Este normal. Puteți alunga această idee în două moduri: prima dată, uitându-vă înapoi și observând ce ați realizat, dacă munca dvs. cu datele a adus beneficii practice. În al doilea rând, puteți continua să lucrați la calificarea dvs. (ceea ce nu va face rău), cu atât mai mult cu cât studenții noștri primesc abilități practice și cunoștințe care îi pot transforma în adevărați data scientists.
Alte cursuri
Citește mai mult
Sursa: habr.com
