{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Cum s\u0103 recuno\u0219ti un \u0219arlatan \u00een Data Science?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Cum<\/a><\/noindex>
\nProbabil c\u0103 ai auzit despre anali\u0219ti, speciali\u0219ti \u00een \u00eenv\u0103\u021bare automat\u0103 \u0219i inteligen\u021b\u0103 artificial\u0103, dar ai auzit de cei care sunt pl\u0103ti\u021bi pe nedrept? \u00cent\u00e2lne\u0219te \u0219arlatanii datelor<\/strong>! Ace\u0219ti dibaci, atra\u0219i de un loc de munc\u0103 profitabil, creeaz\u0103 o reputa\u021bie proast\u0103 pentru adev\u0103ra\u021bii speciali\u0219ti \u00een analiza datelor. \u00cen acest material, ne vom ocupa de modul \u00een care s\u0103 expunem astfel de persoane.
\n<\/a><\/noindex><\/p>\n

\u0218arlatanii datelor sunt peste tot<\/h2>\n

\n\u0218arlatanii datelor sunt at\u00e2t de buni la a se ascunde la vedere, \u00eenc\u00e2t tu po\u021bi fi unul dintre ei<\/i>, f\u0103r\u0103 s\u0103-\u021bi dai seama. Cel mai probabil, organiza\u021bia ta a ascuns acestor dibaci de ani de zile, dar exist\u0103 o veste bun\u0103: ei sunt u\u0219or de identificat, dac\u0103 \u0219tii ce s\u0103 cau\u021bi.
\nPrimul semn de avertizare \u2014 ne\u00een\u021belegerea faptului c\u0103 analiza \u0219i statistica sunt discipline foarte diferite<\/strong>. \u00ce\u021bi voi explica acest lucru.<\/p>\n

Discipline diferite<\/h2>\n

\nStatisticienii sunt preg\u0103ti\u021bi s\u0103 fac\u0103 concluzii despre ceea ce dep\u0103\u0219e\u0219te datele lor, anali\u0219tii sunt preg\u0103ti\u021bi s\u0103 studieze con\u021binutul unui set de date. Cu alte cuvinte, anali\u0219tii fac concluzii despre ceea ce se g\u0103se\u0219te \u00een datele lor, iar statisticienii fac concluzii despre ceea ce nu exist\u0103 \u00een date. Anali\u0219tii ajut\u0103 la formularea \u00eentreb\u0103rilor bune (\u00eenaintarea ipotezelor), iar statisticienii ajut\u0103 la ob\u021binerea r\u0103spunsurilor corecte (verificarea ipotezelor).<\/p>\n

Exist\u0103 de asemenea roluri hibride neobi\u0219nuite, atunci c\u00e2nd o persoan\u0103 \u00eencearc\u0103 s\u0103 stea pe dou\u0103 scaune... De ce nu? Principiul de baz\u0103 al \u0219tiin\u021bei datelor: dac\u0103 te ocupi de incertitudine, nu po\u021bi folosi acela\u0219i<\/i> punct de date pentru ipoteze \u0219i verificare. C\u00e2nd datele sunt limitate, incertitudinea te oblig\u0103 s\u0103 alegi \u00eentre statistic\u0103 sau analiz\u0103. Explica\u021bie<\/i> aici<\/i><\/a><\/noindex>.<\/p>\n

F\u0103r\u0103 statistic\u0103, vei r\u0103m\u00e2ne blocat \u0219i nu vei putea \u00een\u021belege dac\u0103 afirma\u021bia proasp\u0103t formulat\u0103 rezist\u0103 criticii, iar f\u0103r\u0103 analiz\u0103 te mi\u0219ti \u00een orb, av\u00e2nd pu\u021bine \u0219anse de a \u00eembl\u00e2nzi necunoscutul. Este o alegere dificil\u0103.<\/p>\n

Ie\u0219irea \u0219arlatanului din aceast\u0103 situa\u021bie este s\u0103 o ignore, apoi s\u0103 se fac\u0103 c\u0103 este surprins de ceea ce se descoper\u0103 brusc. Logica verific\u0103rii ipotezelor statistice se reduce la \u00eentrebarea: sunt datele suficient de surprinz\u0103toare pentru a ne schimba opinia? Cum putem fi surprin\u0219i de date, dac\u0103 le-am v\u0103zut deja?<\/p>\n

De fiecare dat\u0103 c\u00e2nd \u0219arlatanii g\u0103sesc un tipar, ei sunt inspira\u021bi, apoi verific\u0103 acelea\u0219i date<\/i> pentru ale aceluia\u0219i tipar<\/i>, pentru a publica rezultatul cu o valoare p legitim\u0103 sau dou\u0103, al\u0103turi de teoria lor. A\u0219a f\u0103c\u00e2nd, ei te mint (\u0219i, poate, pe ei \u00een\u0219i\u0219i). O astfel de valoare p nu are importan\u021b\u0103 dac\u0103 nu \u00ee\u021bi sus\u021bii ipoteza. la<\/b> din modul \u00een care \u0219i-au examinat datele. Charlatanii imit\u0103 ac\u021biunile anali\u0219tilor \u0219i statisticienilor f\u0103r\u0103 a \u00een\u021belege cauzele. Din acest motiv, \u00eentreaga domeniu al \u0219tiin\u021bei datelor are o reputa\u021bie proast\u0103.<\/p>\n

Statisticienii adev\u0103ra\u021bi \u00ee\u0219i formuleaz\u0103 \u00eentotdeauna concluziile.<\/h2>\n

\nDatorit\u0103 reputa\u021biei aproape mistice a speciali\u0219tilor \u00een statistic\u0103 care se ocup\u0103 de ra\u021bionamente riguroase, cantitatea de informa\u021bii false \u00een \u0219tiin\u021ba datelor este la cel mai \u00eenalt nivel. E u\u0219or s\u0103 \u00een\u0219eli f\u0103r\u0103 a fi prins, mai ales dac\u0103 victima nep\u0103s\u0103toare crede c\u0103 totul \u021bine de ecua\u021bii \u0219i date. Un set de date este un set de date, nu-i a\u0219a? Nu. Conteaz\u0103 modul \u00een care \u00eel folose\u0219ti.<\/p>\n

Din fericire, ai nevoie doar de un singur indiciu pentru a-i prinde pe charlatani: ei \u201eredescoper\u0103 America retroactiv\u201d. Redescoperind fenomene care le sunt deja cunoscute, prezente \u00een date. <\/p>\n

Spre deosebire de charlatani, anali\u0219tii buni nu au prejudec\u0103\u021bi \u0219i \u00een\u021beleg c\u0103 ideile inspiratoare pot avea multe explica\u021bii diferite. \u00cen acela\u0219i timp, statisticienii buni \u00ee\u0219i definesc cu precizie concluziile \u00eenainte de a le formula.<\/p>\n

Anali\u0219tii sunt scuti\u021bi de responsabilitate\u2026 p\u00e2n\u0103 c\u00e2nd ies din limitele datelor lor. Dac\u0103 simt tenta\u021bia de a declara ceva ce nu au v\u0103zut, acesta este cu totul un alt tip de munc\u0103. Ar trebui s\u0103 \u201e\u00ee\u0219i dea jos \u00eenc\u0103l\u021b\u0103mintea\u201d de analist \u0219i s\u0103 \u201ese \u00eencaltze\u201d \u00een pantofii unui statistician. La urma urmei, indiferent de titlul oficial al postului, nu exist\u0103 nicio regul\u0103 care s\u0103 interzic\u0103 studierea ambelor profesii, dac\u0103 \u00ee\u0219i doresc. Doar nu le confunda.<\/p>\n

Dac\u0103 te pricepi bine la statistic\u0103, nu \u00eenseamn\u0103 c\u0103 te pricepi la analiz\u0103 \u0219i invers. Dac\u0103 cineva \u00eencearc\u0103 s\u0103-\u021bi spun\u0103 contrariul, ar trebui s\u0103 te \u00eengrijorezi. Dac\u0103 aceast\u0103 persoan\u0103 \u00ee\u021bi spune c\u0103 este permis s\u0103 faci o concluzie statistic\u0103 pe datele pe care le-ai studiat deja, acesta este un motiv dublu pentru a fi prudent.<\/p>\n

Explica\u021bii ciudate<\/h2>\n

\nObserv\u00e2nd vr\u0103jitorii de date \u00een s\u0103lb\u0103ticie, ve\u021bi observa c\u0103 le place s\u0103 inventeze pove\u0219ti fantastice pentru a \u201eexplica\u201d datele observate. Cu c\u00e2t sunt mai academice, cu at\u00e2t mai bine. Nu conteaz\u0103 c\u0103 aceste pove\u0219ti sunt ajustate retroactiv.<\/p>\n

C\u00e2nd vr\u0103jitorii fac asta - permite\u021bi-mi s\u0103 nu fiu zg\u00e2rcit cu cuvintele - mint. Niciun num\u0103r de ecua\u021bii sau concepte frumoase nu compenseaz\u0103 faptul c\u0103 au oferit o dovad\u0103 nul\u0103 a versiunilor lor. Nu v\u0103 mira\u021bi de c\u00e2te ori sunt neobi\u0219nuite explica\u021biile lor.<\/p>\n

Este la fel cu a demonstra abilit\u0103\u021bile \u201eextra-senzoriale\u201d, mai \u00eent\u00e2i arunc\u00e2nd o privire la c\u0103r\u021bile din m\u00e2inile cuiva \u0219i apoi prezic\u00e2nd ce \u021bine\u2026 ceea ce \u021bine. Aceasta este o prejudecat\u0103 a privirii retrospective, iar profesia de data scientist este plin\u0103 de ea.<\/p>\n

\"Cum<\/p>\n

Analistii spun: \u201eTocmai ai tr\u0103it cu regina de trefl\u0103\u201d. Statisticienii spun: \u201eMi-am notat ipotezele pe acest petic de h\u00e2rtie \u00eenainte s\u0103 \u00eencepem. Hai s\u0103 juc\u0103m, s\u0103 vedem unele date \u0219i s\u0103 vedem dac\u0103 am avut dreptate\u201d. Vr\u0103jitorii spun: \u201e\u0218tiam c\u0103 urmeaz\u0103 s\u0103 mergi cu aceast\u0103 regin\u0103 de trefl\u0103 pentru c\u0103\u2026\u201d <\/p>\n

\u00cemp\u0103r\u021birea datelor este o solu\u021bie rapid\u0103 la problema de care fiecare are nevoie.<\/p><\/blockquote>\n

\nC\u00e2nd nu sunt multe date, trebuie s\u0103 alegi \u00eentre statistic\u0103 \u0219i analiz\u0103, dar c\u00e2nd datele sunt din bel\u0219ug, exist\u0103 o oportunitate fantastic\u0103 de a profita de analiz\u0103 f\u0103r\u0103 trucuri. \u0219i<\/i> statistic\u0103. Ave\u021bi o ap\u0103rare perfect\u0103 \u00eempotriva vr\u0103jitorilor - aceasta este \u00eemp\u0103r\u021birea datelor \u0219i, \u00een opinia mea, este cea mai puternic\u0103 idee \u00een Data Science. <\/p>\n

Pentru a te proteja de vr\u0103jitori, tot ce trebuie s\u0103 faci este s\u0103 te asiguri c\u0103 p\u0103strezi unele date de test \u00een afara cuvintelor lor curioase, iar apoi s\u0103 prive\u0219ti tot restul ca pe o analiz\u0103. C\u00e2nd te confrun\u021bi cu o teorie pe care ri\u0219ti s\u0103 o accep\u021bi, folose\u0219te-o pentru a evalua situa\u021bia, apoi deschide datele tale secrete de test pentru a verifica c\u0103 teoria nu este o absurditate. E at\u00e2t de simplu!<\/p>\n

\"Cum
\nAsigur\u0103-te c\u0103 nimeni nu are voie s\u0103 vizualizeze datele de test \u00een etapa de cercetare. \u00cen acest scop, respect\u0103 datele de cercetare. Datele de test nu trebuie folosite pentru analiz\u0103.<\/p>\n

Este este un pas mare \u00eenainte comparativ cu ceea ce oamenii erau obi\u0219nui\u021bi \u00een era \u201edatelor mici\u201d, c\u00e2nd trebuia s\u0103 explici de unde \u0219tii ceea ce \u0219tii pentru a-i convinge, \u00een cele din urm\u0103, pe oameni c\u0103 \u0219tii cu adev\u0103rat ceva.<\/p>\n

Aplic\u0103m acelea\u0219i reguli pentru ML\/AI<\/h2>\n

\nAnumi\u021bi \u0219arlatani care se dau drept exper\u021bi \u00een domeniul ML\/AI pot fi de asemenea u\u0219or identifica\u021bi. Vei s\u0103-i prind\u0103 la fel cum ai prinde orice inginer prost: \u201esolu\u021biile\u201d pe care \u00eencearc\u0103 s\u0103 le construiasc\u0103 e\u0219ueaz\u0103 constant. Un semn de avertizare timpurie este lipsa de experien\u021b\u0103 \u00een lucrul cu limbajele \u0219i bibliotecile de programare standard din industrie.<\/p>\n

Dar ce zici de persoanele care creeaz\u0103 sisteme care par func\u021bionale? Cum po\u021bi \u0219ti c\u0103 se \u00eent\u00e2mpl\u0103 ceva suspect? Se aplic\u0103 aceea\u0219i regul\u0103! \u0218arlatanul este un personaj sinistru care \u00ee\u021bi arat\u0103 c\u00e2t de bine a func\u021bionat modelul\u2026 pe acelea\u0219i date pe care le-au folosit pentru a crea modelul.<\/p>\n

Dac\u0103 ai creat un sistem de \u00eenv\u0103\u021bare automat\u0103 extrem de complex, cum po\u021bi \u0219ti c\u00e2t de bun este? Nu vei \u0219ti p\u00e2n\u0103 nu ar\u0103\u021bi c\u0103 func\u021bioneaz\u0103 cu date noi pe care nu le-a v\u0103zut \u00eenainte.<\/p>\n

C\u00e2nd ai v\u0103zut datele \u00eenainte de a face prognoze - este pu\u021bin probabil c\u0103 este pre<\/i>dic\u021bie.<\/p><\/blockquote>\n

\nC\u00e2nd ai suficiente date pentru a face o diviziune, nu trebuie s\u0103 te referi la frumuse\u021bea formul\u0103rilor tale pentru a justifica proiectul (o veche obi\u0219nuin\u021b\u0103 pe care o v\u0103d peste tot, nu doar \u00een \u0219tiin\u021b\u0103). Po\u021bi spune: \u201e\u0218tiu c\u0103 func\u021bioneaz\u0103 pentru c\u0103 pot lua un set de date pe care nu l-am v\u0103zut \u00eenainte \u0219i pot prezice cu exactitate ce se va \u00eent\u00e2mpla\u2026 \u0219i voi avea dreptate. Din nou \u0219i din nou.\u201d<\/i><\/p>\n

Verificarea modelului\/talei tale pe date noi este cea mai bun\u0103 baz\u0103 pentru \u00eencredere.<\/p><\/blockquote>\n

\nNu tolerez \u0219arlatanii datelor. Nu-mi pas\u0103 dac\u0103 opinia ta se bazeaz\u0103 pe diferite trucuri. Nu m\u0103 impresioneaz\u0103 frumuse\u021bea explica\u021biilor. Arat\u0103-mi c\u0103 teoria\/modelul t\u0103u func\u021bioneaz\u0103 (\u0219i continu\u0103 s\u0103 func\u021bioneze) pe o serie de date noi pe care nu le-ai v\u0103zut vreodat\u0103 \u00eenainte. Asta este adev\u0103rata testare a robuste\u021bii opiniei tale.<\/p>\n

Consultarea speciali\u0219tilor \u00een domeniul Data Science<\/h2>\n

\nDac\u0103 vrei s\u0103 fii luat \u00een serios de to\u021bi cei care \u00een\u021beleg acest umor, \u00eenceteaz\u0103 s\u0103 te ascunzi \u00een spatele unor ecua\u021bii ciudate pentru a-\u021bi sus\u021bine prejudec\u0103\u021bile personale. Arat\u0103 ceea ce ai. Dac\u0103 vrei ca cei care \u201eau \u00een\u021beles\u201d s\u0103 considere teoria\/modelul t\u0103u ceva mai mult dec\u00e2t o poezie inspiratoare, ai curajul s\u0103 faci o prezentare grandioas\u0103 a c\u00e2t de bine func\u021bioneaz\u0103 pe un set de date complet nou... \u00een fa\u021ba martorilor!<\/p>\n

Apel c\u0103tre lideri<\/h2>\n

\nRefuz\u0103 s\u0103 iei \u00een serios orice \u201eidei\u201d despre date, p\u00e2n\u0103 c\u00e2nd nu sunt verificate pe noi<\/i> date. Nu ai chef s\u0103 depui efort? R\u0103m\u00e2i la analiz\u0103, dar nu te baza pe aceste idei \u2014 sunt nesigure \u0219i nu au fost verificate pentru fiabilitate. \u00cen plus, atunci c\u00e2nd o organiza\u021bie dispune de date \u00een abunden\u021b\u0103, nu exist\u0103 niciun dezavantaj \u00een a face separarea o temelie \u00een \u0219tiin\u021b\u0103 \u0219i a o men\u021bine la nivelul infrastructurii, control\u00e2nd accesul la datele de testare pentru statistic\u0103. Este o metod\u0103 excelent\u0103 de a opri \u00eencerc\u0103rile de a te p\u0103c\u0103li!<\/p>\n

Dac\u0103 vrei s\u0103 vezi mai multe exemple de \u0219arlatani conspira\u021bi pentru ceva nepl\u0103cut \u2014 iat\u0103 un fir minunat pe Twitter<\/a><\/noindex>.<\/p>\n

Concluzii<\/h2>\n

\nC\u00e2nd datele sunt prea pu\u021bine pentru separare, doar un \u0219arlatan \u00eencearc\u0103 s\u0103 urmeze strict inspira\u021bia, redescoperind America \u00een mod retrospectiv, redescoperind matematic fenomene despre care se \u0219tie deja c\u0103 exist\u0103 \u00een date \u0219i numind surpriza semnificativ\u0103 din punct de vedere statistic. Aceasta \u00eei deosebe\u0219te de un analist impar\u021bial care se ocup\u0103 cu inspira\u021bia \u0219i de un statistician meticulos care ofer\u0103 dovezi \u00een timpul prognozelor.<\/p>\n

C\u00e2nd sunt multe date, f\u0103-\u021bi un obicei din a separa datele, astfel vei putea avea cele mai bune din ambele lumi! Asigur\u0103-te c\u0103 faci analiza \u0219i statisticile separat, pe submul\u021bimi distincte ale amestecului original de date.<\/p>\n