{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Ako rozpozna\u0165 \u0161arlat\u00e1na v Data Science?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Ako<\/a><\/noindex>
\nMo\u017eno ste po\u010duli o analytikoch, odborn\u00edkoch na strojov\u00e9 u\u010denie a umel\u00fa inteligenciu, ale po\u010duli ste u\u017e o t\u00fdch, ktor\u00fdm nezasl\u00fa\u017eene prepl\u00e1caj\u00fa? Predstavujeme v\u00e1m d\u00e1tov\u00e9ho \u0161arlat\u00e1na<\/strong>! T\u00edto podvodn\u00edci, ktor\u00fdch l\u00e1ka ziskov\u00e1 pr\u00e1ca, vytv\u00e1raj\u00fa zl\u00fa poves\u0165 skuto\u010dn\u00fdm odborn\u00edkom na spracovanie d\u00e1t. V tejto spr\u00e1ve sa zaober\u00e1me t\u00fdm, ako odhali\u0165 tak\u00fdchto \u013eud\u00ed.
\n<\/a><\/noindex><\/p>\n

D\u00e1tov\u00ed \u0161arlat\u00e1ni s\u00fa v\u0161ade<\/h2>\n

\nD\u00e1tov\u00ed \u0161arlat\u00e1ni s\u00fa tak dobre schovan\u00ed na o\u010diach, \u017ee by ste mohli by\u0165 jedn\u00fdm z nich<\/i>, ani si toho nie ste vedom\u00ed. Va\u0161a organiz\u00e1cia pravdepodobne roky ukr\u00fdvala t\u00fdchto podvodn\u00edkov, ale je dobr\u00e1 spr\u00e1va: je ich \u013eahk\u00e9 identifikova\u0165, ak viete, \u010do h\u013eada\u0165.
\nPrv\u00e9 varovn\u00e9 znamenie \u2014 nepochopenie toho, \u017ee anal\u00fdza a \u0161tatistika s\u00fa ve\u013emi odli\u0161n\u00e9 discipl\u00edny<\/strong>. \u010ealej to vysvetl\u00edm.<\/p>\n

R\u00f4zne discipl\u00edny<\/h2>\n

\n\u0160tatistici s\u00fa \u0161kolen\u00ed, aby robili z\u00e1very o tom, \u010do presahuje ich d\u00e1ta, analytici s\u00fa \u0161kolen\u00ed na sk\u00famanie obsahu s\u00faboru d\u00e1t. In\u00fdmi slovami, analytici robia z\u00e1very o tom, \u010do sa nach\u00e1dza v ich d\u00e1tach, zatia\u013e \u010do \u0161tatistici robia z\u00e1very o tom, \u010do v d\u00e1tach ch\u00fdba. Analytici pom\u00e1haj\u00fa kl\u00e1s\u0165 dobr\u00e9 ot\u00e1zky (predklada\u0165 hypot\u00e9zy), zatia\u013e \u010do \u0161tatistici pom\u00e1haj\u00fa z\u00edskava\u0165 dobr\u00e9 odpovede (overova\u0165 hypot\u00e9zy).<\/p>\n

Existuj\u00fa aj zauj\u00edmav\u00e9 hybridn\u00e9 funkcie, kde sa osoba sna\u017e\u00ed sedie\u0165 na dvoch stoli\u010dk\u00e1ch\u2026 Pre\u010do nie? Z\u00e1kladn\u00fd princ\u00edp d\u00e1tovej vedy: ak pracujete s neistotou, nem\u00f4\u017eete pou\u017ei\u0165 t\u00fa ist\u00fa<\/i> d\u00e1tov\u00fa hodnotu pre hypot\u00e9zy a testovanie. Ke\u010f s\u00fa d\u00e1ta obmedzen\u00e9, neistota n\u00fati vybra\u0165 si medzi \u0161tatistikou alebo anal\u00fdzou. Vysvetlenie<\/i> tu<\/i><\/a><\/noindex>.<\/p>\n

Bez \u0161tatistiky uviaznete a nebudete schopn\u00ed pochopi\u0165, \u010di pr\u00e1ve formulovan\u00fd verdikt odol\u00e1va kritike, a bez anal\u00fdzy sa pohybujete poslepo, s malou n\u00e1dejou skroti\u0165 nezn\u00e1me. Je to \u0165a\u017ek\u00e9 rozhodnutie.<\/p>\n

\u00danik \u0161arlat\u00e1na z tejto situ\u00e1cie \u2014 ignorova\u0165 ju a potom predstiera\u0165 prekvapenie, ke\u010f sa zrazu objav\u00ed. Logika testovania \u0161tatistick\u00fdch hypot\u00e9z sa zni\u017euje na ot\u00e1zku: s\u00fa d\u00e1ta dos\u0165 prekvapuj\u00face, aby zmenili n\u00e1\u0161 n\u00e1zor? Ako m\u00f4\u017eeme by\u0165 prekvapen\u00ed d\u00e1tami, ke\u010f sme ich u\u017e videli?<\/p>\n

Pri ka\u017edom n\u00e1jden\u00ed vzoru sa \u0161arlat\u00e1ni in\u0161piruj\u00fa, a potom testuj\u00fa tie ist\u00e9 d\u00e1ta<\/i> pre t\u00e9ho\u017e vzoru<\/i>, aby ste publikovali v\u00fdsledok s legit\u00edmnou p-hodnotou alebo dvoma ved\u013ea svojej te\u00f3rie. Takto v\u00e1m klam\u00fa (a mo\u017eno aj sebe sam\u00fdm). Tak\u00e1 p-hodnota nehr\u00e1 rolu, ak sa nedr\u017e\u00edte svojej hypot\u00e9zy. do<\/b> iba to, ako si prezreli svoje \u00fadaje. \u0160arlat\u00e1ni napodob\u0148uj\u00fa \u010dinnos\u0165 analytikov a \u0161tatist\u00edk bez pochopenia pr\u00ed\u010din. V d\u00f4sledku toho m\u00e1 cel\u00e1 oblas\u0165 d\u00e1tovej vedy zl\u00fa poves\u0165.<\/p>\n

Prav\u00ed \u0161tatistici v\u017edy vyvodzuj\u00fa svoje z\u00e1very.<\/h2>\n

\nV\u010faka skoro mystickej povahe \u0161pecialistov na \u0161tatistiku, ktor\u00ed sa zaoberaj\u00fa pr\u00edsnymi \u00favahami, je mno\u017estvo falo\u0161n\u00fdch inform\u00e1ci\u00ed v oblasti Data Science na rekordne vysokej \u00farovni. Je \u013eahk\u00e9 oklama\u0165 a neodhali\u0165 podvod, najm\u00e4 ak ni\u010d netu\u0161iaca obe\u0165 mysl\u00ed, \u017ee v\u0161etko z\u00e1vis\u00ed od rovn\u00edc a \u00fadajov. D\u00e1tov\u00fd s\u00fabor je d\u00e1tov\u00fd s\u00fabor, \u017ee? Nie. Z\u00e1le\u017e\u00ed na tom, ako ho pou\u017e\u00edvate.<\/p>\n

Na\u0161\u0165astie potrebujete iba jednu n\u00e1povedu na odhalenie \u0161arlat\u00e1nov: objavuj\u00fa \u201eAmeriku sp\u00e4tne\u201c. Znovu objavuj\u00fa javy, o ktor\u00fdch u\u017e vedia, \u017ee s\u00fa pr\u00edtomn\u00e9 v \u00fadajoch. <\/p>\n

Na rozdiel od \u0161arlat\u00e1nov dobr\u00ed analytici nemaj\u00fa predsudky a ch\u00e1pu, \u017ee in\u0161piruj\u00face n\u00e1pady m\u00f4\u017eu ma\u0165 mnoho r\u00f4znych vysvetlen\u00ed. Z\u00e1rove\u0148 dobr\u00ed \u0161tatistici starostlivo definuj\u00fa svoje z\u00e1very sk\u00f4r, ne\u017e ich vyvodia.<\/p>\n

Analytici s\u00fa zbaven\u00ed zodpovednosti... pokia\u013e neprekro\u010dia hranice svojich \u00fadajov. Ak ich l\u00e1ka vyhl\u00e1si\u0165 nie\u010do, \u010do nevideli, je to celkom in\u00e1 pr\u00e1ca. Mali by \u201ezlo\u017ei\u0165 top\u00e1nky\u201c analytika a \u201eprezu\u0165\u201c sa do top\u00e1nok \u0161tatistika. Napokon, nech u\u017e je ofici\u00e1lny n\u00e1zov ich poz\u00edcie ak\u00fdko\u013evek, neexistuje pravidlo, ktor\u00e9 by zakazovalo \u0161tudova\u0165 oba profesie, ak si to prajete. Iba ich nemie\u0161ajte.<\/p>\n

Ak sa dobre vyzn\u00e1te v \u0161tatistike, neznamen\u00e1 to, \u017ee sa dobre vyzn\u00e1te v analytike, a naopak. Ak v\u00e1m niekto tvrd\u00ed opak, stoj\u00ed za to by\u0165 obozretn\u00fd. Ak v\u00e1m t\u00e1to osoba ozn\u00e1mi, \u017ee je povolen\u00e9 robi\u0165 \u0161tatistick\u00e9 z\u00e1very na \u00fadajoch, ktor\u00e9 ste u\u017e presk\u00famali, je to d\u00f4vod na dvojn\u00e1sobn\u00fa obozretnos\u0165.<\/p>\n

Bizarn\u00e9 vysvetlenia<\/h2>\n

\nKe\u010f pozorujete d\u00e1tov\u00fdch podvodn\u00edkov v divo\u010dine, m\u00f4\u017eete si v\u0161imn\u00fa\u0165, \u017ee radi vym\u00fd\u0161\u013eaj\u00fa fantastick\u00e9 pr\u00edbehy, aby \"vysvetlili\" pozorovan\u00e9 \u00fadaje. \u010c\u00edm akademickej\u0161ie, t\u00fdm lep\u0161ie. Nez\u00e1le\u017e\u00ed na tom, \u017ee s\u00fa tieto pr\u00edbehy posp\u00e1jan\u00e9 sp\u00e4tne.<\/p>\n

Ke\u010f sa podvodn\u00edci takto spr\u00e1vaj\u00fa \u2014 dovolte mi by\u0165 \u00faprimn\u00fd \u2014 klam\u00fa. \u017diadne mno\u017estvo rovn\u00edc alebo pekn\u00e9 koncepty nekompenzuj\u00fa skuto\u010dnos\u0165, \u017ee neposkytli nijak\u00e9 d\u00f4kazy pre svoje verzia. Nezabudnite, ak\u00e9 zvl\u00e1\u0161tne s\u00fa ich vysvetlenia.<\/p>\n

Je to to ist\u00e9, ako predvies\u0165 svoje \"extrasondorn\u00e9\" schopnosti, najprv sa pozrie\u0165 na karty v ruk\u00e1ch a potom predpoveda\u0165, \u010do dr\u017e\u00edte\u2026 to, \u010do m\u00e1te v ruke. Je to predsudok sp\u00e4tnej v\u00e4zby, a profesia d\u00e1tov\u00e9ho vedca je t\u00fdmto prepchat\u00e1 a\u017e po okraj.<\/p>\n

\"Ako<\/p>\n

Analytici hovoria: \u201ePr\u00e1ve ste \u0161li s k\u00e1rom kr\u00e1\u013eovnej m\u0155tvych.\u201c \u0160tatistici hovoria: \u201eZap\u00edsal som svoje hypot\u00e9zy na tento k\u00fasok papiera predt\u00fdm, ne\u017e sme za\u010dali. Po\u010fme si zahra\u0165, pozrie\u0165 sa na niektor\u00e9 d\u00e1ta a zisti\u0165, \u010di m\u00e1m pravdu.\u201d Podvodn\u00edci hovoria: \u201eVedela som, \u017ee sa chyst\u00e1te \u00eds\u0165 s kr\u00e1\u013eovnou m\u0155tvych, preto\u017ee\u2026\u201c <\/p>\n

Rozdelenie \u00fadajov je r\u00fdchle rie\u0161enie probl\u00e9mu, ktor\u00e9 ka\u017ed\u00fd potrebuje.<\/p><\/blockquote>\n

\nKe\u010f je d\u00e1t m\u00e1lo, mus\u00edte si vybra\u0165 medzi \u0161tatistikou a analytikou, ale ke\u010f je d\u00e1t dostatok, je skvel\u00e1 pr\u00edle\u017eitos\u0165 na bezklamn\u00fa vyu\u017eitie analytiky. a<\/i> \u0160tatistika. M\u00e1te dokonal\u00fa ochranu proti podvodn\u00edkom \u2014 je to rozdelenie \u00fadajov a pod\u013ea m\u0148a je to najsilnej\u0161ia my\u0161lienka v oblasti d\u00e1tovej vedy. <\/p>\n

Aby ste sa chr\u00e1nili pred podvodn\u00edkmi, v\u0161etko, \u010do mus\u00edte urobi\u0165, je zabezpe\u010di\u0165, aby ste uchov\u00e1vali nejak\u00e9 testovacie \u00fadaje mimo dosahu ich zvedav\u00fdch o\u010d\u00ed, a potom sa na v\u0161etko ostatn\u00e9 pozera\u0165 ako na analytiku. Ke\u010f sa stret\u00e1vate s te\u00f3riou, ktor\u00fa by ste mohli prija\u0165, pou\u017eite ju na hodnotenie situ\u00e1cie a potom odhal\u00edte svoje tajn\u00e9 testovacie \u00fadaje, aby ste overili, \u017ee te\u00f3ria nie je nezmysel. Je to tak\u00e9 jednoduch\u00e9!<\/p>\n

\"Ako
\nUistite sa, \u017ee nikomu nie je povolen\u00e9 prezera\u0165 testovacie \u00fadaje v \u0161t\u00e1diu v\u00fdskumu. Na to sa dr\u017ete v\u00fdskumn\u00fdch \u00fadajov. Testovacie \u00fadaje by sa nemali pou\u017e\u00edva\u0165 na anal\u00fdzu.<\/p>\n

Toto je ve\u013ek\u00fd krok vpred v porovnan\u00ed s t\u00fdm, na \u010do s\u00fa \u013eudia zvyknut\u00ed v \u00e9re \"mal\u00fdch \u00fadajov\", ke\u010f mus\u00edte vysvetli\u0165, odkia\u013e viete to, \u010do viete, aby ste kone\u010dne presved\u010dili \u013eud\u00ed, \u017ee naozaj nie\u010do viete.<\/p>\n

Pou\u017e\u00edvame tie ist\u00e9 pravidl\u00e1 pre ML\/AI.<\/h2>\n

\nNiektor\u00fdch podvodn\u00edkov, ktor\u00ed sa vyd\u00e1vaj\u00fa za expertov v oblasti ML\/AI, je tie\u017e \u013eahk\u00e9 odhali\u0165. Chy\u0165te ich rovnako, ako by ste chytili ak\u00e9hoko\u013evek in\u00e9ho zl\u00e9ho in\u017einiera: \"rie\u0161enia\", ktor\u00e9 sa sna\u017eia postavi\u0165, neust\u00e1le zlyh\u00e1vaj\u00fa. Ran\u00fdm varovn\u00fdm sign\u00e1lom je nedostatok sk\u00fasenost\u00ed s \u0161tandardn\u00fdmi priemyseln\u00fdmi jazykmi a kni\u017enicami programovania.<\/p>\n

Ale \u010do \u013eudia, ktor\u00ed vytv\u00e1raj\u00fa syst\u00e9my, ktor\u00e9 sa zdaj\u00fa fungova\u0165? Ako zisti\u0165, \u017ee sa deje nie\u010do podozriv\u00e9? Pou\u017e\u00edva sa to ist\u00e9 pravidlo! Podvodn\u00edk je podozriv\u00e1 postava, ktor\u00e1 v\u00e1m ukazuje, ako dobre model fungoval... na t\u00fdch ist\u00fdch \u00fadajoch, ktor\u00e9 pou\u017eili na vytvorenie modelu.<\/p>\n

Ak ste vytvorili \u0161ialene zlo\u017eit\u00fd syst\u00e9m strojov\u00e9ho u\u010denia, ako zist\u00edte, ak\u00fd je dobr\u00fd? Nebudete to vedie\u0165, k\u00fdm neuk\u00e1\u017eete, \u017ee funguje s nov\u00fdmi \u00fadajmi, ktor\u00e9 predt\u00fdm nevidel.<\/p>\n

Ke\u010f ste videli \u00fadaje pred predpovedan\u00edm - sotva to je pred<\/i>predpovedanie.<\/p><\/blockquote>\n

\nKe\u010f m\u00e1te dostatok \u00fadajov na rozdelenie, nemus\u00edte sa odvol\u00e1va\u0165 na kr\u00e1su va\u0161ich vzorcov, aby ste obh\u00e1jili projekt (t\u00e1to star\u00e1 m\u00f3da je nie\u010do, \u010do vid\u00edm v\u0161ade, nielen v vede). M\u00f4\u017eete poveda\u0165: \"Vieme, \u017ee to funguje, preto\u017ee m\u00f4\u017eem vzia\u0165 s\u00fabor \u00fadajov, ktor\u00fd som predt\u00fdm nevidel, a presne predpoveda\u0165, \u010do sa tam stane... a budem ma\u0165 pravdu. Znova a znova.\"<\/i><\/p>\n

Overenie v\u00e1\u0161ho modelu\/te\u00f3rie na nov\u00fdch \u00fadajoch je najlep\u0161\u00edm z\u00e1kladom pre d\u00f4veru.<\/p><\/blockquote>\n

\nNetrp\u00edm podvodn\u00edkmi s \u00fadajmi. Je mi jedno, \u010di sa v\u00e1\u0161 n\u00e1zor opiera o r\u00f4zne triky. Neohromuje ma kr\u00e1sa vysvetlen\u00ed. Uk\u00e1\u017ete mi, \u017ee va\u0161a te\u00f3ria \/ model funguje (a na\u010falej funguje) na celom rade nov\u00fdch \u00fadajov, ktor\u00e9 ste nikdy predt\u00fdm nevideli. To je prav\u00e1 sk\u00fa\u0161ka odolnosti v\u00e1\u0161ho n\u00e1zoru.<\/p>\n

Obr\u00e1tenie sa na odborn\u00edkov v oblasti Data Science.<\/h2>\n

\nAk m\u00e1te z\u00e1ujem, aby v\u00e1s v\u0161etci, ktor\u00ed rozumej\u00fa tomuto humoru, brali v\u00e1\u017ene, presta\u0148te sa skr\u00fdva\u0165 za \u010dudn\u00fdmi rovnicami, aby ste podporili osobn\u00e9 predsudky. Uk\u00e1\u017ete, \u010do m\u00e1te. Ak si \u017eel\u00e1te, aby t\u00ed, ktor\u00ed \"pochopili\", pova\u017eovali va\u0161u te\u00f3riu\/model za nie\u010do viac ne\u017e len in\u0161piruj\u00facu po\u00e9ziu, majte odvahu predvies\u0165, ako dobre funguje na \u00faplne novej sade d\u00e1t... pred svedkami!<\/p>\n

Obr\u00e1tenie sa na ved\u00facich pracovn\u00edkov<\/h2>\n

\nOdmietajte bra\u0165 v\u00e1\u017ene ak\u00e9ko\u013evek \"my\u0161lienky\" o d\u00e1tach, pokia\u013e neboli overen\u00e9 na nov\u00e9<\/i> d\u00e1tach. Nechce sa v\u00e1m vynalo\u017ei\u0165 \u00fasilie? Dr\u017ete sa analytiky, ale nespoliehajte sa na tieto my\u0161lienky \u2014 s\u00fa nepresetn\u00e9 a neboli overen\u00e9 na spo\u013eahlivos\u0165. Okrem toho, ke\u010f m\u00e1 organiz\u00e1cia dostatok d\u00e1t, nie je \u017eiadny nedostatok v tom, aby sa rozdelenie stalo z\u00e1kladom vedy a udr\u017eiavalo sa na \u00farovni infra\u0161trukt\u00fary, pri\u010dom sa kontroluje pr\u00edstup k testovac\u00edm d\u00e1tam pre \u0161tatistiku. To je skvel\u00fd sp\u00f4sob, ako zastavi\u0165 pokusy o podvod!<\/p>\n

Ak chcete vidie\u0165 viac pr\u00edkladov \u0161arlat\u00e1nov, ktor\u00ed zam\u00fd\u0161\u013eaj\u00fa nie\u010do zl\u00e9 \u2014 tu je \u00fa\u017easn\u00fd thread na Twitteri<\/a><\/noindex>.<\/p>\n

Zhrnutie<\/h2>\n

\nKe\u010f s\u00fa d\u00e1ta nedostato\u010dn\u00e9 pre rozdelenie, len \u0161arlat\u00e1n sa sna\u017e\u00ed striktne dodr\u017eiava\u0165 in\u0161pir\u00e1ciu odha\u013euj\u00fac Ameriku retrospekt\u00edvne, matematicky znovuobjavuj\u00fac javy, o ktor\u00fdch je u\u017e zn\u00e1me, \u017ee sa nach\u00e1dzaj\u00fa v d\u00e1tach, a naz\u00fdvaj\u00fac prekvapenie \u0161tatisticky v\u00fdznamn\u00fdm. To ich odli\u0161uje od nestrann\u00e9ho analytika, ktor\u00fd sa zaober\u00e1 in\u0161pir\u00e1ciou, a d\u00f4vtipn\u00e9ho \u0161tatistika, ktor\u00fd poskytuje d\u00f4kazy pri predpovedan\u00ed.<\/p>\n

Ke\u010f m\u00e1te ve\u013ea d\u00e1t, vytvorte si zvyk rozde\u013eova\u0165 d\u00e1ta, tak si m\u00f4\u017eete vychutna\u0165 to najlep\u0161ie z oboch svetov! Nezabudnite robi\u0165 analytiku a \u0161tatistiku oddelene na jednotliv\u00fdch podmno\u017ein\u00e1ch p\u00f4vodn\u00e9ho nahromadenia d\u00e1t.<\/p>\n