{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hu\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Hogyan ismerj\u00fck fel a csal\u00f3kat a Data Science ter\u00fclet\u00e9n?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Hogyan<\/a><\/noindex>
\nLehet, hogy hallott m\u00e1r az elemz\u0151kr\u0151l, g\u00e9pi tanul\u00e1sr\u00f3l \u00e9s mesters\u00e9ges intelligenci\u00e1r\u00f3l, de hallott-e m\u00e1r a t\u00fal\u00e1razott szakemberekr\u0151l? Ismerj\u00fck meg az adatcsal\u00f3kat<\/strong>! Ezek a furfangos emberek, akiket vonz a j\u00f6vedelmez\u0151 munka, rossz h\u00edrnevet adnak a val\u00f3di adatfeldolgoz\u00f3knak. Cikk\u00fcnkben elfogulatlanul vizsg\u00e1ljuk meg, hogyan lehet leleplezni ilyen embereket.
\n<\/a><\/noindex><\/p>\n

Az adatcsal\u00f3k mindenhol jelen vannak<\/h2>\n

\nAz adatcsal\u00f3k annyira j\u00f3l tudnak rejt\u0151zni a nyilv\u00e1noss\u00e1g el\u0151tt, hogy ak\u00e1r lehet egyetlen k\u00f6z\u00fcl\u00fck<\/i>, m\u00e9g csak \u00e9szre sem v\u00e9ve. Val\u00f3sz\u00edn\u0171, hogy az \u00d6n szervezete \u00e9vek \u00f3ta rejtegeti ezeket a csal\u00f3kat, de j\u00f3 h\u00edr, hogy k\u00f6nnyen azonos\u00edthat\u00f3k, ha tudja, mit keressen.
\nAz els\u0151 figyelmeztet\u0151 jel a meg\u00e9rt\u00e9s hi\u00e1nya, hogy az elemz\u00e9s \u00e9s a statisztika nagyon k\u00fcl\u00f6nb\u00f6z\u0151 tudom\u00e1ny\u00e1gak<\/strong>. Err\u0151l b\u0151vebben k\u00e9s\u0151bb.<\/p>\n

K\u00fcl\u00f6nb\u00f6z\u0151 tudom\u00e1ny\u00e1gak<\/h2>\n

\nA statisztikusokat arra k\u00e9pzik, hogy k\u00f6vetkeztet\u00e9seket vonjanak le az adatain t\u00fali dolgokr\u00f3l, m\u00edg az elemz\u0151k az adat\u00e1llom\u00e1ny tartalm\u00e1nak tanulm\u00e1nyoz\u00e1s\u00e1ra k\u00e9pzettek. M\u00e1s sz\u00f3val, az elemz\u0151k a rendelkez\u00e9sre \u00e1ll\u00f3 adatok tartalm\u00e1r\u00f3l k\u00f6vetkeztetnek, m\u00edg a statisztikusok arr\u00f3l, ami az adatokban nincs. Az elemz\u0151k seg\u00edtenek j\u00f3 k\u00e9rd\u00e9seket feltenni (hipot\u00e9zisek megfogalmaz\u00e1sa), m\u00edg a statisztikusok seg\u00edtenek j\u00f3 v\u00e1laszokat kapni (hipot\u00e9zisek tesztel\u00e9se).<\/p>\n

Van n\u00e9h\u00e1ny fura hibrid szerep is, amikor az illet\u0151 megpr\u00f3b\u00e1l k\u00e9t sz\u00e9k k\u00f6z\u00f6tt \u00fclni... Mi\u00e9rt ne? Az adatok tudom\u00e1nya alapelve: ha bizonytalans\u00e1ggal foglalkozik, nem haszn\u00e1lhatja ugyanazt a<\/i> adatpontot a hipot\u00e9zisek \u00e9s a tesztek sz\u00e1m\u00e1ra. Amikor az adatok korl\u00e1tozottak, a bizonytalans\u00e1g d\u00f6nt\u00e9s el\u00e9 \u00e1ll\u00edt a statisztika vagy az elemz\u00e9s k\u00f6z\u00f6tt. Magyar\u00e1zat<\/i> itt<\/i><\/a><\/noindex>.<\/p>\n

Statisztika n\u00e9lk\u00fcl megreked, \u00e9s nem \u00e9rti, hogy a frissen megfogalmazott kijelent\u00e9s k\u00e9pes-e ellen\u00e1llni a kritik\u00e1nak, m\u00edg elemz\u00e9s n\u00e9lk\u00fcl a s\u00f6t\u00e9tben tapogat\u00f3zik, kev\u00e9s es\u00e9llyel szel\u00edd\u00edti meg az ismeretlent. Neh\u00e9z v\u00e1laszt\u00e1s.<\/p>\n

A csal\u00f3 ki\u00fatja ebb\u0151l a helyzetb\u0151l az, hogy figyelmen k\u00edv\u00fcl hagyja azt, majd \u00fagy tesz, mintha meglep\u0151dne, amikor a dolog hirtelen kider\u00fcl. A statisztikai hipot\u00e9zisek tesztel\u00e9s\u00e9nek logik\u00e1ja egy k\u00e9rd\u00e9sre reduk\u00e1l\u00f3dik: el\u00e9g meglep\u0151ek-e az adatok ahhoz, hogy megv\u00e1ltoztass\u00e1k a v\u00e9lem\u00e9ny\u00fcnket? Hogyan lep\u0151dhet\u00fcnk meg az adatokon, ha m\u00e1r l\u00e1ttuk \u0151ket?<\/p>\n

Minden alkalommal, amikor a csal\u00f3k egy mint\u00e1t tal\u00e1lnak, inspir\u00e1l\u00f3dnak, majd tesztelik ugyanazokat az adatokat<\/i> a ugyanazon a mint\u00e1n<\/i>, hogy k\u00f6zz\u00e9tegyenek egy legitim p-\u00e9rt\u00e9ket vagy kett\u0151t, a saj\u00e1t elm\u00e9let\u00fck mellett. Ezzel hazudnak \u00f6nnek (\u00e9s tal\u00e1n saj\u00e1t maguknak is). Az ilyen p-\u00e9rt\u00e9knek nincs jelent\u0151s\u00e9ge, ha nem tartja mag\u00e1t a hipotezis\u00e9hez. t\u00f3l<\/b> arr\u00f3l, hogyan vizsg\u00e1lt\u00e1k az adataikat. A sarlat\u00e1nok ut\u00e1nozz\u00e1k az elemz\u0151k \u00e9s statisztikusok tev\u00e9kenys\u00e9g\u00e9t, an\u00e9lk\u00fcl, hogy meg\u00e9rten\u00e9k az okokat. Ennek eredm\u00e9nyek\u00e9nt a teljes adatelemz\u00e9s tudom\u00e1ny\u00e1nak rossz h\u00edre van.<\/p>\n

Az igazi statisztikusok mindig meghozz\u00e1k a k\u00f6vetkeztet\u00e9seiket.<\/h2>\n

\nA statisztika k\u00f6r\u00fcli szinte misztikus h\u00edrn\u00e9v miatt a Data Science ter\u00fclet\u00e9n eddig soha nem l\u00e1tott m\u00e9rt\u00e9k\u0171 hamis inform\u00e1ci\u00f3k terjednek. K\u00f6nny\u0171 \u00e1tverni \u00e9s nem lebukni, k\u00fcl\u00f6n\u00f6sen, ha az \u00e1ldozat gyan\u00fatlanul azt gondolja, hogy itt minden az egyenleteken \u00e9s az adatokon m\u00falik. Az adathalmaz adathalmaz, ugye? Nem. Az a l\u00e9nyeg, hogyan haszn\u00e1lja fel.<\/p>\n

Szerencs\u00e9re csak egy tipp kell a sarlat\u00e1nok leleplez\u00e9s\u00e9hez: \u0151k \u201e\u00fajra felfedezik Amerik\u00e1t.\u201d Olyan jelens\u00e9geket \u201efedeznek fel\u201d, amelyekr\u0151l m\u00e1r tudj\u00e1k, hogy jelen vannak az adatokban. <\/p>\n

A j\u00f3 elemz\u0151k nem elfogultak, \u00e9s \u00e9rtik, hogy az inspir\u00e1l\u00f3 \u00f6tleteknek sok k\u00fcl\u00f6nb\u00f6z\u0151 magyar\u00e1zata lehet. Ugyanakkor a j\u00f3 statisztikusok gondosan meghat\u00e1rozz\u00e1k a k\u00f6vetkeztet\u00e9seiket, miel\u0151tt meghozz\u00e1k azokat.<\/p>\n

Az elemz\u0151k mentesek a felel\u0151ss\u00e9g al\u00f3l... am\u00edg nem l\u00e9pik t\u00fal az adataik hat\u00e1rait. Ha k\u00eds\u00e9rt\u00e9st \u00e9reznek, hogy olyat \u00e1ll\u00edtsanak, amit nem l\u00e1ttak, az m\u00e1r egy teljesen m\u00e1s munka. Le kell \u201evenni\u00fck\u201d az elemz\u0151 cip\u0151j\u00e9t, \u00e9s \u201e\u00e1t kell b\u00fajniuk\u201d a statisztikus cip\u0151j\u00e9be. V\u00e9g\u00fcl is, b\u00e1rmilyen hivatalos n\u00e9vvel vannak, nincsen szab\u00e1ly arra, hogy nem tanulm\u00e1nyozhatja mindk\u00e9t szakm\u00e1t, ha akarja. Csak ne keverje \u0151ket.<\/p>\n

Ha j\u00f3l \u00e9rt a statisztik\u00e1hoz, az nem jelenti azt, hogy j\u00f3l \u00e9rti az elemz\u00e9st, \u00e9s ford\u00edtva. Ha valaki azt pr\u00f3b\u00e1lja mondani \u00f6nnek, hogy ez nem igaz, \u00e9rdemes gyanakodni. Ha ez a szem\u00e9ly azt mondja, hogy statisztikai k\u00f6vetkeztet\u00e9seket lehet levonni m\u00e1r elemezett adatokb\u00f3l, akkor az dupl\u00e1n gyan\u00fas.<\/p>\n

Fura magyar\u00e1zatok<\/h2>\n

\nHa megfigyeli a d\u00e1tumokkal foglalkoz\u00f3 csal\u00f3kat a vadonban, \u00e9szre fogja venni, hogy szeretnek csod\u00e1latos t\u00f6rt\u00e9neteket kital\u00e1lni, hogy \"megmagyar\u00e1zz\u00e1k\" a megfigyelt adatokat. Min\u00e9l tudom\u00e1nyosabb, ann\u00e1l jobb. Nem sz\u00e1m\u00edt, hogy ezek a t\u00f6rt\u00e9netek ut\u00f3lag lettek kital\u00e1lva.<\/p>\n

Amikor a csal\u00f3k \u00edgy j\u00e1rnak el - engedje meg, hogy ne k\u00edm\u00e9ljem a szavakat - akkor hazudnak. Semmif\u00e9le egyenlet vagy sz\u00e9p fogalom nem kompenz\u00e1lja azt, hogy nulla bizony\u00edt\u00e9kot ny\u00fajtottak a verzi\u00f3ikra. Ne csod\u00e1lkozzon, mennyire szokatlanok a magyar\u00e1zataik.<\/p>\n

Ugyanaz, mint bemutatni az \"extraszenzoros\" k\u00e9pess\u00e9geit, miut\u00e1n el\u0151sz\u00f6r r\u00e1n\u00e9zett a kez\u00e9ben l\u00e9v\u0151 k\u00e1rty\u00e1kra, majd megj\u00f3solni, hogy mit tart\u2026 amit tart. Ez visszatekint\u0151 el\u0151\u00edt\u00e9let, \u00e9s a data science szakm\u00e1ja tele van ezzel.<\/p>\n

\"Hogyan<\/p>\n

Az elemz\u0151k azt mondj\u00e1k: \"\u00c9ppen most h\u00faztad a treff kir\u00e1lyn\u0151t.\" A statisztikusok azt mondj\u00e1k: \"Fel\u00edrtam a hipot\u00e9ziseimet erre a pap\u00edrdarabra, miel\u0151tt kezdett\u00fck volna. J\u00e1tsszunk, n\u00e9zz\u00fcnk meg n\u00e9h\u00e1ny adatot \u00e9s n\u00e9zz\u00fck meg, igazam van-e.\" A csal\u00f3k azt mondj\u00e1k: \"Tudtam, hogy a treff kir\u00e1lyn\u0151vel fogsz menni, mert\u2026\" <\/p>\n

Az adatok sz\u00e9tv\u00e1laszt\u00e1sa egy gyors megold\u00e1s a probl\u00e9m\u00e1ra, amire mindenkinek sz\u00fcks\u00e9ge van.<\/p><\/blockquote>\n

\nAmikor nincs sok adat, v\u00e1lasztani kell a statisztika \u00e9s az analitika k\u00f6z\u00f6tt, de amikor b\u0151s\u00e9ges az adat, nagyszer\u0171 lehet\u0151s\u00e9g van arra, hogy az analitik\u00e1t becs\u00fcletesen alkalmazza. \u00e9s<\/i> statisztika. \u00d6nnek t\u00f6k\u00e9letes v\u00e9delme van a csal\u00f3kkal szemben - az adatok sz\u00e9tv\u00e1laszt\u00e1sa, \u00e9s v\u00e9lem\u00e9nyem szerint ez a legfontosabb \u00f6tlet a Data Science-ben. <\/p>\n

Hogy megv\u00e9dje mag\u00e1t a csal\u00f3kt\u00f3l, mind\u00f6ssze annyit kell tennie, hogy biztos\u00edtja, hogy n\u00e9h\u00e1ny tesztadat ne ker\u00fclj\u00f6n a k\u00edv\u00e1ncsi szem\u00fck el\u00e9, majd minden m\u00e1sra \u00fagy tekintsen, mint az analitik\u00e1ra. Amikor el\u00e9ri a kock\u00e1zatosan elfogadhat\u00f3 elm\u00e9letet, haszn\u00e1lja azt a helyzet felm\u00e9r\u00e9s\u00e9re, majd nyissa meg a titkos tesztadatait, hogy ellen\u0151rizze, hogy az elm\u00e9let nem \u0151r\u00fclts\u00e9g. Ez annyira egyszer\u0171!<\/p>\n

\"Hogyan
\nGy\u0151z\u0151dj\u00f6n meg r\u00f3la, hogy senkinek nem enged\u00e9lyezett a tesztadatok megtekint\u00e9se a kutat\u00e1si szakaszban. Ehhez tartsa mag\u00e1t a kutat\u00e1si adatokhoz. A tesztadatokat nem szabad anal\u00edzisre haszn\u00e1lni.<\/p>\n

Ez egy nagy l\u00e9p\u00e9s a \"kis adatok\" korszak\u00e1hoz k\u00e9pest, amikor el kellett magyar\u00e1znod, honnan tudod, amit tudsz, hogy v\u00e9g\u00fcl meggy\u0151zd az embereket arr\u00f3l, hogy t\u00e9nyleg tudsz valamit.<\/p>\n

Ugyanezeket a szab\u00e1lyokat alkalmazzuk az ML\/AIkra.<\/h2>\n

\nN\u00e9h\u00e1ny sarlat\u00e1nt, aki mag\u00e1t az ML\/AI szak\u00e9rt\u0151j\u00e9nek adja ki, szint\u00e9n k\u00f6nnyen \u00e9szlelhet\u00fcnk. \u00dagy fogj\u00e1k lebukni, mint b\u00e1rmely m\u00e1s gyenge m\u00e9rn\u00f6k: a \"megold\u00e1sok\", amelyeket pr\u00f3b\u00e1lnak fel\u00e9p\u00edteni, folyamatosan kudarcot vallanak. Korai figyelmeztet\u0151 jel \u2014 a tapasztalat hi\u00e1nya a szok\u00e1sos ipari nyelvekkel \u00e9s programoz\u00e1si k\u00f6nyvt\u00e1rakkal.<\/p>\n

De mi a helyzet azokkal az emberekkel, akik m\u0171k\u00f6d\u0151k\u00e9pes rendszereket hoznak l\u00e9tre? Hogyan lehet \u00e9szrevenni, hogy valami gyan\u00fas t\u00f6rt\u00e9nik? Ugyanez a szab\u00e1ly alkalmazand\u00f3! A sarlat\u00e1n egy gyan\u00fas figura, aki megmutatja, mennyire j\u00f3l m\u0171k\u00f6d\u00f6tt a modell... ugyanazon az adaton, amelyet a modell l\u00e9trehoz\u00e1s\u00e1hoz haszn\u00e1ltak.<\/p>\n

Ha egy \u0151r\u00fclt bonyolult g\u00e9pi tanul\u00e1si rendszert hozt\u00e1l l\u00e9tre, hogyan tudod meg\u00edt\u00e9lni, mennyire j\u00f3? Nem fogod megtudni, am\u00edg nem mutatod meg, hogy m\u0171k\u00f6dik \u00faj adatokkal, amelyeket kor\u00e1bban m\u00e9g nem l\u00e1tott.<\/p>\n

Amikor m\u00e1r l\u00e1ttad az adatokat a j\u00f3sl\u00e1s el\u0151tt \u2014 aligha ez a helyzet. el\u0151tagoz\u00e1s.<\/i>K\u00f6zl\u00e9s.<\/p><\/blockquote>\n

\nAmikor elegend\u0151 adataid vannak a megoszt\u00e1shoz, nem kell a k\u00e9pleteid sz\u00e9ps\u00e9g\u00e9re hivatkoznod, hogy igazolhasd a projektet (r\u00e9gi divatos szok\u00e1s, amit mindenhol l\u00e1tok, nem csak a tudom\u00e1nyban). Mondhatod: \"Tudom, hogy ez m\u0171k\u00f6dik, mert tudok venni egy olyan adat\u00e1llom\u00e1nyt, amellyel kor\u00e1bban m\u00e9g nem tal\u00e1lkoztam, \u00e9s pontosan meg tudom mondani, mi fog t\u00f6rt\u00e9nni... \u00e9s igazam lesz. Ism\u00e9telten.\"<\/i><\/p>\n

A modell\/jel elm\u00e9leted \u00faj adatokon val\u00f3 tesztel\u00e9se a legjobb alap a bizalomra.<\/p><\/blockquote>\n

\nNem toler\u00e1lom az adatokkal foglalkoz\u00f3 sarlat\u00e1nokat. Nem \u00e9rdekel, hogy a v\u00e9lem\u00e9nyed k\u00fcl\u00f6nf\u00e9le tr\u00fckk\u00f6kre \u00e9p\u00fcl-e. Az \u00e9rvek sz\u00e9ps\u00e9ge nem hat r\u00e1m. Mutasd meg nekem, hogy a te elm\u00e9leted\/modelljeid m\u0171k\u00f6dnek (\u00e9s tov\u00e1bbra is m\u0171k\u00f6dnek) egy sor \u00faj adat alapj\u00e1n, amit soha nem l\u00e1tt\u00e1l el\u0151tte. Ez a te v\u00e9lem\u00e9nyed igazi \u00e1ll\u00f3k\u00e9pess\u00e9g\u00e9nek igazi tesztje.<\/p>\n

Hozz\u00e1\u00e9rt\u0151 szak\u00e9rt\u0151k megsz\u00f3l\u00edt\u00e1sa az Adattudom\u00e1ny ter\u00fclet\u00e9n<\/h2>\n

\nHa szeretn\u00e9, hogy komolyan vegy\u00e9k mindazok, akik \u00e9rtik ezt a humort, akkor hagyja abba a furcsa egyenletek m\u00f6g\u00e9 val\u00f3 b\u00faj\u00e1st, hogy fenntartsa a szem\u00e9lyes el\u0151\u00edt\u00e9leteit. Mutassa meg, ami van. Ha azt akarja, hogy azok, akik \"meg\u00e9rtett\u00e9k\", a te\u00f3ri\u00e1j\u00e1t\/modelj\u00e9t t\u00f6bbet l\u00e1ss\u00e1k, mint csup\u00e1n egy inspir\u00e1l\u00f3 k\u00f6lt\u0151i sz\u00f6veget, b\u00e1tors\u00e1got kell gy\u0171jtenie, hogy nagyszab\u00e1s\u00fa bemutat\u00f3t tartson arr\u00f3l, mennyire m\u0171k\u00f6dik ez teljesen \u00faj adathalmazon... tan\u00fak mellett!<\/p>\n

Fordul\u00e1s a vezet\u0151kh\u00f6z<\/h2>\n

\nNe vegyen komolyan semmilyen \"\u00f6tletet\" az adatokkal kapcsolatban, am\u00edg azt nem tesztelt\u00e9k \u00faj<\/i> adatokon. Nincs kedve er\u0151fesz\u00edt\u00e9seket tenni? Maradjon az analitik\u00e1n\u00e1l, de ne b\u00edzzon ezekben az \u00f6tletekben \u2014 megb\u00edzhatatlanok \u00e9s nem voltak tesztelve a megb\u00edzhat\u00f3s\u00e1g szempontj\u00e1b\u00f3l. Ezenk\u00edv\u00fcl, amikor egy szervezetnek b\u0151ven van adata, nincs hi\u00e1ny a tudom\u00e1nyos alapon val\u00f3 feldarabol\u00e1sban, \u00e9s fenntartani azt az infrastrukt\u00fara szintj\u00e9n, ellen\u0151rizve a tesztadatokhoz val\u00f3 hozz\u00e1f\u00e9r\u00e9st a statisztik\u00e1khoz. Ez nagyszer\u0171 m\u00f3dja annak, hogy megakad\u00e1lyozza, hogy \u00e1tverjenek!<\/p>\n

Ha t\u00f6bbet szeretne l\u00e1tni a sarlat\u00e1nokr\u00f3l, akik valami rosszra k\u00e9sz\u00fclnek \u2014 itt egy csod\u00e1s Twitter-sz\u00e1l<\/a><\/noindex>.<\/p>\n

\u00d6sszegz\u00e9s<\/h2>\n

\nAmikor az adatok t\u00fal kevesen vannak a feldarabol\u00e1shoz, csak a sarlat\u00e1n pr\u00f3b\u00e1l szigor\u00faan a inspir\u00e1ci\u00f3t k\u00f6vetni, amerikai felfedez\u00e9st tenni retrospekt\u00edven, matematikailag \u00fajrafelfedezve jelens\u00e9geket, amelyekr\u0151l m\u00e1r tudjuk, hogy l\u00e9teznek az adatokban, \u00e9s a meglepet\u00e9s neve statisztikailag jelent\u0151s. Ez megk\u00fcl\u00f6nb\u00f6zteti \u0151ket a r\u00e9szrehajtatlan elemz\u0151t\u0151l, aki foglalkozik az inspir\u00e1ci\u00f3val, \u00e9s a prec\u00edz statisztikust\u00f3l, aki bizony\u00edt\u00e9kokat k\u00edn\u00e1l a j\u00f3sl\u00e1s sor\u00e1n.<\/p>\n

Amikor sok adat van, szokjon hozz\u00e1 az adatok feldarabol\u00e1s\u00e1hoz, \u00edgy a legjobbat kapja mindk\u00e9t vil\u00e1gb\u00f3l! Mindig v\u00e9gezzen analitik\u00e1t \u00e9s statisztik\u00e1t k\u00fcl\u00f6n-k\u00fcl\u00f6n az eredeti adathalmazon bel\u00fcli k\u00fcl\u00f6nb\u00f6z\u0151 alkateg\u00f3ri\u00e1k alapj\u00e1n.<\/p>\n