{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"Kuidas eristada andmete teadlast petisest?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Kuidas<\/a><\/noindex>
\nV\u00f5ib-olla olete kuulnud anal\u00fc\u00fctikutest, masin\u00f5ppe spetsialistidest ja tehisintellektist, kuid kas olete kuulnud neil, kellele makstakse \u00fclem\u00e4\u00e4ra? Tutvuge andmete petisega<\/strong>! Need nutikad inimesed, keda t\u00f5ukab kasumlik t\u00f6\u00f6, rikuvad t\u00f5eliste andmete t\u00f6\u00f6tlejate mainet. Artiklis k\u00e4sitleme, kuidas neid inimesi paljastada.
\n<\/a><\/noindex><\/p>\n

Andmete petiseid on igal pool<\/h2>\n

\nAndmete petised oskavad end nii h\u00e4sti varjata, et te v\u00f5ite olla \u00fcks neist<\/i>, isegi seda teadmata. T\u00f5en\u00e4oliselt on teie organisatsioon aastaid neid petiseid varjanud, kuid on hea uudis: neid on lihtne tuvastada, kui teate, mida otsida.
\nEsimene hoiatav m\u00e4rk on arusaamatus, et anal\u00fc\u00fcs ja statistika on v\u00e4ga erinevad distsipliinid<\/strong>. Edasi selgitan seda.<\/p>\n

Erinevad distsipliinid<\/h2>\n

\nStatistikutel on koolitatud j\u00e4reldama, mis j\u00e4\u00e4b nende andmetest v\u00e4ljapoole, anal\u00fc\u00fctikud on koolitatud uurima andmekogumi sisu. Teisis\u00f5nu, anal\u00fc\u00fctikud teevad j\u00e4reldusi selle kohta, mis on nende andmete sees, samas kui statistikud j\u00e4reldavad selle p\u00f5hjal, mida andmetes ei ole. Anal\u00fc\u00fctikud aitavad formuleerida h\u00e4id k\u00fcsimusi (esitada h\u00fcpoteese), samas kui statistikud aitavad saada h\u00e4id vastuseid (kontrollida h\u00fcpoteese).<\/p>\n

On ka eksootilisi h\u00fcbriidrolle, kus inimene p\u00fc\u00fcab istuda kahel toolil... Miks mitte? Andmete teaduse peamine p\u00f5him\u00f5te: tegeledes ebakindlusega, ei saa kasutada \u00fcht ja sama<\/i> andmepunkti h\u00fcpoteeside ja kontrollimise jaoks. Kui andmed on piiratud, sunnib ebakindlus tegema valiku statistika v\u00f5i anal\u00fc\u00fcsi vahel. Selgitus<\/i> siit<\/i><\/a><\/noindex>.<\/p>\n

Ilma statistika abita j\u00e4\u00e4te kinni ning ei saa aru, kas just formuleeritud v\u00e4ide talub kriitikat, samas kui anal\u00fc\u00fcsita liigelda pimeduses, olles v\u00e4he v\u00f5imalusi tundmatut kodustada. See on raske valik.<\/p>\n

\u0160arlatanide v\u00e4ljap\u00e4\u00e4s sellest murest on ignoreerida seda ja seej\u00e4rel teeselda, et nad on \u00fcllatunud, kui \u00fcht\u00e4kki midagi avastatakse. H\u00fcpoteste kontrollimise loogika seisneb k\u00fcsimuses: kas andmed \u00fcllatavad meid piisavalt, et muuta meie arvamust. Kuidas me v\u00f5iksime andmeid \u00fcllatada, kui oleme neid juba n\u00e4inud?<\/p>\n

Iga kord, kui \u0161arlatanid leiavad mustri, saavad nad inspiratsiooni ja seej\u00e4rel kontrollivad sama andmestikku<\/i> kuna sama mustri<\/i>, et avaldada tulemus koos seadusliku p-v\u00e4\u00e4rtuse v\u00f5i kahega, nende teooria k\u00f5rval. Sellega nad petavad teid (ja v\u00f5ib-olla ka ennast). Selline p-v\u00e4\u00e4rtus ei ole oluline, kui te ei pea kinni oma h\u00fcpoteesist kuni<\/b> kuidas nad oma andmeid vaatlesid. \u0160arlatanid matkivad anal\u00fc\u00fctikute ja statistikute k\u00e4itumist ilma p\u00f5hjusest aru saamata. Selle tulemuseks on, et kogu andeteaduse valdkonna maine halveneb.<\/p>\n

T\u00f5elised statistikud teevad alati omad j\u00e4reldused<\/h2>\n

\nStatistika spetsialistide peaaegu m\u00fc\u00fctilise maine t\u00f5ttu on valeinfo hulk andmeteaduses rekordiliselt k\u00f5rge. Petta on lihtne, eriti kui ahvi ohver arvab, et k\u00f5ik on seotud valemite ja andmetega. Andmekogum on lihtsalt andmekogum, eks? Vale. Kuidas sa seda kasutad, on oluline.<\/p>\n

\u00d5nneks on teil ainult \u00fcks vihje, et petiseid kinni p\u00fc\u00fcda: nad \"avavad Ameerikat tagantj\u00e4rele\". Nad avastavad uuesti n\u00e4htused, mis on nende arvates andmetes juba olemas. <\/p>\n

Erinevalt petistest m\u00f5istavad head anal\u00fc\u00fctikud, et inspiratsioonilised ideed v\u00f5ivad omada palju erinevaid seletusi. Samuti m\u00e4\u00e4ratlevad head statistikud oma j\u00e4reldused hoolikalt, enne kui need v\u00e4lja \u00fctlevad.<\/p>\n

Anal\u00fc\u00fctikutele ei saa vastutust v\u00f5tta\u2026 kuni nad ei \u00fcleta oma andmete piire. Kui nad tunnevad kiusatust v\u00e4ita, mida nad ei ole n\u00e4inud, on see hoopis teine t\u00f6\u00f6. Nad peaksid \u201eeemaldama anal\u00fc\u00fcsi kingad\u201c ja \u201evahetama statistikuks\u201c. L\u00f5ppude l\u00f5puks, kuigi positsiooni ametinimetus on ametlik, puudub reegel, mis keelaks teil m\u00f5lemat ametit uurida, kui seda soovite. Lihtsalt \u00e4rge segage neid omavahel.<\/p>\n

Hea statistika tundmine ei t\u00e4henda, et teate ka anal\u00fc\u00fctikast, ja vastupidi. Kui keegi \u00fcritab teile vastupidist v\u00e4ita, siis tasub olla ettevaatlik. Kui see inimene \u00fctleb teile, et on lubatud teha statistilisi j\u00e4reldusi andmete p\u00f5hjal, mille olete juba uurinud, on see kahekordne m\u00e4rk ettevaatlikkuseks.<\/p>\n

Erakordsed selgitused<\/h2>\n

\nVaadates andmete petistes looduses, m\u00e4rkate, et nad Armastavad kokku panna fantastilisi lugusid, et \u201eselgitada\u201c n\u00e4htud andmeid. Mida akadeemilisem, seda parem. Pole t\u00e4htis, et need lood on tagantj\u00e4rele kohandatud.<\/p>\n

Kui viljad selliselt k\u00e4ituvad \u2014 lubage mul mitte s\u00f5nu tagasi hoida \u2014 nad valetavad. \u00dckski hulk v\u00f5rrandeid v\u00f5i ilusate m\u00f5istete hulk ei kompenseeri seda, et nad pakkusid null t\u00f5endusmaterjali oma v\u00e4idete kohta. \u00c4rge imestage, kui ebatavalised on nende selgitused.<\/p>\n

See on sama, mis n\u00e4idata oma \u201eextrasensoorseid\u201d v\u00f5imeid, vaadates k\u00f5igepealt kaarte k\u00e4es ja seej\u00e4rel ennustades, mida te hoiate... seda, mida hoiate. See on retrospektiivne kallutatus, ja andmete teadlase amet on selles \u00fcleni t\u00e4is.<\/p>\n

\"Kuidas<\/p>\n

Anal\u00fc\u00fctikud \u00fctlevad: \u201eSina just l\u00e4ksid risti kuninga juurde.\u201d Statistikutel on \u00f6elda: \u201eMa kirjutasin oma h\u00fcpoteesid sellel paberit\u00fckil enne, kui me alustasime. M\u00e4ngime, vaatame m\u00f5ningaid andmeid ja vaatame, kas ma olen \u00f5ige.\u201d \u0160arlatanid \u00fctlevad: \u201eMa teadsin, et sa l\u00e4hed selle risti kuninga poole, sest...\u201d <\/p>\n

Andmete jagamine on kiire lahendus probleemile, mida iga\u00fcks vajab.<\/p><\/blockquote>\n

\nKui andmeid on v\u00e4he, tuleb valida statistika ja anal\u00fc\u00fcsi vahel, kuid kui andmeid on k\u00fclluses, on suurep\u00e4rane v\u00f5imalus anal\u00fc\u00fcsist ilma petta t\u00f5eliselt kasu saada. ja<\/i> Statistika. Teil on ideaalne kaitse petiste eest \u2014 andmete eraldamine, mis on minu arvates andmeteaduses k\u00f5ige v\u00f5imsam idee. <\/p>\n

Kaitsmiseks petiste eest peate lihtsalt veenduma, et hoiate m\u00f5ned testandmed nende uudishimulike silmade eest eemal ning siis suhtuge k\u00f5igesse muusse kui anal\u00fc\u00fcsi. Kui kohtute teooriaga, mida riskite aktsepteerida, kasutage seda olukorra hindamiseks ja seej\u00e4rel avage oma salajased testandmed, et kontrollida, et teooria ei ole jama. See on ju nii lihtne!<\/p>\n

\"Kuidas
\nVeenduge, et keegi ei saaks uurimise etapis testandmeid vaadata. Selleks j\u00e4rgige uurimisandmeid. Testandmeid ei tohiks kasutada anal\u00fc\u00fcsimiseks.<\/p>\n

See on suur samm edasi v\u00f5rreldes sellega, millega inimesed harjusid \"v\u00e4ikeste andmete\" ajastul, mil oli vaja seletada, kust te teate seda, mida teate, et l\u00f5puks veenda inimesi, et te t\u00f5eliselt midagi teate.<\/p>\n

Rakendame samu reegleid ML\/AI kohta.<\/h2>\n

\nM\u00f5ningaid petiseid, kes esitlevad end ML\/AI ekspertidena, on ka lihtne tuvastada. Te tapate nad sama lihtsasti kui iga teise halva inseneri: \"lahendused\", mida nad p\u00fc\u00fcavad luua, eba\u00f5nnestuvad pidevalt. Varajane hoiatusm\u00e4rk on kogemuse puudumine t\u00f6\u00f6stusharu standardsete keelte ja programmeerimisteekide kasutamisel.<\/p>\n

Aga kuidas on siis inimestega, kes loovad s\u00fcsteeme, mis n\u00e4ivad t\u00f6\u00f6tavat? Kuidas teada saada, et midagi kahtlast toimub? Kehtib sama reegel! Petis on salap\u00e4rane tegelane, kes n\u00e4itab teile, kui h\u00e4sti mudel t\u00f6\u00f6tas... samadel andmetel, mida nad kasutasid mudeli loomisel.<\/p>\n

Kui olete loonud erakordselt keerulise masin\u00f5ppe s\u00fcsteemi, kuidas teada saada, kui hea see on? Te ei saa seda teada, kuni te ei n\u00e4ita, et see t\u00f6\u00f6tab uute andmete puhul, millega ta pole varem kokku puutunud.<\/p>\n

Kui olete andmeid n\u00e4inud enne prognoosimist \u2014 on see kaheldav enne<\/i>v\u00e4idet.<\/p><\/blockquote>\n

\nKui teil on piisavalt andmeid jaotamiseks, ei pea te toetuma oma valemite ilu, et \u00f5igustada projekti (vana moe komme, mida ma n\u00e4en k\u00f5ikjal, mitte ainult teaduses). Saate \u00f6elda: \u201eMa tean, et see t\u00f6\u00f6tab, sest saan v\u00f5tta andmekogumi, mida ma pole varem n\u00e4inud, ja t\u00e4pselt prognoosida, mis seal juhtub\u2026 ja ma olen \u00f5ige. Korduvalt.\u201d<\/i><\/p>\n

Teie mudeli\/teooria testimine uute andmete peal on parim alus usalduseks.<\/p><\/blockquote>\n

\nMa ei talu andmespetsialiste. Mulle ei meeldi, kui teie arvamus p\u00f5hineb erinevatel nippidel. Mind ei v\u00f5ida seletuste ilu. N\u00e4idake mulle, et teie teooria\/mudel t\u00f6\u00f6tab (ja j\u00e4tkuvalt t\u00f6\u00f6tab) hulga uute andmete peal, mida te pole kunagi varem n\u00e4inud. Just see on teie arvamuse t\u00f5elise kestvuse test.<\/p>\n

Data Science spetsialistide poole p\u00f6\u00f6rdumine<\/h2>\n

\nKui soovite, et teid t\u00f5siselt v\u00f5taksid k\u00f5ik, kes m\u00f5istavad seda huumorit, l\u00f5petage peitmine kummaliste v\u00f5rrandite taha, et toetada isiklikke eelarvamusi. N\u00e4idake, mis teil on. Kui soovite, et need, kes on \u201em\u00f5istnud\u201d, k\u00e4sitleksid teie teooriat\/mudelit millegi enamana kui lihtsalt inspireerivast luulest, olge julged ning korraldage suur n\u00e4itus selle kohta, kui h\u00e4sti see t\u00e4iesti uue andmestiku puhul toimib\u2026 pealtvaatajatega!<\/p>\n

Juhtidele suunamine<\/h2>\n

\nKeelduge t\u00f5siselt v\u00f5tma mingeid \u201eideid\u201d andmete kohta, kuni need on testitud uus<\/i> andmestik. Ei taha vaeva n\u00e4ha? J\u00e4lgige anal\u00fc\u00fcsi, kuid \u00e4rge toetuge nendele ideedele - need on ebat\u00e4psed ja pole usaldusv\u00e4\u00e4rsuse poolest kontrollitud. Lisaks, kui organisatsioonil on andmeid rohkesti, siis pole mingit v\u00e4hest, et teha eristus aluseks teadusele ja hoida seda infrastruktuuri tasemel, kontrollides juurdep\u00e4\u00e4su katseandmetele statistika jaoks. See on suurep\u00e4rane viis pettuste t\u00f5kestamiseks!<\/p>\n

Kui soovite n\u00e4ha rohkem n\u00e4iteid \u0161arlatane, kes midagi halba kavandavad \u2014 siin on suurep\u00e4rane teema Twitteris<\/a><\/noindex>.<\/p>\n

Kokkuv\u00f5te<\/h2>\n

\nKui andmeid on liiga v\u00e4he, \u00fcritab vaid petmine rangelt j\u00e4rgida inspiratsiooni, avades Ameerikat retrospektiivselt, matemaatiliselt avastades n\u00e4htusi, millest andmetes juba teatakse, ja nimetades \u00fcllatust statistiliselt oluliseks. See eristab neid eelarvamuseta anal\u00fc\u00fctikust, kes tegeleb inspiratsiooniga, ja \u00fcksikasjalikust statisticust, kes pakub t\u00f5endeid prognoosimise k\u00e4igus.<\/p>\n

Kui andmeid on palju, harjuta andmete jagamist, et sul oleks parim kahest maailmast! Veendu, et anal\u00fc\u00fcsid ja statistika oleksid eraldi eraldi algandmete alamkogude kaupa.<\/p>\n