Võib-olla olete kuulnud analüütikutest, masinõppe spetsialistidest ja tehisintellektist, kuid kas olete kuulnud neil, kellele makstakse ülemäära? Tutvuge andmete petisega! Need nutikad inimesed, keda tõukab kasumlik töö, rikuvad tõeliste andmete töötlejate mainet. Artiklis käsitleme, kuidas neid inimesi paljastada.
Andmete petiseid on igal pool
Andmete petised oskavad end nii hästi varjata, et te võite olla üks neist, isegi seda teadmata. Tõenäoliselt on teie organisatsioon aastaid neid petiseid varjanud, kuid on hea uudis: neid on lihtne tuvastada, kui teate, mida otsida.
Esimene hoiatav märk on arusaamatus, et analüüs ja statistika on väga erinevad distsipliinid. Edasi selgitan seda.
Erinevad distsipliinid
Statistikutel on koolitatud järeldama, mis jääb nende andmetest väljapoole, analüütikud on koolitatud uurima andmekogumi sisu. Teisisõnu, analüütikud teevad järeldusi selle kohta, mis on nende andmete sees, samas kui statistikud järeldavad selle põhjal, mida andmetes ei ole. Analüütikud aitavad formuleerida häid küsimusi (esitada hüpoteese), samas kui statistikud aitavad saada häid vastuseid (kontrollida hüpoteese).
On ka eksootilisi hübriidrolle, kus inimene püüab istuda kahel toolil... Miks mitte? Andmete teaduse peamine põhimõte: tegeledes ebakindlusega, ei saa kasutada üht ja sama andmepunkti hüpoteeside ja kontrollimise jaoks. Kui andmed on piiratud, sunnib ebakindlus tegema valiku statistika või analüüsi vahel. Selgitus .
Ilma statistika abita jääte kinni ning ei saa aru, kas just formuleeritud väide talub kriitikat, samas kui analüüsita liigelda pimeduses, olles vähe võimalusi tundmatut kodustada. See on raske valik.
Šarlatanide väljapääs sellest murest on ignoreerida seda ja seejärel teeselda, et nad on üllatunud, kui ühtäkki midagi avastatakse. Hüpoteste kontrollimise loogika seisneb küsimuses: kas andmed üllatavad meid piisavalt, et muuta meie arvamust. Kuidas me võiksime andmeid üllatada, kui oleme neid juba näinud?
Iga kord, kui šarlatanid leiavad mustri, saavad nad inspiratsiooni ja seejärel kontrollivad sama andmestikku kuna sama mustri, et avaldada tulemus koos seadusliku p-väärtuse või kahega, nende teooria kõrval. Sellega nad petavad teid (ja võib-olla ka ennast). Selline p-väärtus ei ole oluline, kui te ei pea kinni oma hüpoteesist kuni kuidas nad oma andmeid vaatlesid. Šarlatanid matkivad analüütikute ja statistikute käitumist ilma põhjusest aru saamata. Selle tulemuseks on, et kogu andeteaduse valdkonna maine halveneb.
Tõelised statistikud teevad alati omad järeldused
Statistika spetsialistide peaaegu müütilise maine tõttu on valeinfo hulk andmeteaduses rekordiliselt kõrge. Petta on lihtne, eriti kui ahvi ohver arvab, et kõik on seotud valemite ja andmetega. Andmekogum on lihtsalt andmekogum, eks? Vale. Kuidas sa seda kasutad, on oluline.
Õnneks on teil ainult üks vihje, et petiseid kinni püüda: nad "avavad Ameerikat tagantjärele". Nad avastavad uuesti nähtused, mis on nende arvates andmetes juba olemas.
Erinevalt petistest mõistavad head analüütikud, et inspiratsioonilised ideed võivad omada palju erinevaid seletusi. Samuti määratlevad head statistikud oma järeldused hoolikalt, enne kui need välja ütlevad.
Analüütikutele ei saa vastutust võtta… kuni nad ei ületa oma andmete piire. Kui nad tunnevad kiusatust väita, mida nad ei ole näinud, on see hoopis teine töö. Nad peaksid „eemaldama analüüsi kingad“ ja „vahetama statistikuks“. Lõppude lõpuks, kuigi positsiooni ametinimetus on ametlik, puudub reegel, mis keelaks teil mõlemat ametit uurida, kui seda soovite. Lihtsalt ärge segage neid omavahel.
Hea statistika tundmine ei tähenda, et teate ka analüütikast, ja vastupidi. Kui keegi üritab teile vastupidist väita, siis tasub olla ettevaatlik. Kui see inimene ütleb teile, et on lubatud teha statistilisi järeldusi andmete põhjal, mille olete juba uurinud, on see kahekordne märk ettevaatlikkuseks.
Erakordsed selgitused
Vaadates andmete petistes looduses, märkate, et nad Armastavad kokku panna fantastilisi lugusid, et „selgitada“ nähtud andmeid. Mida akadeemilisem, seda parem. Pole tähtis, et need lood on tagantjärele kohandatud.
Kui viljad selliselt käituvad — lubage mul mitte sõnu tagasi hoida — nad valetavad. Ükski hulk võrrandeid või ilusate mõistete hulk ei kompenseeri seda, et nad pakkusid null tõendusmaterjali oma väidete kohta. Ärge imestage, kui ebatavalised on nende selgitused.
See on sama, mis näidata oma „extrasensoorseid” võimeid, vaadates kõigepealt kaarte käes ja seejärel ennustades, mida te hoiate... seda, mida hoiate. See on retrospektiivne kallutatus, ja andmete teadlase amet on selles üleni täis.
Analüütikud ütlevad: „Sina just läksid risti kuninga juurde.” Statistikutel on öelda: „Ma kirjutasin oma hüpoteesid sellel paberitükil enne, kui me alustasime. Mängime, vaatame mõningaid andmeid ja vaatame, kas ma olen õige.” Šarlatanid ütlevad: „Ma teadsin, et sa lähed selle risti kuninga poole, sest...”
Andmete jagamine on kiire lahendus probleemile, mida igaüks vajab.
Kui andmeid on vähe, tuleb valida statistika ja analüüsi vahel, kuid kui andmeid on külluses, on suurepärane võimalus analüüsist ilma petta tõeliselt kasu saada. ja Statistika. Teil on ideaalne kaitse petiste eest — andmete eraldamine, mis on minu arvates andmeteaduses kõige võimsam idee.
Kaitsmiseks petiste eest peate lihtsalt veenduma, et hoiate mõned testandmed nende uudishimulike silmade eest eemal ning siis suhtuge kõigesse muusse kui analüüsi. Kui kohtute teooriaga, mida riskite aktsepteerida, kasutage seda olukorra hindamiseks ja seejärel avage oma salajased testandmed, et kontrollida, et teooria ei ole jama. See on ju nii lihtne!
Veenduge, et keegi ei saaks uurimise etapis testandmeid vaadata. Selleks järgige uurimisandmeid. Testandmeid ei tohiks kasutada analüüsimiseks.
See on suur samm edasi võrreldes sellega, millega inimesed harjusid "väikeste andmete" ajastul, mil oli vaja seletada, kust te teate seda, mida teate, et lõpuks veenda inimesi, et te tõeliselt midagi teate.
Rakendame samu reegleid ML/AI kohta.
Mõningaid petiseid, kes esitlevad end ML/AI ekspertidena, on ka lihtne tuvastada. Te tapate nad sama lihtsasti kui iga teise halva inseneri: "lahendused", mida nad püüavad luua, ebaõnnestuvad pidevalt. Varajane hoiatusmärk on kogemuse puudumine tööstusharu standardsete keelte ja programmeerimisteekide kasutamisel.
Aga kuidas on siis inimestega, kes loovad süsteeme, mis näivad töötavat? Kuidas teada saada, et midagi kahtlast toimub? Kehtib sama reegel! Petis on salapärane tegelane, kes näitab teile, kui hästi mudel töötas... samadel andmetel, mida nad kasutasid mudeli loomisel.
Kui olete loonud erakordselt keerulise masinõppe süsteemi, kuidas teada saada, kui hea see on? Te ei saa seda teada, kuni te ei näita, et see töötab uute andmete puhul, millega ta pole varem kokku puutunud.
Kui olete andmeid näinud enne prognoosimist — on see kaheldav enneväidet.
Kui teil on piisavalt andmeid jaotamiseks, ei pea te toetuma oma valemite ilu, et õigustada projekti (vana moe komme, mida ma näen kõikjal, mitte ainult teaduses). Saate öelda: „Ma tean, et see töötab, sest saan võtta andmekogumi, mida ma pole varem näinud, ja täpselt prognoosida, mis seal juhtub… ja ma olen õige. Korduvalt.”
Teie mudeli/teooria testimine uute andmete peal on parim alus usalduseks.
Ma ei talu andmespetsialiste. Mulle ei meeldi, kui teie arvamus põhineb erinevatel nippidel. Mind ei võida seletuste ilu. Näidake mulle, et teie teooria/mudel töötab (ja jätkuvalt töötab) hulga uute andmete peal, mida te pole kunagi varem näinud. Just see on teie arvamuse tõelise kestvuse test.
Data Science spetsialistide poole pöördumine
Kui soovite, et teid tõsiselt võtaksid kõik, kes mõistavad seda huumorit, lõpetage peitmine kummaliste võrrandite taha, et toetada isiklikke eelarvamusi. Näidake, mis teil on. Kui soovite, et need, kes on „mõistnud”, käsitleksid teie teooriat/mudelit millegi enamana kui lihtsalt inspireerivast luulest, olge julged ning korraldage suur näitus selle kohta, kui hästi see täiesti uue andmestiku puhul toimib… pealtvaatajatega!
Juhtidele suunamine
Keelduge tõsiselt võtma mingeid „ideid” andmete kohta, kuni need on testitud uus andmestik. Ei taha vaeva näha? Jälgige analüüsi, kuid ärge toetuge nendele ideedele - need on ebatäpsed ja pole usaldusväärsuse poolest kontrollitud. Lisaks, kui organisatsioonil on andmeid rohkesti, siis pole mingit vähest, et teha eristus aluseks teadusele ja hoida seda infrastruktuuri tasemel, kontrollides juurdepääsu katseandmetele statistika jaoks. See on suurepärane viis pettuste tõkestamiseks!
Kui soovite näha rohkem näiteid šarlatane, kes midagi halba kavandavad — .
Kokkuvõte
Kui andmeid on liiga vähe, üritab vaid petmine rangelt järgida inspiratsiooni, avades Ameerikat retrospektiivselt, matemaatiliselt avastades nähtusi, millest andmetes juba teatakse, ja nimetades üllatust statistiliselt oluliseks. See eristab neid eelarvamuseta analüütikust, kes tegeleb inspiratsiooniga, ja üksikasjalikust statisticust, kes pakub tõendeid prognoosimise käigus.
Kui andmeid on palju, harjuta andmete jagamist, et sul oleks parim kahest maailmast! Veendu, et analüüsid ja statistika oleksid eraldi eraldi algandmete alamkogude kaupa.
- Analüütikud pakuvad teile inspiratsiooni ja avardatud silmaringi.
- Statistikud pakuvad teile rangeid teste.
- Petised pakuvad teile moonutatud retrospektiivset vaadet, mis pretendeerib analüütikale ja statistikale.
Pärast artikli lugemist võib teil tekkida mõte: "Kas ma olen petis?" See on normaalne. Selle mõtte kõrvaldada on kaks viisi: kõigepealt vaadake tagasi, uurige, mida olete saavutanud, kas teie andmetöötlus on kaasa toonud praktilist kasu. Teiseks, võite ka oma kvalifikatsiooni edasi arendada (see ei tee paha), eriti kuna anname oma tudengitele praktilisi oskusi ja teadmisi, mis aitavad neil tõeliseks andmete teadlaseks saada.
Rohkem kursusi
Loe veel
Allikas: habr.com
