Võimalik, et olete kuulnud analüütikutest, masinõppe spetsialistidest ja tehisintellektist, kuid kas olete kuulnud ka nendest, kellele makstakse ülemäära? Tutvuge andmete valeandjaga! Need petised, keda meelitab kasumlik töö, loobivad pahatahtliku maine tõelistele andmete töötlemise spetsialistidele. Artiklis uurime, kuidas selliseid inimesi päevavalgele tuua.
Valeandjad on igal pool
Valeandjad oskavad nii hästi varjuda, et võite olla üks neist, ega pruugi sellest isegi aru saada. Tõenäoliselt on teie organisatsioon need petised aastaid varjanud, kuid on hea uudis: neid on lihtne tuvastada, kui teate, mida otsida.
Esimene hoiatav märk on arusaamatus, et analüüs ja statistika on väga erinevad valdkonnad. Järgmiseks selgitan seda.
Erinevad valdkonnad
Statistikud on koolitatud järeldusi tegema sellest, mis jääb välja nende andmete piiridest, analüütikud on koolitatud uurima andmekogumi sisu. Teisisõnu, analüütikud teevad järeldusi sellest, mis on nende andmetes, samas kui statisticud teevad järeldusi sellest, mida andmetes ei ole. Analüütikud aitavad esitada häid küsimusi (hüpoteese), samas kui statistikud aitavad leida häid vastuseid (hüpoteeside testimine).
On ka kummalisi hübriidrolle, kus inimene proovib istuda kahe tooli peal… Miks mitte? Andmeteaduse põhialus: kui tegelete ebakindlusega, ei saa kasutada sama andmepunkti hüpoteeside ja testimise jaoks. Kui andmed on piiratud, sunnib ebakindlus valima statistika või analüüsi vahel. Selgitus .
Ilma statistikata jääte toppama ja ei saa aru, kas äsja formuleeritud väide peab kriitikat, ilma analüüsita liigute pimeduses, omades vähe võimalusi tundmatut taltsutada. See on raske valik.
Valeandja väljapääs sellest olukorrast on see, et ignoreerida seda ja seejärel teeselda üllatust, et see äkki päevavalgele tuleb. Statistiliste hüpoteeside kontrollimise loogika seisneb küsimuses: kas andmed üllatavad meid piisavalt, et muuta meie arvamust. Kuidas me saame andmetest üllatuda, kui oleme neid juba näinud?
Igal korral, kui valeandjad leiavad mustri, inspireerib see neid, seejärel nad kontrollivad sama andmestikku jaoks sama mustri kohta., et postitada tulemusi koos seadusliku p-väärtusega või kahte, nende teooria kõrval. Sellega nad valetavad sulle (ja võib-olla ka endale). Selline p-väärtus pole oluline, kui sa ei jää oma hüpoteesi juurde. kuni kuidas nad oma andmeid vaatasid. Šarlatanid jäljendavad analüütikute ja statistikutena käitumist, ilma et nad võiksid põhjuseid mõista. Selle tulemusena kujuneb kogu andeteaduse valdkonnas halb maine.
Tõelised statistikud teevad alati oma järeldused.
Peaaegu müütilise maine tõttu statistika spetsialistidest, kes tegelevad rangete arutlustega, on valeinfo hulk andeteaduses rekordiliselt kõrge. On lihtne petta ja mitte vahele jääda, eriti kui teadlik ohver arvab, et kõik on seotud ainult võrrandite ja andmetega. Andmestik on andmestik, eks? Ei ole. Oluline on see, kuidas sa seda kasutad.
Õnneks on sul vaja ainult üht vihje, et šarlatane kinni püüda: nad "avavad Ameerikat tagurpidi". Uuesti avades nähtusi, mis nende jaoks on juba teada, et andmetes on olemas.
Erinevalt šarlatannidest, headel analüütikutel ei ole eelarvamusi ja nad mõistavad, et inspireerivatel ideedel võib olla palju erinevaid seletusi. Samal ajal määratlevad head statistikud oma järeldused hoolikalt, enne kui need teevad.
Analüütikud on vastutusele suunatud... kuni nad lähevad oma andmetest üle. Kui nad tunnevad kiusatust kuulutada midagi, mida nad ei ole näinud, on see hoopis teine töö. Neil tuleks "kingad jalast võtta" analüütiku seisukohalt ja "vahetada jalanõusid" statistiku omade vastu. Lõppude lõpuks, olenemata ametinimest, ei ole reeglit, mis keelaks sul kahe ametiga tegelemist, kui soovid. Ainult ära aja neid segamini.
Kui sa oled statistikas tugev, ei tähenda see, et sa oleksid analüüsis tugev ja vastupidi. Kui keegi üritab sulle öelda vastupidist, tuleks olla ettevaatlik. Kui see inimene ütleb sulle, et andmetel, mida sa juba uurisid, on lubatud teha statistilisi järeldusi, on see kahekordne ettevaatlikkuse põhjus.
Veidrad seletused
Vaadates andmespetsialiste looduses, märkate, et nad armastavad koostada fantastilisi lugusid, et „selgitada“ jälgitavaid andmeid. Mida akadeemilisem, seda parem. Pole oluline, et need lood on tagantjärele kohandatud.
Kui spesialistid seda teevad — las ma ei säästa sõnu — nad valetavad. Ükski hulk võrdeid või ilusid mõisteid ei kompenseeri seda, et nad on esitanud oma versioonide jaoks null tõendusmaterjali. Ärge imestage, kui kummalised on nende seletused.
See on sama, mis oma „extra-sensory” võimete demonstreerimine, vaadates esmalt kaarte käes ja siis ennustades, mida te hoiate… seda, mida te hoiate. See on tagantjärele vaatamise eelarvamus ja andmeanalüütiku amet on sellest näiliselt üle kuhjatud.
Analüütikud ütlevad: „Te just käisite ristikuninganna peal“. Statistikutel on: „Märkisin oma hüpoteesid sellel pisikesel paberitükil enne, kui me alustasime. Tulge, mängime, vaatame andmeid ja vaatame, kas ma olin õige.“ Spetsialistid ütlevad: „Ma teadsin, et kavatsete käia selle ristikuninganna peal, sest…“
Andmete jagamine on kiire lahendus probleemile, millega igaüks vajab.
Kui andmeid ei ole palju, tuleb valida statistika ja analüüsi vahel, kuid kui andmeid on külluses, on suurepärane võimalus petmata kasutada analüüsi. ja statistika. Teil on ideaalne kaitse spetsialistide eest — see on andmete jagamine ja minu arvates on see andmeanalüüsis kõige võimsam idee.
Et end spetsialistide eest kaitsta, peate lihtsalt veenduma, et teil on mõned testandmed nende uurivalt pilgult eemal ja siis kohtlege kõike muud nagu analüüsi. Kui kohtate teooriat, mille vastu olete nõus, kasutage seda olukorra hindamiseks, siis avage oma salajased testandmed, et kontrollida, kas teooria pole jama. See on ju nii lihtne!
Veenduge, et keegi ei saaks uurimisetapis testandmeid vaadata. Selleks jääge uurimisdatasetest kinni. Testandmeid ei tohi analüüsimiseks kasutada.
See on suur samm edasi võrreldes sellega, millega inimesed on harjunud "väikeste andmete" ajastul, mil peate selgitama, kust te teate seda, mida teate, et lõpuks veenda inimesi, et te tõepoolest teate midagi.
Kasutame samu reegleid ml/AI suhtes.
Mõningaid petiseid, kes esitavad end ml/AI ekspertidena, on samuti lihtne tuvastada. Te saate neid tabada nagu iga teise halva inseneri: "lahendused", mida nad püüavad ehitada, ebaõnnestuvad pidevalt. Varajane hoiatusmärk on kogemuse puudumine standardsete tööstuslike keelte ja programmeerimisraamistike osas.
Aga kuidas on inimestega, kes loovad süsteeme, mis näevad välja töötavad? Kuidas teada, et toimub midagi kahtlast? Sama reeglit rakendatakse! Petis on kurjakuulutav tegelane, kes näitab teile, kui hästi mudel töötas... samadel andmetel, mida nad kasutasid mudeli koostamisel.
Kui olete loonud uskumatult keerulise masinõppe süsteemi, kuidas teada saada, kui hea see on? Te ei saa seda teada, kuni te ei näita, et see töötab uute andmete korral, mida see pole varem näinud.
Kui te olete andmeid näinud enne ennustamist - see ei ole tõenäoliselt etteennustamine.
Kui teil on piisavalt andmeid eristamiseks, ei pea te tuginema oma valemite ilule, et õigustada projekti (vana moodne harjumus, mida näen igal pool, mitte ainult teaduses). Te võite öelda: "Ma tean, et see töötab, sest ma saan võtta andmestiku, mida pole varem nähtud, ja täpselt ennustada, mis seal toimub... ja olen õige. Jätkuvalt ja pidevalt."
Teie mudeli/teooria kontrollimine uute andmete põhjal on parim usalduse alus.
Ma ei talu andmete petiseid. Mulle ei ole oluline, kas teie arvamus tugineb erinevatele vihjetele. Mind ei mõju ilmu seletuste ilu. Näidake mulle, et teie teooria/mudel töötab (ja jätkab töötamist) terve hulga uute andmete puhul, mida te pole kunagi varem näinud. See on tõeline katse teie arvamuse vastupidavusele.
Konsulteerimine andeteaduse spetsialistidega
Kui soovite, et kõik, kes mõistavad seda huumorit, kõike tõsiselt võtaksid, lõpetage enda varjutamine veidrate võrranditega, et toetada isiklikke eelarvamusi. Näidake, mis teil on. Kui soovite, et need, kes "mõistsid", käsitaksid teie teooriat/mudelit kui midagi enamat kui lihtsalt inspireerivat luuletust, olge julge ja korraldage suurejooneline esitlus, kui hästi see täiesti uue andmestiku peal töötab… pealtvaatajate ees!
Kutse juhtidele
Keelduge tõsiselt võtma kõiki "ideid" andmete kohta, kuni need on katsetatud uus andmete peal. Ei taha vaeva näha? Jätke analüütika juurde, kuid ärge toetuge nendele ideedele — need ei ole usaldusväärsed ja pole usaldusväärsuse osas välja proovitud. Samuti, kui organisatsioonil on andmeid külluses, ei ole mingit põhjust, miks ei peaks olema eraldamine teaduse aluseks ja hoidma seda infrastruktuuri tasemel, kontrollides juurdepääsu testandmetele statistikaks. See on suurepärane viis, kuidas peatada katseid teid petta!
Kui soovite näha rohkem näiteid petistest, kes kavandavad midagi head — .
Summary
Kui andmeid on liiga vähe jagamiseks, püüab ainult petis rangelt järgida inspiratsiooni, avades Ameerikat mitteajaliselt, matemaatiliselt avastades nähtusi, mille kohta on juba teada, et need eksisteerivad andmetes, ja nimetades üllatust statistiliselt oluliseks. See eristab neid erapooletust analüütikust, kes tegeleb inspiratsiooniga, ja põhjalikust statistikust, kes pakub tõendeid prognoosimise ajal.
Kui andmeid on palju, harjutage andmete jagamist, nii saate mõlemast maailmast parima! Veenduge, et teete analüütikat ja statistikat eraldi eraldi allkomplektide jaoks algsest andmestikust.
- Analüütikud pakuvad teile inspiratsiooni ja avarust.
- Statistikud pakuvad teile ranget testimist.
- Petised pakuvad teile moonutatud retrospektiivset vaadet, mis ette kujutab analüütikat pluss statistikat.
Võimalik, et pärast artikli lugemist tekib teil mõte "kas ma olen petuskeem?" See on normaalne. Sellest mõtteid on võimalik lahti saada kahte moodi: kõigepealt vaadake tagasi, et näha, mida olete teinud ja kas teie töö andmetega on tõeliselt kasulik olnud. Teiseks, võite veelgi täiustada oma kvalifikatsiooni (mis ei tohiks kindlasti üleliigne olla), eriti arvestades, et anname oma üliõpilastele praktilisi oskusi ja teadmisi, mis võimaldavad neil tõeliselt saada andeteadusteks.
Veel kursuseid
Loe veel
Allikas: habr.com
