Morda ste slišali za analitike, strokovnjake za strojno učenje in umetno inteligenco, a ste kdaj slišali za tiste, ki so unfairno preplačani? Spoznajte kreatorje podatkov! Ti premeteni ljudje, ki jih privlači donosno delo, ustvarjajo slabo repute pravim strokovnjakom za obdelavo podatkov. V članku se osredotočamo na to, kako razkrinkati takšne posameznike.
Kreatorji podatkov so povsod
Kreatorji podatkov se tako dobro znajo skrivati na očeh, da morda ste eden izmed njih, niti ne zavedate tega. Zelo verjetno vaša organizacija že leta skriva te premetene ljudi, a dobra novica je, da jih je enostavno identificirati, če veste, kaj iskati.
Prvi opozorilni znak je nepoznavanje, da analitika in statistika sta zelo različni disciplini. Kasneje bom to pojasnil.
Različne discipline
Statistiki so usposobljeni, da sklepajo o tem, kar presega njihova podatke, analitiki so usposobljeni za proučevanje vsebine niza podatkov. Z drugimi besedami, analitiki sklepajo o tem, kar je v njihovih podatkih, medtem ko statistiki sklepajo o tem, česar v podatkih ni. Analitiki pomagajo postavljati dobra vprašanja (postavljati hipoteze), medtem ko statistiki pomagajo pridobiti dobre odgovore (preverjati hipoteze).
Obstajajo tudi čudne hibridne vloge, ko nekdo poskuša sedeti na dveh stolih… Zakaj pa ne? Glavno načelo znanosti o podatkih: če se ukvarjate z negotovostjo, ne morete uporabljati istega podatkovnega dela za hipoteze in preverjanje. Ko so podatki omejeni, negotovost povzroči izbiro med statistiko ali analitiko. Razlaga .
Brez statistike boste obtičali in ne boste razumeli, ali sveže oblikovana trditev prenese kritiko, brez analize pa boste hodili po temi, s malo možnosti, da ukrotite neznano. To je težka izbira.
Izhod kreativca iz te zagate je, da jo ignorira in se nato pretvarja, da je presenečen nad tistim, kar se nenadoma odkrije. Logika preverjanja statističnih hipotez se zmanjšuje na vprašanje: ali podatki dovolj presenetijo, da bi spremenili naše mnenje. Kako nas lahko presenetijo podatki, če smo jih že videli?
Vsakič, ko kreativci najdejo vzorec, so navdihnjeni, nato preverijo iste podatke za istega vzorca, da objavite rezultat z legitimno p-vrednostjo ali dvema, ob njihovi teoriji. Tako vam lažejo (in morda tudi sami sebi). Takšna p-vrednost nima pomena, če ne ostanete zvesti svoji hipotezi. do o tem, kako so si ogledali svoje podatke. Šarlatani posnemajo dejanja analitikov in statistikov brez razumevanja vzrokov. Posledično dobiva celotno področje podatkovne znanosti slabo reputacijo.
Pravi statistiki vedno oblikujejo svoje sklepe.
Zahvaljujoč skoraj mistični slavi statistik, ki se ukvarjajo z natančnim razmišljanjem, je količina lažnih informacij v podatkovni znanosti rekordno visoka. Enostavno je prevarati nekoga in ne biti odkrit, še posebej, če nič hudega sluteča žrtev misli, da gre vse za enačbe in podatke. Nabor podatkov je nabora podatkov, kajne? Ne. Pomembno je, kako ga uporabljate.
Na srečo potrebujete le en namig, da ulovite šarlatane: oni »odkrivajo Ameriko za nazaj«. Znova odkrivajo pojave, za katere že vedo, da so prisotni v podatkih.
Za razliko od šarlatanov dobri analitiki nimajo predsodkov in razumejo, da lahko navdihujoče ideje imajo več različnih razlag. Hkrati dobri statistiki skrbno določajo svoje sklepe, preden jih oblikujejo.
Analitiki so oproščeni odgovornosti… dokler ne presežejo svojih podatkov. Če jih zapelje, da trdijo o stvareh, katerih niso opazili, je to povsem druga služba. Morajo »sleči čevlje« analitika in »zamenjati obutev« za statistika. Nazadnje, kakršnokoli je uradno ime njihove funkcije, ne obstaja pravilo, po katerem ne morete raziskovati obeh poklicev, če želite. Samo ne mešajte jih.
Če dobro razumete statistiko, to ne pomeni, da dobro razumete analitiko in obratno. Če vam nekdo želi povedati nasprotno, je to razlog za previdnost. Če vam ta oseba pove, da je dovoljeno izvajati statistične zaključke na podatkih, ki ste jih že preučili, je to dvakratna rdeča zastava.
Nenavadna pojasnila
Opazovanje šarlatanov s podatki v naravi vam bo pokazalo, da radi sestavljajo neverjetne zgodbe, da 'pojasnijo' opazovane podatke. Bolj akademsko, bolje. Ni pomembno, da so te zgodbe prirejene retroaktivno.
Ko šarlatani to počnejo — pustite mi, da ne varčujem s besedami — lažejo. Količina enačb ali lepi koncepti ne morejo nadomestiti dejstva, da niso ponudili nobenega dokaza za svoje trditve. Ne presenečajte se, kako nenavadna so njihova pojasnila.
To je enako kot pokazati svoje 'ekstrasenzorne' sposobnosti, najprej pogledati na karte v rokah in nato napovedati, kaj imate… tisto, kar imate. To je pristranskost retrospektivnega pogleda, in poklic podatkovnega znanstvenika je s tem poln do vrha.
Analitiki pravijo: 'Samo ste šli z kraljico karo.' Statistiki pravijo: 'Zapisal sem svoje hipoteze na tem koščku papirja, preden smo začeli. Igrajmo se, poglejmo nekaj podatkov in vidimo, ali sem prav.' Šarlatani pravijo: 'Vedno sem vedel, da boste šli s to kraljico karo, ker...'
Razdelitev podatkov je hitro rešitev problema, ki ga potrebuje vsak.
Ko podatkov ni preveč, morate izbirati med statistiko in analitiko, toda ko je podatkov v izobilju, je odlična priložnost, da se brez prevar poslužite analitike. in statistike. Imate popolno zaščito pred šarlatani — to je razdelitev podatkov in po mojem mnenju je to najmočnejša ideja v podatkovni znanosti.
Da se zaščitite pred šarlatani, morate le zagotoviti, da hranite nekatere testne podatke zunaj dosegajo njihovih radovednih oči, nato pa obravnavate vse ostalo kot analitiko. Ko se srečate s teorijo, ki jo tvegate sprejeti, jo uporabite za oceno situacije, nato pa odkrijte svoje skrivne testne podatke, da preverite, da teorija ni neumnost. Tako preprosto je!
Prepričajte se, da nikomur ni dovoljeno gledati testne podatke v fazi raziskovanja. Za to se držite raziskovalnih podatkov. Testni podatki se ne smejo uporabljati za analizo.
To je velik korak naprej v primerjavi s tistim, kar so ljudje poznali v dobi "majhnih podatkov", ko ste morali razložiti, od kod veste tisto, kar veste, da bi končno prepričali ljudi, da resnično nekaj veste.
Uporabljamo enaka pravila za ML/AI
Nekatere prevarante, ki se predstavljajo za strokovnjake na področju ML/AI, je prav tako enostavno prepoznati. Ujeti jih lahko na enak način, kot bi ujeli katerega koli drugega slabega inženirja: "rešitve", ki jih poskušajo zgraditi, nenehno propadajo. Pomemben opozorilni znak je pomanjkanje izkušenj z industrijskimi jeziki in programskimi knjižnicami.
Toda kaj pa ljudje, ki ustvarjajo sisteme, ki se zdijo funkcionalni? Kako prepoznati, da se dogaja kaj sumljivega? Uporablja se isto pravilo! Prevarant je zlonamerna oseba, ki vam pokaže, kako dobro je model deloval … na istih podatkih, ki so jih uporabili za ustvarjanje modela.
Če ste ustvarili neverjetno kompleksni sistem strojnega učenja, kako veste, kako dober je? Ne boste vedeli, dokler ne pokažete, da deluje z novimi podatki, ki jih prej ni videl.
Ko ste videli podatke pred napovedovanjem — to verjetno ni napovedovanje.Ko imate dovolj podatkov za razdelitev, vam ni treba sklicevati se na lepoto vaših formul, da bi upravičili projekt (stara modna navada, ki jo vidim povsod, ne samo v znanosti). Lahko rečete:
"Vem, da deluje, ker lahko vzamem nabor podatkov, ki ga prej nisem videl, in natančno napovem, kaj se bo tam zgodilo … in prav imam. Spet in spet." Preverjanje vašega modela/teorije z novimi podatki je najboljša osnova za zaupanje.
Ne prenašam prevarantov s podatki. Zame ni važno, ali se vaše mnenje opira na različne funkcije. Nisem navdušen nad lepoto razlag. Pokažite mi, da vaša teorija/model deluje (in se še naprej obnaša) na celotnem naboru novih podatkov, ki jih nikoli prej niste videli. To je pravi test trdnosti vašega mnenja.
Obrnete se na strokovnjake za podatkovne znanosti.
Обращение к специалистам в области Data Science
Če želite, da vas vsi, ki razumejo ta smeh, jemljejo resno, prenehajte se skrivati za nenavadnimi enačbami, da ohranite osebne pristranskosti. Pokažite, kar imate. Če želite, da tisti, ki so "razumeli", vašo teorijo/model obravnavajo kot nekaj več kot le navdihujočo poezijo, imejte pogum, da priredite velikansko predstavo o tem, kako dobro deluje na popolnoma novem naboru podatkov… pred priči!
Naslov za voditelje
Odklonite sprejem vseh "idej" o podatkih, dokler niso preverjene na novih podatkih. Ne želite si prizadevati? Držite se analitike, toda ne zanašajte se na te ideje — so nezanesljive in niso bile preverjene za zanesljivost. Poleg tega, ko ima organizacija podatke v izobilju, ni pomanjkanja, da bi razdelitev postala osnova znanosti in ostala na ravni infrastrukture, pri čemer nadzorujete dostop do testnih podatkov za statistiko. To je odličen način, da preprečite, da vas prevarajo!
Če želite videti več primerov prevarantov, ki kuhajo nekaj slabega — .
Zaključki
Ko je podatkov premalo za razdelitev, le prevarant poskuša strogo slediti navdihu, retroaktivno odpirajoč Ameriko in matematično ponovo odkrivajoč pojave, za katere je že znano, da obstajajo v podatkih, in imenujejo osuplost statistično pomembno. To jih razlikuje od nepristranskega analitika, ki se ukvarja z navdihom, ter natančnega statistik, ki ponuja dokaze pri napovedovanju.
Ko je podatkov veliko, razvijte navado ločevanja podatkov, tako boste imeli najboljše iz obeh svetov! Obvezno izvajajte analitiko in statistiko ločeno za različne podmnožice izvorne zmešnjave podatkov.
- Analitiki vam ponujajo navdih in širino pogledov.
- Statistiki vam ponujajo strogo testiranje.
- Prevaranti vam ponujajo izkrivljen retroaktiven pogled, ki se pretvarja, da je analitika plus statistika.
Morda, po branju članka, se vam lahko porodi misel „ali nisem prevarant“? To je normalno. To misel lahko odženemo na dva načina: najprej se ozrite nazaj, poglejte, kaj ste dosegli, ali je vaše delo z podatki prineslo praktične koristi. In drugič, lahko še naprej delate na svoji usposobljenosti (kar ne bo odveč), še posebej, ker svojim študentom dajemo praktične veščine in znanja, ki jih lahko spremenijo v prave podatkovne znanstvenike.
Još tečajeva
Preberi več
Izvor: habr.com
