MÄske har du hÞrt om analytikere, specialister i maskinlÊring og kunstig intelligens, men har du hÞrt om dem, der uretmÊssigt fÄr for meget betalt? MÞd data-svindleren! Disse trickstere, der lokkes af lukrative job, skaber et dÄrligt ry for de rigtige databehandlere. I denne artikel undersÞger vi, hvordan man kan afdÊkke sÄdanne personer.
Data-svindlere er overalt
Data-svindlere er sÄ dygtige til at gemme sig i fuld offentlighed, at du muligvis er en af dem, uden overhovedet at vÊre klar over det. Det er sandsynligt, at din organisation i Ärevis har skjult disse trickstere, men der er en god nyhed: de er nemme at identificere, hvis du ved, hvad du skal kigge efter.
Det fÞrste varselsskilt er manglende forstÄelse af, hvad analyse og statistik er meget forskellige discipliner.Jeg vil uddybe dette.
Forskellige discipliner
Statistikere er uddannet til at lave konklusioner om, hvad der gÄr ud over deres data, mens analytikere er uddannet til at undersÞge indholdet af et datasÊt. Med andre ord, analytikere konkluderer, hvad der findes i deres data, mens statistikere konkluderer, hvad der ikke er i dataene. Analytikere hjÊlper med at stille de gode spÞrgsmÄl (formulere hypoteser), mens statistikere hjÊlper med at fÄ de gode svar (afprÞve hypoteser).
Der findes ogsÄ mÊrkelige hybride roller, hvor en person forsÞger at sidde pÄ to stole... Hvorfor ikke? Hovedprincippet i datavidenskab: hvis du arbejder med usikkerhed, mÄ du ikke bruge de samme data til bÄde hypoteser og testning. NÄr dataene er begrÊnsede, kan usikkerhed tvinge dig til at vÊlge mellem statistik eller analyse. , hvorfor ndots=5 i Kubernetes; .
Uden statistik vil du sidde fast og ikke kunne forstÄ, om den netop formulerede pÄstand kan tÄle kritik, mens du uden analyse bevÊger dig i blinde med smÄ chancer for at tÊmme det ukendte. Det er et svÊrt valg.
Svindlerens udvej fra dette dilemma er at ignorere det og sÄ lade som om, de er overraskede over, hvad der pludselig bliver opdaget. Logikken i statistikhypotesetests kan reduceres til spÞrgsmÄlet: Overrasker dataene os nok til at Êndre vores mening? Hvordan kan vi vÊre overraskede over dataene, hvis vi allerede har set dem?
Hver gang svindlere finder et mÞnster, bliver de inspireret, og sÄ tjekker de de samme data for fra det samme mÞnster, for at offentliggÞre resultater med et legitimt p-vÊrdi eller to, ved siden af deres teori. PÄ den mÄde lyver de for dig (og mÄske ogsÄ for sig selv). SÄdanne p-vÊrdier betyder ikke noget, hvis du ikke holder dig til din hypotese. op til om hvordan de har gennemgÄet deres data. Svindlere efterligner analytikere og statistikere uden at forstÄ Ärsagerne. Som et resultat fÄr hele datavidenskabsfeltet et dÄrligt omdÞmme.
Ăgte statistikere drager altid deres konklusioner.
Takket vĂŠre den nĂŠsten mystiske anseelse af statistikere, der beskĂŠftiger sig med strenge rĂŠsonneringer, er mĂŠngden af falsk information inden for datavidenskab rekordhĂžj. Det er let at blive narret og ikke blive opdaget, isĂŠr hvis det intetanende offer tror, at alt handler om ligninger og data. Et datasĂŠt er et datasĂŠt, ikke? Nej. Det betyder noget, hvordan du bruger det.
Heldigvis har du kun brug for et enkelt tip til at fange svindlerne: de "opfinder Amerika i bagklogskab". De genopdager fĂŠnomener, som de allerede ved, er til stede i dataene.
I modsÊtning til svindlerne har dygtige analytikere ingen fordomme og forstÄr, at inspirerende ideer kan have mange forskellige forklaringer. Samtidig fastlÊgger dygtige statistikere prÊcist deres konklusioner, fÞr de drager dem.
Analytikere er frie for ansvar⊠sÄ lÊnge de holder sig til deres data. Hvis de fristes til at pÄstÄ noget, de ikke har set, er det en helt anden opgave. De bÞr "tage skoene af" analytikeren og "hoppe i" statistikerens sko. Uanset hvilket officielt jobtitel de har, findes der ingen regel, der forhindrer dig i at studere begge fag, hvis du Þnsker det. Bare husk ikke at forveksle dem.
At vÊre god til statistik betyder ikke, at du er god til analyse, og omvendt. Hvis nogen forsÞger at sige dig det modsatte, bÞr du vÊre pÄ vagt. Hvis denne person fortÊller dig, at det er tilladt at drage statistiske konklusioner baseret pÄ data, du allerede har analyseret, er det grund til dobbeltsyn.
Fantasifulde forklaringer.
NÄr du observerer data-svindlere i deres naturlige habitat, vil du bemÊrke, at de elsker at finde pÄ fantastiske historier for at "forklare" de observerede data. Jo mere akademisk, jo bedre. Det er ligegyldigt, at disse historier er konstrueret bagud i tid.
NĂ„r svindlere gĂžr dette â lad mig ikke spare pĂ„ ordene â sĂ„ lyver de. Ingen mĂŠngde ligninger eller smukke begreber kan kompensere for, at de ikke har fremlagt noget bevis for deres pĂ„stande. Bliv ikke overrasket over, hvor usĂŠdvanlige deres forklaringer er.
Det er det samme som at demonstrere sine «extrasensoriske» evner ved fÞrst at kigge pÄ kortene i hÊnderne og derefter forudsige, hvad du holder⊠det, du holder. Dette er en retrospektiv skÊvhed, og professionen som data scientist er overfyldt med dette.
Analytikere siger: «Du har lige trukket dame i klĂžr». Statistikere siger: «Jeg skrev mine hypoteser ned pĂ„ dette stykke papir, fĂžr vi begyndte. Lad os lege, se nogle data og finde ud af, om jeg har ret». Svindlere siger: «Jeg vidste, at du ville trĂŠkke denne dame i klĂžr, fordiâŠÂ»
Datadeling er en hurtig lÞsning pÄ problemet, som alle har brug for.
NĂ„r der ikke er sĂ„ mange data, mĂ„ man vĂŠlge mellem statistik og analyse, men nĂ„r der er rigeligt med data, er der en fantastisk mulighed for at bruge analysen uden svindel. og Statistikken. Du har en perfekt beskyttelse mod svindlere â det er datadeling, og efter min mening er det den mest magtfulde idĂ© inden for data science.
For at beskytte dig selv mod svindlere skal du blot sÞrge for, at du holder nogle testdata uden for deres nysgerrige Þjne, og derefter betragte alt andet som analyse. NÄr du stÄr over for en teori, du risikerer at acceptere, brug den til at vurdere situationen, og sÄ afslÞr dine hemmelige testdata for at kontrollere, at teorien ikke er nonsense. Det er sÄ enkelt!
SÞrg for, at ingen fÄr lov til at se testdataene i forskningsfasen. Hold dig til forskningsdataene. Testdataene bÞr ikke bruges til analyse.
Dette er et stort skridt fremad i forhold til, hvad folk er vant til i tidsalderen for 'smÄ data', hvor du skal forklare, hvor du ved det, du ved, for endelig at overbevise folk om, at du faktisk ved noget.
Vi anvender de samme regler for ML/AI
Nogle svindlere, der udgiver sig for at vĂŠre eksperter inden for ML/AI, er ogsĂ„ lette at opdage. Du vil fange dem pĂ„ samme mĂ„de, som du ville fange enhver anden dĂ„rlig ingeniĂžr: de âlĂžsningerâ, de forsĂžger at bygge, mislykkes konstant. Et tidligt advarselsskilt er manglen pĂ„ erfaring med standard branche sprog og programmeringsbiblioteker.
Men hvad med folk, der skaber systemer, der ser ud til at fungere? Hvordan ved man, hvornÄr der foregÄr noget mistÊnkeligt? Den samme regel gÊlder! Svindleren er en skummel karakter, der viser dig, hvor godt modellen har arbejdet... pÄ de samme data, de brugte til at trÊne modellen.
Hvis du har bygget et vanvittigt komplekst maskinlÊringssystem, hvordan kan du sÄ vide, hvor godt det er? Du ved det ikke, fÞr du viser, at det fungerer med nye data, som det aldrig har set fÞr.
NĂ„r du har set dataene fĂžr forudsigelsen - er det nĂŠppe etforudsigelse.
NÄr du har tilstrÊkkeligt med data til at opdele, behÞver du ikke henvise til skÞnheden i dine formler for at retfÊrdiggÞre projektet (en gammel vane, jeg ser overalt, ikke kun i videnskaben). Du kan sige: «Jeg ved, det virker, fordi jeg kan tage et datasÊt, som jeg aldrig har set fÞr, og prÊcist forudsige, hvad der vil ske der... og jeg vil have ret. Igen og igen».
At teste din model/teori pÄ nye data er den bedste grundlag for tillid.
Jeg tolererer ikke datavindlere. Jeg er ligeglad med, hvorvidt din vurdering er baseret pÄ forskellige gadgets. Jeg er ikke imponeret over skÞnheden i forklaringer. Vis mig, at din teori/model virker (og fortsÊtter med at virke) pÄ en rÊkke nye data, som du aldrig har set fÞr. Det er den Êgte test af robustheden af din vurdering.
Henvendelse til eksperter inden for Data Science
Hvis du Þnsker, at alle, der forstÄr denne humor, skal tage dig seriÞst, sÄ stop med at gemme dig bag mÊrkelige ligninger for at opretholde personlige fordomme. Vis, hvad du har. Hvis du vil have, at dem der "forstod", ser din teori/model som noget mere end bare inspirerende poesi, sÄ hav modet til at lave et storartet fremvisning af, hvor godt den fungerer pÄ helt nye datasÊt... med vidner!
Henvendelse til ledere
Afvis at tage enhver "idĂ©" om data alvorligt, indtil de er testet pĂ„ nye data. Har du ikke lyst til at lĂŠgge krĂŠfter i det? Hold dig til analyser, men stol ikke pĂ„ disse idĂ©er â de er upĂ„lidelige og ikke blevet testet for pĂ„lidelighed. Desuden, nĂ„r en organisation har data i overflod, er der ingen mangel pĂ„ at gĂžre opdeling til en grundpille i videnskaben og opretholde den pĂ„ infrastrukturlaget ved at kontrollere adgangen til testdata for statistikker. Dette er en fremragende mĂ„de at forhindre forsĂžg pĂ„ at narre dig!
Hvis du vil se flere eksempler pĂ„ svindlere, der planlĂŠgger noget skummelt â .
Resumé
NÄr dataene er for fÄ til opdeling, er det kun en svindler, der prÞver at fÞlge inspirationen strengt, ved at genopdage Amerika retrospektivt, matematisk genopdage fÊnomener, som allerede er kendt at eksistere i dataene, og kalde overraskelsen statistisk signifikant. Det adskiller dem fra den uvildige analytiker, der har med inspiration at gÞre, og den nÞjeregnende statistiker, der tilbyder beviser ved forudsigelse.
NÄr der er mange data, sÄ fÄ vanen at opdele dataene, sÄ kan du fÄ det bedste fra begge verdener! SÞrg for, at du laver analyser og statistik separat for hver undergruppe af det oprindelige datasÊt.
- Analytikere tilbyder dig inspiration og bredde i perspektivet.
- Statistikere tilbyder dig streng testning.
- Svindlere tilbyder dig et fordrejet retrospektivt syn, der foregiver at vÊre bÄde analyse og statistik.
MÄske vil du efter at have lÊst artiklen tÊnke "er jeg en svindler?" Det er helt normalt. Du kan jage den tanke vÊk pÄ to mÄder: for det fÞrste, se tilbage og overvej, hvad du har opnÄet, om dit arbejde med data har haft praktisk vÊrdi. For det andet kan du arbejde videre pÄ din kvalifikation (hvilket bestemt ikke vil vÊre overflÞdigt), isÊr fordi vi giver vores studerende praktiske fÊrdigheder og viden, der gÞr dem til Êgte data-scientister.
Flere kurser
LĂŠs mere
Kilde: habr.com
