🥇Hvordan kan man skelne mellem svindlere og Data Science?

Måske har du hørt om analytikere, specialister i maskinlæring og kunstig intelligens, men har du hørt om dem, der uretmæssigt får for meget betalt? Mød data-svindleren! Disse trickstere, der lokkes af lukrative job, skaber et dårligt ry for de rigtige databehandlere. I denne artikel undersøger vi, hvordan man kan afdække sådanne personer.

Data-svindlere er overalt

Data-svindlere er så dygtige til at gemme sig i fuld offentlighed, at du muligvis er en af dem, uden overhovedet at være klar over det. Det er sandsynligt, at din organisation i årevis har skjult disse trickstere, men der er en god nyhed: de er nemme at identificere, hvis du ved, hvad du skal kigge efter.
Det første varselsskilt er manglende forståelse af, hvad analyse og statistik er meget forskellige discipliner.Jeg vil uddybe dette.

Forskellige discipliner

Statistikere er uddannet til at lave konklusioner om, hvad der går ud over deres data, mens analytikere er uddannet til at undersøge indholdet af et datasæt. Med andre ord, analytikere konkluderer, hvad der findes i deres data, mens statistikere konkluderer, hvad der ikke er i dataene. Analytikere hjælper med at stille de gode spørgsmål (formulere hypoteser), mens statistikere hjælper med at få de gode svar (afprøve hypoteser).

Der findes også mærkelige hybride roller, hvor en person forsøger at sidde på to stole... Hvorfor ikke? Hovedprincippet i datavidenskab: hvis du arbejder med usikkerhed, må du ikke bruge de samme data til både hypoteser og testning. Når dataene er begrænsede, kan usikkerhed tvinge dig til at vælge mellem statistik eller analyse. , hvorfor ndots=5 i Kubernetes; her.

Uden statistik vil du sidde fast og ikke kunne forstå, om den netop formulerede påstand kan tåle kritik, mens du uden analyse bevæger dig i blinde med små chancer for at tæmme det ukendte. Det er et svært valg.

Svindlerens udvej fra dette dilemma er at ignorere det og så lade som om, de er overraskede over, hvad der pludselig bliver opdaget. Logikken i statistikhypotesetests kan reduceres til spørgsmålet: Overrasker dataene os nok til at ændre vores mening? Hvordan kan vi være overraskede over dataene, hvis vi allerede har set dem?

Hver gang svindlere finder et mønster, bliver de inspireret, og så tjekker de de samme data for fra det samme mønster, for at offentliggøre resultater med et legitimt p-værdi eller to, ved siden af deres teori. På den måde lyver de for dig (og måske også for sig selv). Sådanne p-værdier betyder ikke noget, hvis du ikke holder dig til din hypotese. op til om hvordan de har gennemgået deres data. Svindlere efterligner analytikere og statistikere uden at forstå årsagerne. Som et resultat får hele datavidenskabsfeltet et dårligt omdømme.

Ægte statistikere drager altid deres konklusioner.

Takket være den næsten mystiske anseelse af statistikere, der beskæftiger sig med strenge ræsonneringer, er mængden af falsk information inden for datavidenskab rekordhøj. Det er let at blive narret og ikke blive opdaget, især hvis det intetanende offer tror, at alt handler om ligninger og data. Et datasæt er et datasæt, ikke? Nej. Det betyder noget, hvordan du bruger det.

Heldigvis har du kun brug for et enkelt tip til at fange svindlerne: de "opfinder Amerika i bagklogskab". De genopdager fænomener, som de allerede ved, er til stede i dataene.

I modsætning til svindlerne har dygtige analytikere ingen fordomme og forstår, at inspirerende ideer kan have mange forskellige forklaringer. Samtidig fastlægger dygtige statistikere præcist deres konklusioner, før de drager dem.

Analytikere er frie for ansvar… så længe de holder sig til deres data. Hvis de fristes til at påstå noget, de ikke har set, er det en helt anden opgave. De bør "tage skoene af" analytikeren og "hoppe i" statistikerens sko. Uanset hvilket officielt jobtitel de har, findes der ingen regel, der forhindrer dig i at studere begge fag, hvis du ønsker det. Bare husk ikke at forveksle dem.

At være god til statistik betyder ikke, at du er god til analyse, og omvendt. Hvis nogen forsøger at sige dig det modsatte, bør du være på vagt. Hvis denne person fortæller dig, at det er tilladt at drage statistiske konklusioner baseret på data, du allerede har analyseret, er det grund til dobbeltsyn.

Fantasifulde forklaringer.

Når du observerer data-svindlere i deres naturlige habitat, vil du bemærke, at de elsker at finde på fantastiske historier for at "forklare" de observerede data. Jo mere akademisk, jo bedre. Det er ligegyldigt, at disse historier er konstrueret bagud i tid.

Når svindlere gør dette – lad mig ikke spare på ordene – så lyver de. Ingen mængde ligninger eller smukke begreber kan kompensere for, at de ikke har fremlagt noget bevis for deres påstande. Bliv ikke overrasket over, hvor usædvanlige deres forklaringer er.

Det er det samme som at demonstrere sine «extrasensoriske» evner ved først at kigge på kortene i hænderne og derefter forudsige, hvad du holder… det, du holder. Dette er en retrospektiv skævhed, og professionen som data scientist er overfyldt med dette.

Analytikere siger: «Du har lige trukket dame i klør». Statistikere siger: «Jeg skrev mine hypoteser ned på dette stykke papir, før vi begyndte. Lad os lege, se nogle data og finde ud af, om jeg har ret». Svindlere siger: «Jeg vidste, at du ville trække denne dame i klør, fordi…»

Datadeling er en hurtig løsning på problemet, som alle har brug for.

Når der ikke er så mange data, må man vælge mellem statistik og analyse, men når der er rigeligt med data, er der en fantastisk mulighed for at bruge analysen uden svindel. og Statistikken. Du har en perfekt beskyttelse mod svindlere – det er datadeling, og efter min mening er det den mest magtfulde idé inden for data science.

For at beskytte dig selv mod svindlere skal du blot sørge for, at du holder nogle testdata uden for deres nysgerrige øjne, og derefter betragte alt andet som analyse. Når du står over for en teori, du risikerer at acceptere, brug den til at vurdere situationen, og så afslør dine hemmelige testdata for at kontrollere, at teorien ikke er nonsense. Det er så enkelt!

Sørg for, at ingen får lov til at se testdataene i forskningsfasen. Hold dig til forskningsdataene. Testdataene bør ikke bruges til analyse.

Dette er et stort skridt fremad i forhold til, hvad folk er vant til i tidsalderen for 'små data', hvor du skal forklare, hvor du ved det, du ved, for endelig at overbevise folk om, at du faktisk ved noget.

Vi anvender de samme regler for ML/AI

Nogle svindlere, der udgiver sig for at være eksperter inden for ML/AI, er også lette at opdage. Du vil fange dem på samme måde, som du ville fange enhver anden dårlig ingeniør: de “løsninger”, de forsøger at bygge, mislykkes konstant. Et tidligt advarselsskilt er manglen på erfaring med standard branche sprog og programmeringsbiblioteker.

Men hvad med folk, der skaber systemer, der ser ud til at fungere? Hvordan ved man, hvornår der foregår noget mistænkeligt? Den samme regel gælder! Svindleren er en skummel karakter, der viser dig, hvor godt modellen har arbejdet... på de samme data, de brugte til at træne modellen.

Hvis du har bygget et vanvittigt komplekst maskinlæringssystem, hvordan kan du så vide, hvor godt det er? Du ved det ikke, før du viser, at det fungerer med nye data, som det aldrig har set før.

Når du har set dataene før forudsigelsen - er det næppe etforudsigelse.

Når du har tilstrækkeligt med data til at opdele, behøver du ikke henvise til skønheden i dine formler for at retfærdiggøre projektet (en gammel vane, jeg ser overalt, ikke kun i videnskaben). Du kan sige: «Jeg ved, det virker, fordi jeg kan tage et datasæt, som jeg aldrig har set før, og præcist forudsige, hvad der vil ske der... og jeg vil have ret. Igen og igen».

At teste din model/teori på nye data er den bedste grundlag for tillid.

Jeg tolererer ikke datavindlere. Jeg er ligeglad med, hvorvidt din vurdering er baseret på forskellige gadgets. Jeg er ikke imponeret over skønheden i forklaringer. Vis mig, at din teori/model virker (og fortsætter med at virke) på en række nye data, som du aldrig har set før. Det er den ægte test af robustheden af din vurdering.

Henvendelse til eksperter inden for Data Science

Hvis du ønsker, at alle, der forstår denne humor, skal tage dig seriøst, så stop med at gemme dig bag mærkelige ligninger for at opretholde personlige fordomme. Vis, hvad du har. Hvis du vil have, at dem der "forstod", ser din teori/model som noget mere end bare inspirerende poesi, så hav modet til at lave et storartet fremvisning af, hvor godt den fungerer på helt nye datasæt... med vidner!

Henvendelse til ledere

Afvis at tage enhver "idé" om data alvorligt, indtil de er testet på nye data. Har du ikke lyst til at lægge kræfter i det? Hold dig til analyser, men stol ikke på disse idéer — de er upålidelige og ikke blevet testet for pålidelighed. Desuden, når en organisation har data i overflod, er der ingen mangel på at gøre opdeling til en grundpille i videnskaben og opretholde den på infrastrukturlaget ved at kontrollere adgangen til testdata for statistikker. Dette er en fremragende måde at forhindre forsøg på at narre dig!

Hvis du vil se flere eksempler på svindlere, der planlægger noget skummelt — her er en vidunderlig tråd på Twitter.

Resumé

Når dataene er for få til opdeling, er det kun en svindler, der prøver at følge inspirationen strengt, ved at genopdage Amerika retrospektivt, matematisk genopdage fænomener, som allerede er kendt at eksistere i dataene, og kalde overraskelsen statistisk signifikant. Det adskiller dem fra den uvildige analytiker, der har med inspiration at gøre, og den nøjeregnende statistiker, der tilbyder beviser ved forudsigelse.

Når der er mange data, så få vanen at opdele dataene, så kan du få det bedste fra begge verdener! Sørg for, at du laver analyser og statistik separat for hver undergruppe af det oprindelige datasæt.

Analytikere tilbyder dig inspiration og bredde i perspektivet.
Statistikere tilbyder dig streng testning.
Svindlere tilbyder dig et fordrejet retrospektivt syn, der foregiver at være både analyse og statistik.

Måske vil du efter at have læst artiklen tænke "er jeg en svindler?" Det er helt normalt. Du kan jage den tanke væk på to måder: for det første, se tilbage og overvej, hvad du har opnået, om dit arbejde med data har haft praktisk værdi. For det andet kan du arbejde videre på din kvalifikation (hvilket bestemt ikke vil være overflødigt), især fordi vi giver vores studerende praktiske færdigheder og viden, der gør dem til ægte data-scientister.