🥇Hvordan gjenkjenne svindlere innen Data Science?

Du har kanskje hørt om analytikere, spesialister innen maskinlæring og kunstig intelligens, men har du hørt om dem som urettmessig blir betalt for mye? Møt datasharlataner! Disse lurendreierne, som tiltrekkes av godt betalte jobber, skaper et dårlig rykte for ekte spesialister innen databehandling. I denne artikkelen forklarer vi hvordan man kan avsløre slike personer.

Datasharlataner er overalt

Datasharlataner er så flinke til å skjule seg i åpenhet at du kan være en av dem, uten å innse det. Sannsynligvis har din organisasjon i årevis skjult disse lurendreierne, men det er gode nyheter: de er enkle å identifisere hvis du vet hva du skal se etter.
Det første varselsignalet er misforståelsen av at analyse og statistikk er svært forskjellige disipliner. Jeg vil forklare dette nå.

Forskjellige disipliner

Statistikere er opplært til å trekke konklusjoner om hva som går utover deres data, mens analytikere er opplært til å studere innholdet i datasettet. Med andre ord, analytikere trekker konklusjoner om det som er i deres data, mens statistikere trekker konklusjoner om hva som ikke finnes i dataene. Analytikere hjelper til med å stille gode spørsmål (fremme hypoteser), mens statistikere hjelper til med å finne gode svar (teste hypoteser).

Det finnes også rare hybridroller, der en person prøver å sitte på to stoler… Hvorfor ikke? Hovedprinsippet for data science: hvis du har å gjøre med usikkerhet, bør du ikke bruke den samme datapunktet for hypoteser og testing. Når dataene er begrenset, tvinger usikkerheten deg til å velge mellom statistikk eller analyse. Forklaring her.

Uten statistikk vil du sitte fast og ikke kunne forstå om den nylig formulerte uttalelsen tåler kritikk, og uten analyse må du gå blindt med liten sjanse til å temme det ukjente. Dette er et vanskelig valg.

Utgangen for en sharlatan fra denne knipen er å ignorere den og deretter late som de er overrasket over det som plutselig oppdages. Logikken bak testing av statistiske hypoteser reduseres til spørsmålet: Er dataene overraskende nok til å endre oppfatningen vår? Hvordan kan vi bli overrasket over dataene hvis vi allerede har sett dem?

Hver gang sharlataner finner et mønster, blir de inspirert, og deretter tester de de samme dataene for i det samme mønsteret, for å publisere et resultat med et legitimt p-verdi eller to, ved siden av teorien deres. Dermed lyver de for deg (og kanskje for seg selv også). En slik p-verdi spiller ingen rolle hvis du ikke holder deg til hypotesen din. til hvordan de har sett på dataene sine. Svindlere imiterer handlingene til analytikere og statistikere uten å forstå årsakene. Som et resultat får hele data science-feltet et dårlig rykte.

Ekte statistikere trekker alltid sine konklusjoner.

Takket være den nesten mystiske statusen til statisticspecialister som driver med strenge resonnementer, er mengden falsk informasjon innen data science rekordhøy. Det er lett å bli lurt og ikke bli tatt, spesielt hvis en intetanende person tror at alt handler om ligninger og data. Et datasett er bare et datasett, ikke sant? Nei. Det betyr noe hvordan du bruker det.

Heldigvis trenger du bare ett hint for å fange svindlere: de «oppdager Amerika i etterkant». Ved å gjenoppdage fenomener som de allerede vet er til stede i dataene.

I motsetning til svindlerne har gode analytikere ingen fordommer og forstår at inspirerende ideer kan ha mange forskjellige forklaringer. Samtidig definerer gode statistikere nøye sine konklusjoner før de gir dem.

Analytikere er fritatt for ansvar... så lenge de holder seg innenfor grensene av dataene sine. Hvis de blir fristet til å påstå noe de ikke har sett, er det en helt annen jobb. De bør «ta av skoene» til analytikeren og «bytte til» statistikeren. Uansett hva den offisielle jobbtittelen er, finnes det ingen regel som sier at du ikke kan studere begge yrkene hvis du ønsker det. Bare ikke forveksle dem.

Hvis du er god i statistikk, betyr det ikke at du er god i analyse, og vice versa. Hvis noen prøver å si deg det motsatte, bør du være på vakt. Hvis denne personen sier at det er lov å gjøre statistiske slutninger på dataene du allerede har studert, er det grunn til å være dobbelt så skeptisk.

Fantasifulle forklaringer

Når du observerer datasharlataner i naturen, vil du merke at de elsker å dikte fantasifulle historier for å «forklare» de observerte dataene. Jo mer akademisk, jo bedre. Det spiller ingen rolle at disse historiene er tilpasset i ettertid.

Når skarlataner gjør dette — la meg ikke være sparsom med ord — lyver de. Ingen mengde ligninger eller vakre begreper kan kompensere for det faktum at de har levert null bevis for sine påstander. Ikke bli overrasket over hvor merkverdige forklaringene deres er.

Det er det samme som å demonstrere sine «ekstrasensoriske» evner ved først å se på kortene i henda, og deretter forutsi hva du holder ... det du holder. Dette er en retrospektiv skjevhet, og yrket som data scientist er overfylt med det.

Analytikere sier: «Du gikk nettopp med kløverdronningen». Statistikere sier: «Jeg skrev ned mine hypoteser på dette lille papiret før vi begynte. La oss spille, se på noen data og se om jeg har rett». Skarlataner sier: «Jeg visste at du kom til å gå med denne kløverdronningen, fordi ... »

Datasplitting er en rask løsning på problemet som alle trenger.

Når det ikke er så mye data, må man velge mellom statistikk og analyse, men når det er data i overflod, er det en fantastisk mulighet til å bruke analyse uten å jukse. og Statistikk. Du har den perfekte beskyttelsen mot skarlataner — det er datasplitting, og etter min mening er det den mest kraftfulle ideen innen datavitenskap.

For å beskytte deg mot skarlataner, er alt du trenger å gjøre å sørge for at du oppbevarer noen testdata utenfor rekkevidde for deres nysgjerrige blikk, og deretter behandle alt annet som analyse. Når du kommer over en teori du risikerer å akseptere, bruk den til å vurdere situasjonen, og deretter åpne dine hemmelige testdata for å sjekke at teorien ikke er tull. Det er så enkelt!

Sørg for at ingen får se testdataene i forskningsfasen. For dette, hold deg til forskningsdata. Testdata skal ikke brukes til analyse.

Dette er et stort fremskritt sammenlignet med hva folk var vant til i epoken av «små data», hvor du måtte forklare hvor du vet det du vet for til slutt å overbevise folk om at du faktisk vet noe.

Vi bruker de samme reglene for ML/AI

Noen svindlere som utgir seg for eksperter innen ML/AI er også lette å oppdage. Du fanger dem på samme måte som du ville fanget hvilken som helst annen dårlig ingeniør: «løsninger» som de prøver å bygge, mislykkes stadig. Et tidlig varseltegn er mangel på erfaring med standardbransjespråk og programmeringsbiblioteker.

Men hva med folk som lager systemer som ser ut til å fungere? Hvordan vet man at det foregår noe mistenkelig? Den samme regelen gjelder! Svindleren er en lunefull karakter som viser deg hvor godt modellen fungerte… på de samme dataene de brukte til å lage modellen.

Hvis du har laget et ekstremt komplisert maskinlæringssystem, hvordan vet du hvor bra det er? Du vil ikke vite det før du viser at det fungerer med nye data som det ikke har sett før.

Når du har sett dataene før prognoseringen — er det lite sannsynlig. detteutsagnet.

Når du har nok data til å dele, trenger du ikke å referere til skjønnheten i formlene dine for å rettferdiggjøre prosjektet (en gammel vanesvakhet jeg ser overalt, ikke bare i vitenskapen). Du kan si: «Jeg vet at dette fungerer fordi jeg kan ta et datasett som jeg ikke har sett før, og nøyaktig forutsi hva som vil skje der… og jeg vil ha rett. Gang etter gang.»

Å teste modellen/teorien din på nye data er den beste grunnen til å stole på den.

Jeg tolererer ikke datakriminelle. Jeg bryr meg ikke om din mening er basert på ulike detaljer. Jeg er ikke imponert over skjønnheten i forklaringene. Vis meg at teorien din/modellen fungerer (og fortsetter å fungere) på et bredt spekter av nye data som du aldri har sett før. Dette er den virkelige testen av holdbarheten i din mening.

Henvende seg til spesialister innen Data Science

Hvis du vil at alle som forstår denne humoren skal ta deg seriøst, slutt å gjemme deg bak rare likninger for å opprettholde personlige fordommer. Vis hva du har. Hvis du ønsker at de som "forsto" skal se på teorien/modellen din som noe mer enn bare inspirerende poesi, ha mot til å lage en spektakulær fremvisning av hvor godt den fungerer på et helt nytt datasett... foran vitner!

Henvendelse til ledere

Avvis å ta noen "ideer" om data seriøst før de er testet på nye data. Vil du ikke anstrenge deg? Hold deg til analyse, men stol ikke på disse ideene — de er upålitelige og har ikke vært testet for pålitelighet. Dessuten, når en organisasjon har rikelig med data, er det ingen mangel på å gjøre deling til grunnlaget for vitenskap og opprettholde det på infrastruktur-nivå, ved å kontrollere tilgang til testdata for statistikk. Dette er en utmerket måte å stoppe forsøk på å lure deg!

Hvis du vil se flere eksempler på svindlere som planlegger noe ondt — her er en fantastisk tråd på Twitter.

Resultater

Når data er for lite for deling, er det bare en svindler som prøver å følge inspirasjonen strengt, og tilbakekaller Amerika retroaktivt, matematisk gjenoppdager fenomener som allerede er kjent for å eksistere i dataene, og kaller overraskelsen statistisk signifikant. Dette skiller dem fra den upartiske analytikeren som håndterer inspirasjon, og den grundige statistikeren som tilbyr bevis ved prognoser.

Når det er mye data, bli vant til å dele dataene, så kan du få det beste fra begge verdener! Sørg for å gjøre analyse og statistikk separat for separate undergrupper av det opprinnelige datastøyet.

Analytikere tilbyr deg inspirasjon og bredde av syn.
Statistikere tilbyr deg streng testing.
Svindlere tilbyr deg en forvrengt retrospektiv utsikt som later som om det er både analyse og statistikk.

Det er mulig at du etter å ha lest artikkelen får tanken "er jeg en svindler?". Det er helt normalt. Du kan overvinne denne tanken på to måter: For det første, se tilbake og vurdere hva du har oppnådd, om arbeidet ditt med data har hatt praktisk nytte. For det andre kan du også jobbe mer med kompetansen din (noe som absolutt ikke vil være overflødig), spesielt siden vi gir studentene våre praktiske ferdigheter og kunnskap som gjør dem til ekte dataforskere.