🥇Hur man känner igen en charlatan inom Data Science?

Kanske har du hört talas om analytiker, specialister inom maskininlärning och artificiell intelligens, men har du hört talas om dem som ogrundat får betalt för mycket? Möt datasharlatanen! Dessa listiga personer, som dras till lukrativa jobb, skapar ett dåligt rykte för verkliga dataexperter. I artikeln går vi igenom hur man avslöjar sådana individer.

Datasharlataner finns överallt

Datasharlataner är så bra på att gömma sig i klar sikt att du kan vara en av dem, utan att ens vara medveten om det. Det är troligt att din organisation har dolt dessa bedrägerier under åratal, men det finns goda nyheter: de är lätta att identifiera om du vet vad du ska leta efter.
Det första varningstecknet är en brist på förståelse för att analys och statistik är två helt olika discipliner.Jag ska förklara detta.

Olika discipliner

Statistiker är utbildade att dra slutsatser om vad som ligger bortom deras data, medan analytiker lär sig att studera innehållet i en dataset. Med andra ord drar analytiker slutsatser om vad som finns i deras data, medan statistiker drar slutsatser om vad som saknas i datan. Analytiker hjälper till att ställa bra frågor (hypoteser), medan statistiker hjälper till att få bra svar (testa hypoteser).

Det finns också märkliga hybridroller när en person försöker balansera mellan två stolar... Varför inte? Huvudprincipen inom datavetenskap: om du har att göra med osäkerhet, kan du inte använda samma data punkt för hypoteser och verifiering. När datan är begränsad tvingar osäkerheten dig att välja mellan statistik eller analys. Förklaring här.

Utan statistik kommer du att fastna och inte kunna förstå om den nyformulerade påståendet står emot kritik, och utan analys går du blint fram med liten chans att tämja det okända. Det är ett svårt val.

Charlatanens utväg ur detta dilemma är att ignorera det och sedan låtsas vara överraskad när det plötsligt avslöjas. Logiken bakom statistisk hypotesprövning handlar om frågan: överraskar datan oss tillräckligt för att förändra vår åsikt? Hur kan vi bli överraskade av data som vi redan har sett?

Varje gång charlataner hittar ett mönster, inspireras de och testar sedan de samma data för samma mönster, för att publicera resultat med ett legitimt p-värde eller två, bredvid deras teori. På så sätt lurar de dig (och kanske även sig själva). Ett sådant p-värde spelar ingen roll om du inte följer din hypotes till hur de har granskat sina data. Bedragare imiterar beteenden hos analytiker och statistiker utan att förstå orsakerna. Som ett resultat får hela datavetenskapens område ett dåligt rykte.

Sanna statistiker drar alltid sina slutsatser

Tack vare den nästan mystiska reputationen hos statistiker som ägnar sig åt strikta resonemang, är mängden falsk information inom Data Science rekordhög. Det är lätt att bluffa och komma undan, särskilt om en intet ont anande person tror att allt handlar om ekvationer och data. En datamängd är en datamängd, eller hur? Nej. Hur du använder den spelar roll.

Lyckligtvis behöver du bara ett spår för att fånga bedragarna: de "återuppfinner Amerika i efterhand". De återentdeckar fenomen som de redan vet finns i datan.

Till skillnad från bedragare har bra analytiker ingen partiskhet och förstår att inspirerande idéer kan ha många olika förklaringar. Samtidigt definierar bra statistiker noggrant sina slutsatser innan de drar dem.

Analytiker är befriade från ansvar… så länge de inte går bortom sina data. Om de frestas att uttala sig om saker de inte har sett, är det en helt annan syssla. De bör "ta av sig analytikerns skor" och "byta till statistikers skor". I slutändan, oavsett vad den officiella jobbtiteln är, finns det ingen regel som säger att du inte kan studera båda yrkena om du vill. Bara för att inte blanda ihop dem.

Om du är bra på statistik betyder det inte att du är bra på analys, och vice versa. Om någon försöker säga dig det motsatta bör du vara på din vakt. Om den här personen informerar dig om att det är tillåtet att dra statistiska slutsatser på data som du redan har analyserat, är det ännu en anledning att vara på sin vakt.

Konstiga förklaringar

När du observerar datasharlataner i det vilda, kommer du att märka att de älskar att uppfinna fantastiska berättelser för att "förklara" de observerade data. Ju mer akademiska, desto bättre. Det spelar ingen roll att dessa berättelser är efterhandskonstruktioner.

När sharlataner gör så här — låt mig inte snåla med orden — så ljuger de. Inget antal ekvationer eller vackra begrepp kompenserar för att de har erbjudit noll för att bevisa sina påståenden. Var inte förvånad över hur ovanliga deras förklaringar är.

Det är som att demonstrera sina "översinnliga" förmågor genom att först titta på korten i sina händer och sedan förutsäga vad du håller... det du håller. Detta är en retrospektiv bias, och yrket data scientist är genomsyrat av detta.

Analytiker säger: "Du har precis gått med klädda damer." Statistiker säger: "Jag skrev ner mina hypoteser på den här lappen innan vi började. Låt oss spela, se på lite data och se om jag har rätt." Sharlataner säger: "Jag visste att du skulle gå med de klädda damerna, för att..."

Datanedbrytning är en snabb lösning på det problem som alla behöver.

När datan är begränsad är det nödvändigt att välja mellan statistik och analys, men när datan är riklig finns det en fantastisk möjlighet att använda analys utan fusk. och statistik. Du har det perfekta skyddet mot sharlataner — det är nedbrytning av data och, enligt min mening, den mest kraftfulla idén inom Data Science.

För att skydda dig från sharlataner, allt du behöver göra är att se till att du förvarar viss testdata utom räckhåll för deras nyfikna ögon, och sedan behandla allt annat som analys. När du stöter på en teori som du riskerar att acceptera, använd den för att utvärdera situationen och öppna sedan dina hemliga testdata för att kontrollera att teorin inte är nonsens. Det är så enkelt!

Se till att ingen får se testdata under forskningsfasen. För detta, håll dig till forskningsdata. Testdata får inte användas för analys.

Det här är ett stort framsteg jämfört med vad människor är vana vid under "smådatatiden", då du måste förklara varifrån du vet det du vet för att äntligen övertyga folk om att du faktiskt vet något.

Vi tillämpar samma regler på ML/AI.

Det finns också vissa charlataner som utger sig för att vara experter på ML/AI, och de är lätta att upptäcka. Du kan avslöja dem på samma sätt som du skulle avslöja vilken dålig ingenjör som helst: de "lösningar" de försöker bygga misslyckas ständigt. En tidig varningssignal är bristen på erfarenhet av standard branschspråk och programmeringsbibliotek.

Men hur är det med personer som skapar system som verkar fungera? Hur vet man att det pågår något misstänkt? Samma regel gäller! Charlatanen är en skum karaktär som visar dig hur bra modellen fungerar... på samma data som de använde för att bygga modellen.

Om du har skapat ett galet komplext maskininlärningssystem, hur vet du hur bra det är? Du vet inte förrän du visar att det fungerar med nya data som det aldrig har sett förut.

När du har sett datan före prognosen – då är det osannolikt att det är. ettuttalande.

När du har tillräckligt med data för att göra uppdelningar behöver du inte hänvisa till skönheten i dina formler för att rättfärdiga projektet (en gammal modevana som jag ser överallt, inte bara inom vetenskap). Du kan säga: „Jag vet att det fungerar, eftersom jag kan ta en datamängd som jag aldrig har sett förut och exakt förutsäga vad som kommer att hända där... och jag får rätt. Om och om igen.”

Att testa din modell/teori på nya data är den bästa grunden för förtroende.

Jag tolererar inte datacharlataner. Jag bryr mig inte om din åsikt bygger på olika trix. Jag imponeras inte av skönheten i förklaringar. Visa mig att din teori/modell fungerar (och fortsätter att fungera) på en mängd nya data som du aldrig har sett förut. Det är den verkliga prövningen av din åsikt.

Att vända sig till experter inom Data Science.

Om du vill bli tagen på allvar av alla som förstår den här humorn, sluta gömma dig bakom snåriga ekvationer för att bevara personliga fördomar. Visa vad du har. Om du vill att de som "förstod" ska betrakta din teori/modell som något mer än bara inspirerande poesi, ha modet att göra en stor demonstration av hur bra den fungerar på en helt ny datamängd... inför vittnen!

Till ledare

Avvisa alla "idéer" om data tills de har testats på nya data. Vill du inte anstränga dig? Håll dig till analys men förlita dig inte på dessa idéer - de är opålitliga och har inte testats för tillförlitlighet. Dessutom, när en organisation har data i överflöd, finns det ingen brist på att göra uppdelning som en grund i vetenskapen och hålla det på infrastrukturens nivå, genom att kontrollera åtkomst till testdata för statistik. Detta är ett utmärkt sätt att stoppa försök att lura dig!

Om du vill se fler exempel på charlataner som planerar något otäckt - här är en fantastisk tråd på Twitter.

Sammanfattning

När det finns för lite data för uppdelning, försöker bara en charlatan strikt följa inspirationen, och retroaktivt "upptäcka" fenomen som redan är kända att finnas i datan, och kallar överraskningar statistiskt signifikanta. Detta skiljer dem från en objektiv analytiker som handlar med inspiration och en noggrann statistiker som erbjuder bevis vid prognoser.

När det finns mycket data, skapa en vana att dela upp datan, så att du kan få det bästa av båda världar! Se till att göra analys och statistik separat för olika delmängder av den ursprungliga datamängden.

Analytiker erbjuder dig inspiration och bredd av perspektiv.
Statistiker erbjuder dig strikt testning.
Charlataner erbjuder dig en förvrängd retroaktiv syn som låtsas vara en kombination av analys och statistik.

Efter att ha läst artikeln kanske du tänker "är jag en charlatan?" Det är helt okej. Du kan bli av med denna tanke på två sätt: för det första, se tillbaka och reflektera över vad du har åstadkommit, har ditt arbete med data haft praktisk nytta? För det andra kan du fortsätta att arbeta på din kvalifikation (vilket definitivt inte skadar), dessutom ger vi våra studenter praktiska färdigheter och kunskaper som gör dem till riktiga data scientist.