🥇Si ta njohim mashtruesin në Data Science?

E mund të keni dëgjuar për analistët, specialistët e mësimit të makinerive dhe inteligjencës artificiale, por a keni dëgjuar ndonjëherë për ata që paguhen padrejtësisht? Takoni sharlatanin e të dhënave! Këta dinakë, të cilët tërhiqen nga puna fitimprurëse, krijojnë një reputacion të keq për specialistët e vërtetë të përpunimit të të dhënave. Në këtë material, shqyrtojmë se si të zbuloni këta njerëz.

Sharlatanët e të dhënave janë kudo

Sharlatanët e të dhënave janë aq të aftë të fshihen në shikim të hapur, saqë ju mund të jini një prej tyre, madje pa e kuptuar. Me siguri, organizata juaj ka mbajtur këta dinakë për vite me radhë, por ka një lajm të mirë: ata janë të lehtë për t'u identifikuar, nëse e dini se çfarë të kërkoni.
Shenja e parë paralajmëruese është mungesa e kuptimit se analiza dhe statistika janë disiplina shumë të ndryshme. Në vazhdim, do ta shpjegoj këtë.

Disiplina të ndryshme

Statistikat trajnohen për të nxjerrë përfundime mbi atë që kalon përtej të dhënave të tyre, analistët janë trajnuar për të studiuar përmbajtjen e një grupi të dhënash. Me fjalë të tjera, analistët nxjerrin përfundime mbi atë që përmban të dhënat e tyre, ndërsa statistikat nxjerrin përfundime mbi atë që nuk është në të dhëna. Analistët ndihmojnë në formulimin e pyetjeve të mira (të hedhin hipoteza), ndërsa statistikat ndihmojnë në marrjen e përgjigjeve të mira (të testojnë hipoteza).

Ekzistojnë gjithashtu role hibridë të çuditshme, kur një njeri përpiqet të qëndrojë në dy karrige... Pse jo? Parimi kryesor i shkencës së të dhënave: nëse po merret me pasiguri, nuk mund të përdorni të njëjtën pikë të dhënash për hipoteza dhe verifikim. Kur të dhënat janë të kufizuara, pasiguria të detyron të zgjedhësh mes statistikës ose analizës. Shpjegimi këtu.

Pa statistika, do të ngecni dhe nuk do të jeni në gjendje të kuptoni nëse pohimi i sapoformuluar reziston kritikës, ndërsa pa analizë lëvizni me anështje, me pak shpresë për të zbutur të panjohurën. Kjo është një zgjedhje e vështirë.

Dalja e sharlatanit nga kjo situatë është të injorojë atë dhe pastaj të bëjë sikur është i befasuar nga ajo që zbulohet papritmas. Logjika e verifikimit të hipotezave statistikore reduktohet në pyetje: a na befasojnë të dhënat mjaftueshëm për të ndryshuar mendimin tonë? Si mund të befasohemi nga të dhënat, nëse i kemi parë tashmë?

Kohë pas kohe, kur sharlatanët gjejnë një model, ata frymëzohen, pastaj verifikojnë të njëjtat të dhëna për të së njëjtës model, për të publikuar rezultatin me një vlerë p legjitime ose dy, pranë teorisë së tyre. Kështu ata po të gënjejnë (ndoshta edhe vetveten). Një vlerë p e tillë nuk ka rëndësi nëse nuk e mban hipotezën tënde. në se si kanë shqyrtuar të dhënat e tyre. Sharlatanët imitojnë veprimet e analistëve dhe statistikantëve pa kuptuar arsyet. Si rezultat, të gjithë fushën e shkencës së të dhënave merr një reputacion të keq.

Statistikanët e vërtetë gjithmonë arrijnë përfundimet e tyre.

Falë një reputacioni pothuajse mistik të specialistëve të statistikës, që merren me arsyetime rigoroz, sasia e informacionit të rremë në Data Science është rekord. Është e lehtë të mashtrosh dhe të mos kapesh, veçanërisht nëse viktima pa dyshim mendon se gjithçka ka të bëjë me ekuacionet dhe të dhënat. Një grup të dhënash është një grup të dhënash, apo jo? Jo. Ka rëndësi si e përdor atë.

Fatmirësisht, ju nevojitet vetëm një shenjë për të kapur sharlatanët: ata "rihapin Amerikën pas datës". Rihapin fenomene që ata tashmë e dinë se janë të pranishme në të dhëna.

Ndryshe nga sharlatanët, analistët e mirë — nuk kanë paragjykime dhe e kuptojnë se idetë frymëzuese mund të kenë shumë shpjegime të ndryshme. Në të njëjtën kohë, statistikanët e mirë e përcaktojnë me kujdes përfundimin e tyre para se ta nxjerrin atë.

Analistët janë të shkarkuar nga përgjegjësia… derisa ata të dalin përtej të dhënave të tyre. Nëse ata ndjejnë tundimin të shpallin diçka që nuk e kanë parë, kjo është një punë krejtësisht tjetër. Ata duhet "të heqin këpucët" e analistit dhe "të veshin" këpucët e statistikani. Në fund të fundit, pavarësisht nga emri i zyrtarizuar, nuk ka rregull që të mos mund të studiojnë të dy profesionet nëse duan. Vetëm mos i ngatërro.

Nëse e dini mirë statistikën, nuk do të thotë që dini mirë analitikën, dhe anasjelltas. Nëse dikush përpiqet t'ju thotë të kundërtën, është mirë të jeni të kujdesshëm. Nëse ky njeri ju thotë se është e lejuar të bëni përfundime statistike mbi të dhënat që keni shqyrtuar tashmë, kjo është një arsye për të qenë dyfish të kujdeshëm.

Shpjegime të çuditshme

Duke vëzhguar sharlatanët e të dhënave në natyrë, do të vini re se ata e duan të shpikin tregime fantastike për të "shpjeguar" të dhënat e vëzhguara. Sa më akademikë, aq më mirë. Nuk ka rëndësi se këto histori janë rregulluar pas ngjarjeve.

Kur sharlatanët bëjnë kështu — le t'ju them pa hezitim — ata gënjejnë. Asnjë sasi ekuacionesh apo koncepte të bukura nuk kompenson faktin që ata kanë ofruar prova zero për versionet e tyre. Mos u çudisni sa të çuditshme janë shpjegimet e tyre.

Kjo është e njëjta gjë si të demonstrosh aftësitë e tua "ekstra-sensoriale", duke parë fillimisht kartat në duar dhe pastaj duke parashikuar se çfarë mban… çfarë do mbash. Kjo është një përllogaritje e pasme dhe profesioni i shkencëtarit të të dhënave është plot me të.

Analistët thonë: "Sapo e pe rrugën me mbretëreshën e buba". Statistikët thonë: "E kam shkruar hipotezën time në këtë copë letre përpara se të fillonim. Le të luajmë, të shohim disa të dhëna dhe të shohim nëse kam të drejtë". Sharlatanët thonë: "E dija që do të shkoje me këtë mbretëreshë buba, sepse…"

Pjesëtimi i të dhënave është një zgjidhje e shpejtë për problemin që kërkon çdo njeri.

Kur të dhënat nuk janë të shumta, duhet të zgjedhësh midis statistikës dhe analizës, por kur të dhënat janë të bollshme, ka një mundësi të shkëlqyer për të shfrytëzuar analizën pa mashtrim. dhe Statistika. Ju keni mbrojtjen perfekte nga sharlatanët — kjo është pjesëtimi i të dhënave dhe, në mendimin tim, kjo është ideja më e fuqishme në Shkencën e të Dhënave.

Për të mbrojtur veten nga sharlatanët, gjëja e vetme që duhet të bëni është të siguroheni që mbani disa të dhëna testuese jashtë syve të tyre kuriozë, dhe pastaj të trajtoni gjithçka tjetër si analizë. Kur hasni një teori që rrezikoni ta pranoni, përdoreni atë për të vlerësuar situatën, dhe pastaj hapni të dhënat tuaja sekrete për të testuar nëse teoria nuk është një budallëk. Është kaq e thjeshtë!

Sigurohuni që askush të mos lejohet të shikojë të dhënat testuese gjatë fazës së hulumtimit. Për këtë, përmbajuni të dhënave hulumtuese. Të dhënat testuese nuk duhet të përdoren për analizë.

Ky është një hap i madh përpara në krahasim me atë në të cilin njerëzit janë mësuar në epokën e "të dhënave të vogla", ku ju nevojitet të shpjegoni se nga e dini atë që know, për të bindur përfundimisht njerëzit se ju me të vërtetë dini diçka.

Të njëjtat rregulla zbatohen për ML/AI.

Disa sharlatanë që pretendojnë të jenë ekspertë në fushën e ML/AI, gjithashtu janë të lehtë për t'u zbuluar. Ju do t'i kapni ata ashtu si do të kapnit çdo inxhinier tjetër të keq: "zgjidhje" që ata përpiqen të ndërtuan, vazhdimisht dështojnë. Një shenjë e hershme paralajmëruese - mungesa e eksperiencës me gjuhët dhe bibliotekat standarde të programimit të industrisë.

Por si duhet të veproni me njerëzit që krijojnë sisteme që duken funksionale? Si të dini se ka diçka të dyshimtë? Zbatoni të njëjtën rregull! Sharlatani është një karakter i keq që ju tregon se sa mirë ka punuar modeli… me të njëjtat të dhëna që ata përdorën për ta ndërtuar modelin.

Nëse keni ndërtuar një sistem të çmendur të mësimit të makinerive, si të dini se sa i mirë është ai? Nuk do ta dini përpara se ta tregoni që punon me të dhëna të reja, që nuk i ka parë më parë.

Kur keni parë të dhënat përpara parashikimit - është e dyshimtë. parashikim.referimi.

Kur keni mjaft të dhëna për t'i ndarë, nuk keni nevojë të referoheni në bukurinë e formulave tuaja për të justifikuar projektin (një zakoni i vjetër që e shoh kudo, jo vetëm në shkencë). Ju mund të thoni: "E di që funksionon, sepse mund të marr një set të dhënash që nuk e kam parë më parë dhe të parashikoj saktë se çfarë do të ndodhë… dhe do të kem të drejtë. Përsëri dhe përsëri."

Testimi i modelit/testimi tuaj me të dhëna të reja është baza më e mirë për besimin.

Nuk e përballoj sharlatanët e të dhënave. Nuk më intereson nëse opinioni juaj mbështetet në fakte të ndryshme. Nuk më impresionon bukuria e shpjegimeve. Më trego se si funksionon teoria/jashtë modelit tuaj (dhe vazhdon të funksionojë) në një sërë të dhënash të reja që keni parë ndonjëherë. Kjo është vërtet testimi i qëndrueshmërisë së mendimit tuaj.

Kërkoni ndihmën e specialistëve në fushën e Shkencës së të Dhënave.

Nëse dëshiron që të të respektojnë të gjithë ata që e kuptojnë këtë humor, ndalu të fshihesh pas ekuacioneve të çuditshme për të mbështetur paragjykimet personale. Trego se çfarë ke. Nëse dëshiron që ata që "kuptuan" ta shohin teorinë/ modelin tënd si diçka më shumë se thjesht poezi frymëzuese, ke guximin të organizosh një shfaqje madhështore të sa mirë funksionon në një grup të ri të dhënash... para dëshmitarëve!

Drejtimi për menaxherët

Refuzoni të pranoni me seriozitet çdo "ide" për të dhënat, derisa ato të sillen në prova mbi të rejat e dhënave. A nuk dëshiron të bësh përpjekje? Qëndro në analiza, por mos u mbështet te këto ide - ato janë të pasigurt dhe nuk janë testuar për besueshmëri. Gjithashtu, kur një organizatë ka të dhëna në bollëk, nuk ka asnjë pengesë për të bërë ndarjen themelore në shkencë dhe ta mbash atë në nivelin e infrastrukturës, duke kontrolluar qasjen në të dhënat testuese për statistika. Kjo është një mënyrë e shkëlqyer për të parandaluar përpjekjet për të të mashtruar!

Nëse dëshiron të shohësh më shumë shembuj të sharlatanëve që po e mendojnë diçka të keqe - këtu është një temë e mrekullueshme në Twitter.

Përfundime

Kur të dhënat janë shumë të pakta për ndarje, vetëm një sharlatan përpiqet të ndjekë me rigorozitet frymëzimin, duke e hapur Amerikën retrospektivisht, duke ri-rishikuar fenomenet, për të cilat tashmë dihet se ekzistojnë në të dhëna, dhe duke e quajtur befasinë statistike të rëndësishme. Kjo i ndan ata nga analisti pa paragjykim që merret me frymëzimin, dhe statistikani kërkues që ofron prova në parashikimin.

Kur ka shumë të dhëna, zhvillo një zakon për të ndarë të dhënat, kështu do të kesh të mirat e të dyja botëve! Sigurohu të bësh analiza dhe statistika ndaras për nëngrupet e ndryshme të grumbullit origjinal të të dhënave.

Analistët të ofrojnë frymëzim dhe gjerësi perspektive.
Statistikanët ofrojnë testim rigoroz.
Sharlatanët ofrojnë një këndvështrim të deformuar retrospektiv që pretendohet si analiza plus statistika.

Ndoshta, pas leximit të artikullit, do t'ju vije në mendje pyetja "mos jam ndonjë mashtrues"? Kjo është normale. Ka dy mënyra për ta hequr këtë mendim: së pari, të keni një vështrim pas dhe të shihni se çfarë keni arritur, nëse puna juaj me të dhënat ka sjellë ndonjë përfitim praktik. Së dyti, mund të punoni më tej në kualifikimin tuaj (çka sigurisht që nuk do të dëmtojë), sidomos duke pasur parasysh se studentët tanë fitojnë aftësi dhe njohuri praktike që i ndihmojnë ata të bëhen të vërtetë data scientist.