E mund të keni dëgjuar për analistët, specialistët e mësimit të makinerive dhe inteligjencës artificiale, por a keni dëgjuar ndonjëherë për ata që paguhen padrejtësisht? Takoni sharlatanin e të dhënave! Këta dinakë, të cilët tërhiqen nga puna fitimprurëse, krijojnë një reputacion të keq për specialistët e vërtetë të përpunimit të të dhënave. Në këtë material, shqyrtojmë se si të zbuloni këta njerëz.
Sharlatanët e të dhënave janë kudo
Sharlatanët e të dhënave janë aq të aftë të fshihen në shikim të hapur, saqë ju mund të jini një prej tyre, madje pa e kuptuar. Me siguri, organizata juaj ka mbajtur këta dinakë për vite me radhë, por ka një lajm të mirë: ata janë të lehtë për t'u identifikuar, nëse e dini se çfarë të kërkoni.
Shenja e parë paralajmëruese është mungesa e kuptimit se analiza dhe statistika janë disiplina shumë të ndryshme. Në vazhdim, do ta shpjegoj këtë.
Disiplina të ndryshme
Statistikat trajnohen për të nxjerrë përfundime mbi atë që kalon përtej të dhënave të tyre, analistët janë trajnuar për të studiuar përmbajtjen e një grupi të dhënash. Me fjalë të tjera, analistët nxjerrin përfundime mbi atë që përmban të dhënat e tyre, ndërsa statistikat nxjerrin përfundime mbi atë që nuk është në të dhëna. Analistët ndihmojnë në formulimin e pyetjeve të mira (të hedhin hipoteza), ndërsa statistikat ndihmojnë në marrjen e përgjigjeve të mira (të testojnë hipoteza).
Ekzistojnë gjithashtu role hibridë të çuditshme, kur një njeri përpiqet të qëndrojë në dy karrige... Pse jo? Parimi kryesor i shkencës së të dhënave: nëse po merret me pasiguri, nuk mund të përdorni të njëjtën pikë të dhënash për hipoteza dhe verifikim. Kur të dhënat janë të kufizuara, pasiguria të detyron të zgjedhësh mes statistikës ose analizës. Shpjegimi .
Pa statistika, do të ngecni dhe nuk do të jeni në gjendje të kuptoni nëse pohimi i sapoformuluar reziston kritikës, ndërsa pa analizë lëvizni me anështje, me pak shpresë për të zbutur të panjohurën. Kjo është një zgjedhje e vështirë.
Dalja e sharlatanit nga kjo situatë është të injorojë atë dhe pastaj të bëjë sikur është i befasuar nga ajo që zbulohet papritmas. Logjika e verifikimit të hipotezave statistikore reduktohet në pyetje: a na befasojnë të dhënat mjaftueshëm për të ndryshuar mendimin tonë? Si mund të befasohemi nga të dhënat, nëse i kemi parë tashmë?
Kohë pas kohe, kur sharlatanët gjejnë një model, ata frymëzohen, pastaj verifikojnë të njëjtat të dhëna për të së njëjtës model, për të publikuar rezultatin me një vlerë p legjitime ose dy, pranë teorisë së tyre. Kështu ata po të gënjejnë (ndoshta edhe vetveten). Një vlerë p e tillë nuk ka rëndësi nëse nuk e mban hipotezën tënde. në se si kanë shqyrtuar të dhënat e tyre. Sharlatanët imitojnë veprimet e analistëve dhe statistikantëve pa kuptuar arsyet. Si rezultat, të gjithë fushën e shkencës së të dhënave merr një reputacion të keq.
Statistikanët e vërtetë gjithmonë arrijnë përfundimet e tyre.
FalĂ« njĂ« reputacioni pothuajse mistik tĂ« specialistĂ«ve tĂ« statistikĂ«s, qĂ« merren me arsyetime rigoroz, sasia e informacionit tĂ« rremĂ« nĂ« Data Science Ă«shtĂ« rekord. ĂshtĂ« e lehtĂ« tĂ« mashtrosh dhe tĂ« mos kapesh, veçanĂ«risht nĂ«se viktima pa dyshim mendon se gjithçka ka tĂ« bĂ«jĂ« me ekuacionet dhe tĂ« dhĂ«nat. NjĂ« grup tĂ« dhĂ«nash Ă«shtĂ« njĂ« grup tĂ« dhĂ«nash, apo jo? Jo. Ka rĂ«ndĂ«si si e pĂ«rdor atĂ«.
Fatmirësisht, ju nevojitet vetëm një shenjë për të kapur sharlatanët: ata "rihapin Amerikën pas datës". Rihapin fenomene që ata tashmë e dinë se janë të pranishme në të dhëna.
Ndryshe nga sharlatanĂ«t, analistĂ«t e mirĂ« â nuk kanĂ« paragjykime dhe e kuptojnĂ« se idetĂ« frymĂ«zuese mund tĂ« kenĂ« shumĂ« shpjegime tĂ« ndryshme. NĂ« tĂ« njĂ«jtĂ«n kohĂ«, statistikanĂ«t e mirĂ« e pĂ«rcaktojnĂ« me kujdes pĂ«rfundimin e tyre para se ta nxjerrin atĂ«.
Analistët janë të shkarkuar nga përgjegjësia⊠derisa ata të dalin përtej të dhënave të tyre. Nëse ata ndjejnë tundimin të shpallin diçka që nuk e kanë parë, kjo është një punë krejtësisht tjetër. Ata duhet "të heqin këpucët" e analistit dhe "të veshin" këpucët e statistikani. Në fund të fundit, pavarësisht nga emri i zyrtarizuar, nuk ka rregull që të mos mund të studiojnë të dy profesionet nëse duan. Vetëm mos i ngatërro.
Nëse e dini mirë statistikën, nuk do të thotë që dini mirë analitikën, dhe anasjelltas. Nëse dikush përpiqet t'ju thotë të kundërtën, është mirë të jeni të kujdesshëm. Nëse ky njeri ju thotë se është e lejuar të bëni përfundime statistike mbi të dhënat që keni shqyrtuar tashmë, kjo është një arsye për të qenë dyfish të kujdeshëm.
Shpjegime të çuditshme
Duke vëzhguar sharlatanët e të dhënave në natyrë, do të vini re se ata e duan të shpikin tregime fantastike për të "shpjeguar" të dhënat e vëzhguara. Sa më akademikë, aq më mirë. Nuk ka rëndësi se këto histori janë rregulluar pas ngjarjeve.
Kur sharlatanĂ«t bĂ«jnĂ« kĂ«shtu â le t'ju them pa hezitim â ata gĂ«njejnĂ«. AsnjĂ« sasi ekuacionesh apo koncepte tĂ« bukura nuk kompenson faktin qĂ« ata kanĂ« ofruar prova zero pĂ«r versionet e tyre. Mos u çudisni sa tĂ« çuditshme janĂ« shpjegimet e tyre.
Kjo është e njëjta gjë si të demonstrosh aftësitë e tua "ekstra-sensoriale", duke parë fillimisht kartat në duar dhe pastaj duke parashikuar se çfarë mban⊠çfarë do mbash. Kjo është një përllogaritje e pasme dhe profesioni i shkencëtarit të të dhënave është plot me të.
AnalistĂ«t thonĂ«: "Sapo e pe rrugĂ«n me mbretĂ«reshĂ«n e buba". StatistikĂ«t thonĂ«: "E kam shkruar hipotezĂ«n time nĂ« kĂ«tĂ« copĂ« letre pĂ«rpara se tĂ« fillonim. Le tĂ« luajmĂ«, tĂ« shohim disa tĂ« dhĂ«na dhe tĂ« shohim nĂ«se kam tĂ« drejtĂ«". SharlatanĂ«t thonĂ«: "E dija qĂ« do tĂ« shkoje me kĂ«tĂ« mbretĂ«reshĂ« buba, sepseâŠ"
Pjesëtimi i të dhënave është një zgjidhje e shpejtë për problemin që kërkon çdo njeri.
Kur tĂ« dhĂ«nat nuk janĂ« tĂ« shumta, duhet tĂ« zgjedhĂ«sh midis statistikĂ«s dhe analizĂ«s, por kur tĂ« dhĂ«nat janĂ« tĂ« bollshme, ka njĂ« mundĂ«si tĂ« shkĂ«lqyer pĂ«r tĂ« shfrytĂ«zuar analizĂ«n pa mashtrim. dhe Statistika. Ju keni mbrojtjen perfekte nga sharlatanĂ«t â kjo Ă«shtĂ« pjesĂ«timi i tĂ« dhĂ«nave dhe, nĂ« mendimin tim, kjo Ă«shtĂ« ideja mĂ« e fuqishme nĂ« ShkencĂ«n e tĂ« DhĂ«nave.
PĂ«r tĂ« mbrojtur veten nga sharlatanĂ«t, gjĂ«ja e vetme qĂ« duhet tĂ« bĂ«ni Ă«shtĂ« tĂ« siguroheni qĂ« mbani disa tĂ« dhĂ«na testuese jashtĂ« syve tĂ« tyre kuriozĂ«, dhe pastaj tĂ« trajtoni gjithçka tjetĂ«r si analizĂ«. Kur hasni njĂ« teori qĂ« rrezikoni ta pranoni, pĂ«rdoreni atĂ« pĂ«r tĂ« vlerĂ«suar situatĂ«n, dhe pastaj hapni tĂ« dhĂ«nat tuaja sekrete pĂ«r tĂ« testuar nĂ«se teoria nuk Ă«shtĂ« njĂ« budallĂ«k. ĂshtĂ« kaq e thjeshtĂ«!
Sigurohuni që askush të mos lejohet të shikojë të dhënat testuese gjatë fazës së hulumtimit. Për këtë, përmbajuni të dhënave hulumtuese. Të dhënat testuese nuk duhet të përdoren për analizë.
Ky është një hap i madh përpara në krahasim me atë në të cilin njerëzit janë mësuar në epokën e "të dhënave të vogla", ku ju nevojitet të shpjegoni se nga e dini atë që know, për të bindur përfundimisht njerëzit se ju me të vërtetë dini diçka.
Të njëjtat rregulla zbatohen për ML/AI.
Disa sharlatanë që pretendojnë të jenë ekspertë në fushën e ML/AI, gjithashtu janë të lehtë për t'u zbuluar. Ju do t'i kapni ata ashtu si do të kapnit çdo inxhinier tjetër të keq: "zgjidhje" që ata përpiqen të ndërtuan, vazhdimisht dështojnë. Një shenjë e hershme paralajmëruese - mungesa e eksperiencës me gjuhët dhe bibliotekat standarde të programimit të industrisë.
Por si duhet të veproni me njerëzit që krijojnë sisteme që duken funksionale? Si të dini se ka diçka të dyshimtë? Zbatoni të njëjtën rregull! Sharlatani është një karakter i keq që ju tregon se sa mirë ka punuar modeli⊠me të njëjtat të dhëna që ata përdorën për ta ndërtuar modelin.
Nëse keni ndërtuar një sistem të çmendur të mësimit të makinerive, si të dini se sa i mirë është ai? Nuk do ta dini përpara se ta tregoni që punon me të dhëna të reja, që nuk i ka parë më parë.
Kur keni parë të dhënat përpara parashikimit - është e dyshimtë. parashikim.referimi.
Kur keni mjaft të dhëna për t'i ndarë, nuk keni nevojë të referoheni në bukurinë e formulave tuaja për të justifikuar projektin (një zakoni i vjetër që e shoh kudo, jo vetëm në shkencë). Ju mund të thoni: "E di që funksionon, sepse mund të marr një set të dhënash që nuk e kam parë më parë dhe të parashikoj saktë se çfarë do të ndodhë⊠dhe do të kem të drejtë. Përsëri dhe përsëri."
Testimi i modelit/testimi tuaj me të dhëna të reja është baza më e mirë për besimin.
Nuk e përballoj sharlatanët e të dhënave. Nuk më intereson nëse opinioni juaj mbështetet në fakte të ndryshme. Nuk më impresionon bukuria e shpjegimeve. Më trego se si funksionon teoria/jashtë modelit tuaj (dhe vazhdon të funksionojë) në një sërë të dhënash të reja që keni parë ndonjëherë. Kjo është vërtet testimi i qëndrueshmërisë së mendimit tuaj.
Kërkoni ndihmën e specialistëve në fushën e Shkencës së të Dhënave.
Nëse dëshiron që të të respektojnë të gjithë ata që e kuptojnë këtë humor, ndalu të fshihesh pas ekuacioneve të çuditshme për të mbështetur paragjykimet personale. Trego se çfarë ke. Nëse dëshiron që ata që "kuptuan" ta shohin teorinë/ modelin tënd si diçka më shumë se thjesht poezi frymëzuese, ke guximin të organizosh një shfaqje madhështore të sa mirë funksionon në një grup të ri të dhënash... para dëshmitarëve!
Drejtimi për menaxherët
Refuzoni të pranoni me seriozitet çdo "ide" për të dhënat, derisa ato të sillen në prova mbi të rejat e dhënave. A nuk dëshiron të bësh përpjekje? Qëndro në analiza, por mos u mbështet te këto ide - ato janë të pasigurt dhe nuk janë testuar për besueshmëri. Gjithashtu, kur një organizatë ka të dhëna në bollëk, nuk ka asnjë pengesë për të bërë ndarjen themelore në shkencë dhe ta mbash atë në nivelin e infrastrukturës, duke kontrolluar qasjen në të dhënat testuese për statistika. Kjo është një mënyrë e shkëlqyer për të parandaluar përpjekjet për të të mashtruar!
Nëse dëshiron të shohësh më shumë shembuj të sharlatanëve që po e mendojnë diçka të keqe - .
PĂ«rfundime
Kur të dhënat janë shumë të pakta për ndarje, vetëm një sharlatan përpiqet të ndjekë me rigorozitet frymëzimin, duke e hapur Amerikën retrospektivisht, duke ri-rishikuar fenomenet, për të cilat tashmë dihet se ekzistojnë në të dhëna, dhe duke e quajtur befasinë statistike të rëndësishme. Kjo i ndan ata nga analisti pa paragjykim që merret me frymëzimin, dhe statistikani kërkues që ofron prova në parashikimin.
Kur ka shumë të dhëna, zhvillo një zakon për të ndarë të dhënat, kështu do të kesh të mirat e të dyja botëve! Sigurohu të bësh analiza dhe statistika ndaras për nëngrupet e ndryshme të grumbullit origjinal të të dhënave.
- Analistët të ofrojnë frymëzim dhe gjerësi perspektive.
- Statistikanët ofrojnë testim rigoroz.
- Sharlatanët ofrojnë një këndvështrim të deformuar retrospektiv që pretendohet si analiza plus statistika.
Ndoshta, pas leximit të artikullit, do t'ju vije në mendje pyetja "mos jam ndonjë mashtrues"? Kjo është normale. Ka dy mënyra për ta hequr këtë mendim: së pari, të keni një vështrim pas dhe të shihni se çfarë keni arritur, nëse puna juaj me të dhënat ka sjellë ndonjë përfitim praktik. Së dyti, mund të punoni më tej në kualifikimin tuaj (çka sigurisht që nuk do të dëmtojë), sidomos duke pasur parasysh se studentët tanë fitojnë aftësi dhe njohuri praktike që i ndihmojnë ata të bëhen të vërtetë data scientist.
Kurse të tjera
Lexoni më shumë
Burimi: habr.com
Russian
Italian
German
Polish
Estonian
Albanian
Bulgarian
Croatian
Czech
Danish
Dutch
English
French
Hungarian
Latvian
Norwegian
Portuguese
Romanian
Slovak
Slovenian
Spanish
Swedish