🥇Hogyan ismerjük fel a csalókat a Data Science világában?

Lehet, hogy hallott már az elemzőkről, gépi tanulásról és mesterséges intelligenciáról, de hallott-e már a túlárazott szakemberekről? Ismerjük meg az adatcsalókat! Ezek a furfangos emberek, akiket vonz a jövedelmező munka, rossz hírnevet adnak a valódi adatfeldolgozóknak. Cikkünkben elfogulatlanul vizsgáljuk meg, hogyan lehet leleplezni ilyen embereket.

Az adatcsalók mindenhol jelen vannak

Az adatcsalók annyira jól tudnak rejtőzni a nyilvánosság előtt, hogy akár lehet egyetlen közülük, még csak észre sem véve. Valószínű, hogy az Ön szervezete évek óta rejtegeti ezeket a csalókat, de jó hír, hogy könnyen azonosíthatók, ha tudja, mit keressen.
Az első figyelmeztető jel a megértés hiánya, hogy az elemzés és a statisztika nagyon különböző tudományágak. Erről bővebben később.

Különböző tudományágak

A statisztikusokat arra képzik, hogy következtetéseket vonjanak le az adatain túli dolgokról, míg az elemzők az adatállomány tartalmának tanulmányozására képzettek. Más szóval, az elemzők a rendelkezésre álló adatok tartalmáról következtetnek, míg a statisztikusok arról, ami az adatokban nincs. Az elemzők segítenek jó kérdéseket feltenni (hipotézisek megfogalmazása), míg a statisztikusok segítenek jó válaszokat kapni (hipotézisek tesztelése).

Van néhány fura hibrid szerep is, amikor az illető megpróbál két szék között ülni... Miért ne? Az adatok tudománya alapelve: ha bizonytalansággal foglalkozik, nem használhatja ugyanazt a adatpontot a hipotézisek és a tesztek számára. Amikor az adatok korlátozottak, a bizonytalanság döntés elé állít a statisztika vagy az elemzés között. Magyarázat itt.

Statisztika nélkül megreked, és nem érti, hogy a frissen megfogalmazott kijelentés képes-e ellenállni a kritikának, míg elemzés nélkül a sötétben tapogatózik, kevés eséllyel szelídíti meg az ismeretlent. Nehéz választás.

A csaló kiútja ebből a helyzetből az, hogy figyelmen kívül hagyja azt, majd úgy tesz, mintha meglepődne, amikor a dolog hirtelen kiderül. A statisztikai hipotézisek tesztelésének logikája egy kérdésre redukálódik: elég meglepőek-e az adatok ahhoz, hogy megváltoztassák a véleményünket? Hogyan lepődhetünk meg az adatokon, ha már láttuk őket?

Minden alkalommal, amikor a csalók egy mintát találnak, inspirálódnak, majd tesztelik ugyanazokat az adatokat a ugyanazon a mintán, hogy közzétegyenek egy legitim p-értéket vagy kettőt, a saját elméletük mellett. Ezzel hazudnak önnek (és talán saját maguknak is). Az ilyen p-értéknek nincs jelentősége, ha nem tartja magát a hipoteziséhez. tól arról, hogyan vizsgálták az adataikat. A sarlatánok utánozzák az elemzők és statisztikusok tevékenységét, anélkül, hogy megértenék az okokat. Ennek eredményeként a teljes adatelemzés tudományának rossz híre van.

Az igazi statisztikusok mindig meghozzák a következtetéseiket.

A statisztika körüli szinte misztikus hírnév miatt a Data Science területén eddig soha nem látott mértékű hamis információk terjednek. Könnyű átverni és nem lebukni, különösen, ha az áldozat gyanútlanul azt gondolja, hogy itt minden az egyenleteken és az adatokon múlik. Az adathalmaz adathalmaz, ugye? Nem. Az a lényeg, hogyan használja fel.

Szerencsére csak egy tipp kell a sarlatánok leleplezéséhez: ők „újra felfedezik Amerikát.” Olyan jelenségeket „fedeznek fel”, amelyekről már tudják, hogy jelen vannak az adatokban.

A jó elemzők nem elfogultak, és értik, hogy az inspiráló ötleteknek sok különböző magyarázata lehet. Ugyanakkor a jó statisztikusok gondosan meghatározzák a következtetéseiket, mielőtt meghozzák azokat.

Az elemzők mentesek a felelősség alól... amíg nem lépik túl az adataik határait. Ha kísértést éreznek, hogy olyat állítsanak, amit nem láttak, az már egy teljesen más munka. Le kell „venniük” az elemző cipőjét, és „át kell bújniuk” a statisztikus cipőjébe. Végül is, bármilyen hivatalos névvel vannak, nincsen szabály arra, hogy nem tanulmányozhatja mindkét szakmát, ha akarja. Csak ne keverje őket.

Ha jól ért a statisztikához, az nem jelenti azt, hogy jól érti az elemzést, és fordítva. Ha valaki azt próbálja mondani önnek, hogy ez nem igaz, érdemes gyanakodni. Ha ez a személy azt mondja, hogy statisztikai következtetéseket lehet levonni már elemezett adatokból, akkor az duplán gyanús.

Fura magyarázatok

Ha megfigyeli a dátumokkal foglalkozó csalókat a vadonban, észre fogja venni, hogy szeretnek csodálatos történeteket kitalálni, hogy "megmagyarázzák" a megfigyelt adatokat. Minél tudományosabb, annál jobb. Nem számít, hogy ezek a történetek utólag lettek kitalálva.

Amikor a csalók így járnak el - engedje meg, hogy ne kíméljem a szavakat - akkor hazudnak. Semmiféle egyenlet vagy szép fogalom nem kompenzálja azt, hogy nulla bizonyítékot nyújtottak a verzióikra. Ne csodálkozzon, mennyire szokatlanok a magyarázataik.

Ugyanaz, mint bemutatni az "extraszenzoros" képességeit, miután először ránézett a kezében lévő kártyákra, majd megjósolni, hogy mit tart… amit tart. Ez visszatekintő előítélet, és a data science szakmája tele van ezzel.

Az elemzők azt mondják: "Éppen most húztad a treff királynőt." A statisztikusok azt mondják: "Felírtam a hipotéziseimet erre a papírdarabra, mielőtt kezdettük volna. Játsszunk, nézzünk meg néhány adatot és nézzük meg, igazam van-e." A csalók azt mondják: "Tudtam, hogy a treff királynővel fogsz menni, mert…"

Az adatok szétválasztása egy gyors megoldás a problémára, amire mindenkinek szüksége van.

Amikor nincs sok adat, választani kell a statisztika és az analitika között, de amikor bőséges az adat, nagyszerű lehetőség van arra, hogy az analitikát becsületesen alkalmazza. és statisztika. Önnek tökéletes védelme van a csalókkal szemben - az adatok szétválasztása, és véleményem szerint ez a legfontosabb ötlet a Data Science-ben.

Hogy megvédje magát a csalóktól, mindössze annyit kell tennie, hogy biztosítja, hogy néhány tesztadat ne kerüljön a kíváncsi szemük elé, majd minden másra úgy tekintsen, mint az analitikára. Amikor eléri a kockázatosan elfogadható elméletet, használja azt a helyzet felmérésére, majd nyissa meg a titkos tesztadatait, hogy ellenőrizze, hogy az elmélet nem őrültség. Ez annyira egyszerű!

Győződjön meg róla, hogy senkinek nem engedélyezett a tesztadatok megtekintése a kutatási szakaszban. Ehhez tartsa magát a kutatási adatokhoz. A tesztadatokat nem szabad analízisre használni.

Ez egy nagy lépés a "kis adatok" korszakához képest, amikor el kellett magyaráznod, honnan tudod, amit tudsz, hogy végül meggyőzd az embereket arról, hogy tényleg tudsz valamit.

Ugyanezeket a szabályokat alkalmazzuk az ML/AIkra.

Néhány sarlatánt, aki magát az ML/AI szakértőjének adja ki, szintén könnyen észlelhetünk. Úgy fogják lebukni, mint bármely más gyenge mérnök: a "megoldások", amelyeket próbálnak felépíteni, folyamatosan kudarcot vallanak. Korai figyelmeztető jel — a tapasztalat hiánya a szokásos ipari nyelvekkel és programozási könyvtárakkal.

De mi a helyzet azokkal az emberekkel, akik működőképes rendszereket hoznak létre? Hogyan lehet észrevenni, hogy valami gyanús történik? Ugyanez a szabály alkalmazandó! A sarlatán egy gyanús figura, aki megmutatja, mennyire jól működött a modell... ugyanazon az adaton, amelyet a modell létrehozásához használtak.

Ha egy őrült bonyolult gépi tanulási rendszert hoztál létre, hogyan tudod megítélni, mennyire jó? Nem fogod megtudni, amíg nem mutatod meg, hogy működik új adatokkal, amelyeket korábban még nem látott.

Amikor már láttad az adatokat a jóslás előtt — aligha ez a helyzet. előtagozás.Közlés.

Amikor elegendő adataid vannak a megosztáshoz, nem kell a képleteid szépségére hivatkoznod, hogy igazolhasd a projektet (régi divatos szokás, amit mindenhol látok, nem csak a tudományban). Mondhatod: "Tudom, hogy ez működik, mert tudok venni egy olyan adatállományt, amellyel korábban még nem találkoztam, és pontosan meg tudom mondani, mi fog történni... és igazam lesz. Ismételten."

A modell/jel elméleted új adatokon való tesztelése a legjobb alap a bizalomra.

Nem tolerálom az adatokkal foglalkozó sarlatánokat. Nem érdekel, hogy a véleményed különféle trükkökre épül-e. Az érvek szépsége nem hat rám. Mutasd meg nekem, hogy a te elméleted/modelljeid működnek (és továbbra is működnek) egy sor új adat alapján, amit soha nem láttál előtte. Ez a te véleményed igazi állóképességének igazi tesztje.

Hozzáértő szakértők megszólítása az Adattudomány területén

Ha szeretné, hogy komolyan vegyék mindazok, akik értik ezt a humort, akkor hagyja abba a furcsa egyenletek mögé való bújást, hogy fenntartsa a személyes előítéleteit. Mutassa meg, ami van. Ha azt akarja, hogy azok, akik "megértették", a teóriáját/modeljét többet lássák, mint csupán egy inspiráló költői szöveget, bátorságot kell gyűjtenie, hogy nagyszabású bemutatót tartson arról, mennyire működik ez teljesen új adathalmazon... tanúk mellett!

Fordulás a vezetőkhöz

Ne vegyen komolyan semmilyen "ötletet" az adatokkal kapcsolatban, amíg azt nem tesztelték új adatokon. Nincs kedve erőfeszítéseket tenni? Maradjon az analitikánál, de ne bízzon ezekben az ötletekben — megbízhatatlanok és nem voltak tesztelve a megbízhatóság szempontjából. Ezenkívül, amikor egy szervezetnek bőven van adata, nincs hiány a tudományos alapon való feldarabolásban, és fenntartani azt az infrastruktúra szintjén, ellenőrizve a tesztadatokhoz való hozzáférést a statisztikákhoz. Ez nagyszerű módja annak, hogy megakadályozza, hogy átverjenek!

Ha többet szeretne látni a sarlatánokról, akik valami rosszra készülnek — itt egy csodás Twitter-szál.

Összegzés

Amikor az adatok túl kevesen vannak a feldaraboláshoz, csak a sarlatán próbál szigorúan a inspirációt követni, amerikai felfedezést tenni retrospektíven, matematikailag újrafelfedezve jelenségeket, amelyekről már tudjuk, hogy léteznek az adatokban, és a meglepetés neve statisztikailag jelentős. Ez megkülönbözteti őket a részrehajtatlan elemzőtől, aki foglalkozik az inspirációval, és a precíz statisztikustól, aki bizonyítékokat kínál a jóslás során.

Amikor sok adat van, szokjon hozzá az adatok feldarabolásához, így a legjobbat kapja mindkét világból! Mindig végezzen analitikát és statisztikát külön-külön az eredeti adathalmazon belüli különböző alkategóriák alapján.

Az elemzők önnek inspirációt és széles látókörűséget kínálnak.
A statisztikusok szigorú tesztelést kínálnak önnek.
A sarlatánok eltorzított retrospektív nézőpontot kínálnak, amely analitikaként plusz statisztikaként álcázza magát.

Lehetséges, hogy a cikk elolvasása után felmerül benned a gondolat, hogy "vajon csaló vagyok-e"? Ez normális. Ezt a gondolatot két módon el lehet űzni: először is, visszatekinthetsz, megnézheted, hogy mit értél el, hogy a munkád az adatokkal gyakorlati haszonnal járt-e. Másodszor, érdemes tovább dolgozni a képzettségeden (ami biztosan nem árt), különösen, hogy a diákjainknak gyakorlati készségeket és tudást adunk, amelyek lehetővé teszik számukra, hogy valódi adatkutatókká váljanak.