🥇Kako prepoznati prevaranta u Data Science?

Možda ste čuli za analitičare, stručnjake za strojno učenje i umjetnu inteligenciju, ali jeste li čuli za one kojima se nezasluženo plaća više? Upoznajte prevarante podataka! Ovi prevaranti, privučeni profitabilnim poslovima, stvaraju lošu reputaciju pravim stručnjacima za obradu podataka. U ovom materijalu istražujemo kako otkriti takve osobe.

Prevaranti podataka su svuda

Prevaranti podataka tako dobro skrivaju svoje prisustvo da možete biti jedan od njih, čak i ne shvaćajući to. Vjerojatno je vaša organizacija godinama skrivala ove prevarante, ali postoji dobra vijest: lako ih je identificirati ako znate što tražiti.
Prvi znak upozorenja je nerazumijevanje da analitika i statistika nisu iste discipline. U nastavku ću to objasniti.

Različite discipline

Statističari su obučeni da donose zaključke o onome što nadilazi njihove podatke, analitičari su obučeni da proučavaju sadržaj skupa podataka. Drugim riječima, analitičari donose zaključke o onome što je u njihovim podacima, a statističari donose zaključke o onome što u podacima nije. Analitičari pomažu postavljati dobra pitanja (formulirati hipoteze), dok statističari pomažu dobiti dobre odgovore (provjeriti hipoteze).

Postoje također neobične hibridne uloge, kada netko pokušava sjediti na dva stolca… Zašto ne? Osnovno načelo znanosti o podacima: kada se suočavate s nesigurnošću, ne možete koristiti istovu točku podataka za hipoteze i provjere. Kada su podaci ograničeni, nesigurnost vas prisiljava da birate između statistike ili analitike. Objašnjenje ovdje.

Bez statistike zaglavit ćete se i nećete moći razumjeti podnosi li nedavno formulisana tvrdnja kritiku, a bez analitike ćete se kretati slijepo s malo šanse da ukrotite nepoznato. To je težak izbor.

Izlaz prevaranta iz ove nevolje je ignorirati je, a zatim se pretvarati da su iznenađeni kada se nešto iznenada otkrije. Logika provjere statističkih hipoteza svodi se na pitanje: jesu li podaci dovoljno iznenađujući da promijene naše mišljenje. Kako možemo biti iznenađeni podacima ako smo ih već vidjeli?

Svaki put kada prevaranti pronađu obrazac, inspirirani su, a zatim provjeravaju iste podatke za tog istog obrasca, kako bi objavili rezultate s legitimnom p-vrijednošću ili dvije, uz njihovu teoriju. Time vam lažu (a možda i sebi). Takva p-vrijednost nije bitna ako se ne pridržavate svoje hipoteze. do kako su pregledali svoje podatke. Šarlatani imitiraju rad analitičara i statistikâ bez razumijevanja uzroka. Kao rezultat toga, cijela područje znanosti o podacima stječe lošu reputaciju.

Pravi statističari uvijek donose svoje zaključke.

Zbog gotovo mistične reputacije stručnjaka za statistiku koji se bave strogošću u rasuđivanju, količina lažnih informacija u Data Science-u je rekordno visoka. Lako je prevariti i proći nezapaženo, osobito ako nevina žrtva misli da se sve svodi na jednadžbe i podatke. Skup podataka je skup podataka, zar ne? Ne. Bitno je kako ga koristite.

Na sreću, potrebna vam je samo jedna naznaka da ulovite šarlatane: oni 'otkrivaju Ameriku unazad'. Ponovno otkrivajući pojave za koje su već svjesni da su prisutne u podacima.

Za razliku od šarlatana, dobri analitičari nemaju predrasuda i razumiju da inspirirajuće ideje mogu imati mnogo različitih objašnjenja. U isto vrijeme, dobri statističari pažljivo definiraju svoje zaključke prije nego što ih iznesu.

Analitičari su oslobođeni odgovornosti… dok ne izađu izvan svojih podataka. Ako ih zavede da proglase nešto što nisu vidjeli, to je sasvim drugačiji posao. Trebali bi 'skinuti cipele' analitičara i 'preobuti se' u cipele statističara. Na kraju, bez obzira kako se službeno zove njihova pozicija, ne postoji pravilo koje zabranjuje da proučavate oboje zanimanje, ako želite. Samo nemojte brkati oboje.

Ako se dobro razumijete u statistiku, to ne znači da se dobro razumijete u analitiku, i obrnuto. Ako netko pokuša reći suprotno, trebali biste biti na oprezu. Ako vam ta osoba kaže da vam je dopušteno donositi statističke zaključke na podacima koje ste već proučili, to je dvostruki razlog za sumnju.

Čudna objašnjenja

Promatrajući prevarante podataka u divljini, primijetit ćete da vole smišljati fantastične priče kako bi "objasnili" opažene podatke. Što je akademičnije, to bolje. Nije važno što su te priče prilagođene unazad.

Kada prevaranti to rade - mogle bi reći da ne biraju riječi - lažu. Niti jedna količina jednadžbi ili lijepih pojmova ne može nadoknaditi činjenicu da su ponudili nula dokaza za svoje verzije. Ne čudi me koliko su njihova objašnjenja neobična.

To je isto kao i pokazivanje svojih "ekstrasenzornih" sposobnosti, prvo pogledavši u karte u rukama, a zatim predviđajući što držite… to što držite. To je pristranost retrospektivnog pogleda, i profesija znanstvenika podataka je njome prožeta do zasićenja.

Analitičari kažu: "Tek ste se zaputili s kraljicom trefa." Statisti kažu: "Zapisao sam svoje hipoteze na ovom komadiću papira prije nego što smo počeli. Hajde da igramo, pogledajmo neke podatke i vidimo jesam li u pravu." Prevaranti kažu: "Znao sam da ćete otići s ovom kraljicom trefa, jer..."

Podjela podataka je brzo rješenje problema koje svatko treba.

Kada podataka nema mnogo, treba birati između statistike i analitike, ali kada podataka ima višak, postoji odlična prilika da se bez laži iskoristi analitika. i statistika. Imate savršenu zaštitu od prevaranata - to je podjela podataka i, po mom mišljenju, to je najmoćnija ideja u Data Science.

Da biste se zaštitili od prevaranata, sve što trebate učiniti je osigurati da čuvate neke testne podatke izvan dohvata njihovih radoznalih očiju, a zatim se prema svemu ostalome odnosite kao prema analitici. Kada se suočite s teorijom koju riskirate prihvatiti, koristite je da procijenite situaciju, a zatim otkrijte svoje tajne testne podatke kako biste provjerili da teorija nije glupost. Tako je lako!

Osigurajte da nitko ne može pregledavati testne podatke u fazi istraživanja. Za to se pridržavajte istraživačkih podataka. Testni podaci ne smiju se koristiti za analizu.

To je veliki korak naprijed u usporedbi s onim na što su ljudi navikli u doba 'malih podataka', kada ste morali objasniti odakle znate ono što znate kako biste konačno uvjerili ljude da zaista znate nešto.

Primjenjujemo ista pravila na ML/AI

Neke prevarante koji se pretvaraju da su stručnjaci u području ML/AI također je lako otkriti. Uhvatili biste ih kao što biste uhvatili svakog drugog lošeg inženjera: 'rješenja' koja pokušavaju izgraditi kontinuirano propadaju. Rani znak upozorenja je nedostatak iskustva u radu s standardnim industrijskim jezicima i programskim bibliotekama.

Ali što je s ljudima koji kreiraju sustave koji izgledaju funkcionalno? Kako znati da se događa nešto sumnjivo? Primjenjuje se isto pravilo! Prevarant je sumnjiva osoba koja vam pokazuje koliko je model dobro funkcionirao… na istim podacima koje su koristili za izgradnju modela.

Ako ste stvorili izuzetno složen sustav strojnog učenja, kako znati koliko je dobar? Nećete znati dok ne pokažete da radi s novim podacima koje prije nije vidio.

Kada ste vidjeli podatke prije predikcije — to vjerojatno nije predizvještavanje.

Kada imate dovoljno podataka za razdvajanje, ne trebate se pozivati na ljepotu vaših formule kako biste opravdali projekt (stara moda koju vidim svuda, ne samo u znanosti). Možete reći: "Znam da to funkcioniše jer mogu uzeti skup podataka koji prije nisam vidio i točno predvidjeti što se tamo događa… i bit ću u pravu. I opet, i opet."

Provjera vašeg modela/teorije na novim podacima najbolja je osnova za povjerenje.

Ne podnosim prevarante u podacima. Nije me briga oslanjate li svoje mišljenje na različite trikove. Ne impresionira me ljepota objašnjenja. Pokažite mi da vaša teorija / model funkcionira (i nastavlja funkcionirati) na čitavom nizu novih podataka koje nikada prije niste vidjeli. To je prava provjera izdržljivosti vašeg mišljenja.

Obraćanje stručnjacima u području Data Science

Ako želite da vas shvate ozbiljno svi koji razumiju ovaj humor, prestanite se skrivati iza neobičnih jednadžbi kako biste održali osobne predrasude. Pokažite što imate. Ako želite da oni koji su "shvatili" vašu teoriju/model gledaju na to kao na nešto više od obične inspirativne poezije, imajte hrabrosti organizirati veličanstvenu prezentaciju o tome koliko dobro funkcionira na potpuno novom skupu podataka... pred svjedocima!

Obraćanje menadžerima

Odbacite bilo kakve "ideje" o podacima sve dok nisu testirane na novim podacima. Ne želite se truditi? Držite se analitike, ali ne oslanjajte se na te ideje — one su nepouzdane i nisu testirane na pouzdanost. Osim toga, kada organizacija ima podataka u izobilju, nije nikakav problem učiniti razdvajanje temeljnom u znanosti i održavati to na razini infrastrukture, kontrolirajući pristup testnim podacima za statistiku. To je izvrstan način da prekinete pokušaje da vas prevari!

Ako želite vidjeti više primjera prevaranata koji smišljaju nešto loše — evo divne teme na Twitteru.

Zaključci

Kada podataka ima premalo za razdvajanje, samo prevarant pokušava strogo slijediti inspiraciju, otkrivajući Ameriku retrospektivno, matematički ponovo otkrivajući fenomene za koje je već poznato da postoje u podacima, i nazivajući iznenađenje statistički značajnim. To ih razlikuje od nepristranog analitičara koji se bavi inspiracijom i pedantnog statističara koji nudi dokaze prilikom predviđanja.

Kada podataka ima dovoljno, stvorite naviku razdvajanja podataka, tako ćete moći imati najbolje od oba svijeta! Obavezno radite analitiku i statistiku odvojeno za posebne podskupine izvornog niza podataka.

Analitičari nude vam inspiraciju i širinu pogleda.
Statističari nude vam strogo testiranje.
Prevaranti nude vam izokrenuti retrospektivni pogled koji se pretvara da je analitika i statistika.

Možda, nakon čitanja članka, pomislite 'jesam li i ja prevarant'? To je normalno. Otuđiti tu misao možete na dva načina: prvo, osvrnite se, pogledajte što ste postigli, je li vaš rad s podacima imao praktičnu korist. Drugo, možete dodatno raditi na svojoj kvalifikaciji (što sigurno neće škoditi), pogotovo jer svojim studentima pružamo praktične vještine i znanja koja im omogućuju da postanu pravi data scientisti.