Možno ste počuli o analytikoch, odborníkoch na strojové učenie a umelú inteligenciu, ale počuli ste už o tých, ktorým nezaslúžene preplácajú? Predstavujeme vám dátového šarlatána! Títo podvodníci, ktorých láka zisková práca, vytvárajú zlú povesť skutočným odborníkom na spracovanie dát. V tejto správe sa zaoberáme tým, ako odhaliť takýchto ľudí.
Dátoví šarlatáni sú všade
Dátoví šarlatáni sú tak dobre schovaní na očiach, že by ste mohli byť jedným z nich, ani si toho nie ste vedomí. Vaša organizácia pravdepodobne roky ukrývala týchto podvodníkov, ale je dobrá správa: je ich ľahké identifikovať, ak viete, čo hľadať.
Prvé varovné znamenie — nepochopenie toho, že analýza a štatistika sú veľmi odlišné disciplíny. Ďalej to vysvetlím.
Rôzne disciplíny
Štatistici sú školení, aby robili závery o tom, čo presahuje ich dáta, analytici sú školení na skúmanie obsahu súboru dát. Inými slovami, analytici robia závery o tom, čo sa nachádza v ich dátach, zatiaľ čo štatistici robia závery o tom, čo v dátach chýba. Analytici pomáhajú klásť dobré otázky (predkladať hypotézy), zatiaľ čo štatistici pomáhajú získavať dobré odpovede (overovať hypotézy).
Existujú aj zaujímavé hybridné funkcie, kde sa osoba snaží sedieť na dvoch stoličkách… Prečo nie? Základný princíp dátovej vedy: ak pracujete s neistotou, nemôžete použiť tú istú dátovú hodnotu pre hypotézy a testovanie. Keď sú dáta obmedzené, neistota núti vybrať si medzi štatistikou alebo analýzou. Vysvetlenie .
Bez štatistiky uviaznete a nebudete schopní pochopiť, či práve formulovaný verdikt odoláva kritike, a bez analýzy sa pohybujete poslepo, s malou nádejou skrotiť neznáme. Je to ťažké rozhodnutie.
Únik šarlatána z tejto situácie — ignorovať ju a potom predstierať prekvapenie, keď sa zrazu objaví. Logika testovania štatistických hypotéz sa znižuje na otázku: sú dáta dosť prekvapujúce, aby zmenili náš názor? Ako môžeme byť prekvapení dátami, keď sme ich už videli?
Pri každom nájdení vzoru sa šarlatáni inšpirujú, a potom testujú tie isté dáta pre téhož vzoru, aby ste publikovali výsledok s legitímnou p-hodnotou alebo dvoma vedľa svojej teórie. Takto vám klamú (a možno aj sebe samým). Taká p-hodnota nehrá rolu, ak sa nedržíte svojej hypotézy. do iba to, ako si prezreli svoje údaje. Šarlatáni napodobňujú činnosť analytikov a štatistík bez pochopenia príčin. V dôsledku toho má celá oblasť dátovej vedy zlú povesť.
Praví štatistici vždy vyvodzujú svoje závery.
Vďaka skoro mystickej povahe špecialistov na štatistiku, ktorí sa zaoberajú prísnymi úvahami, je množstvo falošných informácií v oblasti Data Science na rekordne vysokej úrovni. Je ľahké oklamať a neodhaliť podvod, najmä ak nič netušiaca obeť myslí, že všetko závisí od rovníc a údajov. Dátový súbor je dátový súbor, že? Nie. Záleží na tom, ako ho používate.
Našťastie potrebujete iba jednu nápovedu na odhalenie šarlatánov: objavujú „Ameriku spätne“. Znovu objavujú javy, o ktorých už vedia, že sú prítomné v údajoch.
Na rozdiel od šarlatánov dobrí analytici nemajú predsudky a chápu, že inšpirujúce nápady môžu mať mnoho rôznych vysvetlení. Zároveň dobrí štatistici starostlivo definujú svoje závery skôr, než ich vyvodia.
Analytici sú zbavení zodpovednosti... pokiaľ neprekročia hranice svojich údajov. Ak ich láka vyhlásiť niečo, čo nevideli, je to celkom iná práca. Mali by „zložiť topánky“ analytika a „prezuť“ sa do topánok štatistika. Napokon, nech už je oficiálny názov ich pozície akýkoľvek, neexistuje pravidlo, ktoré by zakazovalo študovať oba profesie, ak si to prajete. Iba ich nemiešajte.
Ak sa dobre vyznáte v štatistike, neznamená to, že sa dobre vyznáte v analytike, a naopak. Ak vám niekto tvrdí opak, stojí za to byť obozretný. Ak vám táto osoba oznámi, že je povolené robiť štatistické závery na údajoch, ktoré ste už preskúmali, je to dôvod na dvojnásobnú obozretnosť.
Bizarné vysvetlenia
Keď pozorujete dátových podvodníkov v divočine, môžete si všimnúť, že radi vymýšľajú fantastické príbehy, aby "vysvetlili" pozorované údaje. Čím akademickejšie, tým lepšie. Nezáleží na tom, že sú tieto príbehy pospájané spätne.
Keď sa podvodníci takto správajú — dovolte mi byť úprimný — klamú. Žiadne množstvo rovníc alebo pekné koncepty nekompenzujú skutočnosť, že neposkytli nijaké dôkazy pre svoje verzia. Nezabudnite, aké zvláštne sú ich vysvetlenia.
Je to to isté, ako predviesť svoje "extrasondorné" schopnosti, najprv sa pozrieť na karty v rukách a potom predpovedať, čo držíte… to, čo máte v ruke. Je to predsudok spätnej väzby, a profesia dátového vedca je týmto prepchatá až po okraj.
Analytici hovoria: „Práve ste šli s károm kráľovnej mŕtvych.“ Štatistici hovoria: „Zapísal som svoje hypotézy na tento kúsok papiera predtým, než sme začali. Poďme si zahrať, pozrieť sa na niektoré dáta a zistiť, či mám pravdu.” Podvodníci hovoria: „Vedela som, že sa chystáte ísť s kráľovnou mŕtvych, pretože…“
Rozdelenie údajov je rýchle riešenie problému, ktoré každý potrebuje.
Keď je dát málo, musíte si vybrať medzi štatistikou a analytikou, ale keď je dát dostatok, je skvelá príležitosť na bezklamnú využitie analytiky. a Štatistika. Máte dokonalú ochranu proti podvodníkom — je to rozdelenie údajov a podľa mňa je to najsilnejšia myšlienka v oblasti dátovej vedy.
Aby ste sa chránili pred podvodníkmi, všetko, čo musíte urobiť, je zabezpečiť, aby ste uchovávali nejaké testovacie údaje mimo dosahu ich zvedavých očí, a potom sa na všetko ostatné pozerať ako na analytiku. Keď sa stretávate s teóriou, ktorú by ste mohli prijať, použite ju na hodnotenie situácie a potom odhalíte svoje tajné testovacie údaje, aby ste overili, že teória nie je nezmysel. Je to také jednoduché!
Uistite sa, že nikomu nie je povolené prezerať testovacie údaje v štádiu výskumu. Na to sa držte výskumných údajov. Testovacie údaje by sa nemali používať na analýzu.
Toto je veľký krok vpred v porovnaní s tým, na čo sú ľudia zvyknutí v ére "malých údajov", keď musíte vysvetliť, odkiaľ viete to, čo viete, aby ste konečne presvedčili ľudí, že naozaj niečo viete.
Používame tie isté pravidlá pre ML/AI.
Niektorých podvodníkov, ktorí sa vydávajú za expertov v oblasti ML/AI, je tiež ľahké odhaliť. Chyťte ich rovnako, ako by ste chytili akéhokoľvek iného zlého inžiniera: "riešenia", ktoré sa snažia postaviť, neustále zlyhávajú. Raným varovným signálom je nedostatok skúseností s štandardnými priemyselnými jazykmi a knižnicami programovania.
Ale čo ľudia, ktorí vytvárajú systémy, ktoré sa zdajú fungovať? Ako zistiť, že sa deje niečo podozrivé? Používa sa to isté pravidlo! Podvodník je podozrivá postava, ktorá vám ukazuje, ako dobre model fungoval... na tých istých údajoch, ktoré použili na vytvorenie modelu.
Ak ste vytvorili šialene zložitý systém strojového učenia, ako zistíte, aký je dobrý? Nebudete to vedieť, kým neukážete, že funguje s novými údajmi, ktoré predtým nevidel.
Keď ste videli údaje pred predpovedaním - sotva to je predpredpovedanie.
Keď máte dostatok údajov na rozdelenie, nemusíte sa odvolávať na krásu vašich vzorcov, aby ste obhájili projekt (táto stará móda je niečo, čo vidím všade, nielen v vede). Môžete povedať: "Vieme, že to funguje, pretože môžem vziať súbor údajov, ktorý som predtým nevidel, a presne predpovedať, čo sa tam stane... a budem mať pravdu. Znova a znova."
Overenie vášho modelu/teórie na nových údajoch je najlepším základom pre dôveru.
Netrpím podvodníkmi s údajmi. Je mi jedno, či sa váš názor opiera o rôzne triky. Neohromuje ma krása vysvetlení. Ukážte mi, že vaša teória / model funguje (a naďalej funguje) na celom rade nových údajov, ktoré ste nikdy predtým nevideli. To je pravá skúška odolnosti vášho názoru.
Obrátenie sa na odborníkov v oblasti Data Science.
Ak máte záujem, aby vás všetci, ktorí rozumejú tomuto humoru, brali vážne, prestaňte sa skrývať za čudnými rovnicami, aby ste podporili osobné predsudky. Ukážte, čo máte. Ak si želáte, aby tí, ktorí "pochopili", považovali vašu teóriu/model za niečo viac než len inšpirujúcu poéziu, majte odvahu predviesť, ako dobre funguje na úplne novej sade dát... pred svedkami!
Obrátenie sa na vedúcich pracovníkov
Odmietajte brať vážne akékoľvek "myšlienky" o dátach, pokiaľ neboli overené na nové dátach. Nechce sa vám vynaložiť úsilie? Držte sa analytiky, ale nespoliehajte sa na tieto myšlienky — sú nepresetné a neboli overené na spoľahlivosť. Okrem toho, keď má organizácia dostatok dát, nie je žiadny nedostatok v tom, aby sa rozdelenie stalo základom vedy a udržiavalo sa na úrovni infraštruktúry, pričom sa kontroluje prístup k testovacím dátam pre štatistiku. To je skvelý spôsob, ako zastaviť pokusy o podvod!
Ak chcete vidieť viac príkladov šarlatánov, ktorí zamýšľajú niečo zlé — .
Zhrnutie
Keď sú dáta nedostatočné pre rozdelenie, len šarlatán sa snaží striktne dodržiavať inšpiráciu odhaľujúc Ameriku retrospektívne, matematicky znovuobjavujúc javy, o ktorých je už známe, že sa nachádzajú v dátach, a nazývajúc prekvapenie štatisticky významným. To ich odlišuje od nestranného analytika, ktorý sa zaoberá inšpiráciou, a dôvtipného štatistika, ktorý poskytuje dôkazy pri predpovedaní.
Keď máte veľa dát, vytvorte si zvyk rozdeľovať dáta, tak si môžete vychutnať to najlepšie z oboch svetov! Nezabudnite robiť analytiku a štatistiku oddelene na jednotlivých podmnožinách pôvodného nahromadenia dát.
- Analytici váš inšpirujú a rozširujú vaše pohľady.
- Štatistici ponúkajú prísne testovanie.
- Šarlatán ponúkajú skreslený retrospektívny pohľad, ktorý sa pretvaruje ako analytika plus štatistika.
Možno vám po prečítaní článku napadne myšlienka „som azda šarlatán?“ To je v poriadku. Tieto myšlienky sa dajú zahnať dvomi spôsobmi: po prvé, pozrieť sa späť a zhodnotiť, čo ste dosiahli a či vaša práca s dátami priniesla praktický úžitok. A po druhé, môžete pracovať na svojej odbornej kvalifikácii (čo určite nebude na škodu), najmä preto, že našim študentom poskytujeme praktické zručnosti a vedomosti, ktoré im umožňujú stať sa skutočnými dátovými vedcami.
Ďalšie kurzy
Čítať ďalej
Zdroj: habr.com
