🥇Jak rozpoznat šarlatána v oblasti Data Science?

Možná jste slyšeli o analyticích, odbornících na strojové učení a umělou inteligenci, ale slyšeli jste o těch, kteří jsou nezaslouženě přepláceni? Seznamte se s datovými šarlatány! Tito podvodníci, které láká výnosná práce, vytvářejí špatnou pověst skutečným specialistům na zpracování dat. V tomto materiálu se podíváme, jak odhalit takové lidi.

Datoví šarlatáni jsou všude

Datoví šarlatáni se dokážou tak dobře skrývat na očích, že můžete být jedním z nich, aniž byste si toho byli vědomi. Je pravděpodobné, že vaše organizace po léta skrývala tyto podvodníky, ale je dobrá zpráva: lze je snadno identifikovat, pokud víte, co hledat.
První varovný znak — nepochopení toho, že analytika a statistika jsou velmi odlišné disciplíny. Poté to vysvětlím.

Odlišné disciplíny

Statistici jsou školeni k tomu, aby činili závěry o tom, co přesahuje jejich data, analytici jsou školeni k prozkoumání obsahu datové sady. Jinými slovy, analytici činí závěry o tom, co je v jejich datech, zatímco statistici činí závěry o tom, co v datech není. Analytici pomáhají klást dobré otázky (formulovat hypotézy), zatímco statistici pomáhají získat dobré odpovědi (ověřovat hypotézy).

Existují také podivné hybridní role, kdy se člověk snaží sedět na dvou židlích… Proč ne? Hlavní zásada datové vědy: pokud se zabýváte nejistotou, nemůžete použít stejný datový bod pro hypotézy a ověřování. Když jsou data omezená, nejistota nás nutí vybírat mezi statistikou nebo analytikou. Vysvětlení zde.

Bez statistiky zůstanete uvězněni a nebudete schopni pochopit, zda nově formulovaný soud unese kritiku, a bez analýzy jdete naslepo s nízkou šancí zkrotit neznámé. To je obtížná volba.

Únik šarlatána z této situace — ignorovat ji, a poté se tvářit překvapeně, když se něco náhle odkryje. Logika testování statistických hypotéz spočívá v otázce: překvapují nás data dostatečně, aby změnila naše názory? Jak nás mohou data překvapit, když jsme je už viděli?

Když šarláni najdou vzor, inspirují se, a poté testují stejná data pro toho samého vzoru, abyste zveřejnili výsledek s legálním p-hodnotou nebo dvěma, vedle své teorie. Tímto vám lžou (a možná i sobě). Takové p-hodnota nemá význam, pokud se neřídíte svou hypotézou. do jak si prohlédli svá data. Šarlatáni napodobují činnost analytiků a statistiků, aniž by rozuměli příčinám. Výsledkem je, že celá oblast datové vědy má špatnou pověst.

Skuteční statistici vždy činí své závěry.

Díky téměř mystickému postavení specialistů na statistiku, kteří se zabývají přísným uvažováním, je množství falešných informací v Data Science rekordně vysoké. Je snadné oklamat a nevyhnout se tomu, zejména pokud nic netušící oběť věří, že jde pouze o rovnice a data. Datový soubor je datový soubor, že? Ne. Záleží na tom, jak jej použijete.

Naštěstí potřebujete pouze jednu nápovědu, abyste nachytali šarlatány: odkrývají „Ameriku zpětně“. Znovu objevují jevy, o kterých již vědí, že jsou v datech.

Na rozdíl od šarlatánů dobří analytici nemají předsudky a rozumějí tomu, že inspirativní myšlenky mohou mít mnoho různých vysvětlení. Zároveň dobří statistici pečlivě formulují své závěry, než je udělají.

Analytici jsou zbaveni odpovědnosti… dokud se nedostanou za rámec svých dat. Pokud mají pokušení tvrdit něco, co neviděli, to je zcela jiná práce. Měli by si „sundat boty“ analytika a „přezout se“ do bot statistika. Nakonec, ať už je oficiální název pozice jakýkoli, neexistuje pravidlo, že nemůžete studovat obě profese, pokud chcete. Jen je nesmíteplést.

Pokud dobře rozumíte statistice, neznamená to, že dobře rozumíte analytice, a naopak. Pokud vám někdo říká opak, mělo by vám to zpozornit. Pokud vám tento člověk říká, že je povoleno činit statistické závěry na datech, která jste již prozkoumali, je to důvod k obezřetnosti dvojnásob.

Podivná vysvětlení

Když sledujete datové šarlatány v jejich přirozeném prostředí, všimnete si, že rádi vymýšlejí fantastické příběhy, aby "vysvětlili" pozorovaná data. Čím akademičtější, tím lépe. Nezáleží na tom, že tyto příběhy jsou retrospektivně upravovány.

Když se šarlatáni takto chovají—dovolte mi, abych byl přímočarý—lhou. Žádné množství rovnic nebo krásných pojmů nekompenzuje to, že nabídli nulové důkazy svých tvrzení. Nebuďte překvapeni, jak podivná jsou jejich vysvětlení.

Je to jako demonstrovat své "extrasenzorické" schopnosti tím, že se nejprve podíváte na karty v rukou a pak předpovíte, co držíte… to, co držíte. To je zaujatost retrospektivního pohledu a profese datového vědce je tím prosycena.

Analytici říkají: "Právě jste šli s královnou káry." Statistici říkají: "Zapsal jsem své hypotézy na tento kousek papíru před tím, než jsme začali. Pojďme si zahrát, podívat se na nějaká data a zjistit, zda mám pravdu." Šarlatáni říkají: "Věděl jsem, že se vydáte na tuto královnu káry, protože…"

Rozdělení dat je rychlé řešení problému, které každý potřebuje.

Když není tolik dat, musíte si vybrat mezi statistikou a analýzou, ale když je dat dostatek, máte skvělou příležitost využít analytiku bez podvodů. a statistiky. Máte ideální obranu proti šarlatánům—je to rozdělení dat, a podle mě je to nejmocnější myšlenka v datové vědě.

Abyste se chránili před šarlatány, stačí se ujistit, že uchováváte nějaká testovací data mimo dosah jejich zvědavých očí, a poté ke všemu ostatnímu přistupujte jako k analytice. Když se setkáte s teorií, kterou byste mohli přijmout, použijte ji k posouzení situace a poté otevřete svá tajná testovací data, abyste zjistili, že teorie není blábol. To je tak jednoduché!

Ujistěte se, že nikomu není dovoleno prohlížet testovací data během fáze výzkumu. K tomu dodržujte výzkumná data. Testovací data by neměla být používána pro analýzu.

To je velký krok vpřed ve srovnání s tím, na co byli lidé zvyklí v éře ‚malých dat‘, kdy bylo nutné vysvětlovat, odkud víte to, co víte, abyste konečně přesvědčili lidi, že opravdu něco víte.

Používáme stejná pravidla pro ML/AI

Některé podvodníky, kteří se vydávají za odborníky na ML/AI, lze také snadno odhalit. Chytíte je stejně jako byste chytli jakéhokoli jiného špatného inženýra: ‚řešení‘, která se snaží vybudovat, neustále selhávají. Ranní varovný signál — absence zkušeností s standardními průmyslovými jazyky a programovacími knihovnami.

Ale co lidé, kteří vytvářejí systémy, které se zdají být funkční? Jak zjistit, zda se děje něco podezřelého? Platí stejné pravidlo! Podvodník je zlověstná postava, která vám ukazuje, jak dobře model fungoval… na stejných datech, která použili k vytvoření modelu.

Pokud jste vytvořili šíleně složitý systém strojového učení, jak zjistit, jak dobrý je? Nezjistíte to, dokud neukážete, že funguje na nových datech, která dosud neviděl.

Když jste data viděli před předpovídáním, je to nepravděpodobné předpředpovědí.

Když máte dostatek dat na rozdělení, nemusíte se odkazovat na krásu vašich vzorců, abyste obhájili projekt (starý módní zlozvyk, který vidím všude, nejen ve vědě). Můžete říci: ‚Vím, že to funguje, protože mohu vzít datový soubor, který dosud neviděl, a přesně předpovědět, co se tam stane… a budu mít pravdu. Znovu a znovu.‘

Ověření vašeho modelu/teorie na nových datech je nejlepší základ důvěry.

Nesnáším podvodníky s daty. Je mi jedno, zda se váš názor opírá o různé triky. Nezaujme mě krása vysvětlení. Ukáže mi, že vaše teorie/model funguje (a stále funguje) na celé řadě nových dat, která jste nikdy předtím neviděli. To je pravá kontrola pevnosti vašeho názoru.

Obracení se na odborníky na Data Science

Pokud chcete, aby vás brali vážně všichni, kdo chápou tento humor, přestaňte se skrývat za podivnými rovnicemi, abyste si udrželi osobní předsudky. Ukažte, co máte. Pokud si přejete, aby ti, kdo "pochopili", považovali vaši teorii/model za něco víc než jen inspirativní poezii, mějte odvahu uspořádat grandiózní představení toho, jak dobře funguje na úplně nové sadě dat… za svědky!

Obrátit se na vedoucí pracovníky

Odmítněte brát vážně jakékoli "myšlenky" o datech, dokud nebudou ověřeny na nových datech. Nechce se vám vyvíjet úsilí? Držte se analytiky, ale nespoléhejte se na tyto myšlenky — jsou nespolehlivé a nebyly ověřeny na spolehlivost. Navíc, když má organizace dat v hojnosti, není žádný nedostatek v tom, aby se rozdělení stalo základem vědy a udržovalo se v úrovni infrastruktury, kontrolující přístup k testovacím datům pro statistiku. To je skvělý způsob, jak předejít pokusům o obelhání!

Pokud chcete vidět více příkladů šarlatánů, kteří chystají něco špatného — zde je úžasný thread na Twitteru.

Závěry

Když dat je příliš málo pro rozdělení, jen šarlatán se snaží striktně řídit inspirací, objevujíc Ameriku retrospektivně, matematicky znovuobjevujíc jevy, o nichž je již známo, že jsou v datech, a nazývaje překvapení statisticky významným. To je odlišuje od nepředpojatého analytika, který se zabývá inspirací, a pečlivého statistika, který poskytuje důkazy při předpovídání.

Když je dat mnoho, zvykněte si dělit data, abyste měli to nejlepší z obou světů! Určitě provádějte analytiku a statistiku odděleně pro jednotlivé podmnožiny výchozího souboru dat.

Analytici nabízejí inspiraci a šíři pohledů.
Statistici nabízejí přísné testování.
Šarlatánci nabízejí vám zkreslený retrospektivní pohled, který se tváří jako analytika plus statistika.

Možná se po přečtení článku objeví myšlenka: „nejsem náhodou šarlatán?“ To je v pořádku. Tuto myšlenku lze zahnat dvěma způsoby: za prvé se podívejte zpět, co jste dokázali, a zda vaše práce s daty přinesla praktický přínos. A za druhé, můžete také pracovat na svých dovednostech (což určitě není na škodu), zejména když svým studentům poskytujeme praktické dovednosti a znalosti, které jim umožňují stát se skutečnými datovými vědci.