{"id":97051,"date":"2020-10-15T14:43:34","date_gmt":"2020-10-15T12:43:34","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science"},"modified":"2020-10-15T14:43:34","modified_gmt":"2020-10-15T12:43:34","slug":"kak-raspoznat-sharlatana-ot-data-science","status":"publish","type":"post","link":"https:\/\/prohoster.info\/lv\/blog\/administrirovanie\/kak-raspoznat-sharlatana-ot-data-science","title":{"rendered":"K\u0101 atpaz\u012bt datu zin\u0101tnes \u0161arlat\u0101nu?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"K\u0101<\/a><\/noindex>
\nIesp\u0113jams, j\u016bs esat dzird\u0113ju\u0161i par anal\u012bti\u0137iem, ma\u0161\u012bnm\u0101c\u012b\u0161an\u0101s speci\u0101listiem un m\u0101ksl\u012bg\u0101 intelekta ekspertiem, bet vai esat dzird\u0113ju\u0161i par tiem, kuriem nepamatoti p\u0101rmaks\u0101? Iepaz\u012bstieties ar datu \u0161arlat\u0101nu<\/strong>! \u0160ie vilt\u012bgie cilv\u0113ki, kurus vilina ienes\u012bgs darbs, rada sliktu reput\u0101ciju \u012bstajiem datu apstr\u0101des speci\u0101listiem. \u0160aj\u0101 materi\u0101l\u0101 izskat\u012bsim, k\u0101 atkl\u0101t \u0161\u0101dus cilv\u0113kus.
\n<\/a><\/noindex><\/p>\n

Datu \u0161arlat\u0101ni ir visur<\/h2>\n

\nDatu \u0161arlat\u0101ni tik labi prot sl\u0113pties redzeslok\u0101, ka j\u016bs varat b\u016bt viens no vi\u0146iem<\/i>, pat to neapzinoties. Iesp\u0113jams, j\u016bsu organiz\u0101cija gadiem ilgi sl\u0113pusi \u0161os vilt\u012bgos cilv\u0113kus, bet ir laba zi\u0146a: tos ir viegli identific\u0113t, ja vien j\u016bs zin\u0101t, ko mekl\u0113t.
\nPirmais br\u012bdin\u0101juma sign\u0101ls \u2014 neizpratne par to, ka anal\u012btika un statistika ir \u013coti da\u017e\u0101das discipl\u012bnas<\/strong>. T\u0101 izskaidro\u0161u.<\/p>\n

At\u0161\u0137ir\u012bgas discipl\u012bnas<\/h2>\n

\nStatisti ir apm\u0101c\u012bti izdar\u012bt secin\u0101jumus par to, kas p\u0101rsniedz vi\u0146u datus, anal\u012bti\u0137i ir apm\u0101c\u012bti p\u0113t\u012bt datu kopas saturu. Citiem v\u0101rdiem sakot, anal\u012bti\u0137i izdar\u012bs secin\u0101jumus par to, kas atrodas vi\u0146u datos, bet statisti izdar\u012bs secin\u0101jumus par to, k\u0101da inform\u0101cija datos nav. Anal\u012bti\u0137i pal\u012bdz izvirz\u012bt labus jaut\u0101jumus (izvirz\u012bt hipot\u0113zes), bet statisti pal\u012bdz sa\u0146emt labus atbildes (p\u0101rbaud\u012bt hipot\u0113zes).<\/p>\n

Ir ar\u012b d\u012bvainas hibr\u012bdroles, kad cilv\u0113ks m\u0113\u0123ina s\u0113d\u0113t uz diviem kr\u0113sliem... K\u0101p\u0113c gan ne? Galven\u0101 datu zin\u0101tnes principa b\u016bt\u012bba: ja j\u016bs saskaras ar nenoteikt\u012bbu, nevarat izmantot to pa\u0161u<\/i> datu punktu hipot\u0113z\u0113m un to p\u0101rbaud\u0113m. Kad dati ir ierobe\u017eoti, nenoteikt\u012bba liek izv\u0113l\u0113ties starp statistiku vai anal\u012btiku. Skaidrojums<\/i> \u0161eit<\/i><\/a><\/noindex>.<\/p>\n

Bez statistikas j\u016bs iestr\u0113gsiet un nesp\u0113siet saprast, vai tikko formul\u0113tais apgalvojums iztur kritiku, bet bez anal\u012bzes j\u016bs virz\u012bsieties akli, ar maz iesp\u0113j\u0101m tame nezin\u0101m\u0101 apvald\u012b\u0161anai. Tas ir gr\u016bts izv\u0113les br\u012bdis.<\/p>\n

\u0160arlat\u0101na izeja no \u0161\u012bs sare\u017e\u0123\u012bt\u0101s situ\u0101cijas \u2014 to ignor\u0113t un p\u0113c tam izlikties p\u0101rsteigt, kad tas p\u0113k\u0161\u0146i uzn\u0101k. Statistikas hipot\u0113\u017eu test\u0113\u0161anas lo\u0123ika samazin\u0101s l\u012bdz jaut\u0101jumam: Vai dati mums ir pietiekami p\u0101rsteidzo\u0161i, lai main\u012btu m\u016bsu viedokli? K\u0101 m\u0113s varam b\u016bt p\u0101rsteigti par datiem, ja m\u0113s tos jau esam redz\u0113ju\u0161i?<\/p>\n

Ikreiz, kad \u0161arlat\u0101ni atrod modeli, vi\u0146i ir iedvesmoti un tad p\u0101rbauda tos pa\u0161us datus<\/i> lai to pa\u0161a parauga<\/i>, lai public\u0113tu rezult\u0101tu ar le\u0123it\u012bmu p-v\u0113rt\u012bbu vai div\u0101m blakus vi\u0146u teorijai. T\u0101d\u0113j\u0101di vi\u0146i mulsina j\u016bs (un, iesp\u0113jams, ar\u012b sevi). \u0160\u0101da p-v\u0113rt\u012bba nav svar\u012bga, ja neiev\u0113rojat savu hipot\u0113zi. l\u012bdz<\/b> to, k\u0101 apskat\u012bj\u0101t savus datus. \u0160arlat\u0101ni imit\u0113 anal\u012bti\u0137u un statistik\u0101\u0146u darb\u012bbas, nesaprotot iemeslus. Rezult\u0101t\u0101 visai datu zin\u0101tnes jomai veidojas slikta reput\u0101cija.<\/p>\n

Patiesi statisti vienm\u0113r izdarot secin\u0101jumus<\/h2>\n

\nPateicoties gandr\u012bz mistiskajai statistikas speci\u0101listu reput\u0101cijai, kas tiek nodarbin\u0101ti stingros apsv\u0113rumos, viltus inform\u0101cijas daudzums datu zin\u0101tn\u0113 ir rekordaugsts. Viegl\u0101s cilv\u0113kus pievilin\u0101t un neiedom\u0101jas, jo t\u0101 neuzdom\u0101tais upuris dom\u0101, ka viss ir jaut\u0101jums par vien\u0101dojumiem un datiem. Datu kopums ir datu kopums, vai ne? N\u0113. Svar\u012bgi, k\u0101 j\u016bs to lietojat.<\/p>\n

Par laimi, jums ir nepiecie\u0161ama tikai viena nor\u0101de, lai no\u0137ertu \u0161arlat\u0101nus: vi\u0146i \u201eatkl\u0101j Ameriku ar atpaka\u013cejo\u0161u datumu\u201d. P\u0101rv\u0113rtot par\u0101d\u012bbas, par kur\u0101m vi\u0146iem jau ir zin\u0101ms, ka t\u0101s ir datu kop\u0101. <\/p>\n

At\u0161\u0137ir\u012bb\u0101 no \u0161arlat\u0101niem, labi anal\u012bti\u0137i \u2014 nav aizspriedumu un saprot, ka iedvesmojo\u0161\u0101s idejas var b\u016bt daudzas da\u017e\u0101das skaidrojumus. Taj\u0101 pa\u0161\u0101 laik\u0101, labi statisti r\u016bp\u012bgi defin\u0113 savus secin\u0101jumus, pirms tie tos izsaka.<\/p>\n

Anal\u012bti\u0137i ir atbr\u012bvoti no atbild\u012bbas\u2026 kam\u0113r vi\u0146i neiziet \u0101rpus saviem datiem. Ja vi\u0146iem rodas k\u0101rdin\u0101jums apgalvot to, ko vi\u0146i nav redz\u0113ju\u0161i, tas ir pavisam cits darbs. Vi\u0146iem vajadz\u0113tu \u201eno\u0146emt kurpes\u201d anal\u012bti\u0137a un \u201ep\u0101rvilkt kurpes\u201d statistika. Beig\u0101s, neatkar\u012bgi no ofici\u0101l\u0101s amata nosaukuma, nav noteikumu, saska\u0146\u0101 ar kuriem j\u016bs nevarat p\u0113t\u012bt abas profesijas, ja v\u0113laties. Tikai nesajauciet t\u0101s.<\/p>\n

Ja jums labi padodas statistika, tas nenoz\u012bm\u0113, ka jums labi padodas anal\u012bze, un otr\u0101di. Ja k\u0101ds cen\u0161as jums teikt pret\u0113jo, ir v\u0113rts uztraukties. Ja \u0161is cilv\u0113ks inform\u0113 j\u016bs, ka ir at\u013cauts veikt statistiskus secin\u0101jumus par datiem, kurus j\u016bs jau esat izp\u0113t\u012bju\u0161i, tas ir divk\u0101r\u0161s br\u012bdin\u0101jums.<\/p>\n

D\u012bvainas skaidrojumi<\/h2>\n

\nNov nov\u0113rojot datu \u0161arlat\u0101nus dab\u0101, j\u016bs iev\u0113rosiet, ka vi\u0146i m\u012bl izdom\u0101t fantasmagoriskas st\u0101stus, lai \"izskaidrotu\" nov\u0113rotos datus. Jo akad\u0113misk\u0101ks, jo lab\u0101k. Nav svar\u012bgi, ka \u0161ie st\u0101sti tiek piel\u0101goti p\u0113c fakta.<\/p>\n

Kad \u0161arlat\u0101ni t\u0101 r\u012bkojas \u2014 \u013caujiet man ne\u0161\u0137ob\u012bties uz v\u0101rdiem \u2014 vi\u0146i melo. Nek\u0101ds vien\u0101dojumu skaits vai skaistas idejas nevar kompens\u0113t to, ka vi\u0146i nav pied\u0101v\u0101ju\u0161i nek\u0101du pier\u0101d\u012bjumu sav\u0101m versij\u0101m. Nebaidieties no vi\u0146u neparastaj\u0101m skaidrojumiem.<\/p>\n

Tas ir tas pats, kas demonstr\u0113t savas \"ekstrasensor\u0101s\" sp\u0113jas, vispirms apskatot kartes rok\u0101s, un tad paredz\u0113t, ko j\u016bs turat\u2026 to, ko turat. T\u0101 ir retrospekcijas aizspriedums, un datu zin\u0101tnieka profesija ir l\u012bdz aus\u012bm piepild\u012bta ar to.<\/p>\n

\"K\u0101<\/p>\n

Anal\u012bti\u0137i saka: \"Tu tikko g\u0101ji ar sirdsd\u0101mu.\" Statisti saka: \"Es pierakst\u012bju savas hipot\u0113zes uz \u0161\u012b pap\u012bra gabala pirms m\u0113s s\u0101k\u0101m. N\u0101c, sp\u0113l\u0113sim, apl\u016bkosim da\u017eus datus un redz\u0113sim, vai esmu pareizs.\" \u0160arlat\u0101ni saka: \"Es zin\u0101ju, ka tu dosies ar \u0161o sirdsd\u0101mu, jo\u2026\" <\/p>\n

Datu \u0161\u0137el\u0161ana ir \u0101trs risin\u0101jums probl\u0113mai, kas ikvienam ir nepiecie\u0161ama.<\/p><\/blockquote>\n

\nKad datu ir maz, j\u0101izv\u0113las starp statistiku un anal\u012bzi, bet kad datu ir p\u0101rlieku daudz, ir lieliska iesp\u0113ja bez kr\u0101p\u0161an\u0101s izmantot anal\u012bzi. un<\/i> statistika. Jums ir ide\u0101la aizsardz\u012bba pret \u0161arlat\u0101niem \u2014 t\u0101 ir datu \u0161\u0137el\u0161ana un, manupr\u0101t, t\u0101 ir vissp\u0113c\u012bg\u0101k\u0101 ideja datu zin\u0101tn\u0113. <\/p>\n

Lai sevi pasarg\u0101tu no \u0161arlat\u0101niem, viss, kas jums j\u0101dara, ir p\u0101rliecin\u0101ties, ka j\u016bs glab\u0101jat da\u017eus testdatus prom no vi\u0146u zi\u0146k\u0101r\u012bgaj\u0101m ac\u012bm, un tad attiekties uz visu p\u0101r\u0113jo k\u0101 uz anal\u012bzi. Kad j\u016bs sastopaties ar teoriju, kuru risk\u0113jat pie\u0146emt, izmantojiet to, lai nov\u0113rt\u0113tu situ\u0101ciju, un tad atkl\u0101jiet savus slepenos testdatus, lai p\u0101rbaud\u012btu, vai teorija nav mu\u013c\u0137\u012bga. Tas ir tik vienk\u0101r\u0161i!<\/p>\n

\"K\u0101
\nP\u0101rliecinieties, ka neviens nedr\u012bkst apskat\u012bt testdatus p\u0113t\u012bjuma posm\u0101. T\u0101p\u0113c p\u0101rliecinieties, ka j\u016bs iev\u0113rojat p\u0113t\u012bjuma datus. Testdati nedr\u012bkst tikt izmantoti anal\u012bzei.<\/p>\n

Tas ir liels solis uz priek\u0161u sal\u012bdzin\u0101jum\u0101 ar to, pie k\u0101 cilv\u0113ki bija pieradu\u0161i \"mazo datu\" \u0113ras laik\u0101, kad jums bija j\u0101paskaidro, no kurienes zin\u0101t to, ko zin\u0101t, lai beidzot p\u0101rliecin\u0101tu cilv\u0113kus, ka j\u016bs patie\u0161\u0101m kaut ko zin\u0101t.<\/p>\n

Izmantojam tos pa\u0161us noteikumus ML\/AI.<\/h2>\n

\nDa\u017eus \u0161arlat\u0101nus, kas uzdodas par ML\/AI ekspertiem, ir viegli atkl\u0101t. J\u016bs vi\u0146us no\u0137ersiet tie\u0161i t\u0101pat, k\u0101 no\u0137ertu jebkuru citu sliktu in\u017eenieri: \"risin\u0101jumi\", kurus vi\u0146i cen\u0161as izveidot, past\u0101v\u012bgi neizdodas. Agr\u012bna br\u012bdin\u0101juma z\u012bme ir pieredzes tr\u016bkums ar standarta nozares valod\u0101m un programm\u0113\u0161anas bibliot\u0113k\u0101m.<\/p>\n

Bet k\u0101 ir ar cilv\u0113kiem, kuri izveido sist\u0113mas, kas \u0161\u0137iet darboties? K\u0101 uzzin\u0101t, ka notiek kas aizdom\u012bgs? Tiek piem\u0113rots tas pats noteikums! \u0160arlat\u0101ns ir \u013cauns t\u0113ls, kas par\u0101da, cik labi modelis darboj\u0101s\u2026 uz tiem pa\u0161iem datiem, kurus vi\u0146i izmantoja, lai izveidotu modeli.<\/p>\n

Ja esat izveidojis neticami sare\u017e\u0123\u012btu ma\u0161\u012bnm\u0101c\u012b\u0161an\u0101s sist\u0113mu, k\u0101 uzzin\u0101t, cik laba t\u0101 ir? J\u016bs to uzzin\u0101siet tikai tad, kad par\u0101d\u012bsiet, ka t\u0101 darbojas ar jauniem datiem, kurus t\u0101 iepriek\u0161 nav redz\u0113jusi.<\/p>\n

Kad esat redz\u0113jis datus pirms prognoz\u0113\u0161anas \u2014 tas neb\u016bs priek\u0161<\/i>teikums.<\/p><\/blockquote>\n

\nKad jums ir pietiekami daudz datu dal\u012b\u0161anai, jums nav j\u0101atsaucas uz formulu skaistumu, lai attaisnotu projektu (vecs stils, ko es redzu visur, ne tikai zin\u0101tn\u0113). J\u016bs varat teikt: \"Es zinu, ka tas darbojas, jo varu \u0146emt datu kopu, ko iepriek\u0161 neesmu redz\u0113jis, un prec\u012bzi prognoz\u0113t, kas tur notiks\u2026 un es b\u016b\u0161u pareizs. Atkal un atkal.\"<\/i><\/p>\n

J\u016bsu mode\u013ca\/teorijas p\u0101rbaude uz jauniem datiem ir lab\u0101kais pamats uztic\u0113\u0161anai.<\/p><\/blockquote>\n

\nEs necie\u0161\u0161u datu \u0161arlat\u0101nus. Man ner\u016bp, vai j\u016bsu viedoklis balst\u0101s uz at\u0161\u0137ir\u012bg\u0101m f\u012b\u010d\u0101m. Man nepat\u012bk paskaidrojumu skaistums. Par\u0101diet man, ka j\u016bsu teorija\/modelis darbojas (un turpina darboties) uz virkni jauniem datiem, kurus j\u016bs nekad agr\u0101k neesat redz\u0113ju\u0161i. Tie\u0161i tas ir patiesais j\u016bsu viedok\u013ca iztur\u012bbas p\u0101rbaude.<\/p>\n

V\u0113r\u0161an\u0101s pie Data Science speci\u0101listiem<\/h2>\n

\nJa, ja v\u0113laties, lai uz jums nopietni skat\u012btos visi, kas saprot \u0161o humoru, p\u0101rtrauciet sl\u0113pties aiz d\u012bvainiem vien\u0101dojumiem, lai uztur\u0113tu person\u012bg\u0101s aizspriedumus. Par\u0101diet, ka jums ir ko pied\u0101v\u0101t. Ja v\u0113laties, lai tie, kas \"saprac\", skat\u012btos uz j\u016bsu teoriju\/modeli k\u0101 uz ko vair\u0101k nek\u0101 tikai iedvesmojo\u0161u dzeju, jums j\u0101b\u016bt drosm\u012bgam r\u012bkot lieliskus demonstr\u0113jumus, cik labi t\u0101 darbojas piln\u012bgi jaun\u0101 datu komplekt\u0101\u2026 kl\u0101tb\u016btn\u0113!<\/p>\n

Uzrun\u0101jums vad\u012bt\u0101jiem<\/h2>\n

\nAtturieties pie\u0146emt jebk\u0101das \"idejas\" par datiem, kam\u0113r t\u0101s nav p\u0101rbaud\u012btas uz jauniem<\/i> datiem. Negribat ieguld\u012bt p\u016bles? Palieciet pie anal\u012btikas, bet nepa\u013caujieties uz \u0161\u012bm idej\u0101m \u2014 t\u0101s ir nenodro\u0161in\u0101tas un nav p\u0101rbaud\u012btas par uzticam\u012bbu. Turkl\u0101t, kad organiz\u0101cijai ir p\u0101r\u0101k daudz datu, nav nek\u0101da tr\u016bkuma rad\u012bt dal\u012bjumus k\u0101 pamatu zin\u0101tnei un uztur\u0113t to infrastrukt\u016bras l\u012bmen\u012b, kontrol\u0113jot piek\u013cuvi test\u0113jo\u0161iem datiem statistikai. Tas ir lielisks veids, k\u0101 nov\u0113rst m\u0113\u0123in\u0101jumus j\u016bs apm\u0101n\u012bt!<\/p>\n

Ja v\u0113laties redz\u0113t vair\u0101k piem\u0113ru \u0161arlat\u0101niem, kas izdom\u0101 kaut ko nelabu \u2014 \u0161eit ir br\u012bni\u0161\u0137\u012bga t\u0113ma Twitter<\/a><\/noindex>.<\/p>\n

Secin\u0101jumi<\/h2>\n

\nKad datu ir par maz dal\u012b\u0161anai, tikai \u0161arlat\u0101ns m\u0113\u0123ina stingri sekot iedvesmai, atkl\u0101jot Ameriku retrospekt\u012bvi un matem\u0101tiski atkl\u0101jot par\u0101d\u012bbas, par kur\u0101m jau ir zin\u0101ms, ka t\u0101s ir datos, un nosaucot p\u0101rsteigumus par statistiski noz\u012bm\u012bgiem. Tas tos at\u0161\u0137ir no neitr\u0101la anal\u012bti\u0137a, kas nodarbojas ar iedvesmu, un r\u016bp\u012bga statisti\u0137a, kas pied\u0101v\u0101 pier\u0101d\u012bjumus prognoz\u0113\u0161anai.<\/p>\n

Kad datu ir daudz, ieaudziniet sev ieradumu dal\u012bt datus, t\u0101 j\u016bs varat ieg\u016bt lab\u0101ko no ab\u0101m pasaul\u0113m! Noteikti veiciet anal\u012btiku un statistiku atsevi\u0161\u0137i atsevi\u0161\u0137iem apak\u0161kop\u0101m no s\u0101kotn\u0113j\u0101 datu kopas.<\/p>\n