IespÄjams, jÅ«s esat dzirdÄjuÅ”i par analÄ«tiÄ·iem, maŔīnmÄcÄ«Å”anÄs speciÄlistiem un mÄkslÄ«gÄ intelekta ekspertiem, bet vai esat dzirdÄjuÅ”i par tiem, kuriem nepamatoti pÄrmaksÄ? IepazÄ«stieties ar datu Å”arlatÄnu! Å ie viltÄ«gie cilvÄki, kurus vilina ienesÄ«gs darbs, rada sliktu reputÄciju Ä«stajiem datu apstrÄdes speciÄlistiem. Å ajÄ materiÄlÄ izskatÄ«sim, kÄ atklÄt Å”Ädus cilvÄkus.
Datu Å”arlatÄni ir visur
Datu Å”arlatÄni tik labi prot slÄpties redzeslokÄ, ka jÅ«s varat bÅ«t viens no viÅiem, pat to neapzinoties. IespÄjams, jÅ«su organizÄcija gadiem ilgi slÄpusi Å”os viltÄ«gos cilvÄkus, bet ir laba ziÅa: tos ir viegli identificÄt, ja vien jÅ«s zinÄt, ko meklÄt.
Pirmais brÄ«dinÄjuma signÄls ā neizpratne par to, ka analÄ«tika un statistika ir ļoti dažÄdas disciplÄ«nas. TÄ izskaidroÅ”u.
AtŔķirīgas disciplīnas
Statisti ir apmÄcÄ«ti izdarÄ«t secinÄjumus par to, kas pÄrsniedz viÅu datus, analÄ«tiÄ·i ir apmÄcÄ«ti pÄtÄ«t datu kopas saturu. Citiem vÄrdiem sakot, analÄ«tiÄ·i izdarÄ«s secinÄjumus par to, kas atrodas viÅu datos, bet statisti izdarÄ«s secinÄjumus par to, kÄda informÄcija datos nav. AnalÄ«tiÄ·i palÄ«dz izvirzÄ«t labus jautÄjumus (izvirzÄ«t hipotÄzes), bet statisti palÄ«dz saÅemt labus atbildes (pÄrbaudÄ«t hipotÄzes).
Ir arÄ« dÄ«vainas hibrÄ«droles, kad cilvÄks mÄÄ£ina sÄdÄt uz diviem krÄsliem... KÄpÄc gan ne? GalvenÄ datu zinÄtnes principa bÅ«tÄ«ba: ja jÅ«s saskaras ar nenoteiktÄ«bu, nevarat izmantot to paÅ”u datu punktu hipotÄzÄm un to pÄrbaudÄm. Kad dati ir ierobežoti, nenoteiktÄ«ba liek izvÄlÄties starp statistiku vai analÄ«tiku. Skaidrojums .
Bez statistikas jÅ«s iestrÄgsiet un nespÄsiet saprast, vai tikko formulÄtais apgalvojums iztur kritiku, bet bez analÄ«zes jÅ«s virzÄ«sieties akli, ar maz iespÄjÄm tame nezinÄmÄ apvaldÄ«Å”anai. Tas ir grÅ«ts izvÄles brÄ«dis.
Å arlatÄna izeja no Ŕīs sarežģītÄs situÄcijas ā to ignorÄt un pÄc tam izlikties pÄrsteigt, kad tas pÄkÅ”Åi uznÄk. Statistikas hipotÄžu testÄÅ”anas loÄ£ika samazinÄs lÄ«dz jautÄjumam: Vai dati mums ir pietiekami pÄrsteidzoÅ”i, lai mainÄ«tu mÅ«su viedokli? KÄ mÄs varam bÅ«t pÄrsteigti par datiem, ja mÄs tos jau esam redzÄjuÅ”i?
Ikreiz, kad Å”arlatÄni atrod modeli, viÅi ir iedvesmoti un tad pÄrbauda tos paÅ”us datus lai to paÅ”a parauga, lai publicÄtu rezultÄtu ar leÄ£itÄ«mu p-vÄrtÄ«bu vai divÄm blakus viÅu teorijai. TÄdÄjÄdi viÅi mulsina jÅ«s (un, iespÄjams, arÄ« sevi). Å Äda p-vÄrtÄ«ba nav svarÄ«ga, ja neievÄrojat savu hipotÄzi. lÄ«dz to, kÄ apskatÄ«jÄt savus datus. Å arlatÄni imitÄ analÄ«tiÄ·u un statistikÄÅu darbÄ«bas, nesaprotot iemeslus. RezultÄtÄ visai datu zinÄtnes jomai veidojas slikta reputÄcija.
Patiesi statisti vienmÄr izdarot secinÄjumus
Pateicoties gandrÄ«z mistiskajai statistikas speciÄlistu reputÄcijai, kas tiek nodarbinÄti stingros apsvÄrumos, viltus informÄcijas daudzums datu zinÄtnÄ ir rekordaugsts. VieglÄs cilvÄkus pievilinÄt un neiedomÄjas, jo tÄ neuzdomÄtais upuris domÄ, ka viss ir jautÄjums par vienÄdojumiem un datiem. Datu kopums ir datu kopums, vai ne? NÄ. SvarÄ«gi, kÄ jÅ«s to lietojat.
Par laimi, jums ir nepiecieÅ”ama tikai viena norÄde, lai noÄ·ertu Å”arlatÄnus: viÅi āatklÄj Ameriku ar atpakaļejoÅ”u datumuā. PÄrvÄrtot parÄdÄ«bas, par kurÄm viÅiem jau ir zinÄms, ka tÄs ir datu kopÄ.
AtŔķirÄ«bÄ no Å”arlatÄniem, labi analÄ«tiÄ·i ā nav aizspriedumu un saprot, ka iedvesmojoÅ”Äs idejas var bÅ«t daudzas dažÄdas skaidrojumus. TajÄ paÅ”Ä laikÄ, labi statisti rÅ«pÄ«gi definÄ savus secinÄjumus, pirms tie tos izsaka.
AnalÄ«tiÄ·i ir atbrÄ«voti no atbildÄ«basā¦ kamÄr viÅi neiziet Ärpus saviem datiem. Ja viÅiem rodas kÄrdinÄjums apgalvot to, ko viÅi nav redzÄjuÅ”i, tas ir pavisam cits darbs. ViÅiem vajadzÄtu ānoÅemt kurpesā analÄ«tiÄ·a un āpÄrvilkt kurpesā statistika. BeigÄs, neatkarÄ«gi no oficiÄlÄs amata nosaukuma, nav noteikumu, saskaÅÄ ar kuriem jÅ«s nevarat pÄtÄ«t abas profesijas, ja vÄlaties. Tikai nesajauciet tÄs.
Ja jums labi padodas statistika, tas nenozÄ«mÄ, ka jums labi padodas analÄ«ze, un otrÄdi. Ja kÄds cenÅ”as jums teikt pretÄjo, ir vÄrts uztraukties. Ja Å”is cilvÄks informÄ jÅ«s, ka ir atļauts veikt statistiskus secinÄjumus par datiem, kurus jÅ«s jau esat izpÄtÄ«juÅ”i, tas ir divkÄrÅ”s brÄ«dinÄjums.
DÄ«vainas skaidrojumi
Nov novÄrojot datu Å”arlatÄnus dabÄ, jÅ«s ievÄrosiet, ka viÅi mÄ«l izdomÄt fantasmagoriskas stÄstus, lai "izskaidrotu" novÄrotos datus. Jo akadÄmiskÄks, jo labÄk. Nav svarÄ«gi, ka Å”ie stÄsti tiek pielÄgoti pÄc fakta.
Kad Å”arlatÄni tÄ rÄ«kojas ā ļaujiet man neŔķobÄ«ties uz vÄrdiem ā viÅi melo. NekÄds vienÄdojumu skaits vai skaistas idejas nevar kompensÄt to, ka viÅi nav piedÄvÄjuÅ”i nekÄdu pierÄdÄ«jumu savÄm versijÄm. Nebaidieties no viÅu neparastajÄm skaidrojumiem.
Tas ir tas pats, kas demonstrÄt savas "ekstrasensorÄs" spÄjas, vispirms apskatot kartes rokÄs, un tad paredzÄt, ko jÅ«s turatā¦ to, ko turat. TÄ ir retrospekcijas aizspriedums, un datu zinÄtnieka profesija ir lÄ«dz ausÄ«m piepildÄ«ta ar to.
AnalÄ«tiÄ·i saka: "Tu tikko gÄji ar sirdsdÄmu." Statisti saka: "Es pierakstÄ«ju savas hipotÄzes uz Ŕī papÄ«ra gabala pirms mÄs sÄkÄm. NÄc, spÄlÄsim, aplÅ«kosim dažus datus un redzÄsim, vai esmu pareizs." Å arlatÄni saka: "Es zinÄju, ka tu dosies ar Å”o sirdsdÄmu, joā¦"
Datu ŔķelÅ”ana ir Ätrs risinÄjums problÄmai, kas ikvienam ir nepiecieÅ”ama.
Kad datu ir maz, jÄizvÄlas starp statistiku un analÄ«zi, bet kad datu ir pÄrlieku daudz, ir lieliska iespÄja bez krÄpÅ”anÄs izmantot analÄ«zi. un statistika. Jums ir ideÄla aizsardzÄ«ba pret Å”arlatÄniem ā tÄ ir datu ŔķelÅ”ana un, manuprÄt, tÄ ir visspÄcÄ«gÄkÄ ideja datu zinÄtnÄ.
Lai sevi pasargÄtu no Å”arlatÄniem, viss, kas jums jÄdara, ir pÄrliecinÄties, ka jÅ«s glabÄjat dažus testdatus prom no viÅu ziÅkÄrÄ«gajÄm acÄ«m, un tad attiekties uz visu pÄrÄjo kÄ uz analÄ«zi. Kad jÅ«s sastopaties ar teoriju, kuru riskÄjat pieÅemt, izmantojiet to, lai novÄrtÄtu situÄciju, un tad atklÄjiet savus slepenos testdatus, lai pÄrbaudÄ«tu, vai teorija nav muļķīga. Tas ir tik vienkÄrÅ”i!
PÄrliecinieties, ka neviens nedrÄ«kst apskatÄ«t testdatus pÄtÄ«juma posmÄ. TÄpÄc pÄrliecinieties, ka jÅ«s ievÄrojat pÄtÄ«juma datus. Testdati nedrÄ«kst tikt izmantoti analÄ«zei.
Tas ir liels solis uz priekÅ”u salÄ«dzinÄjumÄ ar to, pie kÄ cilvÄki bija pieraduÅ”i "mazo datu" Äras laikÄ, kad jums bija jÄpaskaidro, no kurienes zinÄt to, ko zinÄt, lai beidzot pÄrliecinÄtu cilvÄkus, ka jÅ«s patieÅ”Äm kaut ko zinÄt.
Izmantojam tos paŔus noteikumus ML/AI.
Dažus Å”arlatÄnus, kas uzdodas par ML/AI ekspertiem, ir viegli atklÄt. JÅ«s viÅus noÄ·ersiet tieÅ”i tÄpat, kÄ noÄ·ertu jebkuru citu sliktu inženieri: "risinÄjumi", kurus viÅi cenÅ”as izveidot, pastÄvÄ«gi neizdodas. AgrÄ«na brÄ«dinÄjuma zÄ«me ir pieredzes trÅ«kums ar standarta nozares valodÄm un programmÄÅ”anas bibliotÄkÄm.
Bet kÄ ir ar cilvÄkiem, kuri izveido sistÄmas, kas Ŕķiet darboties? KÄ uzzinÄt, ka notiek kas aizdomÄ«gs? Tiek piemÄrots tas pats noteikums! Å arlatÄns ir ļauns tÄls, kas parÄda, cik labi modelis darbojÄsā¦ uz tiem paÅ”iem datiem, kurus viÅi izmantoja, lai izveidotu modeli.
Ja esat izveidojis neticami sarežģītu maŔīnmÄcÄ«Å”anÄs sistÄmu, kÄ uzzinÄt, cik laba tÄ ir? JÅ«s to uzzinÄsiet tikai tad, kad parÄdÄ«siet, ka tÄ darbojas ar jauniem datiem, kurus tÄ iepriekÅ” nav redzÄjusi.
Kad esat redzÄjis datus pirms prognozÄÅ”anas ā tas nebÅ«s priekÅ”teikums.
Kad jums ir pietiekami daudz datu dalÄ«Å”anai, jums nav jÄatsaucas uz formulu skaistumu, lai attaisnotu projektu (vecs stils, ko es redzu visur, ne tikai zinÄtnÄ). JÅ«s varat teikt: "Es zinu, ka tas darbojas, jo varu Åemt datu kopu, ko iepriekÅ” neesmu redzÄjis, un precÄ«zi prognozÄt, kas tur notiksā¦ un es bÅ«Å”u pareizs. Atkal un atkal."
JÅ«su modeļa/teorijas pÄrbaude uz jauniem datiem ir labÄkais pamats uzticÄÅ”anai.
Es necieŔŔu datu Å”arlatÄnus. Man nerÅ«p, vai jÅ«su viedoklis balstÄs uz atŔķirÄ«gÄm fÄ«ÄÄm. Man nepatÄ«k paskaidrojumu skaistums. ParÄdiet man, ka jÅ«su teorija/modelis darbojas (un turpina darboties) uz virkni jauniem datiem, kurus jÅ«s nekad agrÄk neesat redzÄjuÅ”i. TieÅ”i tas ir patiesais jÅ«su viedokļa izturÄ«bas pÄrbaude.
VÄrÅ”anÄs pie Data Science speciÄlistiem
Ja, ja vÄlaties, lai uz jums nopietni skatÄ«tos visi, kas saprot Å”o humoru, pÄrtrauciet slÄpties aiz dÄ«vainiem vienÄdojumiem, lai uzturÄtu personÄ«gÄs aizspriedumus. ParÄdiet, ka jums ir ko piedÄvÄt. Ja vÄlaties, lai tie, kas "saprac", skatÄ«tos uz jÅ«su teoriju/modeli kÄ uz ko vairÄk nekÄ tikai iedvesmojoÅ”u dzeju, jums jÄbÅ«t drosmÄ«gam rÄ«kot lieliskus demonstrÄjumus, cik labi tÄ darbojas pilnÄ«gi jaunÄ datu komplektÄā¦ klÄtbÅ«tnÄ!
UzrunÄjums vadÄ«tÄjiem
Atturieties pieÅemt jebkÄdas "idejas" par datiem, kamÄr tÄs nav pÄrbaudÄ«tas uz jauniem datiem. Negribat ieguldÄ«t pÅ«les? Palieciet pie analÄ«tikas, bet nepaļaujieties uz Ŕīm idejÄm ā tÄs ir nenodroÅ”inÄtas un nav pÄrbaudÄ«tas par uzticamÄ«bu. TurklÄt, kad organizÄcijai ir pÄrÄk daudz datu, nav nekÄda trÅ«kuma radÄ«t dalÄ«jumus kÄ pamatu zinÄtnei un uzturÄt to infrastruktÅ«ras lÄ«menÄ«, kontrolÄjot piekļuvi testÄjoÅ”iem datiem statistikai. Tas ir lielisks veids, kÄ novÄrst mÄÄ£inÄjumus jÅ«s apmÄnÄ«t!
Ja vÄlaties redzÄt vairÄk piemÄru Å”arlatÄniem, kas izdomÄ kaut ko nelabu ā .
SecinÄjumi
Kad datu ir par maz dalÄ«Å”anai, tikai Å”arlatÄns mÄÄ£ina stingri sekot iedvesmai, atklÄjot Ameriku retrospektÄ«vi un matemÄtiski atklÄjot parÄdÄ«bas, par kurÄm jau ir zinÄms, ka tÄs ir datos, un nosaucot pÄrsteigumus par statistiski nozÄ«mÄ«giem. Tas tos atŔķir no neitrÄla analÄ«tiÄ·a, kas nodarbojas ar iedvesmu, un rÅ«pÄ«ga statistiÄ·a, kas piedÄvÄ pierÄdÄ«jumus prognozÄÅ”anai.
Kad datu ir daudz, ieaudziniet sev ieradumu dalÄ«t datus, tÄ jÅ«s varat iegÅ«t labÄko no abÄm pasaulÄm! Noteikti veiciet analÄ«tiku un statistiku atseviŔķi atseviŔķiem apakÅ”kopÄm no sÄkotnÄjÄ datu kopas.
- AnalÄ«tiÄ·i piedÄvÄ jums iedvesmu un plaÅ”umu.
- StatistiÄ·i piedÄvÄ jums stingru testÄÅ”anu.
- Å arlatÄni piedÄvÄ jums izkropļotu retrospektÄ«vu skatÄ«jumu, kas mÄnÄs par analÄ«tiku plus statistiku.
IespÄjams, pÄc raksta izlasÄ«Å”anas jums radÄ«sies doma "vai es neesmu Å”arlatÄns"? Tas ir normÄli. Å o domu var izdzÄ«t divos veidos: pirmkÄrt, atskatieties un paskatieties, ko esat paveikuÅ”i, vai jÅ«su darbs ar datiem ir sniedzis praktisku labumu. OtrkÄrt, joprojÄm varat strÄdÄt pie savas kvalifikÄcijas (kas noteikti nebÅ«s lieki), jo saviem studentiem mÄs sniedzam praktiskas prasmes un zinÄÅ”anas, kas ļauj viÅiem kļūt par Ä«stiem datu zinÄtniekiem.
VairÄk kursu
LasÄ«t vÄl
Avots: habr.com
Russian
Italian
German
Polish
Estonian
Albanian
Bulgarian
Croatian
Czech
Danish
Dutch
English
French
Hungarian
Latvian
Norwegian
Portuguese
Romanian
Slovak
Slovenian
Spanish
Swedish