Is dòcha gu bheil thu air cluinntinn mu luchd-anailis, eòlaichean ionnsachadh innealan agus inntleachd fuadain, ach an cuala tu mun fheadhainn a tha air pàigheadh cus mì-chothromach? Coinnich dàta charlatan! Tha na hacks sin, air an tarraing le obraichean buannachdail, a’ toirt droch ainm do luchd-saidheans dàta fìor. Anns an stuth tha sinn a 'tuigsinn mar a bheir sinn daoine mar sin gu uisge glan.
Tha charlatans dàta anns a h-uile àite
Tha charlatans dàta cho math air falach ann an sealladh soilleir as urrainn dhut bhith mar aon dhiubhgun eadhon ga thuigsinn. Is dòcha gu bheil a’ bhuidheann agad air a bhith a’ cumail nan daoine gòrach sin fad bhliadhnaichean, ach is e an deagh naidheachd gu bheil iad furasta aithneachadh a bheil fios agad dè a choimheadas tu.
Is e a’ chiad shoidhne rabhaidh dìth tuigse air sin tha mion-sgrùdadh agus staitistigs nan cuspairean gu math eadar-dhealaichte. Mìnichidh mi seo nas fhaide.
Diofar chuspairean
Tha luchd-staitistig air an trèanadh gus co-dhùnaidhean a dhèanamh mu na tha a’ dol nas fhaide na an dàta aca, tha luchd-anailis air an trèanadh gus sgrùdadh a dhèanamh air susbaint seata dàta. Ann am faclan eile, bidh sgrùdairean a’ tighinn gu co-dhùnaidhean mu na tha san dàta aca, agus bidh luchd-staitistig a’ tighinn gu co-dhùnaidhean mu na rudan nach eil san dàta. Cuidichidh sgrùdairean thu le bhith a’ faighneachd cheistean math (dèan beachd-bharail), agus bidh luchd-staitistig gad chuideachadh gus freagairtean math fhaighinn (deuchainn air na barailean agad).
Tha dreuchdan tar-chinealach neònach ann cuideachd far am feuchaidh duine ri suidhe air dà chathair... Carson nach eil? Prionnsabal bunaiteach saidheans dàta: ma tha thu a 'dèiligeadh ri mì-chinnt, chan urrainn dhut a chleachdadh An t-aon rud puing dàta airson beachd-bharail agus deuchainn. Nuair a tha dàta cuibhrichte, bidh mì-chinnt a’ toirt roghainn eadar staitistig no anailisean. Mìneachadh .
Às aonais staitistig, bidh thu steigte agus chan urrainn dhut tuigsinn a bheil am breithneachadh a rinn thu dìreach a’ cumail suas, agus às aonais mion-sgrùdadh, tha thu a’ gluasad gu dall, le glè bheag de chothrom air an rud neo-aithnichte a shàrachadh. Is e roghainn duilich a tha seo.
Is e an dòigh anns a bheil a’ charlatan a-mach às a’ bhreugan seo a bhith ga leigeil seachad agus an uairsin a’ leigeil a-mach gun cuir e iongnadh ort leis na thig gu h-obann. Tha an loidsig air cùl a bhith a’ dèanamh deuchainn air barailean staitistigeil a’ tighinn sìos don cheist a bheil an dàta a’ cur iongnadh oirnn gu leòr airson ar n-inntinn atharrachadh. Ciamar a chuireas sinn iongnadh oirnn le dàta ma tha sinn air fhaicinn mar-thà?
Nuair a lorgas charlatans pàtran, gheibh iad brosnachadh, an uairsin dèan cinnteach an aon dàta airson an aon phàtran, an toradh fhoillseachadh le luach p dligheach no dhà, ri taobh an teòiridh aca. Mar sin, tha iad nan laighe dhut (agus, is dòcha, dhaibh fhèin cuideachd). Chan eil an luach-p seo gu diofar mura cùm thu ris a’ bheachd-bharail agad gu mar a choimhead thu air an dàta agad. Bidh Charlatans ag atharrais air gnìomhan luchd-anailis agus luchd-staitistig gun a bhith a’ tuigsinn nan adhbharan. Mar thoradh air an sin, tha an raon iomlan de shaidheans dàta a 'faighinn droch chliù.
Bidh fìor luchd-staitistig an-còmhnaidh a’ tighinn gu na co-dhùnaidhean aca fhèin
Taing do chliù cha mhòr dìomhair luchd-staitistig airson an reusanachadh teann, tha an ìre de dh’ fhiosrachadh meallta ann an Saidheans Dàta aig an ìre as àirde a-riamh. Tha e furasta a mhealladh agus gun a bhith air a ghlacadh, gu sònraichte ma tha an neach-fulang gun dùil den bheachd gu bheil e mu dheidhinn co-aontaran agus dàta. Is e stòr-dàta a th’ ann an stòr-dàta, ceart? Chan eil. Tha e cudromach mar a chleachdas tu e.
Gu fortanach, chan fheum thu ach aon boillsgeadh gus na charlatans a ghlacadh: tha iad “a’ lorg Ameireagaidh gu ath-ghnìomhach." Le bhith ag ath-lorg uinneanan a tha fios aca mu thràth a tha an làthair anns an dàta.
Eu-coltach ri charlatans, tha deagh sgrùdaichean inntinn fosgailte agus a 'tuigsinn gum faod mòran mhìneachaidhean eadar-dhealaichte a bhith aig beachdan brosnachail. Aig an aon àm, bidh luchd-staitistig math a’ mìneachadh an co-dhùnaidhean gu faiceallach mus dèan iad iad.
Tha luchd-anailis saor bho bhuailteachd… fhad ‘s a chumas iad taobh a-staigh raon an dàta aca. Ma tha iad air an tàladh gus rudeigin a thagradh nach fhaca iad, is e obair eile a tha sin. Bu chòir dhaibh brògan an neach-anailis a thoirt air falbh agus brògan an neach-staitistig a chuir orra. Às deidh na h-uile, ge bith dè an tiotal obrach oifigeil a th ’ann, chan eil riaghailt ann a tha ag ràdh nach urrainn dhut an dà dhreuchd a sgrùdadh ma thogras tu. Dìreach na cuir troimh-chèile iad.
Dìreach air sgàth 's gu bheil thu math air staitistig chan eil sin a' ciallachadh gu bheil thu math air anailisean, agus a chaochladh. Ma tha cuideigin a 'feuchainn ri innse dhut a chaochladh, bu chòir dhut a bhith faiceallach. Ma dh'innseas an neach seo dhut gu bheil e ceadaichte co-dhùnaidhean staitistigeil a tharraing bho dhàta a tha thu air a sgrùdadh mu thràth, tha seo na adhbhar airson a bhith faiceallach.
Mìneachaidhean neònach
Nuair a choimheadas tu air charlatans dàta san dùthaich, chì thu gu bheil iad dèidheil air a bhith a’ dèanamh suas sgeulachdan iongantach gus an dàta a chì iad “a mhìneachadh”. Mar as acadaimigeach, ’s ann as fheàrr. Chan eil e gu diofar gu bheil na sgeulachdan sin air an atharrachadh le bhith a’ coimhead air ais.
Nuair a nì charlatans seo - leig dhomh a bhith soilleir - tha iad nan laighe. Chan urrainn àireamh sam bith de cho-aontaran no de bhun-bheachdan sùbailte dèanamh suas airson gun tug iad seachad dearbhadh neoni air na teòiridhean aca. Na cuir iongnadh ort cho neo-àbhaisteach sa tha na mìneachaidhean aca.
Tha seo an aon rud ri bhith a’ sealltainn do chomasan “saidhc-eòlach” le bhith a’ coimhead an toiseach air na cairtean nad làmhan agus an uairsin a’ ro-innse na tha agad...na tha agad. Is e claon-bhreith a tha seo, agus tha dreuchd saidheans dàta air a lìonadh chun na h-ìre leis.
Tha luchd-anailis ag ràdh, “Chaidh thu còmhla ri Banrigh nan Daoimeanan." Tha an luchd-staitistig ag ràdh, “Sgrìobh mi sìos mo bharailean air a’ phìos pàipear seo mus do thòisich sinn. Cluichidh sinn mun cuairt agus coimhead air beagan dàta gus faicinn a bheil mi ceart." Tha Charlatans ag ràdh, “Bha fios agam gu robh thu gu bhith na Banrigh nan Daoimeanan seo oir ..."
Is e roinneadh dàta am fuasgladh luath a dh’ fheumas a h-uile duine.
Nuair nach eil mòran dàta ann, feumaidh tu taghadh eadar staitistig agus anailisean, ach nuair a tha barrachd air dàta gu leòr ann, tha deagh chothrom ann anailisean a chleachdadh gun mhealladh и staitistig. Tha dìon foirfe agad an-aghaidh charlatans - dealachadh dàta agus, nam bheachd-sa, is e seo am beachd as cumhachdaiche ann an Saidheans Dàta.
Gus do dhìon fhèin bho charlatans, chan eil agad ach dèanamh cinnteach gun cùm thu cuid de dhàta deuchainn a-mach à ruigsinneachd nan sùilean dòrainneach aca, agus an uairsin làimhseachadh an còrr mar anailisean. Nuair a thig thu tarsainn air teòiridh gu bheil thu ann an cunnart gabhail ris, cleachd e gus measadh a dhèanamh air an t-suidheachadh, agus an uairsin nochdaidh an dàta deuchainn dìomhair agad gus dèanamh cinnteach nach eil an teòiridh neonach. Tha e cho sìmplidh!
Dèan cinnteach nach eil cead aig duine an dàta deuchainn fhaicinn aig ìre an sgrùdaidh. Gus seo a dhèanamh, cùm ri dàta rannsachaidh. Cha bu chòir dàta deuchainn a chleachdadh airson mion-sgrùdadh.
Is e ceum mòr a tha seo suas bho na tha daoine cleachdte ris anns an àm “dàta beag”, far am feum thu mìneachadh mar a tha fios agad dè as aithne dhut gus toirt a chreidsinn air daoine mu dheireadh gu bheil thu eòlach air rudeigin.
Cuir na h-aon riaghailtean an sàs ann an ML/AI
Tha cuid de charlatans nan seasamh mar eòlaichean ML/AI furasta am faicinn cuideachd. Glacaidh tu iad san aon dòigh a ghlacas tu droch innleadair sam bith eile: bidh na “fuasglaidhean” a bhios iad a’ feuchainn ri togail a’ fàilligeadh gu leantainneach. Is e soidhne rabhaidh tràth dìth eòlas air cànanan prògramadh àbhaisteach gnìomhachais agus leabharlannan.
Ach dè mu dheidhinn nan daoine a chruthaicheas siostaman a tha coltach gu bheil iad ag obair? Ciamar a bhios fios agad a bheil rudeigin amharasach a’ dol? Tha an aon riaghailt a 'buntainn! Tha an Charlatan na charactar sinistr a sheallas dhut cho math sa dh’ obraich am modail ... air an aon dàta a chleachd iad gus am modail a chruthachadh.
Ma tha thu air siostam ionnsachaidh inneal neo-iom-fhillte a thogail, ciamar a tha fios agad dè cho math ‘s a tha e? Cha bhi fios agad gus an seall thu dhi ag obair le dàta ùr nach fhaca i roimhe.
Nuair a chunnaic thu an dàta ron ro-aithris - chan eil e coltach roimhe seoag innse
Nuair a bhios dàta gu leòr agad airson dealachadh, chan fheum thu bòidhchead na foirmlean agad a chomharrachadh gus am pròiseact fhìreanachadh (seann chleachdadh fasan a chì mi anns a h-uile àite, chan ann a-mhàin ann an saidheans). Faodaidh tu a ràdh: “Tha fios agam gu bheil e ag obair oir is urrainn dhomh seata dàta a ghabhail nach fhaca mi roimhe agus ro-innse dè dìreach a thachras an sin ... agus bidh mi ceart. A-rithist is a-rithist."
Is e a bhith a’ dèanamh deuchainn air do mhodail/teòiridh an aghaidh dàta ùr am bunait as fheàrr airson misneachd.
Chan eil mi a’ gabhail ri charlatans dàta. Chan eil dragh agam a bheil do bheachd stèidhichte air diofar chleasan. Chan eil bòidhchead nam mìneachaidhean air mo ghlacadh. Seall dhomh gu bheil do theòiridh / modail ag obair (agus a 'leantainn air adhart ag obair) air dòrlach de dhàta ùr nach fhaca thu a-riamh roimhe. Is e seo an fhìor dheuchainn air neart do bheachd.
Cuir fios gu eòlaichean saidheans dàta
Ma tha thu airson a bhith air do thoirt dha-rìribh leis a h-uile duine a thuigeas an àbhachdas seo, stad air a bhith a’ falach air cùl co-aontaran sùbailte gus taic a thoirt do chlaonadh pearsanta. Seall dhomh na th' agad. Ma tha thu airson ’s gum faic an fheadhainn a tha “ga fhaighinn” do theòiridh/modail mar barrachd air dìreach bàrdachd bhrosnachail, biodh misneachd agad taisbeanadh mòr a chuir air adhart air cho math sa tha e ag obair air seata dàta gu tur ùr ... air beulaibh luchd-fianais !
Ath-thagradh gu stiùirichean
Diùlt “beachdan” sam bith a ghabhail mun dàta gus an tèid deuchainn a dhèanamh orra ùr dàta. Nach eil thu a’ faireachdainn mar a bhith a’ cur an oidhirp? Gabh ris na mion-sgrùdaidhean, ach na bi an urra ris na beachdan sin - tha iad neo-earbsach agus cha deach deuchainn a dhèanamh orra airson earbsachd. A bharrachd air an sin, nuair a tha dàta pailt aig buidheann, chan eil dad ceàrr ann a bhith a’ dèanamh dealachadh bunaiteach ann an saidheans agus ga chumail aig ìre bun-structair le bhith a’ cumail smachd air ruigsinneachd air dàta deuchainn airson staitistig. Is e deagh dhòigh a tha seo gus stad a chuir air daoine bho bhith a’ feuchainn ri do mhealladh!
Ma tha thu airson barrachd eisimpleirean de charlatans fhaicinn gu ìre mhath - .
Builean
Nuair a tha ro bheag de dhàta ann airson dealachadh, chan eil ach charlatan a’ feuchainn ri brosnachadh a leantainn gu teann le bhith a’ faighinn a-mach Ameireagaidh air ais, ag ath-lorg gu matamataigeach uinneanan a tha aithnichte mar-thà anns an dàta, agus a’ gairm an iongnadh a tha cudromach gu staitistigeil. Tha seo gan dèanamh eadar-dhealaichte bhon anailisiche inntinn fosgailte, a bhios a’ dèiligeadh ri brosnachadh, agus an neach-staitistig mhionaideach, a bheir seachad fianais nuair a bhios iad a’ dèanamh ro-innse.
Nuair a tha tòrr dàta ann, cleachd an dàta a sgaradh gus am faigh thu a’ chuid as fheàrr den dà shaoghal! Dèan cinnteach gun dèan thu mion-sgrùdaidhean agus staitistig fa leth airson fo-bhuidhnean fa leth den t-sreath dàta tùsail.
- Anailichean a’ toirt dhut brosnachadh agus inntinn fhosgailte.
- Staitistig thoir deuchainnean teann dhut.
- Charlatans a’ toirt dhut sealladh iar-shealladh cas a tha a’ gabhail ort gur e anailisean a bharrachd air staitistig.
Is dòcha, às deidh dhut an artaigil a leughadh, gum bi an smuain agad “An e charlatan a th’ annam ”? Tha seo gu math. Tha dà dhòigh air faighinn cuidhteas an smuain seo: an toiseach, coimhead air ais, faic na rinn thu, co dhiubh a tha an obair agad le dàta air buannachd phractaigeach a thoirt. Agus san dàrna h-àite, faodaidh tu fhathast obrachadh air na teisteanasan agad (rud nach bi gu cinnteach iomarcach), gu sònraichte leis gu bheil sinn a’ toirt seachad sgilean practaigeach agus eòlas do na h-oileanaich againn a leigeas leotha a bhith nan luchd-saidheans dàta fìor.
Tuilleadh chùrsaichean
Leugh tuilleadh
Source: www.habr.com