Efallai eich bod wedi clywed am ddadansoddwyr, arbenigwyr dysgu peirianyddol a deallusrwydd artiffisial, ond a ydych wedi clywed am y rheini sy’n cael eu gordalu’n annheg? Cyfarfod data charlatan! Mae'r haciau hyn, sy'n cael eu denu gan swyddi proffidiol, yn rhoi enw drwg i wyddonwyr data go iawn. Yn y deunydd rydym yn deall sut i ddod â phobl o'r fath i ddŵr glân.
Mae charlatans data ym mhobman
Mae charlatans data mor dda am guddio mewn golwg blaen ag y gallwch bod yn un ohonyn nhwheb hyd yn oed sylweddoli hynny. Mae'n debygol bod eich sefydliad wedi bod yn llochesu'r dynion slei hyn ers blynyddoedd, ond y newyddion da yw eu bod yn hawdd eu hadnabod os ydych chi'n gwybod beth i'w chwilio.
Yr arwydd rhybudd cyntaf yw diffyg dealltwriaeth o hynny mae dadansoddeg ac ystadegau yn ddisgyblaethau gwahanol iawn. Byddaf yn egluro hyn ymhellach.
Disgyblaethau gwahanol
Mae ystadegwyr wedi'u hyfforddi i ddod i gasgliadau am yr hyn sy'n mynd y tu hwnt i'w data, mae dadansoddwyr yn cael eu hyfforddi i archwilio cynnwys set ddata. Mewn geiriau eraill, mae dadansoddwyr yn dod i gasgliadau am yr hyn sydd yn eu data, ac mae ystadegwyr yn dod i gasgliadau am yr hyn nad yw yn y data. Mae dadansoddwyr yn eich helpu i ofyn cwestiynau da (gwneud rhagdybiaethau), ac mae ystadegwyr yn eich helpu i gael atebion da (profwch eich rhagdybiaethau).
Mae yna hefyd rolau hybrid rhyfedd lle mae person yn ceisio eistedd ar ddwy gadair... Pam lai? Egwyddor sylfaenol gwyddor data: os ydych chi'n delio ag ansicrwydd, ni allwch ei ddefnyddio yr un pwynt data ar gyfer damcaniaethau a phrofion. Pan fo data’n gyfyngedig, mae ansicrwydd yn gorfodi dewis rhwng ystadegau neu ddadansoddeg. Esboniad .
Heb ystadegau, byddwch yn sownd ac yn methu â deall a yw'r dyfarniad yr ydych newydd ei lunio yn dal i fyny, a heb ddadansoddiad, rydych yn symud yn ddall, heb fawr o siawns o ddofi'r anhysbys. Mae hwn yn ddewis anodd.
Ffordd y charlatan allan o'r llanast hwn yw ei anwybyddu ac yna smalio cael eich synnu gan yr hyn sy'n digwydd yn sydyn. Daw'r rhesymeg y tu ôl i brofi damcaniaethau ystadegol i lawr i'r cwestiwn a yw'r data yn ein synnu digon i newid ein meddyliau. Sut gallwn ni gael ein synnu gan ddata os ydym eisoes wedi ei weld?
Pryd bynnag y bydd charlatans yn dod o hyd i batrwm, maen nhw'n cael eu hysbrydoli, yna gwiriwch yr un data gyfer yr un patrwm, i gyhoeddi y canlyniad gyda p-werth cyfreithlon neu ddau, yn ymyl eu damcaniaeth. Felly, maen nhw'n dweud celwydd i chi (ac, efallai, iddyn nhw eu hunain hefyd). Nid oes ots am y gwerth-p hwn os nad ydych yn cadw at eich rhagdybiaeth i sut wnaethoch chi weld eich data. Mae Charlatans yn dynwared gweithredoedd dadansoddwyr ac ystadegwyr heb ddeall y rhesymau. O ganlyniad, mae holl faes gwyddor data yn cael enw drwg.
Mae ystadegwyr cywir bob amser yn dod i'w casgliadau eu hunain
Diolch i enw da bron cyfriniol ystadegwyr am eu rhesymu trwyadl, mae maint y wybodaeth ffug mewn Gwyddor Data ar ei uchaf erioed. Mae'n hawdd twyllo a pheidio â chael eich dal, yn enwedig os yw'r dioddefwr diarwybod yn meddwl ei fod yn ymwneud â hafaliadau a data. Set ddata yw set ddata, iawn? Nac ydw. Mae'n bwysig sut rydych chi'n ei ddefnyddio.
Yn ffodus, dim ond un cliw sydd ei angen arnoch i ddal y charlatans: maen nhw'n "darganfod America yn ôl-weithredol." Trwy ailddarganfod ffenomenau y maent eisoes yn gwybod eu bod yn bresennol yn y data.
Yn wahanol i charlatans, mae dadansoddwyr da yn meddwl agored ac yn deall y gall syniadau ysbrydoledig gael llawer o wahanol esboniadau. Ar yr un pryd, mae ystadegwyr da yn diffinio eu casgliadau yn ofalus cyn eu gwneud.
Mae dadansoddwyr wedi'u heithrio rhag atebolrwydd... cyhyd â'u bod yn aros o fewn cwmpas eu data. Os cânt eu temtio i hawlio rhywbeth na welsant, swydd arall yw honno. Dylent dynnu esgidiau'r dadansoddwr a gwisgo esgidiau'r ystadegydd. Wedi'r cyfan, ni waeth beth yw teitl swyddogol y swydd, nid oes unrhyw reol sy'n dweud na allwch astudio'r ddau broffesiwn os dymunwch. Peidiwch â'u drysu.
Nid yw'r ffaith eich bod yn dda am ystadegau yn golygu eich bod yn dda am ddadansoddeg, ac i'r gwrthwyneb. Os bydd rhywun yn ceisio dweud fel arall wrthych, dylech fod yn wyliadwrus. Os yw'r person hwn yn dweud wrthych y caniateir dod i gasgliadau ystadegol o ddata yr ydych eisoes wedi'i astudio, mae hyn yn rheswm i fod yn wyliadwrus ddwywaith.
Esboniadau rhyfedd
Wrth arsylwi charlatans data yn y gwyllt, byddwch yn sylwi eu bod wrth eu bodd yn creu straeon rhyfeddol i “egluro” y data y maent yn ei arsylwi. Po fwyaf academaidd, gorau oll. Nid oes ots a yw'r straeon hyn yn cael eu haddasu wrth edrych yn ôl.
Pan fydd charlatans yn gwneud hyn - gadewch i mi fod yn glir - maen nhw'n dweud celwydd. Ni all unrhyw swm o hafaliadau neu gysyniadau ffansi wneud iawn am y ffaith eu bod yn cynnig sero prawf o'u damcaniaethau. Peidiwch â synnu pa mor anarferol yw eu hesboniadau.
Mae hyn yr un peth â dangos eich galluoedd "seicig" trwy edrych yn gyntaf ar y cardiau yn eich dwylo ac yna rhagweld beth rydych chi'n ei ddal ... yr hyn rydych chi'n ei ddal. Mae hyn yn rhagfarn wrth edrych yn ôl, ac mae'r proffesiwn gwyddor data yn llawn ohono.
Dywed dadansoddwyr: "Fe aethoch chi gyda Brenhines y Diemwntau." Dywed yr ystadegwyr, “Ysgrifennais fy damcaniaethau ar y darn hwn o bapur cyn i ni ddechrau. Gadewch i ni chwarae o gwmpas ac edrych ar rywfaint o ddata a gweld a ydw i'n iawn." Dywed Charlatans: "Roeddwn i'n gwybod eich bod chi'n mynd i ddod yn Frenhines Diemwntau oherwydd ..."
Rhannu data yw'r ateb cyflym sydd ei angen ar bawb.
Pan nad oes llawer o ddata, mae'n rhaid i chi ddewis rhwng ystadegau a dadansoddeg, ond pan fydd mwy na digon o ddata, mae cyfle gwych i ddefnyddio dadansoddeg heb dwyll. и ystadegau. Mae gennych yr amddiffyniad perffaith yn erbyn charlatans - gwahanu data ac, yn fy marn i, dyma'r syniad mwyaf pwerus mewn Gwyddor Data.
Er mwyn amddiffyn eich hun rhag charlatans, y cyfan sydd angen i chi ei wneud yw sicrhau eich bod yn cadw rhywfaint o ddata prawf allan o gyrraedd eu llygaid busneslyd, ac yna'n trin y gweddill fel dadansoddeg. Pan fyddwch chi'n dod ar draws theori rydych chi mewn perygl o'i derbyn, defnyddiwch hi i werthuso'r sefyllfa, ac yna datgelwch eich data prawf cyfrinachol i wirio nad yw'r ddamcaniaeth yn nonsens. Mae mor syml!
Gwnewch yn siŵr nad oes neb yn cael gweld data'r prawf yn ystod y cyfnod archwilio. I wneud hyn, cadwch at ddata ymchwil. Ni ddylid defnyddio data prawf ar gyfer dadansoddi.
Mae hwn yn gam mawr i fyny o'r hyn y mae pobl wedi arfer ag ef yn y cyfnod "data bach", lle mae'n rhaid i chi esbonio sut rydych chi'n gwybod beth rydych chi'n ei wybod er mwyn argyhoeddi pobl yn olaf eich bod chi'n gwybod rhywbeth mewn gwirionedd.
Cymhwyswch yr un rheolau i ML/AI
Mae rhai charlatans sy'n sefyll fel arbenigwyr ML/AI hefyd yn hawdd eu gweld. Byddwch chi'n eu dal yr un ffordd ag y byddech chi'n dal unrhyw beiriannydd drwg arall: mae'r "atebion" maen nhw'n ceisio eu hadeiladu yn methu'n barhaus. Arwydd rhybudd cynnar yw diffyg profiad gydag ieithoedd rhaglennu safonol y diwydiant a llyfrgelloedd.
Ond beth am y bobl sy'n creu systemau sydd i'w gweld yn gweithio? Sut ydych chi'n gwybod a oes rhywbeth amheus yn digwydd? Mae'r un rheol yn berthnasol! Mae'r Charlatan yn gymeriad sinistr sy'n dangos i chi pa mor dda y gweithiodd y model ... ar yr un data a ddefnyddiwyd ganddynt i greu'r model.
Os ydych chi wedi adeiladu system ddysgu peirianyddol wallgof o gymhleth, sut ydych chi'n gwybod pa mor dda ydyw? Ni fyddwch yn gwybod nes i chi ddangos iddi weithio gyda data newydd nad yw wedi'i weld o'r blaen.
Pan welsoch chi'r data cyn rhagweld - mae'n annhebygol o'r blaendweud
Pan fydd gennych ddigon o ddata i wahanu, nid oes angen i chi ddyfynnu harddwch eich fformiwlâu i gyfiawnhau'r prosiect (hen arferiad ffasiwn a welaf ym mhobman, nid dim ond mewn gwyddoniaeth). Gallwch ddweud: “Rwy’n gwybod ei fod yn gweithio oherwydd gallaf gymryd set ddata nad wyf wedi’i gweld o’r blaen a rhagweld beth yn union fydd yn digwydd yno… a byddaf yn iawn. Eto ac eto".
Profi eich model/damcaniaeth yn erbyn data newydd yw'r sail orau ar gyfer hyder.
Dydw i ddim yn goddef charlatans data. Nid wyf yn poeni os yw eich barn yn seiliedig ar driciau gwahanol. Nid yw harddwch yr esboniadau wedi gwneud argraff arnaf. Dangoswch i mi fod eich theori / model yn gweithio (ac yn parhau i weithio) ar griw cyfan o ddata newydd nad ydych chi erioed wedi'i weld o'r blaen. Dyma'r gwir brawf o gryfder eich barn.
Cysylltu ag Arbenigwyr Gwyddor Data
Os ydych chi am gael eich cymryd o ddifrif gan bawb sy'n deall yr hiwmor hwn, peidiwch â chuddio y tu ôl i hafaliadau ffansi i gefnogi rhagfarnau personol. Dangoswch i mi beth sydd gennych chi. Os ydych chi am i'r rhai sy'n "ei gael" weld eich theori/model fel mwy na barddoniaeth ysbrydoledig yn unig, byddwch yn ddigon dewr i gynnal sioe fawreddog o ba mor dda y mae'n gweithio ar set hollol newydd o ddata... o flaen tystion !
Apêl i arweinwyr
Gwrthod cymryd unrhyw "syniadau" am y data o ddifrif nes iddynt gael eu profi newydd data. Ddim yn teimlo fel rhoi'r ymdrech i mewn? Cadwch at y dadansoddeg, ond peidiwch â dibynnu ar y syniadau hyn - maent yn annibynadwy ac nid ydynt wedi'u profi am ddibynadwyedd. Ar ben hynny, pan fo gan sefydliad ddigonedd o ddata, nid oes unrhyw anfantais i wneud gwahaniad yn hanfodol mewn gwyddoniaeth a'i gynnal ar lefel seilwaith trwy reoli mynediad at ddata prawf ar gyfer ystadegau. Mae hon yn ffordd wych o atal pobl rhag ceisio eich twyllo chi!
Os ydych chi eisiau gweld mwy o enghreifftiau o charlatans hyd at ddim byd - .
Canlyniadau
Pan nad oes digon o ddata i'w wahanu, dim ond charlatan sy'n ceisio dilyn ysbrydoliaeth yn llym trwy ddarganfod America yn ôl-weithredol, gan ailddarganfod ffenomenau yn fathemategol y gwyddys eu bod eisoes yn y data, a galw'r syndod yn ystadegol arwyddocaol. Mae hyn yn eu gwahaniaethu oddi wrth y dadansoddwr meddwl agored, sy'n delio ag ysbrydoliaeth, a'r ystadegydd manwl gywir, sy'n cynnig tystiolaeth wrth wneud rhagfynegiadau.
Pan fydd llawer o ddata, ewch i'r arfer o wahanu'r data fel y gallwch chi gael y gorau o ddau fyd! Gwnewch yn siŵr eich bod yn gwneud dadansoddiadau ac ystadegau ar wahân ar gyfer is-setiau unigol o'r pentwr data gwreiddiol.
- Dadansoddwyr cynnig ysbrydoliaeth a meddwl agored i chi.
- Ystadegwyr cynnig profion trylwyr i chi.
- Charlatans cynnig golwg troellog i chi sy'n esgus bod yn ddadansoddeg ynghyd ag ystadegau.
Efallai, ar ôl darllen yr erthygl, y byddwch chi'n meddwl “ydw i'n charlatan”? Mae hyn yn iawn. Mae dwy ffordd o gael gwared ar y meddwl hwn: yn gyntaf, edrychwch yn ôl, gweld beth rydych wedi'i wneud, a yw eich gwaith gyda data wedi dod â budd ymarferol. Ac yn ail, gallwch barhau i weithio ar eich cymwysterau (na fyddan nhw'n ddiangen), yn enwedig gan ein bod ni'n rhoi sgiliau a gwybodaeth ymarferol i'n myfyrwyr sy'n eu galluogi i ddod yn wyddonwyr data go iawn.
Mwy o gyrsiau
Darllen mwy
Ffynhonnell: hab.com