Mae proffesiynau Gwyddonydd Data a Pheiriannydd Data yn aml yn ddryslyd. Mae gan bob cwmni ei fanylion ei hun o weithio gyda data, gwahanol ddibenion ar gyfer eu dadansoddi a syniad gwahanol o ba arbenigwr ddylai ymdrin â pha ran o'r gwaith, felly mae gan bob un ei ofynion ei hun.
Gadewch i ni ddarganfod beth yw'r gwahaniaeth rhwng yr arbenigwyr hyn, pa broblemau busnes maen nhw'n eu datrys, pa sgiliau sydd ganddyn nhw a faint maen nhw'n ei ennill. Trodd y deunydd yn fawr, felly fe wnaethom ei rannu'n ddau gyhoeddiad.
Yn yr erthygl gyntaf, Elena Gerasimova, pennaeth y gyfadran “" yn Netology, yn dweud beth yw'r gwahaniaeth rhwng Gwyddonydd Data a Pheiriannydd Data a pha offer y maent yn gweithio gyda nhw.
Sut mae rolau peirianwyr a gwyddonwyr yn wahanol
Mae peiriannydd data yn arbenigwr sydd, ar y naill law, yn datblygu, yn profi ac yn cynnal seilwaith data: cronfeydd data, systemau storio a phrosesu torfol. Ar y llaw arall, dyma'r un sy'n glanhau ac yn “cribo” data i'w ddefnyddio gan ddadansoddwyr a gwyddonwyr data, hynny yw, yn creu piblinellau prosesu data.
Mae Data Scientist yn creu ac yn hyfforddi modelau rhagfynegol (a modelau eraill) gan ddefnyddio algorithmau dysgu peirianyddol a rhwydweithiau niwral, gan helpu busnesau i ddod o hyd i batrymau cudd, rhagweld datblygiadau a gwneud y gorau o brosesau busnes allweddol.
Y prif wahaniaeth rhwng Gwyddonydd Data a Pheiriannydd Data yw bod ganddynt nodau gwahanol fel arfer. Mae'r ddau yn gweithio i sicrhau bod data yn hygyrch ac o ansawdd uchel. Ond mae Gwyddonydd Data yn dod o hyd i atebion i'w gwestiynau ac yn profi damcaniaethau mewn ecosystem ddata (er enghraifft, yn seiliedig ar Hadoop), ac mae Peiriannydd Data yn creu piblinell ar gyfer gwasanaethu algorithm dysgu peiriant a ysgrifennwyd gan wyddonydd data mewn clwstwr Spark o fewn yr un ecosystem.
Mae peiriannydd data yn dod â gwerth i fusnes trwy weithio fel rhan o dîm. Ei dasg yw gweithredu fel cyswllt pwysig rhwng gwahanol gyfranogwyr: o ddatblygwyr i ddefnyddwyr busnes adrodd, a chynyddu cynhyrchiant dadansoddwyr, o farchnata a chynnyrch i BI.
Mae Gwyddonydd Data, i'r gwrthwyneb, yn cymryd rhan weithredol yn strategaeth y cwmni ac yn tynnu mewnwelediadau, gwneud penderfyniadau, gweithredu algorithmau awtomeiddio, modelu a chynhyrchu gwerth o ddata.
Mae gweithio gyda data yn ddarostyngedig i egwyddor GIGO (sbwriel i mewn - sbwriel allan): os yw dadansoddwyr a gwyddonwyr data yn delio â data heb ei baratoi ac a allai fod yn anghywir, yna bydd y canlyniadau hyd yn oed gan ddefnyddio'r algorithmau dadansoddi mwyaf soffistigedig yn anghywir.
Mae peirianwyr data yn datrys y broblem hon trwy adeiladu piblinellau ar gyfer prosesu, glanhau a thrawsnewid data a chaniatáu i wyddonwyr data weithio gyda data o ansawdd uchel.
Mae yna lawer o offer ar y farchnad ar gyfer gweithio gyda data sy'n cwmpasu pob cam: o ymddangosiad data i allbwn i ddangosfwrdd ar gyfer y bwrdd cyfarwyddwyr. Ac mae'n bwysig bod y penderfyniad i'w defnyddio yn cael ei wneud gan beiriannydd - nid oherwydd ei fod yn ffasiynol, ond oherwydd y bydd yn wir yn helpu gwaith cyfranogwyr eraill yn y broses.
Yn gonfensiynol: os oes angen i gwmni wneud cysylltiadau rhwng BI ac ETL - llwytho data a diweddaru adroddiadau, dyma sylfaen etifeddiaeth nodweddiadol y bydd yn rhaid i Beiriannydd Data ymdrin ag ef (mae'n dda os oes pensaer ar y tîm hefyd).
Cyfrifoldebau Peiriannydd Data
- Datblygu, adeiladu a chynnal a chadw seilwaith prosesu data.
- Trin gwallau a chreu piblinellau prosesu data dibynadwy.
- Dod â data anstrwythuredig o amrywiol ffynonellau deinamig i'r ffurf sy'n angenrheidiol ar gyfer gwaith dadansoddwyr.
- Darparu argymhellion i wella cysondeb ac ansawdd data.
- Darparu a chynnal y saernïaeth data a ddefnyddir gan wyddonwyr data a dadansoddwyr data.
- Prosesu a storio data yn gyson ac yn effeithlon mewn clwstwr gwasgaredig o ddegau neu gannoedd o weinyddion.
- Gwerthuso cyfaddawdau technegol offer i greu pensaernïaeth syml ond cadarn a all oroesi aflonyddwch.
- Rheoli a chefnogi llif data a systemau cysylltiedig (sefydlu monitro a rhybuddion).
Mae arbenigedd arall o fewn y llwybr Peiriannydd Data - peiriannydd ML. Yn fyr, mae'r peirianwyr hyn yn arbenigo mewn dod â modelau dysgu peiriannau i weithrediad a defnydd diwydiannol. Yn aml, mae model a dderbynnir gan wyddonydd data yn rhan o astudiaeth ac efallai na fydd yn gweithio mewn amodau ymladd.
Cyfrifoldebau Gwyddonydd Data
- Tynnu nodweddion o ddata i gymhwyso algorithmau dysgu peirianyddol.
- Defnyddio offer dysgu peirianyddol amrywiol i ragfynegi a dosbarthu patrymau mewn data.
- Gwella perfformiad a chywirdeb algorithmau dysgu peirianyddol trwy fireinio ac optimeiddio'r algorithmau.
- Ffurfio damcaniaethau “cryf” yn unol â strategaeth y cwmni y mae angen eu profi.
Mae Peiriannydd Data a Gwyddonydd Data yn rhannu cyfraniad diriaethol at ddatblygiad diwylliant data, lle gall cwmni gynhyrchu elw ychwanegol neu leihau costau.
Pa ieithoedd ac offer mae peirianwyr a gwyddonwyr yn gweithio gyda nhw?
Heddiw, mae'r disgwyliadau ar gyfer gwyddonwyr data wedi newid. Yn flaenorol, casglodd peirianwyr ymholiadau SQL mawr, ysgrifennodd MapReduce â llaw a phroseswyd data gan ddefnyddio offer megis Informatica ETL, Pentaho ETL, Talend.
Yn 2020, ni all arbenigwr wneud heb wybodaeth am Python ac offer cyfrifo modern (er enghraifft, Airflow), dealltwriaeth o egwyddorion gweithio gyda llwyfannau cwmwl (gan eu defnyddio i arbed ar galedwedd, tra'n arsylwi egwyddorion diogelwch).
Mae SAP, Oracle, MySQL, Redis yn offer traddodiadol ar gyfer peirianwyr data mewn cwmnïau mawr. Maent yn dda, ond mae cost trwyddedau mor uchel fel mai dim ond mewn prosiectau diwydiannol y mae dysgu gweithio gyda nhw yn gwneud synnwyr. Ar yr un pryd, mae dewis arall am ddim ar ffurf Postgres - mae'n rhad ac am ddim ac yn addas nid yn unig ar gyfer hyfforddiant.
Yn hanesyddol, canfyddir ceisiadau am Java a Scala yn aml, er wrth i dechnolegau a dulliau ddatblygu, mae'r ieithoedd hyn yn pylu i'r cefndir.
Fodd bynnag, nid yw craidd caled BigData: Hadoop, Spark a gweddill y sw bellach yn rhagofyniad ar gyfer peiriannydd data, ond yn fath o offer ar gyfer datrys problemau na ellir eu datrys gan ETL traddodiadol.
Y duedd yw gwasanaethau ar gyfer defnyddio offer heb wybodaeth am yr iaith y maent wedi'u hysgrifennu (er enghraifft, Hadoop heb wybodaeth am Java), yn ogystal â darparu gwasanaethau parod ar gyfer prosesu data ffrydio (adnabod llais neu adnabod delwedd ar fideo). ).
Mae datrysiadau diwydiannol o SAS a SPSS yn boblogaidd, tra bod Tableau, Rapidminer, Stata a Julia hefyd yn cael eu defnyddio'n eang gan wyddonwyr data ar gyfer tasgau lleol.
Dim ond ychydig flynyddoedd yn ôl yr ymddangosodd y gallu i adeiladu piblinellau eu hunain i ddadansoddwyr a gwyddonwyr data: er enghraifft, mae eisoes yn bosibl anfon data i storfa yn seiliedig ar PostgreSQL gan ddefnyddio sgriptiau cymharol syml.
Yn nodweddiadol, mae peirianwyr data yn parhau i fod yn gyfrifol am ddefnyddio piblinellau a strwythurau data integredig. Ond heddiw, mae'r duedd ar gyfer arbenigwyr siâp T sydd â chymwyseddau eang mewn meysydd cysylltiedig yn gryfach nag erioed, oherwydd bod offer yn cael eu symleiddio'n gyson.
Pam mae Peiriannydd Data a Gwyddonydd Data yn Cydweithio
Trwy weithio'n agos gyda pheirianwyr, gall Gwyddonwyr Data ganolbwyntio ar yr ochr ymchwil, gan greu algorithmau dysgu peirianyddol parod i gynhyrchu.
Ac mae angen i beirianwyr ganolbwyntio ar scalability, ailddefnyddio data, a sicrhau bod piblinellau mewnbwn ac allbwn data ym mhob prosiect unigol yn cydymffurfio â'r bensaernïaeth fyd-eang.
Mae gwahanu cyfrifoldebau fel hyn yn sicrhau cysondeb ar draws timau sy'n gweithio ar wahanol brosiectau dysgu peirianyddol.
Mae cydweithredu yn helpu i greu cynhyrchion newydd yn effeithlon. Cyflawnir cyflymder ac ansawdd trwy gydbwysedd rhwng creu gwasanaeth i bawb (storio byd-eang neu integreiddio dangosfyrddau) a gweithredu pob angen neu brosiect penodol (piblinell hynod arbenigol, cysylltu ffynonellau allanol).
Mae gweithio'n agos gyda gwyddonwyr a dadansoddwyr data yn helpu peirianwyr i ddatblygu sgiliau dadansoddi ac ymchwil i ysgrifennu cod gwell. Mae rhannu gwybodaeth ymhlith defnyddwyr warws a llynnoedd data yn gwella, gan wneud prosiectau'n fwy ystwyth a sicrhau canlyniadau hirdymor mwy cynaliadwy.
Mewn cwmnïau sy'n anelu at ddatblygu diwylliant o weithio gyda data ac adeiladu prosesau busnes yn seiliedig arnynt, mae Gwyddonydd Data a Pheiriannydd Data yn ategu ei gilydd ac yn creu system dadansoddi data gyflawn.
Yn yr erthygl nesaf byddwn yn siarad am ba fath o addysg ddylai fod gan Beiriannydd Data a Gwyddonwyr Data, pa sgiliau sydd eu hangen arnynt i ddatblygu a sut mae'r farchnad yn gweithio.
Oddiwrth olygyddion Netology
Os ydych yn edrych ar broffesiwn Peiriannydd Data neu Wyddonydd Data, rydym yn eich gwahodd i astudio ein rhaglenni cwrs:
- Proffesiwn "'.
- Proffesiwn "'.
Ffynhonnell: hab.com