Yn ôl , mae peiriannydd data ar hyn o bryd yn broffesiwn y mae ei alw'n tyfu'n gyflymach nag unrhyw un arall. Mae peiriannydd data yn chwarae rhan hollbwysig mewn sefydliad - creu a chynnal piblinellau a chronfeydd data a ddefnyddir i brosesu, trawsnewid a storio data. Pa sgiliau sydd eu hangen ar gynrychiolwyr y proffesiwn hwn yn gyntaf? A yw'r rhestr yn wahanol i'r hyn sy'n ofynnol gan wyddonwyr data? Byddwch yn dysgu am hyn i gyd o fy erthygl.
Dadansoddais swyddi gweigion ar gyfer swydd peiriannydd data fel ag y maent ym mis Ionawr 2020 i ddeall pa sgiliau technoleg sydd fwyaf poblogaidd. Yna cymharais y canlyniadau ag ystadegau ar swyddi gwag ar gyfer sefyllfa'r gwyddonydd data - a daeth rhai gwahaniaethau diddorol i'r amlwg.
Heb lawer o ragymadrodd, dyma’r deg technoleg orau sy’n cael eu crybwyll amlaf wrth bostio swyddi:
Sôn am dechnolegau mewn swyddi gwag ar gyfer swydd peiriannydd data yn 2020
Gadewch i ni ei gael yn iawn.
Cyfrifoldebau peiriannydd data
Heddiw, mae'r gwaith y mae peirianwyr data yn ei wneud yn bwysig iawn i sefydliadau - dyma'r bobl sy'n gyfrifol am storio gwybodaeth a dod ag ef i'r fath ffurf y gall gweithwyr eraill weithio gydag ef. Mae peirianwyr data yn adeiladu piblinellau i ffrydio neu swp data o ffynonellau lluosog. Yna mae piblinellau'n perfformio gweithrediadau echdynnu, trawsnewid a llwytho (mewn geiriau eraill, prosesau ETL), gan wneud y data'n fwy addas i'w ddefnyddio ymhellach. Ar ôl hyn, cyflwynir y data i ddadansoddwyr a gwyddonwyr data i'w prosesu'n ddyfnach. Yn olaf, mae'r data'n gorffen ei daith mewn dangosfyrddau, adroddiadau, a modelau dysgu peiriannau.
Roeddwn yn chwilio am wybodaeth a fyddai’n caniatáu imi ddod i gasgliad ynghylch pa dechnolegau y mae’r galw mwyaf amdanynt yng ngwaith peiriannydd data ar hyn o bryd.
Dulliau
Cesglais wybodaeth o dri safle chwilio am swydd − , и ac edrychodd ar yr hyn y daeth allweddeiriau ar eu traws ar y cyd â “peiriannydd data” yn nhestunau swyddi gwag a anelwyd at drigolion yr Unol Daleithiau. Ar gyfer y dasg hon defnyddiais ddwy lyfrgell Python - и . Ymhlith yr allweddeiriau, cynhwysais y ddau a oedd wedi'u cynnwys yn y rhestr flaenorol ar gyfer dadansoddi swyddi gweigion ar gyfer swydd gwyddonydd data, a'r rhai a ddewisais â llaw wrth ddarllen cynigion swyddi ar gyfer peirianwyr data. Nid oedd LinkedIn wedi'i gynnwys yn y rhestr o ffynonellau, oherwydd cefais fy ngwahardd yno ar ôl fy ymgais ddiwethaf i gasglu data.
Ar gyfer pob allweddair, cyfrifais ganran y trawiadau o gyfanswm nifer y testunau ar bob safle ar wahân, ac yna cyfrifais y cyfartaledd ar gyfer y tair ffynhonnell.
Canfyddiadau
Isod mae'r tri deg o dermau peirianneg data technegol sydd â'r sgorau uchaf ar draws y tri safle swydd.
A dyma'r un niferoedd, ond wedi'u cyflwyno ar ffurf tabl:
Gadewch i ni fynd mewn trefn.
Adolygiad o ganlyniadau
Mae SQL a Python yn ymddangos mewn mwy na dwy ran o dair o'r agoriadau swyddi a adolygwyd. Y ddwy dechnoleg hyn sy'n gwneud synnwyr i'w hastudio gyntaf. yn iaith raglennu boblogaidd iawn a ddefnyddir ar gyfer gweithio gyda data, creu gwefannau, ac ysgrifennu sgriptiau. yn sefyll am Structured Query Language; mae'n ymwneud â safon a weithredir gan grŵp o ieithoedd ac fe'i defnyddir i adalw data o gronfeydd data perthynol. Ymddangosodd amser maith yn ôl ac mae wedi profi ei fod yn wrthwynebol iawn.
Crybwyllir Spark mewn tua hanner y swyddi gwag. yn “peiriant dadansoddeg data mawr unedig gyda modiwlau adeiledig ar gyfer ffrydio, SQL, dysgu peiriannau, a phrosesu graffiau.” Mae'n arbennig o boblogaidd ymhlith y rhai sy'n gweithio gyda chronfeydd data mawr.
Mae AWS yn ymddangos mewn tua 45% o swyddi. Mae'n blatfform cyfrifiadura cwmwl a weithgynhyrchir gan Amazon; mae ganddo'r gyfran fwyaf o'r farchnad ymhlith yr holl lwyfannau cwmwl.
Nesaf daw Java a Hadoop - ychydig yn fwy na 40% i'w brawd. yn iaith sy'n cael ei siarad yn eang, sy'n profi brwydr dyfarnwyd y degfed safle ymhlith yr ieithoedd sy'n achosi arswyd ymhlith rhaglenwyr. Mewn cyferbyniad, Python oedd yr ail iaith fwyaf poblogaidd. Mae'r iaith Java yn cael ei rhedeg gan Oracle, a gellir deall popeth sydd angen i chi ei wybod amdani o'r llun hwn o'r dudalen swyddogol o Ionawr 2020.
Mae fel marchogaeth mewn peiriant amser
yn defnyddio model rhaglennu MapReduce gyda chlystyrau gweinydd ar gyfer data mawr. Nawr mae'r model hwn yn cael ei adael yn gynyddol.
Yna gwelwn Hive, Scala, Kafka a NoSQL - mae pob un o'r technolegau hyn yn cael ei grybwyll mewn chwarter o'r swyddi gwag a gyflwynwyd. Meddalwedd warws data yw Apache Hive sy'n “ei gwneud hi'n hawdd darllen, ysgrifennu a rheoli setiau data mawr sy'n byw mewn siopau dosbarthedig gan ddefnyddio SQL.” – iaith raglennu a ddefnyddir yn weithredol wrth weithio gyda data mawr. Yn benodol, crëwyd Spark yn Scala. Yn y safle a grybwyllwyd eisoes ar gyfer ieithoedd a ofnir, mae Scala yn yr unfed safle ar ddeg. - platfform gwasgaredig ar gyfer prosesu negeseuon ffrydio. Yn boblogaidd iawn fel ffordd o ffrydio data.
cyferbynnu eu hunain â SQL. Maent yn wahanol yn yr ystyr eu bod yn amherthnasol, yn anstrwythuredig, ac yn llorweddol i'w graddio. Mae NoSQL wedi ennill rhywfaint o boblogrwydd, ond mae'n ymddangos bod yr awch am y dull, hyd yn oed i'r pwynt o broffwydoliaethau y bydd yn disodli SQL fel y patrwm storio amlycaf, ar ben.
Cymhariaeth â thermau mewn swyddi gwag gwyddonwyr data
Dyma ddeg ar hugain o dermau technoleg sydd fwyaf cyffredin ymhlith cyflogwyr gwyddor data. Cefais y rhestr hon yn yr un modd ag a ddisgrifiwyd uchod ar gyfer peirianneg data.
Sôn am dechnoleg mewn swyddi gwag ar gyfer swydd gwyddonydd data yn 2020
Os soniwn am y cyfanswm, o gymharu â'r recriwtio a ystyriwyd yn flaenorol, roedd 28% yn fwy o swyddi gwag (12 yn erbyn 013). Gadewch i ni weld pa dechnolegau sy'n llai cyffredin mewn swyddi gwag ar gyfer gwyddonwyr data nag ar gyfer peirianwyr data.
Yn fwy poblogaidd mewn peirianneg data
Mae'r graff isod yn dangos allweddeiriau gyda gwahaniaeth cyfartalog o fwy na 10% neu lai na -10%.
Y gwahaniaethau mwyaf mewn amlder allweddair rhwng peiriannydd data a gwyddonydd data
AWS sy’n dangos y cynnydd mwyaf arwyddocaol: mewn peirianneg data mae’n ymddangos 25% yn fwy rheolaidd nag mewn gwyddor data (tua 45% ac 20% o gyfanswm nifer y swyddi gwag, yn y drefn honno). Mae'r gwahaniaeth yn amlwg!
Dyma'r un data mewn cyflwyniad ychydig yn wahanol - yn y graff, mae'r canlyniadau ar gyfer yr un allweddair yn y swyddi gwag ar gyfer sefyllfa peiriannydd data a gwyddonydd data wedi'u lleoli ochr yn ochr.
Y gwahaniaethau mwyaf mewn amlder allweddair rhwng peiriannydd data a gwyddonydd data
Roedd y naid fwyaf nesaf a nodais yn Spark - yn aml mae'n rhaid i beiriannydd data weithio gyda data mawr. hefyd wedi cynyddu 20%, hynny yw, bron i bedair gwaith o'i gymharu â'r canlyniad ar gyfer swyddi gwag gwyddonwyr data. Mae trosglwyddo data yn un o gyfrifoldebau allweddol peiriannydd data. Yn olaf, roedd nifer y cyfeiriadau 15% yn uwch ym maes peirianneg data ar gyfer Java, NoSQL, Redshift, SQL a Hadoop.
Llai poblogaidd mewn peirianneg data
Nawr gadewch i ni weld pa dechnolegau sy'n llai poblogaidd mewn swyddi gwag peirianwyr data.
Digwyddodd y gostyngiad mwyaf o'i gymharu â'r sector gwyddor data yn : roedd yn ymddangos mewn tua 56% o swyddi gwag, yma - dim ond mewn 17%. Yn drawiadol. Mae R yn iaith raglennu sy'n cael ei ffafrio gan wyddonwyr ac ystadegwyr, a hi yw'r wythfed iaith sy'n cael ei hofni fwyaf yn y byd.
hefyd i'w gael mewn swyddi gwag ar gyfer swydd peiriannydd data yn llawer llai aml - y gwahaniaeth yw 14%. Mae SAS yn iaith berchnogol a gynlluniwyd i weithio gydag ystadegau a data. Pwynt diddorol: a barnu yn ôl y canlyniadau , mae wedi colli llawer o dir yn ddiweddar—yn fwy nag unrhyw dechnoleg arall.
Mae galw mawr amdano mewn peirianneg data a gwyddor data
Dylid nodi bod wyth o'r deg safle cyntaf yn y ddwy set yr un peth. Daeth SQL, Python, Spark, AWS, Java, Hadoop, Hive a Scala yn y deg uchaf ar gyfer y diwydiannau peirianneg data a gwyddor data. Yn y graff isod gallwch weld y pymtheg technolegau mwyaf poblogaidd ymhlith cyflogwyr peirianwyr data, ac wrth eu hymyl mae eu cyfradd swyddi gwag ar gyfer gwyddonwyr data.
Argymhellion
Os ydych chi am fynd i mewn i beirianneg data, byddwn yn eich cynghori i feistroli'r technolegau canlynol - rwy'n eu rhestru yn nhrefn blaenoriaeth fras.
Dysgwch SQL. Rwy'n pwyso tuag at PostgreSQL oherwydd ei fod yn ffynhonnell agored, yn boblogaidd iawn yn y gymuned, ac mewn cyfnod twf. Gallwch ddysgu sut i ddefnyddio'r iaith o'r llyfr My Memorable SQL - mae ei fersiwn peilot ar gael .
Meistr Python, hyd yn oed os nad ar y lefel mwyaf craidd caled. Mae My Memorable Python wedi'i gynllunio'n benodol ar gyfer dechreuwyr. Gellir ei brynu yn , copi electronig neu gorfforol, eich dewis chi, neu lawrlwythwch ar ffurf pdf neu epub .
Unwaith y byddwch chi'n gyfarwydd â Python, symudwch ymlaen i pandas, llyfrgell Python a ddefnyddir ar gyfer glanhau a phrosesu data. Os ydych yn anelu at weithio mewn cwmni sy'n gofyn am y gallu i ysgrifennu yn Python (a dyma'r mwyafrif ohonynt), gallwch fod yn sicr y bydd gwybodaeth am pandas yn cael ei thybio yn ddiofyn. Ar hyn o bryd rwy'n gorffen canllaw rhagarweiniol i weithio gyda phandas - gallwch chi er mwyn peidio â cholli'r eiliad rhyddhau.
Meistr AWS. Os ydych chi am ddod yn beiriannydd data, ni allwch wneud heb lwyfan cwmwl, ac AWS yw'r mwyaf poblogaidd ohonyn nhw. Roedd y cyrsiau o gymorth mawr i mi pan oeddwn yn astudio , credaf y bydd ganddynt hefyd ddeunyddiau da ar AWS.
Os ydych chi eisoes wedi cwblhau'r rhestr gyfan hon ac eisiau tyfu ymhellach yng ngolwg cyflogwyr fel peiriannydd data, rwy'n awgrymu ychwanegu Apache Spark ar gyfer gweithio gyda data mawr. Er bod fy ymchwil ar swyddi gwag gwyddonwyr data wedi dangos gostyngiad mewn diddordeb, ymhlith peirianwyr data mae'n dal i ymddangos ym mron pob eiliad o swyddi gwag.
O'r diwedd
Rwy'n gobeithio bod y trosolwg hwn o'r technolegau y mae galw mwyaf amdanynt ar gyfer peirianwyr data yn ddefnyddiol i chi. Os ydych chi'n pendroni sut mae swyddi dadansoddwyr yn dod ymlaen, darllenwch . Peirianneg hapus!
Ffynhonnell: hab.com