SaskaÅÄ ar , datu inženieris Å”obrÄ«d ir profesija, kuras pieprasÄ«jums aug straujÄk par citÄm. Datu inženieris spÄlÄ kritiski svarÄ«gu lomu organizÄcijÄs ā viÅÅ” izveido un uztur datu caurules un datu bÄzes, kas tiek izmantotas datu apstrÄdei, transformÄÅ”anai un glabÄÅ”anai. KÄdi ir galvenie prasÄ«bas, kas nepiecieÅ”amas Ŕīs profesijas pÄrstÄvjiem? Vai saraksts atŔķiras no tÄ, kas nepiecieÅ”ams datu zinÄtniekiem? Par to visu jÅ«s uzzinÄsiet no manas raksta.
Es analizÄju datu inženiera darba sludinÄjumus tÄdÄ formÄtÄ, kÄdÄ tie bija 2020. gada janvÄrÄ«, lai saprastu, kÄdas tehnoloÄ£iju prasmes ir vispopulÄrÄkÄs. PÄc tam es salÄ«dzinÄju iegÅ«tos rezultÄtus ar datu zinÄtnieka darbavietu statistiku ā Å”ajÄ procesÄ atklÄjÄs daži interesanti atŔķirÄ«bas.
IepazÄ«simies bez garÄm ievadÄm ā Å”eit ir desmit tehnoloÄ£ijas, kas visbiežÄk tiek minÄtas darba sludinÄjumos:
TehnoloÄ£iju pieminÄjumi datu inženiera darbavietÄs 2020. gadÄ
SÄksim izprast.
Datu inženiera pienÄkumi
PaÅ”reizÄjÄ brÄ«di datu inženieru veiktÄ darba nozÄ«me ir milzÄ«ga organizÄcijÄm ā tieÅ”i Å”ie cilvÄki ir atbildÄ«gi par informÄcijas glabÄÅ”anu un tÄs transformÄciju tÄdÄ formÄ, lai citi darbinieki varÄtu ar to strÄdÄt. Datu inženieri izveido datu caurules, lai iegÅ«tu datus no dažÄdiem avotiem, gan plÅ«smÄs, gan pakotnÄs. PÄc tam caurules veic datu iegÅ«Å”anas, transformÄÅ”anas un ielÄdÄÅ”anas (citiem vÄrdiem sakot, ETL procesÄ) operÄcijas, padarot datus piemÄrotÄkus tÄlÄkai izmantoÅ”anai. PÄc tam dati tiek nodoti analÄ«tiÄ·iem un datu zinÄtniekiem dziļÄkai apstrÄdei. Visbeidzot, dati pabeidz savu ceļojumu informÄcijas paneļos, ziÅojumos un maŔīnmÄcÄ«Å”anÄs modeļos.
Es meklÄju informÄciju, kas ļautu secinÄt, kÄdas tehnoloÄ£ijas Å”obrÄ«d ir vispieprasÄ«tÄkÄs datu inženiera darbÄ.
Metodes
Es apkopoju informÄciju no trim darba meklÄÅ”anas vietnÄm ā , un un skatÄ«jos, kÄdi atslÄgvÄrdi bieži sastopami kopÄ ar ādatu inženierisā darba sludinÄjumos, kas paredzÄti ASV iedzÄ«votÄjiem. Å im uzdevumam es izmantoju divas Python bibliotÄkas ā un . Es ietveru atslÄgvÄrdus, kas ietilpst iepriekÅ”ÄjÄ sarakstÄ par datu zinÄtnieku vakancÄm, kÄ arÄ« tos, kurus es izvÄlÄjos pats, lasot piedÄvÄjumus par darbu datu inženieriem. LinkedIn netika iekļauts avotu sarakstÄ, jo mani tur bloÄ·Äja pÄc iepriekÅ”ÄjÄs datu vÄkÅ”anas mÄÄ£inÄjuma.
Katram atslÄgvÄrdam es aprÄÄ·inÄju procentuÄlo daļu no kopÄjÄ tekstu skaita katrÄ no vietnÄm atseviŔķi, un pÄc tam aprÄÄ·inÄju vidÄjo vÄrtÄ«bu trÄ«s avotiem.
RezultÄti
ZemÄk ir sniegti trÄ«sdesmit tehniskie termini datu inženierijas jomÄ ar visaugstÄkajiem rÄdÄ«tÄjiem visÄs trijÄs darba vakanceÅ”u vietnÄs.
Å eit ir tie paÅ”i dati, bet attÄloti tabulas veidÄ:
SÄksim paÅ”i kÄrtÄ«bÄ.
RezultÄtu apskats
Gan SQL, gan Python parÄdÄs vairÄk nekÄ divÄs treÅ”daļÄs apskatÄ«to vakances. TieÅ”i Ŕīs divas tehnoloÄ£ijas ir jÄmÄcÄs vispirms. ā ļoti populÄra programmÄÅ”anas valoda, kas tiek izmantota datu apstrÄdÄ, tÄ«mekļa vietÅu izveidÄ un skriptu rakstÄ«Å”anÄ. izsaka Structured Query Language (strukturÄto vaicÄjumu valoda); tÄ norÄda uz standartu, ko realizÄ valodu grupa, un tiek izmantota datu iegÅ«Å”anai no relÄciju datubÄzÄm. TÄ ir parÄdÄ«jusies jau sen un ir pierÄdÄ«jusi sevi ar augstu izturÄ«bu.
Par Spark runÄ apmÄram pusÄ vakanci. ā ir 'apvienotais analÄ«tiskais dzinÄjs lielu datu apstrÄdei ar iebÅ«vÄtiem moduļiem straumÄÅ”anai, SQL, maŔīnmÄcÄ«Å”anÄs un grafu apstrÄdei'. Tas ir Ä«paÅ”i populÄrs starp tiem, kas strÄdÄ ar lielu apjomu datu bÄzÄm.
AWS parÄdÄs apmÄram 45% vakances tekstos. TÄ ir Amazon ražota mÄkoÅdatoru platforma; tai ir vislielÄkÄ tirgus daļa starp visÄm mÄkoÅplatformÄm.
Sekojot Java un Hadoop ā nedaudz vairÄk par 40% katram. ā plaÅ”i izplatÄ«ta, cÄ«ÅÄ pÄrbaudÄ«ta valoda, kas attiecÄ«bÄ uz valodÄm, kas rada programmÄtÄjiem Å”ausmas. PretÄji tam, Python izrÄdÄ«jÄs otrais vismÄ«lÄtÄkais valoda. Java valodu vada Oracle, un visu, kas par to nepiecieÅ”ams zinÄt, var saprast no Ŕī ekrÄnuzÅÄmuma no oficiÄlÄs lapas 2020. gada janvÄrÄ«.
KÄ bÅ«tu ceļojot cauri laikam
izmanto programmatÅ«ras modeli MapReduce ar serveru klasteriem lieliem datiem. Tagad no Ŕī modeļa arvien biežÄk atsakÄs.
TÄlÄk mÄs redzam Hive, Scala, Kafka un NoSQL ā katra no Ŕīm tehnoloÄ£ijÄm tiek pieminÄta ceturtdaÄ¼Ä no iesniegtajÄm vakancÄm. Apache Hive ā tas ir datu krÄtuves programma, kas "atvieglo lielu datu kopu lasÄ«Å”anu, rakstÄ«Å”anu un pÄrvaldÄ«bu, kas atrodas sadalÄ«tÄs krÄtuvÄs, izmantojot SQL". ā programmÄÅ”anas valoda, ko aktÄ«vi izmanto, strÄdÄjot ar lieliem datiem. ÄŖpaÅ”i uz Scala tika radÄ«ts Spark. IepriekÅ” minÄtajÄ sarakstÄ par biedÄjoÅ”Äm programmÄÅ”anas valodÄm Scala ieÅem vienpadsmito vietu. ā sadalÄ«ta platforma plÅ«stoÅ”u ziÅojumu apstrÄdei. Ä»oti populÄra kÄ datu plÅ«smas rÄ«ks.
nostÄdina sevi pretÄ« SQL. Tie atŔķiras ar to, ka nav relÄciju, nav strukturÄti un piedÄvÄ horizontÄlu mÄrogojamÄ«bu. NoSQL ieguvis zinÄmu popularitÄti, tomÄr apsÄstÄ«ba ar Å”o pieeju, lÄ«dz pat pravietojumiem, ka tas aizvietos SQL kÄ dominÄjoÅ”o uzglabÄÅ”anas paradigmu, Ŕķiet, jau ir pagÄtnÄ.
salÄ«dzinÄjums ar terminoloÄ£iju vakancÄs datu zinÄtnieka lomai
Å eit ir trÄ«sdesmit tehnoloÄ£iskie termini, visbiežÄk sastopami darba devÄju pieprasÄ«jumÄ datu zinÄtnÄ. Å o sarakstu es ieguvu tÄdÄ paÅ”Ä veidÄ, kÄ aprakstÄ«ts iepriekÅ” datu inženierijÄ.
TehnoloÄ£iju pieminÄÅ”ana vakancÄs datu zinÄtnieka amatam 2020. gadÄ
RunÄjot par kopÄjo skaitu, salÄ«dzinot ar iepriekÅ” apskatÄ«to piedÄvÄjumu, vakance bija vairÄk par 28% (12 013 pret 9396). ApskatÄ«sim, kuras tehnoloÄ£ijas ir sastopamas vakancÄs datu zinÄtniekiem retÄk nekÄ datu inženieriem.
PopulÄrÄkas datu inženierijÄ
TÄlÄk redzamajÄ diagrammÄ ir parÄdÄ«ti atslÄgvÄrdi ar vidÄjo starpÄ«bu vÄrtÄ«bÄs, kas ir lielÄka par 10% vai mazÄka par -10%.
VislielÄkÄs atŔķirÄ«bas atslÄgvÄrdu biežumÄ datu inženiera un datu zinÄtnieka lomÄm
VisseviŔķÄkÄ izaugsme tiek konstatÄta AWS: datu inženierijÄ tas parÄdÄs par 25% biežÄk nekÄ datu zinÄtnÄ (aptuveni 45% un 20% no kopÄjÄ vakance skaita attiecÄ«gi). StarpÄ«ba ir ievÄrojama!
Å ie paÅ”i dati nedaudz atŔķirÄ«gÄ veidÄ ā diagrammÄ rezultÄti vienam un tam paÅ”am atslÄgvÄrdam vakancÄs datu inženiera un datu zinÄtnieka lomÄm novietoti blakus.
VislielÄkÄs atŔķirÄ«bas atslÄgvÄrdu biežumÄ datu inženiera un datu zinÄtnieka lomÄm
NÄkamais lielÄkais pieaugums ir novÄrots Spark ā datu inženieriem bieži jÄstrÄdÄ ar lieliem datiem. arÄ« pieauga par 20%, tas ir, gandrÄ«z Äetras reizes salÄ«dzinÄjumÄ ar datu zinÄtnieku vakancÄm. Datu nodoÅ”ana ir viena no galvenajÄm datu inženiera atbildÄ«bÄm. Visbeidzot, minÄjumu skaits datu inženierijas jomÄ Java, NoSQL, Redshift, SQL un Hadoop bija par 15% lielÄks.
MazÄk populÄras datu inženierijÄ
Tagad aplÅ«kosim, kuras tehnoloÄ£ijas ir mazÄk populÄras datu inženieru vakancÄs.
VislielÄkais kritums salÄ«dzinÄjumÄ ar datu zinÄtnes jomu bija : Å”eit tas parÄdÄ«jÄs aptuveni 56% vakancÄs, bet Å”eit ā tikai 17%. IespaidÄ«gi. R ir programmÄÅ”anas valoda, ko lieto zinÄtnieki un statistiÄ·i, kÄ arÄ« ieÅem astoto vietu Å”ausmÄ«go valodu rangÄ.
arÄ« retÄk sastopams datu inženiera vakancÄs ā atŔķirÄ«ba ir 14%. SAS ir patentÄta valoda, kas paredzÄta statistikas un datu apstrÄdei. Interesants moments: pÄc manÄ pÄtÄ«jumÄ , pÄdÄjÄ laikÄ tÄ ir ievÄrojami zaudÄjusi pozÄ«cijas ā vairÄk nekÄ jebkura cita tehnoloÄ£ija.
PieprasÄ«tas gan datu inženierijÄ, gan datu zinÄtnÄ
JÄatzÄ«mÄ, ka astoÅas no desmit pirmajÄm pozÄ«cijÄm abos kopumos sakrÄ«t. SQL, Python, Spark, AWS, Java, Hadoop, Hive un Scala iekļÄvÄs desmitniekÄ gan datu inženierijas, gan datu zinÄtnes jomÄ. ZemÄk esoÅ”ajÄ grafikÄ jÅ«s varat redzÄt piecpadsmit populÄrÄkÄs tehnoloÄ£ijas datu inženieru darba devÄjiem, blakus ā to rÄdÄ«tÄjs datu zinÄtnieku vakancÄs.
Ieteikumi
Ja vÄlaties nodarboties ar datu inženieriju, es ieteiktu apgÅ«t Å”Ädas tehnoloÄ£ijas ā es tÄs uzskaitÄ«Å”u apmÄram prioritÄtes secÄ«bÄ.
ApgÅ«stiet SQL. Es ieteiktu tieÅ”i PostgreSQL, jo tai ir atvÄrtÄ koda, liela popularitÄte kopienÄ un tÄ ir izaugsmes fÄzÄ. KÄ izmantot valodu, var uzzinÄt grÄmatÄ My Memorable SQL ā tÄs pilotversija ir pieejama .
ApgÅ«stiet Python, pat ne paÅ”Ä grÅ«tÄkajÄ lÄ«menÄ«. GrÄmata My Memorable Python ir tieÅ”i domÄta iesÄcÄjiem. To var nopirkt , elektronisko kopiju vai fizisko, pÄc jÅ«su izvÄles, vai lejupielÄdÄt pdf vai epub formÄtÄ .
Kad esat iepazinuÅ”ies ar Python, pÄrejiet uz pandas ā Python bibliotÄku, kas tiek izmantota datu tÄ«rÄ«Å”anai un apstrÄdei. Ja plÄnojat strÄdÄt uzÅÄmumÄ, kurÄ tiek prasÄ«tas programmÄÅ”anas prasmes Python (un tÄdi ir lielÄkÄ daļa), varat bÅ«t pÄrliecinÄti, ka zinÄÅ”anas par pandas tiek pieÅemts kÄ paÅ”saprotams. Es Å”obrÄ«d pabeidzu ievada ceļvedi darbam ar pandas ā varat , lai nepalaistu garÄm brÄ«di, kad tas tiks publicÄts.
ApgÅ«stiet AWS. Ja vÄlaties kļūt par datu inženieri, jums bÅ«s nepiecieÅ”ama mÄkoÅu platforma, un AWS ir vispopulÄrÄkÄ no tÄm. Man ļoti palÄ«dzÄja kursi , kad es mÄcÄ«jos , domÄju, ka arÄ« par AWS var atrast labus materiÄlus.
Ja jau esat apguvis visu Å”o sarakstu un vÄlaties vÄl vairÄk pacelt savu vÄrtÄ«bu acÄ«s darba devÄjiem kÄ datu inženieris, iesaku pievienot Apache Spark darbam ar lieliem datiem. Lai gan mana pÄtÄ«juma rezultÄti par datu zinÄtnes vakancÄm parÄdÄ«ja intereÅ”u samazinÄÅ”anos, datu inženieru jomÄ tÄs tomÄr parÄdÄs gandrÄ«z katrÄ otrajÄ vakancÄ.
Visbeidzot
Ceru, ka Å”is pÄrskats par vispieprasÄ«tÄkajÄm tehnoloÄ£ijÄm datu inženieriem bija jums noderÄ«gs. Ja jÅ«s interesÄ, kÄ izskatÄs kuras analÄ«tiÄ·us vakances, izlasiet . VeiksmÄ«gu inženieriju!
Avots: habr.com
