SaskaÅÄ ar , datu inženieris Å”obrÄ«d ir profesija, kuras pieprasÄ«jums aug straujÄk nekÄ jebkura cita. Datu inženierim ir bÅ«tiska loma organizÄcijÄ - izveidojot un uzturot cauruļvadus un datu bÄzes, ko izmanto datu apstrÄdei, pÄrveidoÅ”anai un uzglabÄÅ”anai. KÄdas prasmes vispirms nepiecieÅ”amas Ŕīs profesijas pÄrstÄvjiem? Vai saraksts atŔķiras no tÄ, kas tiek prasÄ«ts datu zinÄtniekiem? Par to visu jÅ«s uzzinÄsit no mana raksta.
Es analizÄju vakances datu inženiera amatam 2020. gada janvÄrÄ«, lai saprastu, kuras tehnoloÄ£iju prasmes ir vispopulÄrÄkÄs. PÄc tam es salÄ«dzinÄju rezultÄtus ar statistiku par vakancÄm datu zinÄtnieka amatam - un atklÄjÄs dažas interesantas atŔķirÄ«bas.
Bez lielas preambulas Å”eit ir desmit populÄrÄkÄs tehnoloÄ£ijas, kas visbiežÄk tiek minÄtas darba sludinÄjumos:
TehnoloÄ£iju pieminÄÅ”ana vakancÄs datu inženiera amatam 2020. gadÄ
Sapratīsim.
Datu inženiera pienÄkumi
MÅ«sdienÄs liela nozÄ«me organizÄcijÄm ir darbam, ko veic datu inženieri ā tie ir cilvÄki, kas ir atbildÄ«gi par informÄcijas uzglabÄÅ”anu un nogÄdÄÅ”anu tÄdÄ formÄ, lai ar to varÄtu strÄdÄt citi darbinieki. Datu inženieri izveido konveijerus, lai straumÄtu vai grupÄtu datus no vairÄkiem avotiem. PÄc tam cauruļvadi veic ieguves, pÄrveidoÅ”anas un ielÄdes darbÄ«bas (citiem vÄrdiem sakot, ETL procesus), padarot datus piemÄrotÄkus turpmÄkai izmantoÅ”anai. PÄc tam dati tiek iesniegti analÄ«tiÄ·iem un datu zinÄtniekiem dziļÄkai apstrÄdei. Visbeidzot, dati beidz savu ceļu informÄcijas paneļos, pÄrskatos un maŔīnmÄcÄ«Å”anÄs modeļos.
MeklÄju informÄciju, kas ļautu izdarÄ«t secinÄjumu par to, kuras tehnoloÄ£ijas datu inženiera darbÄ Å”obrÄ«d ir pieprasÄ«tÄkÄs.
Metodes
Es savÄcu informÄciju no trim darba meklÄÅ”anas vietnÄm ā , Šø un aplÅ«koja, kÄdi atslÄgvÄrdi ir sastopami saistÄ«bÄ ar ādatu inženierisā ASV iedzÄ«votÄjiem paredzÄto vakanÄu tekstos. Å im uzdevumam es izmantoju divas Python bibliotÄkas ā Šø . Starp atslÄgvÄrdiem es iekļÄvu gan tos, kas bija iekļauti iepriekÅ”ÄjÄ datu zinÄtnieka amata vakanÄu analÄ«zes sarakstÄ, gan tos, kurus manuÄli atlasÄ«ju, lasot darba piedÄvÄjumus datu inženieriem. LinkedIn nebija iekļauts avotu sarakstÄ, jo pÄc mana pÄdÄjÄ mÄÄ£inÄjuma vÄkt datus man tur tika aizliegts.
Katram atslÄgvÄrdam es aprÄÄ·inÄju trÄpÄ«jumu procentuÄlo daudzumu no kopÄjÄ tekstu skaita katrÄ vietnÄ atseviŔķi un pÄc tam aprÄÄ·inÄju vidÄjo rÄdÄ«tÄju trim avotiem.
rezultÄtus
TÄlÄk ir norÄdÄ«ti trÄ«sdesmit tehnisko datu inženierijas termini ar augstÄkajiem rÄdÄ«tÄjiem visÄs trÄ«s darba vietÄs.
Un Å”eit ir tie paÅ”i skaitļi, bet parÄdÄ«ti tabulas veidÄ:
Ejam kÄrtÄ«bÄ.
RezultÄtu apskats
Gan SQL, gan Python parÄdÄs vairÄk nekÄ divÄs treÅ”daļÄs pÄrskatÄ«to darba vietu. TieÅ”i Ŕīs divas tehnoloÄ£ijas ir jÄga vispirms izpÄtÄ«t. ir ļoti populÄra programmÄÅ”anas valoda, ko izmanto darbam ar datiem, vietÅu izveidei un skriptu rakstÄ«Å”anai. apzÄ«mÄ strukturÄto vaicÄjumu valodu; tas ietver standartu, ko ieviesusi valodu grupa, un to izmanto datu izgÅ«Å”anai no relÄciju datu bÄzÄm. Tas parÄdÄ«jÄs jau sen un ir pierÄdÄ«jis sevi kÄ Ä¼oti izturÄ«gu.
Spark pieminÄta aptuveni pusÄ no vakancÄm. ir "vienots lielo datu analÄ«zes dzinÄjs ar iebÅ«vÄtiem moduļiem straumÄÅ”anai, SQL, maŔīnmÄcÄ«bai un grafiku apstrÄdei." Tas ir Ä«paÅ”i populÄrs starp tiem, kas strÄdÄ ar lielÄm datu bÄzÄm.
AWS parÄdÄs aptuveni 45% darba sludinÄjumu. TÄ ir mÄkoÅdatoÅ”anas platforma, ko ražo Amazon; tai ir lielÄkÄ tirgus daļa starp visÄm mÄkoÅu platformÄm.
TÄlÄk nÄk Java un Hadoop - nedaudz vairÄk par 40% viÅu brÄlim. ir plaÅ”i runÄta, kaujÄs pÄrbaudÄ«ta valoda, kas tika pieŔķirta desmitÄ vieta starp valodÄm, kas programmÄtÄju vidÅ« rada Å”ausmas. Turpretim Python bija otrÄ vismīļÄkÄ valoda. Java valodu pÄrvalda Oracle, un visu, kas jums par to jÄzina, var saprast no Ŕī oficiÄlÄs lapas ekrÄnuzÅÄmuma no 2020. gada janvÄra.
Tas ir kÄ braukt ar laika maŔīnu
izmanto MapReduce programmÄÅ”anas modeli ar serveru klasteriem lieliem datiem. Tagad no Ŕī modeļa arvien vairÄk tiek pamests.
Tad mÄs redzam Hive, Scala, Kafka un NoSQL ā katra no Ŕīm tehnoloÄ£ijÄm ir minÄta ceturtdaÄ¼Ä iesniegto vakanÄu. Apache Hive ir datu noliktavas programmatÅ«ra, kas "viegli lasot, rakstÄ«t un pÄrvaldÄ«t lielas datu kopas, kas atrodas izplatÄ«tajos veikalos, izmantojot SQL." ā programmÄÅ”anas valoda, kas tiek aktÄ«vi izmantota, strÄdÄjot ar lielajiem datiem. Jo Ä«paÅ”i Spark tika izveidots Scala. Jau pieminÄtajÄ baidÄ«to valodu reitingÄ Scala ieÅem vienpadsmito vietu. ā izplatÄ«ta platforma straumÄÅ”anas ziÅojumu apstrÄdei. Ä»oti populÄrs kÄ datu straumÄÅ”anas lÄ«dzeklis.
kontrastÄ ar SQL. Tie atŔķiras ar to, ka tie ir nerelÄciju, nestrukturÄti un horizontÄli mÄrogojami. NoSQL ir guvis zinÄmu popularitÄti, taÄu Ŕķiet, ka Ŕīs pieejas trakums, pat lÄ«dz pareÄ£ojumiem, ka tÄ aizstÄs SQL kÄ dominÄjoÅ”o krÄtuves paradigmu, ir beigusies.
SalÄ«dzinÄjums ar terminiem datu zinÄtnieku vakancÄs
Å eit ir trÄ«sdesmit tehnoloÄ£iju termini, kas visbiežÄk sastopami datu zinÄtnes darba devÄju vidÅ«. Es ieguvu Å”o sarakstu tÄdÄ paÅ”Ä veidÄ, kÄ aprakstÄ«ts iepriekÅ” attiecÄ«bÄ uz datu inženieriju.
TehnoloÄ£iju pieminÄÅ”ana vakancÄs datu zinÄtnieka amatam 2020. gadÄ
Ja runÄjam par kopÄjo skaitu, tad, salÄ«dzinot ar iepriekÅ” izskatÄ«to, vakanÄu bija par 28% vairÄk (12 013 pret 9396 XNUMX). ApskatÄ«sim, kuras tehnoloÄ£ijas datu zinÄtnieku vakances ir retÄk sastopamas nekÄ datu inženieru vakances.
PopulÄrÄks datu inženierijÄ
TÄlÄk esoÅ”ajÄ diagrammÄ ir parÄdÄ«ti atslÄgvÄrdi, kuru vidÄjÄ atŔķirÄ«ba ir lielÄka par 10% vai mazÄka par -10%.
LielÄkÄs atŔķirÄ«bas atslÄgvÄrdu biežumÄ starp datu inženieri un datu zinÄtnieku
AWS uzrÄda visbÅ«tiskÄko pieaugumu: datu inženierijÄ tas parÄdÄs par 25% regulÄrÄk nekÄ datu zinÄtnÄ (attiecÄ«gi aptuveni 45% un 20% no kopÄjÄ vakanÄu skaita). AtŔķirÄ«ba ir jÅ«tama!
LÅ«k, tie paÅ”i dati nedaudz atŔķirÄ«gÄ prezentÄcijÄ ā grafikÄ lÄ«dzÄs atrodas viena un tÄ paÅ”a atslÄgvÄrda rezultÄti datu inženiera un datu zinÄtnieka amata vakances.
LielÄkÄs atŔķirÄ«bas atslÄgvÄrdu biežumÄ starp datu inženieri un datu zinÄtnieku
NÄkamais lielÄkais lÄciens, ko atzÄ«mÄju, bija Spark ā datu inženierim bieži ir jÄstrÄdÄ ar lielajiem datiem. arÄ« pieauga par 20%, tas ir, gandrÄ«z Äetras reizes, salÄ«dzinot ar rezultÄtu datu zinÄtnieku vakancÄm. Datu pÄrsÅ«tÄ«Å”ana ir viens no galvenajiem datu inženiera pienÄkumiem. Visbeidzot, pieminÄjumu skaits bija par 15% lielÄks datu inženierijas jomÄ Java, NoSQL, Redshift, SQL un Hadoop.
MazÄk populÄrs datu inženierijÄ
Tagad apskatÄ«sim, kuras tehnoloÄ£ijas ir mazÄk populÄras datu inženieru vakancÄs.
StraujÄkais kritums salÄ«dzinÄjumÄ ar datu zinÄtnes nozari notika gadÄ : tur viÅÅ” parÄdÄ«jÄs aptuveni 56% vakanÄu, Å”eit - tikai 17%. IespaidÄ«gi. R ir programmÄÅ”anas valoda, ko iecienÄ«juÅ”i zinÄtnieki un statistiÄ·i, un tÄ ir astotÄ visvairÄk baidÄ«tÄ valoda pasaulÄ.
arÄ« datu inženiera amata vakances atrodamas ievÄrojami retÄk - starpÄ«ba ir 14%. SAS ir patentÄta valoda, kas paredzÄta darbam ar statistiku un datiem. Interesants punkts: spriežot pÄc rezultÄtiem , tÄ pÄdÄjÄ laikÄ ir zaudÄjusi daudz vietas ā vairÄk nekÄ jebkura cita tehnoloÄ£ija.
PieprasÄ«ts gan datu inženierijÄ, gan datu zinÄtnÄ
JÄpiebilst, ka astoÅas no pirmajÄm desmit pozÄ«cijÄm abos setos ir vienÄdas. SQL, Python, Spark, AWS, Java, Hadoop, Hive un Scala iekļuva labÄko desmitniekÄ gan datu inženierijas, gan datu zinÄtnes nozarÄs. ZemÄk esoÅ”ajÄ grafikÄ var redzÄt piecpadsmit populÄrÄkÄs tehnoloÄ£ijas datu inženieru darba devÄju vidÅ«, un blakus tÄm ir datu zinÄtnieku vakanÄu lÄ«menis.
Ieteikumi
Ja vÄlaties iedziļinÄties datu inženierijÄ, es ieteiktu apgÅ«t Å”Ädas tehnoloÄ£ijas - es tos uzskaitu aptuvenÄs prioritÄtes secÄ«bÄ.
ApgÅ«stiet SQL. Es sliecos uz PostgreSQL, jo tas ir atvÄrtais avots, ļoti populÄrs sabiedrÄ«bÄ un atrodas izaugsmes fÄzÄ. JÅ«s varat uzzinÄt, kÄ lietot valodu, no grÄmatas My Memorable SQL ā ir pieejama tÄs izmÄÄ£inÄjuma versija .
ApgÅ«stiet Python, pat ja ne vissmagÄkajÄ lÄ«menÄ«. My Memorable Python ir Ä«paÅ”i izstrÄdÄts iesÄcÄjiem. To var iegÄdÄties pie , elektroniskÄ vai fiziskÄ kopija, pÄc jÅ«su izvÄles, vai lejupielÄdÄt pdf vai epub formÄtÄ .
Kad esat iepazinies ar Python, pÄrejiet uz pandÄm ā Python bibliotÄku, kas tiek izmantota datu tÄ«rÄ«Å”anai un apstrÄdei. Ja vÄlaties strÄdÄt uzÅÄmumÄ, kurÄ ir nepiecieÅ”ama prasme rakstÄ«t Python valodÄ (un tÄ ir lielÄkÄ daļa), varat bÅ«t pÄrliecinÄti, ka zinÄÅ”anas par pandÄm tiks pieÅemtas pÄc noklusÄjuma. PaÅ”laik es pabeidzu ievada rokasgrÄmatu darbam ar pandÄm ā jÅ«s varat lai nepalaistu garÄm atbrÄ«voÅ”anas brÄ«di.
Meistars AWS. Ja vÄlaties kļūt par datu inženieri, jÅ«s nevarat iztikt bez mÄkoÅa platformas krÄtuvÄ, un AWS ir vispopulÄrÄkÄ no tÄm. Kursi man ļoti palÄ«dzÄja kad es mÄcÄ«jos , domÄju, ka viÅiem bÅ«s arÄ« labi materiÄli uz AWS.
Ja esat jau aizpildÄ«jis visu Å”o sarakstu un vÄlaties turpinÄt augt darba devÄju acÄ«s kÄ datu inženieris, iesaku pievienot Apache Spark darbam ar lielajiem datiem. Lai gan mans pÄtÄ«jums par datu zinÄtnieku vakancÄm uzrÄdÄ«ja intereses samazinÄÅ”anos, datu inženieru vidÅ« tÄ joprojÄm parÄdÄs gandrÄ«z katrÄ otrajÄ vakancÄ.
Beidzot
Ceru, ka jums noderÄja Å”is pÄrskats par vispieprasÄ«tÄkajÄm tehnoloÄ£ijÄm datu inženieriem. Ja vÄlaties uzzinÄt, kÄ veicas analÄ«tiÄ·u darbÄ, izlasiet . LaimÄ«gu inženieriju!
Avots: www.habr.com