Vastavalt , andmekinineer on hetkel amet, mille järele on nõudlus kiireimalt kasvav. Andmekinineer mängib organisatsioonides kriitilist rolli – loob ja hooldab töötingimustes andmeharusid ja -baase, mida kasutatakse andmete töötlemiseks, transformeerimiseks ja salvestamiseks. Milliseid oskusi on selle ametiga tegelevatel inimestel eelkõige vaja? Erineb see nimekirjast, mis on vajalik andmete teadlaste puhul? Kõik selle kohta saad teada minu artiklist.
Analüüsisin andmekinineeri ametikohtade kuulutusi jaanuaris 2020, et välja selgitada, millised tehnoloogilised oskused on kõige populaarsemad. Seejärel võrdlesin saadud tulemusi andmete teadlaste ametikohtade statistikaga – selgusid mõned huvitavad erinevused.
Lähme ilma pikemate eessõnadeta otse asja juurde – siin on kümme kõige sagedamini mainitud tehnoloogiat ametikohtade kuulutustes:
Tehnoloogiate mainimised andmekinineeri ametikohtades 2020. aastal
Hakkame kohe asja selgitama.
Andmekinineeri kohustused
Tänapäeval on andmeinsenerite töö organisatsioonidele äärmiselt oluline – just need inimesed vastutavad teabe säilitamise eest ning esitavad selle sellisel kujul, et teised töötajad saaksid sellega töötada. Andmeinsenerid loovad vooge, et korraldada andmete saamist erinevatest allikatest kas pidevalt või pakettidena. Edasi voogud viivad läbi andmete kraapimise, transformatsiooni ja laadimise (teisisõnu ETL-protsessidega), muutes andmed edasiseks kasutamiseks sobivamaks. Pärast seda antakse andmed analüütikutele ja andmeteadlastele süvaarendamiseks. Lõpuks lõpetavad andmed oma teekonna informatsiooni paneelidel, aruannetes ja masinõppe mudelites.
Otsisin teavet, mis võimaldaks järeldada, millised tehnoloogiad on praegu andmeinseneri töös kõige nõutumad.
Meetodid
Kogusin teavet kolmest töötamisportaali veebisaidist — , ja ja vaatasin, millised märksõnad esinevad koos «andmeinsener» töökuulutustes, mis on mõeldud USA elanikele. Selle ülesande täitmiseks kasutasin kahte Python'i raamatukogu — ja . Sõnade hulka, mille valisin, kuulusid nii need, mis olid eelnevas nimekirjas data scientist'i ametikoha analüüsi jaoks, kui ka need, mille valisin käsitsi, lugedes data engineer'i töökuulutusi. LinkedIn ei kuulunud allikate hulka, kuna mind on seal pärast eelmist katset andmeid koguda blokeeritud.
Iga võtmesõna kohta arvutasin välja protsendi, kui palju see esines iga veebisaidi tekstides eraldi, ja siis arvutasin kolme allika keskmise väärtuse.
Tulemused
Allpool on esitatud kolmkümmend tehnilist mõistet andmeinseneride valdkonnast, millel on kõige kõrgemad näitajad kõikidel kolmel töökuulutuste saidil.
Siin on samad numbrid, kuid esitatud tabelina:
Liigume edasi.
Tulemuste ülevaade
N nii SQL kui ka Python ilmuvad enam kui kahel kolmandikul uuritud töökuulutustest. Just neid kahte tehnoloogiat on mõistlik kõigepealt uurida. – väga populaarne programmeerimiskeel, mida kasutatakse andmetega töötamiseks, veebisaitide loomiseks ja skriptide kirjutamiseks. tähendab Structured Query Language (struktureeritud päringute keel); see esindab standardit, mida rakendatakse mitme keele rühmas, ja seda kasutatakse andmete hankimiseks relatsioonilistest andmebaasidest. See ilmus juba ammu ja on tõestanud oma kõrge vastupidavuse.
Sparkist räägitakse umbes poole töökuulutuste puhul. on «ühtne analüüsimootor suurte andmete töötlemiseks, mis sisaldab sisseehitatud mooduleid voogedastamiseks, SQL-ile, masinõppele ja graafitöötlusele». See on eriti populaarne nende seas, kes töötavad suurte andmebaasidega.
AWS ilmneb umbes 45% töökuulutustes. See on Amazonase toodetud pilvekalkulatsiooni platvorm; tal on suurim turuosa kõigi pilveteenuste platvormide seas.
Järgnev on Java ja Hadoop – igaühe osakaal on veidi üle 40%. on laialdaselt levinud, lahingutes tõestatud keel, mis sai kümnendat kohta programmeerijate seas hirmu tekitavate keelte kategoorias. Vastupidiselt sellele, Python osutus teiseks armastatuimaks keeliks. Java keelt juhib Oracle, ja kõik, mida selle kohta teada, saab mõista järgnevast ekraanipildist, mis on tehtud ametlikult 2020. aasta jaanuaris.
Nagu reis läbi ajamasina
kasutab suurte andmete jaoks MapReduce tarkvara mudelit serveriklastritega. Selle mudeli kasutamisest hakatakse järjest enam loobuma.
Edasi näeme Hive'i, Scala't, Kafka't ja NoSQL-i – igaüht neist tehnoloogiatest mainitakse neljandas osas esitatud tööpakkumistest. Apache Hive on andmehoidla programm, mis "lihtsustab suurte andmekogude lugemist, kirjutamist ja haldamist jaotatud salvestusse, kasutades SQLi." – programmeerimiskeel, mida kasutatakse aktiivselt suurte andmete töötlemisel. Eriti Scala'l loodi Spark. Varem mainitud hirmu tekitavate keelte edetabelis asub Scala üheteistkümnendal kohal. – jagatud platvorm voogedastuste töötlemiseks. Väga populaarne andmevoogude edastamiseks.
seavad SQL. Need on erinevad, kuna need ei ole reaalsed, ei ole struktureeritud ja omavad horisontaalset skaleeritavust. NoSQL on saavutanud teatud populaarsuse, kuid näiliselt on selle lähenemisega seotud palavikuline vaimustus, sealhulgas ennustused, et see asendab SQL-i kui domineerivat salvestamise paradigmat, juba möödas.
Võrdlus data scientist'i töökuulutuste terminitega
Siin on kolmkümmend tehnoloogia terminit, mis on tööandjate seas andmete teaduse valdkonnas kõige levinumad. Selle loendi sain samamoodi, nagu eespool on kirjeldatud andmete inseneri osas.
Tehnoloogiate mainimised data scientist'i ametikohtade töökuulutustes 2020. aastal
Kokkuvõttes, võrreldes varem käsitletud kogumiga, on töökuulutusi 28% rohkem (12 013 versus 9396). Vaadake, milliseid tehnoloogiaid kohtab data scientist'i töökuulutustes vähem kui andmete inseneride omaduses.
Populaarsed andmete insenerimise valdkonnas
Alloleval diagrammil on näidatud märksõnu, mille keskmine erinevus on suurem kui 10% või väiksem kui -10%.
Suurimad erinevused märksõnade sageduses data inseneri ja data scientist'i vahel
AWS näitab kõige suuremat kasvu: andmete inseneeria valdkonnas esineb see 25% sagedamini kui andmete teaduses (umbes 45% ja 20% vastavalt töökuulutuste koguhulgast). Erinevus on märkimisväärne!
Siin on samad andmed veidi teistsuguses esituses – graafikul on tulemused sama märksõna jaoks andmeinseneri ja andmeteadlase ametikohtade kuulutustes kõrvuti.
Suurimad erinevused märksõnade sageduses data inseneri ja data scientist'i vahel
Suurim hüpe on nähtav Sparkis – andmeinsener peab sageli töötama suurte andmetega. tõusis samuti 20%, mis on peaaegu neli korda rohkem võrreldes andmeteadlase ametikohtadega. Andmete edastamine on üks peamisi andmeinseneri ülesandeid. Lõpuks, andmete inseneeria valdkonnas oli Java, NoSQL, Redshift, SQL ja Hadoopi mainimiste arv 15% suurem.
Andmete inseneerias vähem populaarsed
Nüüd vaatame, millised tehnoloogiad on andmeinseneri ametikohtades vähem populaarsed.
Kõige teravam langus võrreldes andmete teaduse valdkonnaga toimus : seal ilmus see umbes 56% ametikohtadest, siin – ainult 17%. Muljetavaldav. R – programmeerimiskeel, mida kasutavad teadlased ja statistikud ning mis on ka kaheksandal kohal kõige hirmuäratavamate keelte reitingus.
kuulub töökohtadesse data engineer märgatavalt harvemini – erinevus on 14%. SAS on patenteeritud keel, mis on mõeldud statistika ja andmetega töötamiseks. Huvi pakkuv punkt: uuringu tulemuste põhjal , on see hiljuti oma positsioone tugevalt kaotanud – rohkem kui ükski teine tehnoloogia.
Omandamised nii data engineeringus kui data science'is
Tuleb märkida, et kahe kümne parema koha hulgas kattuvad kahe andmegrupi kokku kaheksa. SQL, Python, Spark, AWS, Java, Hadoop, Hive ja Scala pääsesid kümnesse nii data engineeringu kui data science'i valdkonnas. Alloleval graafikul näete viisteist kõige populaarsemat tehnoloogiat, mida tööandjad data engineeritele pakuvad ja nende vastavat näitajat data scientistide töökohtades.
Soovitused
Kui soovite tegeleda data engineeringuga, soovitaksin õppida järgmisi tehnoloogiaid – loetlen need ligikaudse prioriteedi järgi.
Uurige SQL'i. Soovitan teil PostgreSQL'i, kuna see on avatud koodiga, omab suurt populaarsust kogukonnas ja on kasvufaasis. Kuidas keelt kasutada, saate teada My Memorable SQL raamatust – selle piloteeritud versioon on saadaval .
Omage Pythonit, kuid mitte kõige raskemal tasemel. Raamat My Memorable Python on mõeldud just algajatele. Selle saab osta , kas elektroonilise koopia või füüsilise, vastavalt teie valikule, või laadida alla PDF- või EPUB-formaadis .
Kui olete Pythoniga tuttavaks saanud, minge pandas'i – Python'i raamatukokku, mida kasutatakse andmete puhastamiseks ja töötlemiseks. Kui soovite töötada ettevõttes, mis nõuab Pythonit (selliseid on enamik), võite olla kindel, et pandas'e tundmine on eeldatav. Lõpetan praegu sissejuhatavat juhendit pandas'iga töötamiseks – võite , et mitte jääda ilma väljaandmise hetkest.
Omage AWS-i. Kui soovite saada andmeinseneriks, ei saa te ilma pilveplatvormita hakkama, ja AWS on neist kõige populaarsem. Kursused , kui õppisin , ja arvan, et ka AWS-i kohta leiate sealt häid materjale.
Kui olete selle nimekirjaga juba hakkama saanud ja soovite oma tööandjate silmis data engineerina veelgi rohkem silma paista, soovitan lisada Apache Sparki suurte andmete töötlemiseks. Kuigi minu uurimus andmete teaduse töökuulutuste kohta näitas huvi langust, ilmub Apache Spark siiski peaaegu igas teises töökuulutuses andmeinseneride jaoks.
Lõpetuseks
Loodan, et see ülevaade kõige nõutumatest tehnoloogiatest andmeinseneridele on olnud teile kasulik. Kui teid huvitab, kuidas on olukord analüütikute töökuulutustes, lugege . Edukaks insenerimiseks!
Allikas: habr.com
