Enligt , data engineer Ă€r för nĂ€rvarande ett yrke vars efterfrĂ„gan vĂ€xer snabbare Ă€n nĂ„got annat. En data engineer spelar en kritiskt viktig roll inom organisationer â de skapar och underhĂ„ller pipelines och databaser som anvĂ€nds för att bearbeta, transformera och lagra data. Vilka fĂ€rdigheter behövs frĂ€mst av yrkesverksamma inom detta omrĂ„de? Skiljer sig listan frĂ„n de krav som stĂ€lls pĂ„ data scientists? Om allt detta fĂ„r du veta i min artikel.
Jag har analyserat jobbannonser för positionen data engineer i den form de har i januari 2020, för att förstĂ„ vilka tekniska fĂ€rdigheter som Ă€r mest eftertraktade. Sedan jĂ€mförde jag resultaten med statistiken över jobbannonser för positionen data scientist â vilket ledde till nĂ„gra intressanta skillnader.
Utan lĂ„nga inledningar â hĂ€r Ă€r topp tio teknologier som oftast nĂ€mns i jobbannonser:
NÀmnanden av teknologier i jobbannonser för positionen data engineer Är 2020
LĂ„t oss reda ut detta.
AnsvarsomrÄden för data engineer
I dag har det arbete som data engineers utför en enorm betydelse för organisationer â det Ă€r dessa personer som ansvarar för att lagra information och omvandla den till ett format som andra anstĂ€llda kan arbeta med. Data engineers bygger pipelines för att stĂ€lla in hĂ€mtningen av data, antingen i flöden eller i paket, frĂ„n mĂ„nga kĂ€llor. DĂ€refter utför dessa pipelines operationer för extraktion, transformation och inladdning (det vill sĂ€ga ETL-processer) för att göra datan mer anvĂ€ndbar för vidare anvĂ€ndning. Efter detta överlĂ€mnas datan till analytiker och data scientists för djupare bearbetning. Slutligen avslutar datan sin resa pĂ„ informationspaneler, i rapporter och modeller för maskininlĂ€rning.
Jag sökte information för att dra slutsatser om vilka teknologier som Àr mest efterfrÄgade för data engineers för nÀrvarande.
Metoder
Jag samlade information frĂ„n tre jobbannonseringssajter â , och och undersökte vilka nyckelord som förekommer tillsammans med "data engineer" i jobbtexter riktade till invĂ„nare i USA. För den hĂ€r uppgiften anvĂ€nde jag tvĂ„ Python-bibliotek â och Jag inkluderade nyckelord bĂ„de frĂ„n den tidigare listan för analys av jobbannonser för positionen som data scientist och de som jag valde manuellt genom att lĂ€sa jobbannonser för data engineers. LinkedIn var inte en av kĂ€llorna eftersom jag blev avstĂ€ngd dĂ€r efter mitt förra försök att samla in data.
För varje nyckelord rÀknade jag procentandelen trÀffar av det totala antalet texter pÄ varje webbplats för sig, och sedan berÀknade jag medelvÀrdet frÄn de tre kÀllorna.
Resultat
Nedan presenteras trettio tekniska termer inom data engineering med de högsta vÀrdena frÄn alla tre jobb webbplatser.
HÀr Àr samma siffror, men presenterade i tabellformat:
LÄt oss gÄ i ordning.
Ăversikt av resultaten
BĂ„de SQL och Python förekommer i mer Ă€n tvĂ„ tredjedelar av de granskade jobbannonserna. Det Ă€r dessa tvĂ„ teknologier som har mest mening att studera först. â ett mycket populĂ€rt programmeringssprĂ„k som anvĂ€nds för att arbeta med data, skapa webbplatser och skriva skript. stĂ„r för Structured Query Language (strukturerat frĂ„gesprĂ„k); det innebĂ€r en standard som genomförs av en grupp sprĂ„k och anvĂ€nds för att extrahera data frĂ„n relationella databaser. Det har funnits lĂ€nge och har visat sig vara mycket stabilt.
Spark nĂ€mns i ungefĂ€r hĂ€lften av jobben. â en "förenad analytisk motor för behandling av stora data med inbyggda moduler för strömning, SQL, maskininlĂ€rning och grafbehandling". Det Ă€r sĂ€rskilt populĂ€rt bland dem som arbetar med stora databaser.
AWS nÀmns i ungefÀr 45% av jobbannonserna. Det Àr en molnberÀkningsplattform som tillverkas av Amazon; den har den största marknadsandelen bland alla molnplattformar.
DĂ€refter kommer Java och Hadoop â liite över 40% var. â ett allmĂ€nt förekommande, beprövat sprĂ„k, som i hamnade pĂ„ tionde plats bland sprĂ„k som ger programmerare Ă„ngest. I kontrast visade sig Python vara det nĂ€st mest Ă€lskade sprĂ„ket. SprĂ„ket Java kontrolleras av Oracle, och allt som behöver veta om det kan förstĂ„s hĂ€rifrĂ„n, skĂ€rmdumpen frĂ„n officiella sidan frĂ„n januari 2020.
Som om jag Ă„kt tillbaka i tiden
anvÀnder en programmodell av MapReduce med serverkluster för stora datamÀngder. Denna modell avfÀrdas allt oftare.
HĂ€r ser vi Hive, Scala, Kafka och NoSQL â var och en av dessa teknologier nĂ€mns i en fjĂ€rdedel av de annonserade jobben. Apache Hive Ă€r ett datalagringsprogram som "förenklar lĂ€sning, skrivning och hantering av stora dataset som ligger i distribuerade lagringssystem med hjĂ€lp av SQL. â ett programmeringssprĂ„k som anvĂ€nds aktivt för arbete med stora datamĂ€ngder. Specifikt skapades Spark pĂ„ Scala. I den nĂ€mnda listan över skrĂ€mmande programmeringssprĂ„k placerar sig Scala pĂ„ elfte plats. â en distribuerad plattform för hantering av strömmande meddelanden. Mycket populĂ€r som ett verktyg för datastreaming.
stÀller sig i kontrast till SQL. De skiljer sig Ät genom att de inte Àr relationella, inte strukturerade och har horisontell skalbarhet. NoSQL har vunnit viss popularitet, men den febrila entusiasmen för denna metod, Ànda till profetior om att den skulle ersÀtta SQL som den dominerande lagringsparadigmen, verkar nu vara förbi.
JÀmförelse med termer i jobben för data scientist
HÀr Àr trettio teknologiska termer som Àr mest förekommande bland arbetsgivare inom data science. Denna lista fick jag pÄ samma sÀtt som jag beskrev ovan för data engineering.
NÀmnanden av teknologier i jobben för data scientist under 2020
Om vi pratar om det totala antalet visade det sig att det fanns fler annonser, 28% fler (12 013 mot 9396). LÄt oss titta pÄ vilka teknologier som förekommer i jobben för data scientists mindre ofta Àn för data engineers.
Mer populÀra inom data engineering
I diagrammet nedan visas nyckelord med ett genomsnittligt avvikelse, antingen över 10% eller under -10%.
De största skillnaderna i frekvensen av nyckelord hos data engineer och data scientist
Den mest betydelsefulla ökningen ses för AWS: inom data engineering dyker det upp 25% oftare Àn inom data science (ungefÀr 45% och 20% av det totala antalet jobb respektive). Skillnaden Àr mÀrkbar!
HĂ€r Ă€r samma data i en nĂ„got annan presentation â i diagrammet placeras resultaten för samma nyckelord i jobben för data engineer och data scientist sida vid sida.
De största skillnaderna i frekvensen av nyckelord hos data engineer och data scientist
Den nĂ€sta största ökningen jag har noterat Ă€r hos Spark â dataingenjörer arbetar ofta med stora datamĂ€ngder. har ocksĂ„ ökat med 20%, alltsĂ„ nĂ€stan fyra gĂ„nger jĂ€mfört med resultaten för jobb i data science. Datatransfer Ă€r en av de viktigaste uppgifterna för en dataingenjör. Slutligen visade antalet omnĂ€mningar pĂ„ 15% mer inom data engineering för Java, NoSQL, Redshift, SQL och Hadoop.
Mindre populÀra inom data engineering
LÄt oss nu se vilka teknologier som Àr mindre populÀra i jobben för dataingenjörer.
Den mest dramatiska nedgĂ„ngen jĂ€mfört med data science-skiktet intrĂ€ffade hos : dĂ€r syntes den i ungefĂ€r 56% av jobben, hĂ€r â endast 17%. Imponerande. R Ă€r ett programmeringssprĂ„k som Ă€r populĂ€rt bland forskare och statistiker och ligger pĂ„ Ă„ttonde plats i en skrĂ€mmande ranking av sprĂ„k.
finns ocksĂ„ i jobben för dataingenjörer avsevĂ€rt mindre â skillnaden Ă€r 14%. SAS Ă€r ett patenterat sprĂ„k avsett för arbete med statistik och data. En intressant punkt: enligt resultaten frĂ„n , har det pĂ„ sistone förlorat mark ordentligt â mer Ă€n nĂ„gon annan teknik.
Eftertraktade bÄde inom data engineering och data science
Det Àr vÀrt att notera att Ätta av de tio bÀsta positionerna i bÄda uppsÀttningarna överensstÀmmer. SQL, Python, Spark, AWS, Java, Hadoop, Hive och Scala finns i toppen för bÄde data engineering och data science. I diagrammet nedan kan du se femton av de mest populÀra teknologierna bland arbetsgivare för dataingenjörer, och bredvid dem deras siffror för jobb i data science.
Rekommendationer
Om du vill arbeta med data engineering, skulle jag rekommendera att du lĂ€r dig följande teknologier â jag listar dem i ordning efter ungefĂ€rligt prioritet.
LĂ€r dig SQL. Jag rekommenderar PostgreSQL, eftersom det har öppen kod, stor popularitet inom samhĂ€llet och Ă€r i en tillvĂ€xtfas. Hur man anvĂ€nder sprĂ„ket kan du ta reda pĂ„ frĂ„n boken My Memorable SQL â dess pilotversion Ă€r tillgĂ€nglig .
BehÀrska Python, Àven om du inte gÄr in pÄ den mest hardcore nivÄn. Boken My Memorable Python Àr just för nybörjare. Den kan köpas pÄ , elektronisk kopia eller fysisk, beroende pÄ ditt val, eller sÄ kan du ladda ner den i pdf- eller epub-format .
SĂ„ snart du har bekantat dig med Python, gĂ„ vidare till pandas â Python-biblioteket som anvĂ€nds för att rensa och bearbeta data. Om du siktar pĂ„ att arbeta i ett företag dĂ€r kunskap om Python krĂ€vs (vilket de flesta företag gör), kan du vara sĂ€ker pĂ„ att kunskaper i pandas kommer att förutsĂ€ttas som standard. Jag hĂ„ller för tillfĂ€llet pĂ„ att avsluta en introduktionsguide för att arbeta med pandas â du kan , för att inte missa lanseringen.
LÀr dig AWS. Om du vill bli dataingenjör Àr det viktigt att ha en molnplattform i verktygslÄdan, och AWS Àr den mest populÀra av dem. Kurserna , nÀr jag studerade , tror jag att de Àven har bra material för AWS.
Om du redan har behĂ€rskat hela denna lista och vill vĂ€xa ytterligare i arbetsgivarens ögon som dataingenjör, föreslĂ„r jag att du lĂ€gger till Apache Spark för att arbeta med stordata. Ăven om min undersökning om data science-jobb visade pĂ„ en minskad efterfrĂ„gan, syns intresset för dataingenjörer nĂ€stan i varje annan jobbannons.
Avslutningsvis
Hoppas att denna översikt över de mest eftertraktade teknologierna för dataingenjörer har varit till nytta. Om du Àr intresserad av hur det ser ut med jobben för analytiker, lÀs . Lycka till med ingenjörsjobbet!
KĂ€lla: habr.com
