Najvyhľadávanejšie zručnosti v profesii data engineer

Podľa štatistike z roku 2019, data engineer je v súčasnosti profesiou, na ktorú je dopyt rastie najrýchlejšie zo všetkých. Data engineer zohráva v organizáciách kritickú úlohu – vytvára a udržiava funkčné pipeline a databázy, ktoré sa používajú na spracovanie, transformáciu a uchovávanie dát. Aké zručnosti sú pre predstaviteľov tejto profesie najdôležitejšie? Líši sa zoznam od toho, čo sa požaduje od data scientistov? O všetkom tom sa dozviete z môjho článku.

Analyzoval som pracovné ponuky na pozíciu data engineer v januári 2020, aby som pochopil, aké technologické zručnosti sú najžiadanejšie. Potom som porovnal získané výsledky so štatistikou pracovných ponúk na pozície data scientist – pričom sa ukázali niektoré zaujímavé rozdiely.

Obídeme sa bez dlhých úvodov – tu je top desiatka technológií, ktoré sa najčastejšie spomínajú v textoch pracovných ponúk:

Spomínania technológií v pracovných ponukách na pozíciu data engineer v roku 2020

Poďme sa na to pozrieť.

Povinnosti data engineer

V súčasnosti je práca, ktorú vykonávajú data engineers, pre organizácie nesmierne dôležitá – práve títo ľudia sú zodpovední za uchovávanie informácií a dávajú ich do takej podoby, aby s nimi mohli pracovať aj ostatní zamestnanci. Data engineers budujú pipeline, aby zabezpečili získavanie dát prúdom alebo po dávkach z mnohých zdrojov. Následne pipeline vykonávajú operácie extrakcie, transformácie a nahrávania (inými slovami, ETL procesy), čím robia dáta vhodnejšími na ďalšie využitie. Nakoniec sú dáta predané analytikom a data scientists na hĺbkovú analýzu. Nakoniec končí cesta dát na informačných paneloch, v správach a modeloch pre strojové učenie.

Hľadal som informácie, ktoré by umožnili dospieť k záveru, aké technológie sú aktuálne najžiadanejšie v práci data engineer.

Metódy

Zbieral som informácie zo troch pracovných webov – SimplyHired, Indeed a Monster a sledoval, aké kľúčové slová sa objavujú v kombinácii s „data engineer“ v textoch pracovných ponúk určených pre obyvateľov USA. Pri tejto úlohe som použil dve knižnice Python – Requests a Beautiful Soup. Do kľúčových slov som zahrnul nielen tie, ktoré boli v predchádzajúcom zozname pre analýzu pracovných ponúk na pozíciu data scientist, ale aj tie, ktoré som manuálne vybral pri čítaní inzerátov na prácu pre data engineers. LinkedIn nebol zahrnutý, pretože ma tam zablokovali po predchádzajúcej snahe zhromaždiť údaje.

Pre každé kľúčové slovo som vypočítal percento výskytu z celkového počtu textov na jednotlivých stránkach a potom som vyčíslil priemernú hodnotu z troch zdrojov.

Výsledky

Nižšie je uvedených tridsať technických pojmov z oblasti data engineering s najvyššími hodnoteniami na všetkých troch stránkach pracovných ponúk.

A tu sú tie isté čísla, ale prezentované vo forme tabuľky:

Poďme na to postupne.

Prehľad výsledkov

Aj SQL, aj Python sa nachádzajú vo vyše dvoch tretinách posudzovaných pracovných ponúk. Práve tieto dve technológie má zmysel študovať predovšetkým. Python – veľmi populárny programovací jazyk, ktorý sa využíva na prácu s údajmi, na vytváranie webových stránok a na písanie skriptov. SQL sa rozširuje ako Structured Query Language (jazyk so štruktúrovanými dopytmi); predstavuje štandard, ktorý sa realizuje skupinou jazykov, a používa sa na vyžiadanie údajov z relačných databáz. Objavil sa už dávno a preukázal sa vysokou odolnosťou.

O Sparku sa hovorí približne v polovici pracovných ponúk. Apache Spark – je to „integrovaný analytický motor pre spracovanie veľkých dát so zabudovanými modulmi pre streamovanie, SQL, strojové učenie a spracovanie grafov“. Teší sa osobitnej popularite medzi tými, ktorí pracujú s veľkými databázami.

AWS sa objavuje približne v 45% textov pracovných ponúk. Je to cloudová výpočtová platforma od Amazonu; vlastní najväčší podiel trhu medzi všetkými cloudovými platformami.
Nasledujú Java a Hadoop – niečo vyše 40% na každého z nich. Java – široko používaný, v bojoch overený jazyk, ktorý v ankete vývojárov na Stack Overflow v roku 2019 obsadil desiate miesto medzi jazykmi, ktoré vyvolávajú u programátorov hrôzu. Naopak, Python sa umiestnil na druhom mieste medzi jazykmi, ktoré sú najviac milované. Jazykom Java riadi Oracle, a všetko, čo o ňom potrebujete vedieť, pochopíte z tejto snímky obrazovky oficiálnej stránky z januára 2020.

Až akoby som sa previezol časom
Apache Hadoop používa model programovania MapReduce s klastrami serverov na spracovanie veľkých dát. V súčasnosti sa od tohto modelu začína stále častejšie upúšťať.

Ďalej vidíme Hive, Scala, Kafka a NoSQL – každá z týchto technológií sa spomína v štvrtine prezentovaných pracovných miest. Apache Hive je program na ukladanie dát, ktorý „uľahčuje čítanie, písanie a správu veľkých množín dát nachádzajúcich sa v distribuovaných úložištiach pomocou SQL“. Scala – programovací jazyk, ktorý sa aktívne využíva pri práci s veľkými dátami. Konkrétne, Spark bol vytvorený v Scala. V už spomínanom rebríčku hrozivých jazykov sa Scala umiestňuje na jedenástej priečke. Apache Kafka – distribuovaná platforma na spracovanie streamových správ. Je veľmi populárna ako prostriedok na prenos dát.

NoSQL databázy sa vyrovnávajú SQL. Odlišujú sa tým, že nie sú relačné, nie sú štruktúrované a majú horizontálnu škálovateľnosť. NoSQL si získalo určitú popularitu, avšak horúčkovité nadšenie týmto prístupom, až po proroctvá, že nahradí SQL ako dominantnú paradigmu ukladania, sa zdá, že je už za nami.

Porovnanie s termínmi v pracovných miestach data scientist

Tu je tridsať technologických termínov, najčastejšie sa vyskytujúcich u zamestnávateľov v oblasti datovej vedy. Tento zoznam som získal rovnakým spôsobom, ktorý som opísal vyššie pre datové inžinierstvo.

Zmienky o technológiach v pracovných miestach pre pozíciu data scientist v roku 2020

Ak hovoríme o celkovom počte, v porovnaní so skôr preskúmaným súborom, bylo viac pracovných miest o 28% (12 013 oproti 9 396). Pozrime sa, ktoré technológie sa vyskytujú v pracovných miestach pre data scientistov menej často ako pre data inžinierov.

Obľúbenejšie v datovom inžinierstve

Na grafe nižšie sú zobrazené kľúčové slová s priemerným rozdielom v hodnotách vyšším ako 10% alebo nižším ako -10%.

Najväčšie rozdiely v frekvencii kľúčových slov medzi data engineerom a data scientistom

Najvýraznejší nárast vykazuje AWS: v datovom inžinierstve sa objavuje o 25% častejšie ako v datovej vede (približne 45% a 20% z celkového počtu pracovných miest). Rozdiel je značný!

Tu sú rovnaké údaje v trochu inej podobe – na grafe sú výsledky pre rovnaké kľúčové slovo v pracovných miestach na pozíciu data engineer a data scientist umiestnené vedľa seba.

Najväčšie rozdiely v frekvencii kľúčových slov medzi data engineerom a data scientistom

Nasledujúci najväčší skok som zaznamenal pri Spark – data engineer často pracuje s veľkými dátami. Kafka tiež vzrástol o 20 %, teda takmer štyrikrát v porovnaní s výsledkami pre data scientist. Prenos údajov je jednou z kľúčových povinností data engineer. Nakoniec sa počet zmienok ukázal o 15 % vyšší v oblasti data engineeringu pri Java, NoSQL, Redshift, SQL a Hadoop.

Menej populárne v data engineeringu

Teraz sa pozrime, ktoré technológie sú menej populárne v inzerátoch pre data engineer.
Najvýraznejší pokles v porovnaní s oblasťou data science nastal pri R: tam bol spomenutý približne v 56 % inzerátov, tu – iba v 17 %. Pôsobivé. R je programovací jazyk, ktorý je úspešný medzi vedcami a štatistikmi a obsadil ôsme miesto v rebríčku najhorších jazykov.

SAS takisto sa v inzerátoch na pozíciu data engineer objavuje citeľne menej – rozdiel je 14 %. SAS je patentovaný jazyk určený na prácu so štatistikami a dátami. Zaujímavý moment: súd podľa výsledkov mojho výskumu inzerátov pre data scientists, v poslednej dobe dramaticky stratil pozície – viac než akákoľvek iná technológia.

Vyžadované ako v data engineeringu, tak aj v data science

Je potrebné poznamenať, že osem z desiatich prvých pozícií v oboch súboroch sú rovnaké. SQL, Python, Spark, AWS, Java, Hadoop, Hive a Scala sa dostali do desiatky ako pre oblasť data engineeringu, tak aj pre data science. Na grafe nižšie môžete vidieť pätnásť najpopulárnejších technológií u zamestnávateľov data engineers, a vedľa nich – ich hodnota v inzerátoch pre data scientists.

Odporúčania

Ak sa chcete venovať data engineeringu, odporúčam vám osvojiť si nasledujúce technológie – uvádzam ich v poradí približnej prioritizácie.

Osvojte si SQL. Odporúčam vám najmä PostgreSQL, pretože má otvorený kód, veľkú popularitu v komunite a nachádza sa vo fáze rastu. Ako používať jazyk sa môžete dozvedieť z knihy My Memorable SQL – jej pilotná verzia je k dispozícii tu.

Osvojte si Python, aj keď nie na najhardcornejšej úrovni. Kniha My Memorable Python je určená práve pre začiatočníkov. Môžete ju zakúpiť na Amazon, elektronickú kópiu alebo fyzickú, podľa vášho výberu, alebo si ju môžete stiahnuť vo formáte pdf alebo epub na tejto stránke.

Akonáhle sa oboznámite s Python, prejdite na pandas – knižnicu Python, ktorá sa používa pri čistení a spracovaní údajov. Ak sa chcete zamestnať vo firme, kde sa vyžaduje schopnosť programovať v Pythone (a takých je väčšina), môžete si byť istí, že znalosť pandas bude predpokladaná automaticky. Práve dokončujem úvodný sprievodca pre prácu s pandas – môžete sa prihlásiť, aby ste nezmeškali moment jeho vydania.

Osvojte si AWS. Ak chcete byť data engineer, bez cloudovej platformy sa nezaobídete, a AWS je najpopulárnejšia z nich. Mne veľmi pomohli kurzy Linux Academy, keď som študoval data engineering na Google Cloud, myslím, že aj o AWS tam nájdete dobré materiály.

Ak už ste zvládli celý tento zoznam a chcete ešte viac posilniť svoj postoj v očiach zamestnávateľov ako data engineer, navrhujem pridať Apache Spark pre prácu s veľkými údajmi. Hoci moje vyhľadávanie pracovných ponúk v oblasti data science naznačilo pokles záujmu, u data engineerov sa stále objavuje v každej druhej ponuke.

Na záver

Dúfam, že tento prehľad najžiadanejších technológií pre data engineer bol pre vás užitočný. Ak vás zaujíma, aká je situácia s pracovnými ponukami pre analytikov, prečítajte si môj ďalší článok. Prajem úspešné inžinierstvo!

Zdroj: habr.com