Podle , data engineer je v současnosti profesí, na kterou roste poptávka rychleji než na ostatní. Data engineer hraje v organizaci kriticky důležitou roli - vytváří a udržuje funkční datové toky a databáze, které se používají pro zpracování, transformaci a ukládání dat. Jaké dovednosti jsou pro zástupce této profese klíčové? Rozdílí se seznam od toho, co je požadováno od data scientists? O tom všem se dozvíte v mém článku.
Analyzoval jsem pracovní nabídky na pozici data engineer v lednu 2020, abych pochopil, které technologické dovednosti jsou nejvíce žádané. Poté jsem získané výsledky porovnal se statistiky pracovníků na pozici data scientist – objevily se některé zajímavé rozdíly.
Obejdeme se bez dlouhých úvodů – zde je deset nejčastěji zmiňovaných technologií v textu pracovních nabídek:
Zmínky o technologiích v pracovních nabídkách na pozici data engineer v roce 2020
Pojďme se na to podívat.
Povinnosti data engineer
Dnes má práce, kterou vykonávají data engineers, obrovský význam pro organizace – právě tito lidé jsou odpovědní za uchovávání informací a jejich úpravu tak, aby s nimi ostatní zaměstnanci mohli pracovat. Data engineers budují datové toky, aby usnadnili čerpání dat buď v reálném čase nebo dávkově, z několika zdrojů. Následně datové toky provádějí operace extrakce, transformace a načítání (jinými slovy, ETL procesy), čímž činí data vhodnější pro další využití. Nakonec data předávají analytikům a data scientists pro hlubší zpracování. Nakonec data končí svou cestu na informačních panelech, v reportech a modelech strojového učení.
Hledal jsem informace, které by umožnily učinit závěr o tom, které technologie jsou v práci data engineer v současnosti nejvíce žádané.
Metody
Shromažďoval jsem informace ze tří pracovních portálů - , a a zkoumal, která klíčová slova se objevují v kontextu „data engineer“ v textu pracovních nabídek určených pro obyvatele USA. Pro tento úkol jsem používal dvě Python knihovny - a Do klíčových slov jsem zahrnul jak ta, která byla v předchozím seznamu pro analýzu pracovních nabídek na pozici datového vědce, tak ta, která jsem vybral ručně při čtení inzerátů na práci pro datové inženýry. LinkedIn nebyl zahrnut mezi zdroje, protože jsem tam byl po minulém pokusu o sběr dat zablokován.
Pro každé klíčové slovo jsem spočítal procento výskytů z celkového počtu textů na každém z webů zvlášť a poté jsem vypočítal průměrnou hodnotu ze tří zdrojů.
Výsledky
Níže je uvedeno třicet technických termínů z oblasti datového inženýrství s nejvyššími ukazateli na všech třech pracovních webech.
A zde jsou stejné údaje, ale seřazené v tabulce:
Pojďme na to postupně.
Přehled výsledků
Jak SQL, tak Python se objevují ve více než dvou třetinách zkoumaných pracovních nabídek. Právě tyto dvě technologie má smysl studovat jako první. – velmi populární programovací jazyk používaný pro práci s daty, tvorbu webových stránek a psaní skriptů. se rozšiřuje jako Structured Query Language (jazyk strukturovaných dotazů); předpokládá standard realizovaný skupinou jazyků a používá se pro extrakci dat z relačních databází. Objevil se již dávno a prokázal vysokou odolnost.
O Spark se zmiňuje přibližně polovina pracovních nabídek. – je to "integrovaný analytický motor pro zpracování velkých dat se zabudovanými moduly pro streamování, SQL, strojové učení a zpracování grafů". Je obzvlášť populární u těch, kdo pracují s velkými databázemi.
AWS se objevuje přibližně v 45 % textů pracovních nabídek. Je to cloudová výpočetní platforma vyráběná firmou Amazon; má největší podíl na trhu mezi všemi cloudovými platformami.
Následují Java a Hadoop – těsně nad 40 % na kus. – široce používaný, v boji prověřený jazyk, který v Jako bych projížděl strojem času
Apache Hadoop
používá programový model MapReduce s klastrovými servery pro velká data. V poslední době se od tohoto modelu začíná čím dál častěji ustupovat.
Dále vidíme Hive, Scala, Kafka a NoSQL – každá z těchto technologií se objevuje ve čtvrtině zadaných nabídek práce. Apache Hive je datový sklad, který "usnadňuje čtení, psaní a správu velkých datových sad umístěných v distribuovaných úložištích pomocí SQL." – programovací jazyk, který se aktivně využívá při práci s velkými daty. Především na Scala byl vytvořen Spark. V již zmíněném žebříčku jazyků, které vzbuzují strach, se Scala umístila na jedenáctém místě. – distribuovaná platforma pro zpracování streamovaných zpráv. Je velmi populární jako prostředek pro přenos dat.
se vytvářejí jako alternativa k SQL. Liší se tím, že nejsou relační, nejsou strukturované a mají horizontální škálovatelnost. NoSQL si získal určitou popularitu, avšak intenzivní nadšení pro tento přístup, které vedlo k prorockým tvrzením, že nahradí SQL jako dominantní paradigmu úložiště, se zdá, že už pomalu pominulo.
Srovnání s termíny v nabídkách práce data scientist
Zde je třicet technologických termínů, které jsou nejrozšířenější mezi zaměstnavateli v oblasti data science. Tento seznam jsem získal stejným způsobem, jaký jsem popisoval výše pro data engineering.
Zmiňování technologií v nabídkách práce na pozici data scientist v roce 2020
Pokud hovoříme o celkovém počtu, ve srovnání s dříve zkoumaným souborem bylo nabídek více o 28% (12 013 oproti 9396). Podívejme se, které technologie se v nabídkách pro data scientists objevují méně než pro data engineers.
Více populární v data engineering
Na grafu níže jsou zobrazeny klíčová slova se středním rozdílem hodnot větším než 10% nebo menším než -10%.
Největší rozdíly ve frekvenci klíčových slov mezi data engineerem a data scientistem
Nejvýraznější nárůst vykazuje AWS: v data engineering se objevuje o 25% častěji než v data science (přibližně 45% a 20% z celkového počtu nabídek práce příslušně). Rozdíl je znatelný!
Zde jsou stejné údaje v mírně jiném zobrazení – na grafu jsou výsledky pro stejné klíčové slovo v nabídkách na pozici data engineer a data scientist umístěny vedle sebe.
Největší rozdíly ve frekvenci klíčových slov mezi data engineerem a data scientistem
Další významný skok jsem zaznamenal u Spark – datoví inženýři často pracují s velkými daty. rovněž vzrostl o 20 %, což znamená téměř čtyřnásobný nárůst ve srovnání s výsledky pro pozice datových vědců. Přenos dat je jednou z klíčových povinností datového inženýra. Nakonec se počet zmínek o data engineeringu zvýšil o 15 % v oblasti Java, NoSQL, Redshift, SQL a Hadoop.
Méně populární v data engineeringu
Nyní se podívejme, které technologie jsou méně populární v nabídkách pro datové inženýry.
Největší pokles ve srovnání s oblastí datové vědy nastal u : vyskytoval se v přibližně 56 % nabídek, zde – pouze 17 %. Imponující. R je programovací jazyk, který si získal popularitu mezi vědci a statistiky a obsazuje osmé místo v žebříčku nejděsivějších jazyků.
se také v nabídkách na pozici datového inženýra objevuje výrazně méně – rozdíl činí 14 %. SAS je proprietární jazyk zaměřený na práci se statistikou a daty. Zajímavý bod: soudě podle výsledků , v poslední době výrazně ztratil na pozicích – více než jakákoli jiná technologie.
Populární jak v data engineeringu, tak v datové vědě
Je třeba poznamenat, že osm z deseti prvních pozic v obou sadách se shoduje. SQL, Python, Spark, AWS, Java, Hadoop, Hive a Scala se dostaly do desítky jak pro oblast data engineeringu, tak pro datovou vědu. Na níže uvedeném grafu můžete vidět patnáct nejpopulárnějších technologií u zaměstnavatelů datových inženýrů a vedle nich jejich ukazatel v nabídkách pro datové vědce.
Doporučení
Pokud chcete pracovat v oblasti data engineeringu, doporučil bych vám osvojit si následující technologie – uvádím je v pořadí přibližné priority.
Naučte se SQL. Skloňuji vás k PostgreSQL, protože má otevřený kód, je velmi populární v komunitě a je v růstové fázi. Jak používat jazyk, se můžete dozvědět z knihy My Memorable SQL – její pilotní verze je dostupná .
Osvojte si Python, i když ne na té nejtěžší úrovni. Kniha My Memorable Python je určena právě pro začátečníky. Můžete si ji zakoupit na , elektronickou kopii nebo fyzickou, na vaší volbě, nebo si ji stáhnout ve formátu pdf nebo epub .
Jakmile se seznámíte s Pythonem, přejděte k pandas – Python knihovně, která se používá při čištění a zpracování dat. Pokud se zaměřujete na práci ve firmě, kde je psaní v Pythonu nezbytné (což je většina), můžete si být jisti, že znalost pandas se předpokládá jako standard. Právě dokončuji úvodní příručku pro práci s pandas – můžete , abyste nezmeškali datum vydání.
Osvojte si AWS. Pokud se chcete stát data inženýrem, bez cloudové platformy se neobejdete, a AWS je nejpopulárnější z nich. Velmi mi pomohly kurzy , když jsem se učil , myslím, že i pro AWS tam najdete dobré materiály.
Pokud jste již zvládli celý tento seznam a chcete se ještě více zviditelnit v očích zaměstnavatelů jako data inženýr, doporučuji přidat Apache Spark pro práci s velkými daty. I když můj průzkum pracovních nabídek ukázal pokles zájmu, u data inženýrů se stále objevuje téměř v každé druhé nabídce.
Nakonec
Doufám, že tento přehled nejžádanějších technologií pro data inženýra byl pro vás užitečný. Pokud vás zajímá, jak to vypadá s pracovními nabídkami pro analytiky, přečtěte si . Přeji úspěšné inženýrství!
Zdroj: habr.com
