🥇Data Engineer a Data Scientist: co umějí a kolik vydělávají

Spolu s Jelenou Gerasimovovou, vedoucí katedry „Data Science a analytika“ na Netologii pokračujeme ve zkoumání, jak spolu navzájem interagují a čím se liší Data Scientist a Data Engineer.

V první části jsme se podívali na hlavní rozdíly mezi Data Scientist a Data Engineer.

V tomto materiálu se budeme bavit o tom, jaké znalosti a dovednosti by měli mít odborníci, jaké vzdělání si cení zaměstnavatelé, jak probíhají pohovory a kolik vydělávají data inženýři a data scientisté.

Co by měli vědět scientisté a inženýři

Profilové vzdělání pro oba specialisty – Computer Science.

Každý datový odborník – data scientist nebo analytik – by měl být schopen dokázat správnost svých závěrů. K tomu se neobejde bez znalosti statistiky a příbuzné základní matematiky.

Strojové učení a nástroje analýzy dat jsou nepostradatelné v současném světě. Pokud obvyklé nástroje nejsou k dispozici, je nutné mít dovednosti rychle se naučit nové nástroje, vytvářet jednoduché skripty pro automatizaci úloh.

Je důležité zdůraznit, že odborník na data by měl efektivně předat výsledky analýzy. V tom mu pomůže vizualizace dat nebo výsledků provedených výzkumů a testování hypotéz. Specialisté by měli umět vytvářet diagramy a grafy, používat nástroje vizualizace, chápat a vyjasňovat data z dashboardů.

Pro datového inženýra se na prvním místě objevují tři směry.

Algoritmy a datové struktury. Je důležité si osvojit psaní kódu a využívání základních struktur a algoritmů:

analýza složitosti algoritmů,
schopnost psát srozumitelný, udržovatelný kód,
dávková zpracování,
zpracování v reálném čase.

Databáze a datové sklady, Business Intelligence:

úložiště a zpracování dat,
navrhování integrovaných systémů,
Data Ingestion,
distribuované souborové systémy.

Hadoop a Big Data. Dat je stále více, a v horizontu 3–5 let se tyto technologie stanou nepostradatelnými pro každého inženýra. Navíc:

Data Lakes,
práce s cloudovými poskytovateli.

Strojové učení bude využívána všude, a je důležité rozumět, jaké obchodní úkoly pomůže vyřešit. Není nutné umět vytvářet modely (s tím si poradí data scientisté), ale je třeba se vyznat v jejich aplikaci a odpovídajících požadavcích.

Kolik vydělávají inženýři a scientisté

Příjem datových inženýrů

V mezinárodní praxi počáteční plat obvykle činí 100 000 USD ročně a výrazně se zvyšuje s praxí, podle společnosti Glassdoor. Kromě toho firmy často nabízejí akciové opce a roční bonusy ve výši 5–15 %.

V Rusku na začátku kariéry je plat obvykle nejméně 50 tisíc rublů v regionech a 80 tisíc v Moskvě. V této fázi není požadována zkušenost kromě absolvovaných školení.

Po 1–2 letech práce se plat pohybuje mezi 90–100 tisíci rublů.

Rozmezí se zvyšuje na 120–160 tisíc po 2–5 letech. Přidávají se faktory jako specializace předchozích společností, velikost projektů, práce s big data atd.

Po 5 letech práce je snazší hledat pracovní pozice v příbuzných odděleních nebo reagovat na specializované pozice, jako jsou:

Architekt nebo vedoucí vývojář v bance nebo telekomunikaci - přibližně 250 tisíc.

Pre-Sales u dodavatele, s jehož technologiemi jste pracovali, - 200 tisíc plus možné bonusy (1–1,5 milionu rublů).

Experti na implementaci firemních aplikací, jako je SAP, - až 350 tisíc.

Příjem datových vědců

Studie trh analytiků společnosti „Normální výzkumy“ a náborové agentury New.HR ukazuje, že specialisté na Data Science obvykle vydělávají více než analytici jiných oborů.

V Rusku je počáteční plat datového vědce s praxí do jednoho roku - od 113 tisíc rublů.

Jako pracovní zkušenost se nyní také počítá absolvování vzdělávacích programů.

Po 1–2 letech takový odborník již může vydělávat až 160 tisíc.

Pro zaměstnance s 4–5 lety praxe se rozmezí zvyšuje na 310 tisíc.

Jak probíhají pohovory

Na západě absolventi odborných programů absolvují první pohovor v průměru 5 týdnů po ukončení školení. Přibližně 85 % nalezne práci do 3 měsíců.

Proces pohovorů na pozice datových inženýrů a datových vědců se téměř neliší. Obvykle se skládá z pěti kroků.

Shrnutí. Uchazečům s nepřímým předchozím zkušenostmi (například z marketingu) je třeba pro každou společnost připravit podrobný průvodní dopis nebo mít doporučení od zástupce této společnosti.

Technický screening. Obvykle probíhá po telefonu. Skládá se z jednoho až dvou složitějších a stejně tak z několika jednoduchých otázek týkajících se současného pracovního prostředí zaměstnavatele.

HR pohovor. Může probíhat po telefonu. V této fázi se hodnotí obecná přijatelnost kandidáta a schopnost komunikace.

Technický pohovor. Často probíhá osobně. V různých firmách se úroveň pozic v pracovním plánu liší a pozice se mohou nazývat různě. Proto se v této fázi ověřují technické znalosti.

Pohovor s technickým ředitelem / hlavním architektem. Inženýr a vědec – strategické pozice, které jsou pro mnoho firem navíc nové. Je důležité, aby potenciální kolega zaujal vedoucího a měl s ním shodu ve názorech.

Co pomůže vědcům a inženýrům v kariérním růstu

Na trhu se objevila řada nových nástrojů pro práci s daty. A málokdo se ve všech orientuje stejně dobře.

Mnoho firem není připraveno zaměstnávat pracovníky bez zkušeností. Nicméně kandidáti s minimálními základy a znalostí vašich oblíbených nástrojů mohou získat potřebné zkušenosti, pokud budou studovat a rozvíjet se samostatně.

Užitečné vlastnosti pro datového inženýra a datového vědce

Touha a schopnost se učit. Není nutné okamžitě prchat za zkušenostmi nebo měnit práci kvůli novému nástroji, ale je třeba být připraven přepnout do nové oblasti.

Usilování o automatizaci rutinních procesů. To je důležité nejen pro produktivitu, ale i pro udržení vysoké kvality dat a rychlosti jejich dodání ke konečnému uživateli.

Pozornost a pochopení „co se děje pod kapotou“ procesů. Rychleji vyřeší problém ten specialista, který má zkušenosti a důkladné znalosti procesů.

Kromě skvělého znalost algoritmů, datových struktur a pipeline je potřeba naučit se myslet produktově — vidět architekturu a obchodní řešení jako jednu integrovanou celistvost.

Například je užitečné vybrat si jakoukoliv známou službu a vytvořit pro ni databázi. Poté přemýšlejte, jak vyvinout ETL a DW, které ji naplní daty, kdo budou její uživatelé a co je pro ně důležité vědět o datech, a jak zákazníci interagují s aplikacemi: pro hledání práce a seznamování, pronájem automobilů, aplikaci pro podcasty, vzdělávací platformu.

Pozice analytika, data scientista a inženýra jsou si velmi blízké, takže přechod z jednoho směru na druhý je rychlejší než z jiných oblastí.

V každém případě budou mít lidé s jakýmkoliv IT backgroundem snazší cestu než ti, kdo ho nemají. Průměrně se dospělí motivovaní lidé přeškolují a mění práci každé 1,5–2 roky. Snadněji to jde těm, kteří se učí ve skupině a pod vedením mentora ve srovnání s těmi, kdo se spoléhají pouze na otevřené zdroje.