Data Engineer a Data Scientist: čo môžu robiť a koľko zarábajú

Spolu s Elenou Gerasimovou, vedúcou fakulty “Data Science and Analytics» v Netológii naďalej chápeme, ako sa navzájom ovplyvňujú a ako sa líšia dátoví vedci a dátoví inžinieri.

V prvej časti povedali o hlavných rozdieloch medzi Data Scientist a Data Engineer.

V tomto materiáli si povieme, aké znalosti a zručnosti by mali mať špecialisti, aké vzdelanie oceňujú zamestnávatelia, ako prebiehajú pohovory a koľko zarábajú dátoví inžinieri a dátoví vedci. 

Čo by mali vedieť vedci a inžinieri

Špecializačné vzdelanie oboch špecialistov je informatika.

Data Engineer a Data Scientist: čo môžu robiť a koľko zarábajú

Každý dátový vedec – dátový vedec alebo analytik – musí byť schopný dokázať správnosť svojich záverov. Bez vedomostí sa preto nezaobídete štatistika a základná matematika súvisiaca so štatistikou.

Nástroje strojového učenia a analýzy údajov sú v modernom svete nevyhnutné. Ak bežné nástroje nie sú k dispozícii, musíte mať zručnosti rýchle učenie sa novým nástrojom, vytváranie jednoduchých skriptov na automatizáciu úloh.

Je dôležité poznamenať, že dátový vedec musí efektívne komunikovať výsledky analýzy. Pomôže mu s tým vizualizácia dát alebo výsledky výskumu a testovania hypotéz. Špecialisti musia byť schopní vytvárať tabuľky a grafy, používať vizualizačné nástroje a chápať a vysvetľovať údaje z dashboardov.

Data Engineer a Data Scientist: čo môžu robiť a koľko zarábajú

Pre dátového inžiniera sa do popredia dostávajú tri oblasti.

Algoritmy a dátové štruktúry. Je dôležité naučiť sa písať kód a používať základné štruktúry a algoritmy:

  • analýza zložitosti algoritmu,
  • schopnosť písať jasný, udržiavateľný kód, 
  • dávkové spracovanie,
  • spracovanie v reálnom čase.

Databázy a dátové sklady, Business Intelligence:

  • uchovávanie a spracovanie údajov,
  • návrh kompletných systémov,
  • Príjem údajov,
  • distribuované súborové systémy.

Hadoop a veľké dáta. Dát je stále viac a v horizonte 3–5 rokov sa tieto technológie stanú nevyhnutnými pre každého inžiniera. Plus:

  • Dátové jazerá
  • spolupráca s poskytovateľmi cloudu.

Strojové učenie sa bude používať všade a je dôležité pochopiť, aké obchodné problémy pomôže vyriešiť. Nie je potrebné vedieť vytvárať modely (toto dátoví vedci zvládnu), ale musíte pochopiť ich aplikáciu a zodpovedajúce požiadavky.

Koľko zarábajú inžinieri a vedci?

Príjem dátového inžiniera

V medzinárodnej praxi počiatočné platy sú zvyčajne 100 000 dolárov ročne a podľa Glassdoor sa výrazne zvyšujú so skúsenosťami. Okrem toho spoločnosti často poskytujú opcie na akcie a 5-15% ročné bonusy.

V Rusku na začiatku kariéry je plat zvyčajne najmenej 50 tisíc rubľov v regiónoch a 80 tisíc v Moskve. V tejto fáze nie sú potrebné žiadne iné skúsenosti ako absolvované školenie.

Po 1-2 rokoch práce - vidlica 90-100 tisíc rubľov.

Vidlica sa zvýši na 120–160 tisíc za 2–5 rokov. Pridávajú sa faktory ako špecializácia predchádzajúcich firiem, veľkosť projektov, práca s veľkými dátami atď.

Po 5 rokoch práce je jednoduchšie hľadať voľné miesta v príbuzných oddeleniach alebo sa uchádzať o vysoko špecializované pozície ako napr.

  • Architekt alebo vedúci developer v banke alebo telekomunikáciách - asi 250 tis.

  • Predpredaj od predajcu, s ktorého technológiami ste spolupracovali najbližšie - 200 tisíc plus možný bonus (1-1,5 milióna rubľov). 

  • Odborníci na implementáciu podnikových podnikových aplikácií, ako je SAP - až 350 tis.

Príjmy dátových vedcov

študovať trhu analytikov spoločnosti „Normal Research“ a personálnej agentúry New.HR ukazuje, že špecialisti Data Science dostávajú v priemere vyšší plat ako analytici iných špecializácií. 

V Rusku je nástupný plat dátového vedca s praxou do jedného roka od 113 tisíc rubľov. 

Absolvovanie vzdelávacích programov sa teraz berie do úvahy aj ako pracovné skúsenosti.

Po 1–2 rokoch môže takýto špecialista dostať až 160 tis.

Pre zamestnanca s praxou 4-5 rokov sa vidlica zvyšuje na 310 tis.

Ako prebiehajú pohovory?

Na Západe majú absolventi programov odborného vzdelávania prvý pohovor v priemere 5 týždňov po ukončení štúdia. Približne 85 % si nájde prácu po 3 mesiacoch.

Proces pohovoru pre pozície dátového inžiniera a dátového vedca je prakticky rovnaký. Zvyčajne pozostáva z piatich etáp.

Zhrnutie. Od kandidátov s vedľajšími predchádzajúcimi skúsenosťami (napr. marketing) sa vyžaduje, aby pripravili podrobný sprievodný list pre každú spoločnosť alebo mali referenciu od zástupcu danej spoločnosti.

Technická kontrola. Zvyčajne sa to deje cez telefón. Pozostáva z jednej alebo dvoch zložitých a toľkých jednoduchých otázok súvisiacich s aktuálnou zásobou zamestnávateľa.

HR rozhovor. Dá sa urobiť cez telefón. V tejto fáze je kandidát testovaný na všeobecnú primeranosť a schopnosť komunikovať.

Technický rozhovor. Najčastejšie sa to deje osobne. V rôznych spoločnostiach je úroveň pozícií v tabuľke zamestnancov rôzna a pozície môžu byť pomenované rôzne. Preto sa v tejto fáze testujú technické znalosti.

Rozhovor s CTO/hlavným architektom. Inžinier a vedec sú strategické pozície a pre mnohé firmy aj nové. Je dôležité, aby manažér mal potenciálneho kolegu rád a súhlasil s ním v jeho názoroch.

Čo pomôže vedcom a inžinierom v ich kariérnom raste?

Objavilo sa pomerne veľa nových nástrojov na prácu s dátami. A len málo ľudí je rovnako dobrých na všetkých. 

Mnoho spoločností nie je pripravených prijať zamestnancov bez pracovných skúseností. Kandidáti s minimálnym základom a znalosťami základov populárnych nástrojov však môžu získať potrebné skúsenosti, ak sa budú učiť a rozvíjať sami.

Užitočné vlastnosti pre dátového inžiniera a dátového vedca

Túžba a schopnosť učiť sa. Nemusíte sa hneď hnať za skúsenosťami alebo meniť prácu kvôli novému nástroju, ale musíte byť ochotní prejsť do novej oblasti.

Túžba automatizovať rutinné procesy. Je to dôležité nielen pre produktivitu, ale aj pre udržanie vysokej kvality dát a rýchlosti doručenia spotrebiteľovi.

Pozornosť a pochopenie toho, „čo je pod kapotou“ procesov. Špecialista, ktorý má pozorovanie a dôkladné znalosti procesov, vyrieši problém rýchlejšie.

Okrem vynikajúcich znalostí algoritmov, dátových štruktúr a potrubí potrebujete naučiť sa myslieť v produktoch — pozri architektúru a obchodné riešenie ako jeden obrázok. 

Napríklad je užitočné vziať akúkoľvek známu službu a vymyslieť si k nej databázu. Potom premýšľajte o tom, ako vyvinúť ETL a DW, ktoré ho naplnia údajmi, akí budú spotrebitelia a čo je dôležité, aby o údajoch vedeli, a tiež ako kupujúci interagujú s aplikáciami: pri hľadaní práce a zoznamovaní, požičovniach áut , podcastová aplikácia, vzdelávacia platforma.

Pozície analytika, dátového vedca a inžiniera sú si veľmi blízke, takže sa môžete pohybovať z jedného smeru do druhého rýchlejšie ako z iných oblastí.

V každom prípade to bude jednoduchšie pre tých s akýmkoľvek IT zázemím ako pre tých, ktorí ho nemajú. V priemere sa motivovaní dospelí rekvalifikujú a menia prácu každé 1,5–2 roky. To je jednoduchšie pre tých, ktorí študujú v skupine a s mentorom, v porovnaní s tými, ktorí sa spoliehajú len na otvorené zdroje.

Od redakcie Netology

Ak hľadáte povolanie Data Engineer alebo Data Scientist, pozývame vás na štúdium našich kurzov:

Zdroj: hab.com

Pridať komentár