🥇Data Engineer i Data Scientist: czego się uczą i ile zarabiają

Razem z Eleną Gerasimową, kierownikiem fakultetu „Data Science i analitykaw Netologii kontynuujemy analizę interakcji i różnic między Data Scientist a Data Engineer.

W pierwszej części omówiliśmy główne różnice między Data Scientist a Data Engineer.

W tym materiale omówimy, jakie umiejętności i wiedza muszą posiadać specjaliści, jakie wykształcenie cenią pracodawcy, jak przebiegają rozmowy kwalifikacyjne, a także ile zarabiają inżynierowie danych i data scientist.

Co powinni wiedzieć data scientist i inżynierowie danych

Profilowe wykształcenie dla obu specjalistów to Computer Science.

Każdy specjalista zajmujący się danymi — data scientist lub analityk — musi umieć udowodnić poprawność swoich wniosków. Dlatego niezbędna jest znajomość statystyki oraz podstaw matematyki związanej ze statystyką..

Uczenie maszynowe i narzędzia analizy danych są niezbędne w dzisiejszym świecie. Jeśli zwykłe narzędzia są niedostępne, należy mieć umiejętności szybkiego przyswajania nowych narzędzi, tworzenia prostych skryptów do automatyzacji zadań..

Ważne jest, aby specjalista zajmujący się danymi skutecznie komunikował wyniki analizy. W tym pomoże mu wizualizacja danych czy wyników przeprowadzonych badań i testowania hipotez. Specjaliści muszą umieć tworzyć diagramy i wykresy, korzystać z narzędzi wizualizacyjnych, rozumieć i wyjaśniać dane z pulpitów nawigacyjnych.

Dla inżyniera danych kluczowe są trzy obszary.

Algorytmy i struktury danych. Ważne jest, aby zdobyć doświadczenie w programowaniu i korzystaniu z podstawowych struktur oraz algorytmów:

analiza złożoności algorytmów,
umiejętność pisania czytelnego, łatwego do utrzymania kodu,
przetwarzanie wsadowe,
przetwarzanie w czasie rzeczywistym.

Bazy i magazyny danych, Business Intelligence:

przechowywanie i przetwarzanie danych,
projektowanie zintegrowanych systemów,
Data Ingestion,
rozproszone systemy plikowe.

Hadoop i Big Data. Ilość danych wciąż rośnie, a w ciągu 3–5 lat te technologie staną się niezbędne dla każdego inżyniera. Dodatkowo:

Data Lakes,
praca z dostawcami chmur.

Uczenie maszynowe będzie powszechnie wykorzystywana, dlatego ważne jest zrozumienie, jakie zadania biznesowe pomoże rozwiązać. Nie trzeba umieć tworzyć modeli (tym zajmują się data scientist), ale trzeba rozumieć ich zastosowanie i odpowiednie wymagania.

Ile zarabiają inżynierowie i specjaliści dziedzin danych

Dochody inżynierów przetwarzania danych

W praktyce międzynarodowej początkowe wynagrodzenie zwykle wynosi 100 000 USD rocznie i znacznie rośnie z doświadczeniem, według danych Glassdoor. Dodatkowo firmy często oferują opcje na akcje i bonusy roczne w wysokości 5–15%.

W Rosji na początku kariery wynagrodzenie wynosi zwykle nie mniej niż 50 tys. rubli w regionach i 80 tys. w Moskwie. Na tym etapie doświadczenie nie jest wymagane, poza odbytymi szkoleniami.

Po 1–2 latach pracy – w przedziale 90–100 tys. rubli.

Zakres wzrasta do 120–160 tys. po 2–5 latach. Pojawiają się takie czynniki jak specjalizacja poprzednich firm, wielkość projektów, praca z big data i inne.

Po 5 latach pracy łatwiej jest szukać ofert w pokrewnych działach lub aplikować na wąsko specjalizowane stanowiska, takie jak:

Architekt lub wiodący programista w banku lub telekomunikacji – około 250 tys.

Pre-Sales u dostawcy technologii, z którymi współpracowałeś najbliżej – 200 tys. plus możliwy bonus (1–1,5 mln rubli).

Eksperci ds. wdrożeń aplikacji biznesowych Enterprise, takich jak SAP – do 350 tys.

Dochody data scientistów

Badanie rynku analityków firmy „Normalne badania” i agencji rekrutacyjnej New.HR pokazuje, że specjaliści ds. Data Science średnio zarabiają więcej niż analitycy innych specjalności.

W Rosji początkowe wynagrodzenie data scientist z doświadczeniem do roku wynosi od 113 tys. rubli.

Jako doświadczenie zawodowe uwzględnia się obecnie również uczestnictwo w programach szkoleniowych.

Po 1–2 latach taki specjalista może już zarabiać do 160 tys.

Dla pracownika z doświadczeniem od 4–5 lat wynagrodzenie wzrasta do 310 tys.

Jak przebiegają rozmowy kwalifikacyjne

Na zachodzie absolwenci programów kształcenia zawodowego przechodzą pierwszą rozmowę kwalifikacyjną średnio po 5 tygodniach od ukończenia nauki. Około 85% znajduje pracę w ciągu 3 miesięcy.

Proces przeprowadzania rozmów kwalifikacyjnych na stanowiska inżyniera danych i data scientist praktycznie się nie różni. Zwykle składa się z pięciu etapów.

PodsumowanieOsobom z wcześniejszym doświadczeniem niezwiązanym z branżą (np. z marketingu) zaleca się przygotowanie szczegółowego listu motywacyjnego lub posiadanie rekomendacji od przedstawiciela danej firmy.

Przesiew technicznyZazwyczaj odbywa się telefonicznie. Składa się z jednego lub dwóch trudniejszych oraz tyleż prostych pytań związanych z aktualnym stosem technologicznym pracodawcy.

Wywiad HRMoże odbywać się telefonicznie. Na tym etapie kandydat jest oceniany pod kątem ogólnej adekwatności i umiejętności komunikacji.

Rozmowa technicznaZwykle odbywa się osobiście. W różnych firmach poziom stanowisk różni się, a nazwy pozycji mogą być różne. Dlatego na tym etapie sprawdzane są przede wszystkim umiejętności techniczne.

Rozmowa z dyrektorem technicznym / głównym architektemInżynier i naukowiec to strategiczne stanowiska, a w wielu firmach są także nowe. Kluczowe jest, aby potencjalny współpracownik przypadł do gustu kierownikowi i zgadzał się z nim w kwestii wizji.

Co pomoże naukowcom i inżynierom w rozwoju kariery

Pojawiło się wiele nowych narzędzi do pracy z danymi. Niewiele osób zna je wszystkie równie dobrze.

Wiele firm nie jest gotowych zatrudniać pracowników bez doświadczenia. Jednak kandydaci z minimalną bazą i znajomością podstaw popularnych narzędzi mogą zdobyć potrzebne doświadczenie, jeśli będą się samodzielnie uczyć i rozwijać.

Przydatne cechy dla inżyniera danych i data scientist

Chęć i umiejętność uczenia sięNie trzeba od razu gonić za doświadczeniem lub zmieniać pracy z powodu nowego narzędzia, ale trzeba być gotowym na przeskok w nową dziedzinę.

Dążenie do automatyzacji rutynowych procesówJest to ważne nie tylko dla wydajności, ale także dla utrzymania wysokiej jakości danych i szybkości dostarczania ich do odbiorcy.

Dokładność i rozumienie "co kryje się pod maską" procesówSzybciej rozwiązuje problem ten specjalista, który ma doświadczenie i dogłębną znajomość procesów.

Oprócz doskonałej znajomości algorytmów, struktur danych i procesów, trzeba nauczyć się myśleć produktami — widzieć architekturę i rozwiązania biznesowe jako jedną całość.

Na przykład, warto wziąć jakiś znany serwis i wymyślić dla niego bazę danych. Następnie pomyśleć, jak opracować ETL i DW, które ją wypełnią danymi, jacy będą konsumenci i co jest dla nich ważne w danych, a także jak klienci wchodzą w interakcje z aplikacjami: w poszukiwaniu pracy i randkach, wynajem samochodów, aplikacja do podcastów, platforma edukacyjna.

Stanowiska analityka, data scientisty i inżyniera są bardzo bliskie, dlatego przejście z jednego kierunku do drugiego jest prostsze niż z innych dziedzin.

W każdym razie posiadacze jakiegokolwiek zaplecza IT będą mieli łatwiej niż ci, którzy go nie mają. Średnio dorośli zmotywowani ludzie zmieniają swoje umiejętności i pracę co 1,5–2 lata. Łatwiej osiągają to ci, którzy uczą się w grupie i z mentorem, w porównaniu z tymi, którzy polegają tylko na otwartych źródłach.