🥇Data Engineer og Data Scientist: Hvad de kan og hvad de tjener

Sammen med Elena Gerasimova, lederen af fakultetet "Data Science og analyse" hos Netology fortsætter vi med at undersøge, hvordan Data Scientist og Data Engineer interagerer med hinanden og hvilke forskelle der er imellem dem.

I første del fortalte vi om de grundlæggende forskelle mellem Data Scientist og Data Engineer.

I dette materiale vil vi tale om, hvilke viden og færdigheder specialisterne skal have, hvilken uddannelse der værdsættes af arbejdsgivere, hvordan jobsamtaler forløber, samt hvor meget dataingeniører og dataforskere tjener.

Hvad skal forskere og ingeniører vide

En relevant uddannelse for begge specialister er Computer Science.

Enhver dataspesialist - data scientist eller analytiker - skal kunne bevise korrektheden af deres konklusioner. For dette kræves det at have indsigt i statistik og basal matematik relateret til statistik.

Maskinlæring og analyseværktøjer er uundgåelige i den moderne verden. Hvis de sædvanlige værktøjer ikke er tilgængelige, skal man have færdigheder i hurtig læring af nye værktøjer, oprettelse af enkle scripts til automatisering af opgaver.

Det er vigtigt at bemærke, at en dataspesialist skal kunne kommunikere resultaterne af analysen effektivt. Til dette hjælper data visualisering eller resultaterne af udførte undersøgelser og hypotesetest. Specialister skal kunne oprette diagrammer og grafer, bruge visualiseringsværktøjer, forstå og forklare data fra dashboards.

For en dataingeniør er tre retninger i fokus.

Algoritmer og datastrukturer. Det er vigtigt at få erfaring med at skrive kode og anvende de grundlæggende strukturer og algoritmer:

analyse af algoritmers kompleksitet,
evnen til at skrive klar og vedligeholdelsesvenlig kode,
batch-behandling,
behandling i realtid.

Databaser og datalagre, Business Intelligence:

Opbevaring og behandling af data,
design af integrerede systemer,
Data Ingestion,
fordelte filsystemer.

Hadoop og Big Data. Mængden af data vokser, og inden for 3-5 år vil disse teknologier blive nødvendige for hver ingeniør. Plus:

Data Lakes,
arbejde med cloud-udbydere.

Maskinlæring vil blive brugt overalt, og det er vigtigt at forstå, hvilke forretningsopgaver det vil kunne løse. Det er ikke nødvendigt at kunne lave modeller (det klarer dataforskere), men det er nødvendigt at forstå deres anvendelse og de relevante krav.

Hvor meget tjener ingeniører og forskere

Indkomsten for datareporteringsingeniører

I den internationale praksis er den begyndelsesløn normalt $100.000 om året og stiger betydeligt med erfaring, ifølge Glassdoor. Derudover tilbyder virksomheder ofte aktieoptioner og bonusser på 5‒15% årligt.

I Rusland er begyndelseslønnen normalt ikke mindre end 50.000 rubler i regionerne og 80.000 i Moskva. På dette stadium kræves der ikke erfaring, bortset fra gennemført træning.

Efter 1‒2 års arbejde er intervallet 90‒100.000 rubler.

Intervallet stiger til 120‒160.000 efter 2‒5 år. Faktorer som specialisering i tidligere virksomheder, størrelsen på projekterne, arbejde med big data osv. tilføjes.

Efter 5 års erfaring bliver det lettere at søge job i tilstødende afdelinger eller ansøge om sådan specialiserede stillinger som:

Arkitekt eller senior udvikler i en bank eller telekom — omkring 250.000.

Pre-Sales hos en leverandør, hvis teknologi du har arbejdet mest med — 200.000 plus mulig bonus (1‒1,5 millioner rubler).

Eksperter i implementering af enterprise business applications som SAP — op til 350.000.

Indtægt for data-scientister

Undersøgelse af analytikerne fra firmaet 'Normale undersøgelser' og rekrutteringsbureauet New.HR viser, at Data Science-specialister i gennemsnit tjener en højere løn end analytikere inden for andre fagområder.

I Rusland er begyndelseslønnen for data-scientister med mindre end et års erfaring — fra 113.000 rubler.

Som erfaring tæller også gennemførte uddannelsesprogrammer nu.

Efter 1‒2 år kan en sådan specialist allerede tjene op til 160.000.

For medarbejdere med 4‒5 års erfaring stiger intervallet til 310.000.

Hvordan interviews forløber

I Vesten gennemgår kandidater fra professionelle uddannelsesprogrammer deres første interview i gennemsnit 5 uger efter afslutningen af uddannelsen. Cirka 85% finder arbejde inden for 3 måneder.

Processen for at deltage i interviews til dataingeniør- og data-scientist-stillinger adskiller sig praktisk talt ikke. Den består normalt af fem trin.

CV. Ansøgere med uhensigtsmæssig tidligere erfaring (f.eks. fra marketing) skal for hver virksomhed forberede et detaljeret følgebrev eller have anbefalinger fra en repræsentant for denne virksomhed.

Teknisk screening. Finder som regel sted over telefonen. Består af en-to svære og lige så mange lette spørgsmål, der vedrører den nuværende tech-stack hos arbejdsgiveren.

HR-interview. It can take place over the phone. At this stage, the candidate is assessed for general adequacy and ability to communicate.

Technical interview. Most often conducted in person. The level of positions in the company's staffing varies, and positions may be named differently. Therefore, at this stage, technical knowledge is specifically evaluated.

Interview with the technical director / chief architect. Engineer and scientist are strategic positions, and for many companies, they are also new. It is important that a potential colleague is likable to the manager and shares similar views.

What will help scientists and engineers in career advancement

There are many new tools for working with data. However, few people are equally well-versed in all of them.

Many companies are not ready to hire employees without work experience. However, candidates with a minimal foundation and knowledge of popular tools can gain the necessary experience through self-study and development.

Useful qualities for a data engineer and data scientist

A desire and ability to learn. It is not necessary to immediately chase experience or change jobs for a new tool, but one must be prepared to switch to a new area.

A drive for automating routine processes. This is important not only for productivity but also for maintaining high data quality and speed of delivery to consumers.

Attention to detail and understanding what is 'under the hood' of processes. A specialist with broad exposure and in-depth knowledge of processes will solve tasks more quickly.

In addition to excellent knowledge of algorithms, data structures, and pipelines, you need to learn to think in products — to see architecture and business solutions as a unified picture.

For example, it is useful to take any well-known service and devise a database for it. Then think about how to develop ETL and DW that will fill it with data, what consumers there will be, what is important for them to know about the data, and how customers interact with applications: for job searching and networking, car rentals, podcast applications, educational platforms.

Positionerne som analytiker, data scientist og ingeniør er meget tætte, hvorfor det er nemmere at skifte mellem disse retninger end fra andre områder.

Uanset hvad, vil folk med enhver IT-baggrund have lettere ved det end dem uden. I gennemsnit skifter voksne motiverede personer job og omskoler sig hver 1,5-2 år. Det er lettere for dem, som lærer i grupper og med en mentor, sammenlignet med dem, der kun stoler på åbne kilder.