🥇Data Engineer и Data Scientist: какво умеят и колко печелят

Заедно с Елена Герасимова, ръководителя на факултета "Data Science и аналитика" в Нетология продължаваме да разглеждаме как взаимодействат помежду си и с какво се различават Data Scientist и Data Engineer.

В първата част говорихме за основните различия между Data Scientist и Data Engineer.

В този материал ще обсъдим какви знания и умения трябва да притежават специалистите, какво образование ценят работодателите, как протичат интервютата, а също и колко печелят дата-инженерите и дата-сайентистите.

Какво трябва да знаят сайентистите и инженерите

Специално образование за двамата специалисти — Компютърни науки.

Всеки специалист по данни — дата-сайентист или аналитик — трябва да може да обосновава валидността на своите заключения. За целта не може да се мине без знания по статистика и свързаната с нея основна математика.

Машинното обучение и инструментите за анализ на данни са незаменими в съвременния свят. Ако обичайните инструменти не са налични, трябва да имате умения за бързо изучаване на нови инструменти, създаване на прости скриптове за автоматизация на задачи.

Важно е да се отбележи, че специалистът по работа с данни трябва ефективно да представя резултатите от анализа. В това му помага визуализацията на данни или резултатите от проведени изследвания и проверки на хипотези. Специалистите трябва да могат да създават диаграми и графики, да използват инструменти за визуализация, да разбират и обясняват данни от дашбордове.

За инженера по данни на преден план излизат три посоки.

Алгоритми и структури от данни. Важно е да се научите да пишете код и да използвате основните структури и алгоритми:

анализ на сложността на алгоритмите,
умение за писане на разбираем и поддържан код,
пакетна обработка,
обработка в реално време.

Бази и хранилища от данни, Business Intelligence:

съхранение и обработка на данни,
проектиране на цялостни системи,
Data Ingestion,
разпределени файлови системи.

Hadoop и Big Data. Данните нарастват с всяка изминала година, и в срок от 3‒5 години тези технологии ще станат необходими за всеки инженер. Плюс:

Data Lakes,
работа с облачни провайдери.

Машинно обучение ще се използва навсякъде и е важно да се разбере какви бизнес задачи може да реши. Не е задължително да знаеш как да правиш модели (с това ще се справят специалистите по данни), но е нужно да разбираш тяхното прилагане и съответните изисквания.

Колко получават инженерите и специалистите по данни

Доход на инженерите по обработка на данни

В международната практика началната заплата обикновено е около $100 000 на година и значително се увеличава с опита, според данни на Glassdoor. Освен това, компаниите често предлагат опции за акции и 5‒15% годишни бонуси.

В Русия в началото на кариерата заплатата обикновено е не по-малко от 50 000 рубли в регионите и 80 000 в Москва. На този етап не се изисква опит, освен преминатото обучение.

След 1‒2 години работа — заплата от 90‒100 хиляди рубли.

Заплатата нараства до 120‒160 хиляди след 2‒5 години. Включват се фактори като специализация в предишни компании, размер на проектите, работа с големи данни и др.

След 5 години работа е по-лесно да се търсят позиции в съседни отдели или да се кандидатства за такива специализирани позиции, като:

Архитект или водещ разработчик в банка или телекомуникационна компания — около 250 000.

Pre-Sales при доставчик, с технологията, с която сте работили най-активно, — 200 000 плюс възможен бонус (1‒1,5 милиона рубли).

Експерти по внедряване на корпоративни бизнес приложения, като SAP, — до 350 000.

Доход на специалистите по данни

Изследване пазара на анализатори на компанията "Нормални изследвания" и рекрутингова агенция New.HR показва, че специалистите по Data Science получават средно по-висока заплата от анализаторите на други специалности.

В Русия началната заплата на специалиста по данни с опит до година е от 113 000 рубли.

Като опит в момента се вземат предвид и преминатите обучителни програми.

След 1‒2 години такъв специалист вече може да получава до 160 000.

За служител с опит от 4‒5 години заплатата нараства до 310 000.

Как протичат интервютата

На запад завършилите професионални обучения преминават на първото интервю средно 5 седмици след завършването на курса. Около 85% намират работа в рамките на 3 месеца.

Процесът на провеждане на интервюта за позиции инженер по данни и специалист по данни практически не се различава. Обикновено включва пет етапа.

Резюме. На кандидатите с непрофилиран предишен опит (например, от маркетинг) им е необходимо да подготвят подробно мотивационно писмо за всяка компания или да имат препоръки от представител на съответната компания.

Технически скрининг. Обикновено се провежда по телефона. Състои се от един до два сложни и толкова също прости въпроса, свързани с текущия стек на работодателя.

HR интервю. Може да се проведе по телефона. На този етап кандидатът се проверява за обща адекватност и способност за комуникация.

Техническо интервю. Най-често се провежда на място. В различни компании нивото на позициите в штатното разписание е различно, а имената на позициите могат да варират. Следователно на този етап се проверяват именно техническите познания.

Интервю с техническия директор / главния архитект. Инженерът и учените са стратегически позиции, а за много компании са и нови. Важно е потенциалният колега да хареса ръководителя и да споделя с него схващания.

Какво може да помогне на учените и инженерите в кариерното им израстване

Появили се достатъчно нови инструменти за работа с данни. И малко хора разбират еднакво добре всичките.

Много компании не са готови да наемат служители без опит. Въпреки това, кандидати с минимални знания и основи на популярни инструменти могат да придобият нужния опит, ако се обучават и развиват сами.

Полезни качества за дата-инженера и дата-сайентиста

Желание и умение да учат. Не е задължително веднага да се стремят към опит или да сменят работата заради нов инструмент, но трябва да бъдат готови да преминат към нова област.

Стремеж към автоматизация на рутинните процеси. Това е важно не само за продуктивността, но и за поддържането на високо качество на данните и бързината на тяхната доставка до потребителя.

Внимание и разбиране на „какво е под капака“ в процесите. По-бързо ще реши задачата специалистът, който има опит и досконално знание на процесите.

Освен отлично познаване на алгоритми, структури от данни и пайплайни, е необходимо да се научи да мисли за продуктите — да вижда архитектурата и бизнес решението като цяло.

Например, полезно да вземете известен сервиз и да разработите база данни за него. След това помислете как да проектирате ETL и DW, които ще я напълнят с данни, кой ще бъде потребителят и какво е важно да знае за данните, както и как клиентите взаимодействат с приложения: за търсене на работа и запознанства, наемане на автомобили, приложение за подкасти, образователна платформа.

Позициите на анализатор, дата-сайентист и инженер са много близки, затова преходът от едно направление в друго става по-бързо, отколкото от други области.

Във всеки случай притежателите на какъвто и да е ИТ-бекграунд ще имат по-лесно, отколкото тези, които нямат. Средно зрелите мотивирани хора сменят профессията и работата си на всеки 1,5‒2 години. По-лесно е за тези, които учат в група и с наставник, в сравнение с тези, които разчитат само на открити източници.