Data Engineer и Data Scientist: какво умеят и колко печелят

Заедно с Елена Герасимова, ръководител на факултет "Data Science и аналитика" в Нетология продължаваме да разглеждаме как взаимодействат помежду си и с какво се различават Data Scientist и Data Engineer.

В първата част разказахме за основните разлики между Data Scientist и Data Engineer..

В този материал ще говорим за знанията и уменията, които специалистите трябва да притежават, какво образование ценят работодателите, как преминават интервютата, а също така колко печелят дата-инженерите и дата-сайентистите. 

Какво трябва да знаят сайентистите и инженерите

Специализираното образование за двамата специалисти е Computer Science.

Всеки специалист по данни — дата-сайентист или аналитик — трябва да може да докаже правилността на своите заключения. За това не може без познания по статистика и свързаната с нея основна математика.

Машинното обучение и инструментите за анализ на данни са незаменими в съвременния свят. Ако обичайните инструменти не са налични, е нужно да се притежават умения за бързо изучаване на нови инструменти, създаване на прости скриптове за автоматизация на задачи.

Важно е да се отбележи, че специалистът по работа с данни трябва ефективно да предаде резултатите от анализа. В това ще му помогне визуализацията на данни или резултатите от проведените изследвания и проверката на хипотези. Специалистите трябва да могат да създават диаграми и графики, да използват инструменти за визуализация, да разбират и обясняват данните от таблото.

За инженера на данни на преден план излизат три направления.

Алгоритми и структури от данни. Важно е да се научите да пишете код и да използвате основните структури и алгоритми:

• анализ на комплексността на алгоритмите,
• умението да пишете разбираем, поддържан код, 
• пакетна обработка,
• обработка в реално време.

Бази и хранилища на данни, Business Intelligence:

• съхранение и обработка на данни,
• проектиране на цялостни системи,
• Data Ingestion,
• разпределени файлови системи.

Hadoop и Big Data. Данните стават все повече, и на хоризонта от 3 до 5 години тези технологии ще станат необходими за всеки инженер. Плюс:

• Data Lakes,
• работа с облачни доставчици.

Машинно обучение ще се използва навсякъде, и е важно да се разбира кои бизнес задачи ще помогне да се решат. Не е необходимо да умеете да правите модели (с това могат да се справят дата-сайентистите), но трябва да разбирате тяхното приложение и съответствие с изискванията.

Колко печелят инженерите и специалистите по данни

Доход на инженерите по обработка на данни

В международната практика началната заплата обикновено е $100 000 на година и значително се увеличава с опит, според данни от Glassdoor. Освен това, компаниите често предлагат опции за акции и годишни бонуси от 5 до 15%.

В България в началото на кариерата заплатата обикновено не е по-малко от 50 000 лв. в регионите и 80 000 в София. На този етап опитът не е задължителен, освен преминато обучение.

След 1-2 години работа – диапазонът е 90-100 хил. лв.

Диапазонът се увеличава до 120-160 хил. лв. след 2-5 години. Добавят се фактори като специализация в предишни компании, размер на проектите, работа с големи данни и други.

След 5 години работа е по-лесно да се търсят обяви за работа в съседни отдели или да се кандидатства за такива специализирани позиции като:

• Архитект или водещ разработчик в банка или телекомуникации – около 250 хил. лв.

• Pre-Sales в компания, чиято технология сте използвали най-много, – 200 хил. лв. плюс възможен бонус (от 1-1.5 млн. лв.). 

• Експерти по внедряване на Enterprise бизнес приложения, такива като SAP – до 350 хил. лв.

Доход на дата-сайентистите

Изследване на пазара на анализатори на компанията „Нормални изследвания“ и рекрутиране агенция New.HR показва, че специалистите по Data Science получават в средно по-висока заплата от анализаторите на други специалности. 

В България началната заплата на дата-сайентист с опит до година – от 113 хил. лв. 

Като опит се взема предвид и преминаването на обучителни програми.

След 1-2 години такъв специалист вече може да получава до 160 хил. лв.

За служител с опит от 4-5 години диапазонът нарасва до 310 хил. лв.

Как протичат интервютата

На запада завършващите професионални програми минават през първо интервю в средно след 5 седмици след завършването. Около 85% намират работа в рамките на 3 месеца.

Процесът на преминаване на интервюта за позиции инженер по данни и дата-сайентист практически не се различава. Обикновено се състои от пет етапа.

Резюме. Кандидатите с предишен опит, който не е свързан (например от маркетинга), трябва да подготвят подробно мотивационно писмо за всяка компания или да имат препоръки от представител на тази компания.

Технически скрининг. Обикновено се провежда по телефона. Състои се от един-два сложни и толкова също прости въпроси, свързани с текущия стек на работодателя.

HR-интервю. Може да се проведе по телефона. На този етап кандидата се проверява за обща адекватност и способност за общуване.

Техническо интервю. Най-често се провежда на място. В различните компании нивата на позициите в щатното разписание се различават и имената на позициите могат да бъдат различни. Затова на този етап се проверяват точно техническите знания.

Интервю с техническия директор / главния архитект. Инженерът и научният специалист са стратегически позиции, а за много компании също така и нови. Важно е потенциалният колега да хареса ръководителя и да съвпада с него в мнението.

Какво помага на научните специалисти и инженерите в кариерното им развитие

Появиха се доста нови инструменти за работа с данни. И малко хора разбират също толкова добре всичко. 

Много компании не са готови да наемат служители без опит. Въпреки това, кандидати с минимална база и знание на основите на популярни инструменти могат да получат необходимия опит, ако се обучават и развиват самостоятелно.

Полезни качества за дата-инженер и дата-научен специалист

Желание и умение за учене. Не е задължително веднага да се стремим към опит или да сменяме работа за нов инструмент, но трябва да сме готови да се пренасочим към нова област.

Стремеж към автоматизация на рутинни процеси. Важно е не само за производителността, но и за поддържане на високо качество на данните и бързина на тяхното доставяне до потребителя.

Внимание и разбиране на „какво се крие под капака“ на процесите. По-бързо ще реши задача специалистът, който има опит и дълбочинно познаване на процесите.

Освен отлично познаване на алгоритми, структури от данни и пайплайни, е необходимо да се научим да мислим продуктово — да виждаме архитектурата и бизнес решението като единна картина. 

Например, полезно да се вземе известен сервис и да се измисли база данни за него. След това трябва да се помисли как да се разработят ETL и DW, които да я запълнят с данни, какви ще бъдат потребителите и какво е важно за тях да знаят за данните, а също как клиентите взаимодействат с приложенията: за търсене на работа и запознанства, наем на автомобили, приложение за подкасти, образователна платформа.

Позициите на аналитика, дата-сайентиста и инженера са много близки, затова преходът от едно направление в друго може да стане по-бързо, отколкото от други сфери.

Във всеки случай, притежателите на всякакъв ИТ бекграунд ще имат по-лесно, отколкото тези, които нямат такъв. В средата, възрастни мотивирани хора се преучават и сменят работа на всеки 1,5-2 години. По-лесно е за тези, които учат в група и с наставник, в сравнение с тези, които разчитат само на открити източници.

От редакцията на Нетология

Ако се интересувате от професията Data Engineer или Data Scientist, поканваме ви да разгледате програмите на нашите курсове:

• Професия «Data-инженер».  
• Професия «Data Scientist».
• Курс «Аналитик на данни».

Източник: habr.com