Data Engineer и Data Scientist: каква е разликата?

Професиите Data Scientist и Data Engineer често се бъркат. Всяка компания има своя специфика при работа с данни, различни цели за анализ и различно разбиране кой специалист с каква част от работата трябва да се занимава, поради което и изискванията, които поставят, са различни. 

Разглеждаме каква е разликата между тези специалисти, какви бизнес задачи решават, с какви умения разполагат и колко печелят. Материалът е голям, поради което го разделихме на две публикации.

В първата статия Елена Герасимова, ръководител на факултета „Data Science и аналитикав Нетология, разказва каква е разликата между Data Scientist и Data Engineer и с какви инструменти работят.

Как се различават ролите на инженерите и сайентистите

Инженерът по данни е специалист, който, от една страна, разработва, тества и поддържа инфраструктурата за работа с данни: бази данни, хранилища и системи за масова обработка. От друга страна — той е този, който почиства и "подрежда" данните за използване от анализаторите и дата-сайентистите, тоест създава конвейери за обработка на данни.

Data Scientist създава и обучава предсказателни (и не само) модели с помощта на алгоритми за машинно обучение и невронни мрежи, помагайки на бизнеса да открива скрити закономерности, да прогнозира развитието на събития и да оптимизира ключовите бизнес процеси.

Основната разлика между Data Scientist и Data Engineer е, че обикновено те имат различни цели. И двамата работят, за да данните да бъдат достъпни и качествени. Но Data Scientist намира отговори на своите въпроси и проверява хипотези в екосистемата от данни (например на базата на Hadoop), а Data Engineer създава пайплайн за обслужване на алгоритъма за машинно обучение, написан от дата-сайентиста, в кластера Spark в рамките на същата екосистема. 

Инженерът по данни носи стойност за бизнеса, работейки в екип. Неговата задача е да бъде важна свързваща точка между различните участници: от разработчици до бизнес потребители на отчети, — и да повиши продуктивността на анализаторите — от маркетингови и продуктов до BI. 

Data Scientist, от друга страна, активно участва в стратегията на компанията и извличането на инсайти, взимането на решения, внедряването на алгоритми за автоматизация, моделиране и генериране на стойност от данни.


Работата с данни подлежи на принципа GIGO (входящи боклуци — изходящи боклуци): ако анализаторите и дата-сайентологите работят с неподготвени и потенциално некоректни данни, то резултатите, дори с най-усъвършенстваните алгоритми за анализ, ще бъдат неверни. 

Данните инженери решават този проблем, изграждайки пайплайни за обработка, почистване и трансформация на данни, позволявайки на дата-сайентологията да работи с качествени данни. 

На пазара има много инструменти за работа с данни, които покриват всеки етап: от появата на данни до изнасянето им на табло за съвета на директорите. Важно е решението за тяхното използване да бъде взето от инженера, — не защото е модерно, а защото действително ще помогне на останалите участници в процеса. 

Условно: ако на компанията е необходимо да свърже BI и ETL — зареждане на данни и актуализации на отчети, ето един типичен наследствен фундамент, с който ще трябва да се справя Data Engineer (добре е, ако в екипа има и архитект).

Задължения на Data Engineer

• Разработка, изграждане и поддръжка на инфраструктурата за работа с данни.
• Обработка на грешки и създаване на надеждни конвейери за обработка на данни.
• Преобразуване на неструктурирани данни от различни динамични източници в форма, необходима за анализа.
• Предоставяне на препоръки за повишаване на консистентността и качеството на данните.
• Осигуряване и поддръжка на архитектурата на данни, използвана от дата-сайентолозите и анализаторите на данни.
• Обработка и съхранение на данни последователно и ефективно в разпределен клъстер на десетки или стотици сървъри.
• Оценка на техническите компромиси на инструментите за изграждане на прости, но надеждни архитектури, които да могат да преживеят откази.
• Контрол и поддръжка на потоците от данни и свързаните системи (настройка на мониторинг и аларми).

Съществува още една специализация в рамките на траекторията Data Engineer — ML engineer. Накратко, такива инженери се специализират в провеждането на модели на машинно обучение до промишлено внедряване и използване. Често моделът, получен от дата-сайентолога, е част от изследването и може да не проработи в реални условия.

Задължения на Data Scientist

• Извличане на признаци от данни за прилагане на алгоритми за машинно обучение.
• Използване на различни инструменти за машинно обучение за прогнозиране и класифициране на модели в данните.
• Повишаване на производителността и точността на алгоритмите за машинно обучение чрез фина настройка и оптимизация.
• Формиране на "силни" хипотези в съответствие със стратегията на компанията, които трябва да бъдат тествани.

И Data Engineer, и Data Scientist обединява осезаем принос за развитието на културата на работа с данни, благодарение на която компанията може да генерира допълнителна печалба или да намали разходите.

С какви езици и инструменти работят инженерите и учените по данни.

Днес очакванията към специалистите по обработка на данни се променят. Преди инженерите събираха големи SQL запитвания, пишеха ръчно MapReduce и обработваха данни с инструменти като Informatica ETL, Pentaho ETL, Talend. 

През 2020 година специалистът не може без познание по Python и съвременни инструменти за изчисления (например Airflow), както и без разбиране на принципите на работа с облачни платформи (използване на тях за спестяване на разходи за "хардвер" при спазване на принципите за сигурност).

SAP, Oracle, MySQL, Redis — това са традиционни инструменти за инженер на данни в големи компании. Те са добри, но цената на лицензиите е толкова висока, че има смисъл да се учи работа с тях само в индустриални проекти. В същото време има безплатна алтернатива в лицето на Postgres — той е безплатен и е подходящ не само за обучение. 

Исторически често се среща запитване за Java и Scala, въпреки че с развитието на технологиите и подходите тези езици отстъпват на заден план.

Все пак, хардкорната BigData: Hadoop, Spark и останалата зоопаркова чаша — това вече не е задължително условие за инженера на данни, а разновидност от инструменти за решаване на задачи, които не могат да бъдат решени чрез традиционните ETL. 

На мода са услугите за използване на инструменти без познание по езика, на който са написани (например, Hadoop без знание по Java), както и предоставянето на готови услуги за обработка на потокови данни (разпознаване на глас или образи на видео).

Популярни са индустриалните решения от SAS и SPSS, като при това Tableau, Rapidminer, Stata и Julia също се използват широко от data scientist-ите за локални задачи.

Възможността сами да изграждат пайплайни се появи пред анализаторите и дата-сайентистите само преди няколко години: например, вече могат да се насочват данни към хранилище на базата на PostgreSQL с относително несложни скриптове. 

Обикновено използването на конвейери и интегрирани структури от данни остава в ръцете на дата-инженерите. Но днес, както никога досега, силно се налага тенденцията към Т-образни специалисти — с широки компетенции в съседни области, тъй като инструментите постоянно се опростяват.

Защо Data Engineer и Data Scientist трябва да работят заедно

Работейки в тясно сътрудничество с инженери, Data Scientist може да се фокусира върху изследователската част, създавайки готови за употреба алгоритми за машинно обучение.
А инженерите могат да се фокусират върху мащабируемостта, повторното използване на данни и да гарантират, че пайплайните за вход и изход на данните в всеки проект отговарят на глобалната архитектура.

Такова разделение на задълженията осигурява съгласуваност между групите специалисти, работещи върху различни проекти за машинно обучение. 

Сътрудничеството помага ефективно да се създават нови продукти. Скоростта и качеството се постигат благодарение на баланса между създаването на услуга за всички (глобално хранилище или интеграция на дашборди) и реализацията на всяка конкретна нужда или проект (узкоспециализиран пайплайн, свързване на външни източници). 

Тясната работа с дата-сайентисти и анализатори помага на инженерите да развиват аналитичните и изследователски умения за написване на по-качествен код. Подобрява се обменът на знания между потребителите на хранилища и езера от данни, което прави проектите по-гъвкави и осигурява по-устойчиви дългосрочни резултати.

В компаниите, които поставят за цел развитие на културата на работа с данни и изграждане на бизнес процеси на тяхна основа, Data Scientist и Data Engineer се допълват взаимно и създават цялостна система за анализ на данни. 

В следващия материал ще разкажем за образованието, което трябва да имат Data Engineer и Data Scientists, какви умения трябва да развиват и как е организиран пазарът.

От редакцията на Нетология

Ако се интересувате от професията на Data Engineer или Data Scientist, ви каним да разгледате програмите на нашите курсове:

• Професия «Data-инженер».  
• Професия «Data Scientist».

Източник: habr.com