Data Engineer и Data Scientist: каква всъщност е разликата?

Професиите Data Scientist и Data Engineer често се бъркат. Всяка компания има своя специфика в работата с данни, различни цели за анализ и различно разбиране за това кой специалист каква част от работата трябва да извършва, поради което и изискванията варират. 

Разглеждаме разликата между тези специалисти, какви бизнес задачи решават, какви умения притежават и колко печелят. Материалът се оказа обширен, затова го разделихме на две публикации.

В първата статия, Елена Герасимова, ръководител на факултета „Data Science и аналитика“ в Нетология, разказва каква е разликата между Data Scientist и Data Engineer и с какви инструменти работят.

Как се различават ролите на инженерите и сайентистите

Инженерът на данни е специалист, който от една страна разработва, тества и поддържа инфраструктурата за работа с данни: бази данни, хранилища и системи за обработка на големи обеми. От друга страна, той е този, който почиства и "подрежда" данните за използване от анализаторите и дата-сайентистите, т.е. създава конвейери за обработка на данни.

Data Scientist създава и обучава предиктивни (и не само) модели с помощта на алгоритми за машинно обучение и невронни мрежи, помагайки на бизнеса да открива скрити закономерности, прогнозира развитието на събитията и оптимизира ключови бизнес процеси.

Основната разлика между Data Scientist и Data Engineer е, че обикновено те имат различни цели. И двамата работят, за да данните да бъдат достъпни и качествени. Но Data Scientist намира отговори на своите въпроси и проверява хипотези в екосистемата от данни (например на основата на Hadoop), докато Data Engineer създава пайплайн за обслужване на алгоритъма за машинно обучение, написан от дата-сайентиста, в клъстера Spark в рамките на същата екосистема. 

Инженерът на данни носи стойност на бизнеса, работейки в екип. Неговата задача е да бъде важен елемент между различните участници: от разработчици до бизнес потребители на отчетите, и да повиши продуктивността на анализаторите — от маркетинговите и продуктовите до BI. 

Data Scientist, от друга страна, активно участва в стратегията на компанията и извличането на инсайти, вземането на решения, внедряването на алгоритми за автоматизация, моделиране и генериране на стойност от данните.


Работата с данни подлежи на принципа GIGO (garbage in — garbage out): ако аналитиците и датасайентистите работят с неподготвени и потенциално некоректни данни, то резултатите дори с помощта на най-сложните алгоритми за анализ ще бъдат неверни. 

Данните инженери решават този проблем, изграждайки пайплайни за обработка, почистване и трансформация на данни, позволявайки на датасайентиста да работи с качествени данни. 

На пазара има много инструменти за работа с данни, които обхващат всеки един етап: от появата на данните до извеждането им на табло за съвета на директорите. И е важно решението за тяхната употреба да бъде взето от инженера, не защото е модерно, а защото наистина ще помогне на останалите участници в процеса. 

Условно: ако на компаниите им е нужно да свържат BI и ETL — зареждане на данни и обновления на отчети, ето типичната легаси основа, с която ще трябва да се справи Data Engineer (добре е, ако в екипа освен него има и архитект).

Отговорности на Data Engineer

• Разработка, изграждане и поддържане на инфраструктура за работа с данни.
• Обработка на грешки и създаване на надеждни конвейери за обработка на данни.
• Привеждане на неструктурирани данни от различни динамични източници в форма, необходима за работа на аналитиците.
• Предоставяне на препоръки за повишаване на консистентността и качеството на данните.
• Осигуряване и поддържане на архитектурата на данни, използвана от датасайентистите и аналитиците на данни.
• Обработка и съхранение на данни последователно и ефективно в разпределен клъстер от десетки или стотици сървъри.
• Оценка на техническите компромиси на инструментите за създаване на прости, но надеждни архитектури, които да могат да издържат на неизправности.
• Контрол и поддръжка на потоците от данни и свързаните системи (настройка на мониторинга и алармите).

Съществува още една специализация в рамките на траекторията на Data Engineer — ML engineer. Накратко, тези инженери се специализират в довеждането на модели за машинно обучение до индустриално внедряване и използване. Често моделът, предоставен от датасайентиста, е част от изследването и може да не работи в реални условия.

Отговорности на Data Scientist

• Извличане на признаци от данни за приложението на алгоритми за машинно обучение.
• Използване на различни инструменти за машинно обучение за предсказване и класифициране на модели в данни.
• Увеличаване на производителността и точността на алгоритмите за машинно обучение чрез прецизно настройване и оптимизиране на алгоритмите.
• Сформиране на „силни“ хипотези в съответствие с стратегията на компанията, които трябва да бъдат проверени.

И Data Engineer, и Data Scientist споделят осезаем принос в развитието на културата на работа с данни, чрез която компанията може да генерира допълнителни приходи или да намалява разходите.

С кои езици и инструменти работят инженерите и сайентистите?

Днес очакванията от специалистите по обработка на данни се промениха. Преди инженерите събираха големи SQL заявки, ръчно писаха MapReduce и обработваха данни с помощта на инструменти като Informatica ETL, Pentaho ETL, Talend. 

През 2020 година специалистът не може да мине без познания по Python и съвременни инструменти за изчисления (например Airflow), както и без разбирателство относно принципите на работа с облачни платформи (използването им за спестяване на разходи за "железо", при спазване на принципите на безопасност).

SAP, Oracle, MySQL, Redis — това са традиционните инструменти за инженери на данни в големи компании. Те са добри, но цената на лицензите е толкова висока, че обучението за работа с тях има смисъл само в индустриални проекти. В същото време има безплатна алтернатива под формата на Postgres — той е безплатен и подходящ не само за обучение. 

Исторически, заявката за Java и Scala е често срещана, въпреки че с развитието на технологиите и подходите, тези езици губят значение.

Все пак, хардкорната BigData: Hadoop, Spark и другите инструменти не са вече задължително условие за инженер на данни, а вид инструменти за решаване на задачи, които не могат да бъдат решени с традиционен ETL. 

В тенденцията са услуги за използване на инструменти без знание на езика, на който са написани (например, Hadoop без познаване на Java), а също така предоставяне на готови услуги за обработка на потокови данни (разпознаване на глас или образи на видео).

Популярни са индустриалните решения от SAS и SPSS, като Tableau, Rapidminer, Stata и Julia също се използват широко от дата-сайентистите за локални задачи.

Възможността сами да изграждат пайплайни се появи при анализаторите и дата-сайентистите само преди няколко години: например, вече може с относително прости скриптове да се насочват данни към хранилище, базирано на PostgreSQL. 

Обикновено използването на конвейери и интегрирани структури от данни остава в ръцете на дата-инженерите. Но днес тенденцията за Т-образни специалисти — с широки компетенции в съседни области, е по-силна от всякога, защото инструментите непрекъснато се опростяват.

Защо Data Engineer и Data Scientist да работят заедно

Работейки в тясно сътрудничество с инженери, Data Scientist-ите могат да се фокусират върху изследователската част, създавайки готови за работа алгоритми за машинно обучение.
А инженерите — да се фокусират върху мащабируемостта, повторната употреба на данни и да гарантират, че пайплайните за вход и изход на данни в всеки конкретен проект отговарят на глобалната архитектура.

Това разделение на задълженията осигурява съгласуваност на действията между групите специалисти, работещи по различни проекти за машинно обучение. 

Сътрудничеството помага за ефективното създаване на нови продукти. Скоростта и качеството се постигат благодарение на баланса между създаването на услуга за всички (глобално хранилище или интеграция на табла) и реализирането на конкретна нужда или проект (специализиран пайплайн, свързване на външни източници). 

Тясната работа с дата-сайентистите и анализаторите помага на инженери да развиват аналитични и изследователски умения за написване на по-качествен код. Подобрява се обменът на знания между потребителите на хранилища и озера от данни, което прави проектите по-гъвкави и осигурява по-устойчиви дългосрочни резултати.

В компании, които си поставят за цел развитие на културата на работа с данни и изграждане на бизнес процеси на тяхна основа, Data Scientist и Data Engineer се допълват и създават цялостна система за анализ на данни. 

В следващия материал ще разкажем за образованието на Data Engineer и Data Scientists, какви умения трябва да развиват и как е устроен пазарът.

От редакцията на Нетология

Ако се интересувате от професията Data Engineer или Data Scientist, поканваме ви да разгледате програмите на нашите курсове:

• Професия «Data-инженер».  
• Професия «Data Scientist».

Източник: habr.com