Data Engineer и Data Scientist: каква е разликата?

Професиите Data Scientist и Data Engineer често се бъркат. Всяка компания има своя специфика на работа с данни, различни цели за анализа им и различна представа кой от специалистите в коя част от работата трябва да участва, следователно всяка има свои изисквания. 

Ние разбираме каква е разликата между тези специалисти, какви бизнес задачи решават, какви умения имат и колко печелят. Материалът се оказа голям, затова беше разделен на две публикации.

В първата статия Елена Герасимова, ръководител на факултета "Наука за данни и анализ” в Netology, разказва каква е разликата между Data Scientist и Data Engineer и с какви инструменти работят.

Как се различават ролите на инженерите и учените?

Инженерът по данни е специалист, който, от една страна, разработва, тества и поддържа инфраструктурата за работа с данни: бази данни, хранилища и системи за масова обработка. От друга страна, това е този, който почиства и „сресва“ данни за използване от анализатори и специалисти по данни, тоест създава тръбопроводи за обработка на данни.

Data Scientist създава и обучава предсказуеми (и повече) модели, използвайки алгоритми за машинно обучение и невронни мрежи, като помага на бизнеса да намери скрити модели, да предвиди развитието и да оптимизира ключови бизнес процеси.

Основната разлика между Data Scientist и Data Engineer е, че те обикновено имат различни цели. И двете работят, за да поддържат данните достъпни и с високо качество. Но Data Scientist намира отговори на своите въпроси и тества хипотези в екосистемата за данни (например базирана на Hadoop), а Data Engineer създава сервизен канал за алгоритъма за машинно обучение, написан от специалиста по данни в клъстер на Spark в рамките на същия екосистема. 

Инженерът по данни носи стойност на бизнеса, като работи в екип. Неговата задача е да действа като важна връзка между различни участници: от разработчиците до бизнес потребителите на отчети и да повишава производителността на анализаторите - от маркетинга и продукта до BI. 

Data Scientist, от друга страна, взема активно участие в стратегията на компанията и извличане на информация, вземане на решения, внедряване на алгоритми за автоматизация, моделиране и генериране на стойност от данните.


Работата с данни е подчинена на принципа GIGO (боклук в - боклук навън): ако анализаторите и специалистите по данни работят с неподготвени и потенциално неверни данни, тогава резултатите дори от най-сложните алгоритми за анализ ще бъдат неправилни. 

Инженерите по данни решават този проблем, като изграждат тръбопроводи за обработка, почистване и трансформиране на данни и позволяват на специалистите по данни да работят с висококачествени данни. 

На пазара има много инструменти за данни, които покриват всеки един от етапите: от появата на данните до изхода до таблото за управление на борда на директорите. И е важно решението за тяхното използване да бъде взето от инженера, не защото е модерно, а защото той наистина ще помогне на другите участници в процеса в тяхната работа. 

Условно: ако една компания трябва да се сприятели с BI и ETL - зареждане на данни и актуализиране на отчети, ето една типична наследена основа, с която ще трябва да се справи Data Engineer (добре е, ако в екипа има и архитект освен него) .

Отговорности на инженер по данни

• Разработване, изграждане и поддръжка на инфраструктура за работа с данни.
• Обработка на грешки и изграждане на надеждни канали за обработка на данни.
• Привеждане на неструктурирани данни от различни динамични източници във вида, необходим за работата на анализаторите.
• Предоставяне на препоръки за подобряване на последователността и качеството на данните.
• Осигуряване и поддържане на архитектурата на данни, използвана от специалисти по данни и анализатори на данни.
• Обработка и съхраняване на данни последователно и ефективно в разпределен клъстер от десетки или стотици сървъри.
• Оценете техническите компромиси на инструментите за създаване на прости, но стабилни архитектури, които могат да оцелеят при откази.
• Контрол и поддръжка на потоци от данни и свързани системи (настройване на мониторинг и предупреждения).

Има още една специализация в траекторията на Data Engineer - ML инженер. Накратко, тези инженери са специализирани в въвеждането на модели за машинно обучение за индустриално приемане и употреба. Често моделът на специалист по данни е част от проучване и може да не работи в битка.

Отговорности на Data Scientist

• Извличане на функции от данни за прилагане на алгоритми за машинно обучение.
• Използване на различни инструменти за машинно обучение за прогнозиране и класифициране на модели в данните.
• Подобрете производителността и точността на алгоритмите за машинно обучение чрез фина настройка и оптимизиране на алгоритмите.
• Формиране на "силни" хипотези в съответствие със стратегията на компанията, които трябва да бъдат тествани.

Както Data Engineer, така и Data Scientist комбинират осезаем принос за развитието на култура за работа с данни, чрез която една компания може да увеличи печалбите или да намали разходите.

С какви езици и инструменти работят инженерите и учените?

Днес очакванията от учените по данни са се променили. Преди това инженерите създаваха големи SQL заявки, ръчно пишеха MapReduce и обработваха данни с помощта на инструменти като Informatica ETL, Pentaho ETL, Talend. 

През 2020 г. специалист не може без познаване на Python и съвременни компютърни инструменти (например Airflow), разбиране на принципите на работа с облачни платформи (използвайки ги, за да спестите хардуер, като същевременно спазвате принципите на сигурност).

SAP, Oracle, MySQL, Redis са традиционни инструменти за инженеринг на данни в големите компании. Те са добри, но цената на лицензите е толкова висока, че има смисъл само да се научите как да работите с тях в индустриални проекти. В същото време има безплатна алтернатива в лицето на Postgres - тя е безплатна и е подходяща не само за обучение. 

В исторически план често се срещат заявки за Java и Scala, въпреки че с развитието на технологиите и подходите тези езици избледняват на заден план.

Въпреки това, хардкорът BigData: Hadoop, Spark и останалата част от зоопарка вече не е предпоставка за инженер на данни, а вид инструмент за решаване на проблеми, които традиционният ETL не може да реши. 

Тенденцията е услугите за използване на инструменти без познаване на езика, на който са написани (например Hadoop без познаване на Java), както и предоставяне на готови услуги за обработка на поточни данни (разпознаване на глас или изображения на видео).

Индустриалните решения от SAS и SPSS са популярни, докато Tableau, Rapidminer, Stata и Julia също се използват широко от специалистите по данни за локални задачи.

Анализаторите и специалистите по данни получиха възможност сами да изграждат тръбопроводи само преди няколко години: например, вече е възможно да изпращате данни до базирано на PostgreSQL хранилище със сравнително прости скриптове. 

Обикновено използването на конвейери и интегрирани структури от данни е оставено на инженерите по данни. Но днес тенденцията за Т-образни специалисти е по-силна от всякога – с широки компетенции в сродни области, защото инструментите непрекъснато се опростяват.

Защо инженер по данни и учен по данни работят заедно

Работейки в тясно сътрудничество с инженери, Data Scientist може да се съсредоточи върху изследователската страна, изграждайки алгоритми за машинно обучение, които са готови за работа.
И инженерите трябва да се съсредоточат върху мащабируемостта, повторното използване на данни и да гарантират, че входните и изходните канали за данни във всеки отделен проект са в съответствие с глобалната архитектура.

Това разделение на задълженията гарантира последователност между екипите, работещи по различни проекти за машинно обучение. 

Сътрудничеството помага за ефективното създаване на нови продукти. Скоростта и качеството се постигат чрез баланс между създаване на услуга за всеки (глобално съхранение или интеграция на таблото) и изпълнението на всяка специфична нужда или проект (високоспециализиран тръбопровод, свързване на външни източници). 

Тясната работа с учени и анализатори на данни помага на инженерите да развият аналитични и изследователски умения, за да напишат по-добър код. Споделянето на знания е подобрено между потребителите на хранилища за данни и езера от данни, което прави проектите по-гъвкави и осигурява по-устойчиви дългосрочни резултати.

В компании, които имат за цел да развият култура на работа с данни и изграждане на бизнес процеси въз основа на тях, Data Scientist и Data Engineer се допълват взаимно и създават цялостна система за анализ на данни. 

В следващата статия ще говорим за това какво образование трябва да имат Data Engineer и Data Scientists, какви умения трябва да развият и как работи пазарът.

От редакторите на Netology

Ако търсите професията Data Engineer или Data Scientist, ви каним да изучавате програмите на нашите курсове:

• Професия "Инженер по данни".  
• Професия "Data Scientist".

Източник: www.habr.com