Инженер за податоци и научник за податоци: Која е разликата?

Професиите на научник за податоци и инженер за податоци често се збунети. Секоја компанија има свои специфики за работа со податоци, различни цели за нивна анализа и различна идеја за тоа кој специјалист треба да се занимава со кој дел од работата, затоа секоја има свои барања. 

Ајде да откриеме која е разликата помеѓу овие специјалисти, кои деловни проблеми решаваат, какви вештини имаат и колку заработуваат. Материјалот се покажа голем, па го поделивме на две публикации.

Во првата статија, Елена Герасимова, раководител на факултетот „Наука за податоци и аналитика" во Нетологија, кажува која е разликата помеѓу научник за податоци и инженер за податоци и со кои алатки работат.

Како се разликуваат улогите на инженерите и научниците

Инженер за податоци е специјалист кој, од една страна, развива, тестира и одржува инфраструктура на податоци: бази на податоци, системи за складирање и масовна обработка. Од друга страна, тоа е оној кој ги чисти и „чешла“ податоците за употреба од страна на аналитичарите и научниците за податоци, односно создава цевководи за обработка на податоци.

Data Scientist создава и тренира предвидливи (и други) модели користејќи алгоритми за машинско учење и невронски мрежи, помагајќи им на бизнисите да најдат скриени обрасци, да предвидат развој и да ги оптимизираат клучните деловни процеси.

Главната разлика помеѓу научник за податоци и инженер за податоци е тоа што тие обично имаат различни цели. И двете работат за да се осигураат дека податоците се достапни и со висок квалитет. Но, научник за податоци наоѓа одговори на неговите прашања и тестира хипотези во екосистем на податоци (на пример, базиран на Hadoop), а инженерот за податоци создава цевковод за сервисирање на алгоритам за машинско учење напишан од научник за податоци во кластерот Spark во истиот екосистем. 

Инженерот за податоци носи вредност на бизнисот работејќи како дел од тим. Неговата задача е да дејствува како важна врска помеѓу различни учесници: од развивачи до деловни корисници на известување и да ја зголеми продуктивноста на аналитичарите, од маркетинг и производ до БИ. 

Научникот за податоци, напротив, зема активно учество во стратегијата на компанијата и извлекување увиди, донесување одлуки, имплементирање на алгоритми за автоматизација, моделирање и генерирање вредност од податоците.


Работата со податоци е предмет на принципот GIGO (ѓубре во - ѓубре надвор): ако аналитичарите и научниците за податоци се занимаваат со неподготвени и потенцијално неточни податоци, тогаш резултатите дури и со користење на најсофистицираните алгоритми за анализа ќе бидат неточни. 

Инженерите за податоци го решаваат овој проблем со изградба на цевководи за обработка, чистење и трансформирање на податоците и дозволувајќи им на научниците за податоци да работат со висококвалитетни податоци. 

Постојат многу алатки на пазарот за работа со податоци кои ја покриваат секоја фаза: од појава на податоци до излез до контролна табла за одборот на директори. И важно е одлуката за нивно користење да ја донесе инженер - не затоа што е модерно, туку затоа што навистина ќе им помогне на работата на другите учесници во процесот. 

Конвенционално: ако компанијата треба да воспостави врски помеѓу BI и ETL - вчитување податоци и ажурирање извештаи, тука е типичната наследна основа со која ќе треба да се справи инженерот за податоци (добро е ако има и архитект во тимот).

Одговорности на инженер за податоци

• Развој, изградба и одржување на инфраструктура за обработка на податоци.
• Ракување со грешки и создавање на сигурни цевководи за обработка на податоци.
• Донесување на неструктурирани податоци од различни динамични извори во форма неопходна за работата на аналитичарите.
• Обезбедување препораки за подобрување на конзистентноста и квалитетот на податоците.
• Обезбедување и одржување на архитектурата на податоци што ја користат научниците за податоци и аналитичарите на податоци.
• Обработете ги и складирајте податоците доследно и ефикасно во дистрибуиран кластер од десетици или стотици сервери.
• Оценете ги техничките компромиси на алатките за да создадете едноставни, но цврсти архитектури кои можат да преживеат прекини.
• Контрола и поддршка на тековите на податоци и поврзаните системи (поставување мониторинг и предупредувања).

Постои уште една специјализација во рамките на траекторијата Data Engineer - ML engineer. Накратко, овие инженери се специјализирани да ги доведат моделите за машинско учење во индустриска имплементација и употреба. Честопати, модел добиен од научник за податоци е дел од студија и може да не работи во борбени услови.

Одговорности на научник за податоци

• Извлекување карактеристики од податоци за примена на алгоритми за машинско учење.
• Користење на различни алатки за машинско учење за предвидување и класификација на обрасците во податоците.
• Подобрување на перформансите и точноста на алгоритмите за машинско учење со фино подесување и оптимизирање на алгоритмите.
• Формирање на „силни“ хипотези во согласност со стратегијата на компанијата кои треба да се тестираат.

И Data Engineer и Data Scientist споделуваат опиплив придонес во развојот на културата на податоци, преку која компанијата може да генерира дополнителен профит или да ги намали трошоците.

Со кои јазици и алатки работат инженерите и научниците?

Денес, очекувањата за научниците за податоци се сменија. Претходно, инженерите собираа големи SQL прашања, рачно пишуваа MapReduce и обработуваа податоци користејќи алатки како што се Informatica ETL, Pentaho ETL, Talend. 

Во 2020 година, специјалист не може без познавање на Python и современи алатки за пресметување (на пример, Airflow), разбирање на принципите на работа со облак платформи (користејќи ги за заштеда на хардвер, притоа почитувајќи ги безбедносните принципи).

SAP, Oracle, MySQL, Redis се традиционални алатки за инженери за податоци во големите компании. Тие се добри, но цената на лиценците е толку висока што учењето да се работи со нив има смисла само во индустриски проекти. Во исто време, постои бесплатна алтернатива во форма на Postgres - таа е бесплатна и погодна не само за обука. 

Историски гледано, барањата за Java и Scala често се наоѓаат, иако како што се развиваат технологиите и пристапите, овие јазици исчезнуваат во позадина.

Сепак, хардкор BigData: Hadoop, Spark и остатокот од зоолошката градина веќе не е предуслов за инженер за податоци, туку еден вид алатки за решавање на проблеми кои не можат да се решат со традиционалниот ETL. 

Во тренд се услугите за користење алатки без познавање на јазикот на кој се напишани (на пример, Hadoop без познавање на Java), како и обезбедување на готови услуги за обработка на стриминг податоци (препознавање глас или препознавање слика на видео ).

Индустриските решенија од SAS и SPSS се популарни, додека Tableau, Rapidminer, Stata и Julia исто така широко се користат од научниците за податоци за локални задачи.

Способноста да се градат самите цевководи им се појави на аналитичарите и научниците за податоци пред само неколку години: на пример, веќе е возможно да се испратат податоци до складиште базирано на PostgreSQL користејќи релативно едноставни скрипти. 

Вообичаено, употребата на цевководи и интегрирани структури на податоци останува одговорност на инженерите за податоци. Но, денес, трендот за специјалисти во форма на Т со широки компетенции во сродни области е посилен од кога било, бидејќи алатките постојано се поедноставуваат.

Зошто инженерот за податоци и научникот за податоци работат заедно

Со тесна соработка со инженерите, Data Scientists можат да се фокусираат на истражувачката страна, создавајќи алгоритми за машинско учење подготвени за производство.
И инженерите треба да се фокусираат на приспособливост, повторна употреба на податоци и да се осигураат дека цевководите за влез и излез на податоци во секој поединечен проект се усогласени со глобалната архитектура.

Оваа поделба на одговорностите обезбедува конзистентност меѓу тимовите кои работат на различни проекти за машинско учење. 

Соработката помага ефикасно да се создадат нови производи. Брзината и квалитетот се постигнуваат преку рамнотежа помеѓу создавање услуга за секого (глобално складирање или интеграција на контролни табли) и спроведување на секоја специфична потреба или проект (високо специјализиран гасовод, поврзување на надворешни извори). 

Тесната соработка со научниците и аналитичарите за податоци им помага на инженерите да развијат аналитички и истражувачки вештини за да напишат подобар код. Споделувањето на знаењето меѓу корисниците на складиштата и езерата на податоци се подобрува, што ги прави проектите поагилни и обезбедувајќи поодржливи долгорочни резултати.

Во компаниите кои имаат за цел да развијат култура на работа со податоци и градење деловни процеси врз основа на нив, Data Scientist и Data Engineer се надополнуваат и создаваат комплетен систем за анализа на податоци. 

Во следната статија ќе зборуваме за какво образование треба да има инженерот за податоци и научниците за податоци, кои вештини треба да ги развијат и како функционира пазарот.

Од уредниците на Нетологија

Ако ја гледате професијата инженер за податоци или научник за податоци, ве покануваме да ги проучувате нашите курсеви програми:

• Професија“Инженер за податоци".  
• Професија“Податоци научник".

Извор: www.habr.com