Дата Енгинеер и Дата Сциентист: у чему је разлика?

Професије Дата Сциентист и Дата Енгинеер се често мешају. Свака компанија има своје специфичности рада са подацима, различите сврхе њихове анализе и другачију идеју о томе који специјалиста треба да се бави којим делом посла, па свако има своје захтеве. 

Хајде да схватимо која је разлика између ових стручњака, које пословне проблеме решавају, које вештине имају и колико зарађују. Испоставило се да је материјал обиман, па смо га поделили у две публикације.

У првом чланку, Елена Герасимова, шеф факултета “Наука о подацима и аналитика" у Нетологији, говори која је разлика између Дата Сциентист и Дата Енгинеер и са којим алатима раде.

Како се улоге инжењера и научника разликују

Инжењер података је специјалиста који, с једне стране, развија, тестира и одржава инфраструктуру података: базе података, системе за складиштење и масовну обраду. С друге стране, то је онај који чисти и „чешља“ податке које користе аналитичари и научници података, односно креира цевоводе за обраду података.

Дата Сциентист креира и обучава предиктивне (и друге) моделе користећи алгоритме машинског учења и неуронске мреже, помажући предузећима да пронађу скривене обрасце, предвиде развој и оптимизују кључне пословне процесе.

Главна разлика између Дата Сциентист и Дата Енгинеер је у томе што они обично имају различите циљеве. И један и други раде на томе да подаци буду доступни и високог квалитета. Али Дата Сциентист проналази одговоре на своја питања и тестира хипотезе у екосистему података (на пример, заснован на Хадооп-у), а инжењер података креира цевовод за сервисирање алгоритма за машинско учење који је написао научник података у Спарк кластеру унутар истог екосистема. 

Инжењер података доноси вредност послу радећи као део тима. Његов задатак је да делује као важна веза између различитих учесника: од програмера до пословних корисника извештавања, и да повећа продуктивност аналитичара, од маркетинга и производа до БИ. 

Дата Сциентист, напротив, активно учествује у стратегији компаније и извлачи увиде, доноси одлуке, имплементира алгоритаме аутоматизације, моделира и генерише вредност из података.


Рад са подацима подлеже принципу ГИГО (ђубре у - смеће напоље): ако аналитичари и научници података раде са неприпремљеним и потенцијално нетачним подацима, онда ће резултати чак и коришћењем најсофистициранијих алгоритама анализе бити нетачни. 

Инжењери података решавају овај проблем изградњом цевовода за обраду, чишћење и трансформацију података и омогућавајући научницима података да раде са висококвалитетним подацима. 

На тржишту постоји много алата за рад са подацима који покривају сваку фазу: од изгледа података до излаза до контролне табле за управни одбор. И важно је да одлуку о њиховој употреби донесе инжењер - не зато што је то модерно, већ зато што ће он заиста помоћи раду других учесника у процесу. 

Конвенционално: ако компанија треба да успостави везе између БИ и ЕТЛ-а – учитавање података и ажурирање извештаја, ево типичне застареле основе са којом ће инжењер података морати да се бави (добро је ако у тиму постоји и архитекта).

Одговорности инжењера података

• Развој, изградња и одржавање инфраструктуре за обраду података.
• Руковање грешкама и креирање поузданих цевовода за обраду података.
• Довођење неструктурираних података из различитих динамичких извора у форму неопходну за рад аналитичара.
• Пружање препорука за побољшање конзистентности и квалитета података.
• Обезбеђивање и одржавање архитектуре података коју користе научници података и аналитичари података.
• Обрадите и складиштите податке доследно и ефикасно у дистрибуираном кластеру од десетина или стотина сервера.
• Процените техничке компромисе алата за креирање једноставних, али робусних архитектура које могу преживети поремећаје.
• Контрола и подршка токова података и повезаних система (подешавање надзора и упозорења).

Постоји још једна специјализација у оквиру путање Дата Енгинеер - МЛ инжењер. Укратко, ови инжењери су специјализовани за довођење модела машинског учења у индустријску имплементацију и употребу. Често је модел добијен од научника за податке део студије и можда неће радити у условима борбе.

Одговорности стручњака за податке

• Издвајање функција из података за примену алгоритама машинског учења.
• Коришћење различитих алата за машинско учење за предвиђање и класификацију образаца у подацима.
• Побољшање перформанси и тачности алгоритама машинског учења финим подешавањем и оптимизацијом алгоритама.
• Формирање „јаких“ хипотеза у складу са стратегијом компаније које треба тестирати.

И Дата Енгинеер и Дата Сциентист деле опипљив допринос развоју културе података, преко које компанија може да генерише додатни профит или смањи трошкове.

Са којим језицима и алатима раде инжењери и научници?

Данас су се очекивања за научнике података променила. Раније су инжењери прикупљали велике СКЛ упите, ручно писали МапРедуце и обрађивали податке користећи алате као што су Информатица ЕТЛ, Пентахо ЕТЛ, Таленд. 

У 2020. специјалиста не може без познавања Пајтона и савремених алата за прорачун (на пример, Аирфлов), разумевања принципа рада са платформама у облаку (користећи их за уштеду на хардверу, уз поштовање принципа безбедности).

САП, Орацле, МиСКЛ, Редис су традиционални алати за инжењере података у великим компанијама. Они су добри, али цена лиценци је толико висока да учење рада са њима има смисла само у индустријским пројектима. Истовремено, постоји бесплатна алтернатива у облику Постгреса - бесплатна је и погодна не само за обуку. 

Историјски гледано, често се налазе захтеви за Јаву и Сцалу, иако како се технологије и приступи развијају, ови језици бледе у позадини.

Међутим, хардцоре БигДата: Хадооп, Спарк и остатак зоолошког врта више није предуслов за инжењера података, већ нека врста алата за решавање проблема који се не могу решити традиционалним ЕТЛ-ом. 

У тренду су сервиси за коришћење алата без познавања језика на којем су написани (нпр. Хадооп без знања Јаве), као и пружање готових сервиса за обраду стримованих података (препознавање гласа или препознавање слике на видео снимку). ).

Индустријска решења из САС-а и СПСС-а су популарна, док Таблеау, Рапидминер, Стата и Јулиа такође нашироко користе научници података за локалне задатке.

Могућност да сами граде цевоводе појавила се аналитичарима и научницима за податке пре само неколико година: на пример, већ је могуће слати податке у складиште засновано на ПостгреСКЛ-у користећи релативно једноставне скрипте. 

Типично, употреба цевовода и интегрисаних структура података остаје одговорност инжењера података. Али данас је тренд за специјалисте у облику слова Т са широким компетенцијама у сродним областима јачи него икада, јер се алати стално поједностављују.

Зашто инжењер података и научник података раде заједно

Блиском сарадњом са инжењерима, научници података могу да се фокусирају на истраживачку страну, креирајући алгоритме машинског учења спремне за производњу.
А инжењери треба да се фокусирају на скалабилност, поновну употребу података и обезбеђивање да су цевоводи за унос и излаз података у сваком појединачном пројекту у складу са глобалном архитектуром.

Ова подела одговорности обезбеђује доследност у тимовима који раде на различитим пројектима машинског учења. 

Сарадња помаже да се ефикасно креирају нови производи. Брзина и квалитет се постижу балансом између креирања услуге за свакога (глобално складиштење или интеграција контролних табли) и имплементације сваке специфичне потребе или пројекта (високо специјализовани цевовод, повезивање екстерних извора). 

Блиска сарадња са научницима и аналитичарима података помаже инжењерима да развију аналитичке и истраживачке вештине за писање бољег кода. Размена знања међу корисницима складишта и језера података се побољшава, чинећи пројекте агилнијим и дајући одрживије дугорочне резултате.

У компанијама које имају за циљ да развију културу рада са подацима и граде пословне процесе засноване на њима, Дата Сциентист и Дата Енгинеер се допуњују и креирају комплетан систем анализе података. 

У следећем чланку ћемо говорити о томе какво образовање треба да имају Дата Енгинеер и Дата Сциентистс, које вештине треба да развију и како функционише тржиште.

Од уредника Нетологије

Ако тражите професију Дата Енгинеер или Дата Сциентист, позивамо вас да проучавате наше програме курсева:

• професија"Инжењер података'.  
• професија"Дата Сциентист'.

Извор: ввв.хабр.цом