Муҳандиси маълумот ва олими маълумот: фарқият дар чист?

Касбҳои олими маълумот ва муҳандиси маълумот аксар вақт ошуфта мешаванд. Ҳар як ширкат дорои хусусиятҳои хоси кор бо маълумот, мақсадҳои гуногуни таҳлили онҳо ва ақидаи гуногун дар бораи он, ки кадом мутахассис бояд бо кадом қисми кор сарукор дошта бошад, аз ин рӯ ҳар кадоми онҳо талаботи худро дорад. 

Биёед бифаҳмем, ки фарқияти байни ин мутахассисон чӣ гуна аст, онҳо кадом мушкилоти тиҷоратро ҳал мекунанд, кадом малакаҳо доранд ва чӣ қадар пул мегиранд. Материал калон баромад, бинобар ин мо онро ба ду нашрия таксим кардем.

Дар маколаи якум Елена Герасимова, мудири кафедраи «Илми маълумот ва таҳлил" дар Netology мегӯяд, ки фарқияти байни як олими маълумот ва муҳандиси додаҳо чист ва онҳо бо кадом асбобҳо кор мекунанд.

Роли муҳандисон ва олимон чӣ гуна фарқ мекунанд

Муҳандиси додаҳо мутахассисест, ки аз як тараф инфрасохтори додаҳоро таҳия, озмоиш ва нигоҳдорӣ мекунад: пойгоҳи додаҳо, системаҳои нигоҳдорӣ ва коркарди омма. Аз тарафи дигар, маҳз ҳамон касест, ки маълумотро барои истифода аз ҷониби таҳлилгарон ва олимони маълумот тоза ва "шона" мекунад, яъне қубурҳои коркарди маълумотро эҷод мекунад.

Data Scientist бо истифода аз алгоритмҳои омӯзиши мошинсозӣ ва шабакаҳои нейронӣ моделҳои пешгӯишаванда (ва дигар) эҷод ва таълим медиҳад, ки ба тиҷорат дар ёфтани намунаҳои пинҳон, пешгӯии пешрафтҳо ва оптимизатсияи равандҳои асосии тиҷорат кӯмак мекунад.

Фарқи асосии байни олими маълумот ва муҳандиси маълумот дар он аст, ки онҳо одатан ҳадафҳои гуногун доранд. Ҳарду барои таъмини дастрас будани маълумот ва сифати баланд кор мекунанд. Аммо як олими маълумот ба саволҳои худ ҷавоб меёбад ва гипотезаҳоро дар экосистемаи додаҳо месанҷад (масалан, дар асоси Hadoop) ва муҳандиси додаҳо лӯлаи хидматрасонии алгоритми омӯзиши мошинро эҷод мекунад, ки аз ҷониби як олими маълумот дар кластери Spark дар дохили ҳамон як олим навишта шудааст. экосистема. 

Муҳандиси маълумот тавассути кор дар як гурӯҳ ба тиҷорат арзиш меорад. Вазифаи он аз он иборат аст, ки ҳамчун як пайванди муҳим байни иштирокчиёни гуногун: аз таҳиягарон то истеъмолкунандагони тиҷоратии ҳисоботдиҳӣ ва баланд бардоштани ҳосилнокии таҳлилгарон, аз маркетинг ва маҳсулот то BI. 

Баръакс, олими маълумот дар стратегияи ширкат ва истихроҷи фаҳмиш, қабули қарорҳо, татбиқи алгоритмҳои автоматикунонӣ, моделсозӣ ва тавлиди арзиш аз додаҳо фаъолона иштирок мекунад.


Кор бо додаҳо ба принсипи GIGO (garbage in - garbage out) вобаста аст: агар таҳлилгарон ва олимони маълумот бо маълумоти омодананашуда ва эҳтимолан нодуруст кор кунанд, натиҷаҳо ҳатто бо истифода аз алгоритмҳои мураккабтарини таҳлил нодуруст хоҳанд буд. 

Муҳандисони маълумот ин мушкилотро тавассути сохтани қубурҳо барои коркард, тоза ва табдил додани маълумот ҳал мекунанд ва ба олимони маълумот имкон медиҳанд, ки бо маълумоти баландсифат кор кунанд. 

Дар бозор асбобҳои зиёде барои кор бо додаҳо мавҷуданд, ки ҳар марҳиларо дар бар мегиранд: аз пайдоиши маълумот то баромад то панели идоракунӣ барои шӯрои директорон. Ва муҳим аст, ки қарори истифодаи онҳо аз ҷониби муҳандис қабул карда мешавад - на аз он сабаб, ки он муд аст, балки барои он ки вай воқеан ба кори дигар иштирокчиёни раванд кӯмак мекунад. 

Ба таври анъанавӣ: агар ба ширкат лозим ояд, ки робитаи байни BI ва ETL - боркунии маълумот ва навсозии ҳисоботҳо, дар ин ҷо як заминаи маъмулии меросӣ аст, ки муҳандиси маълумот бояд бо он мубориза барад (хуб аст, агар дар даста меъмор низ бошад).

Масъулиятҳои муҳандиси маълумот

• Рушд, сохтмон ва нигоҳдории инфрасохтори коркарди маълумот.
• Муносибати хатогиҳо ва эҷоди қубурҳои боэътимоди коркарди додаҳо.
• Баровардани маълумоти сохторнашуда аз манбаъҳои гуногуни динамикӣ ба шакли зарурӣ барои кори таҳлилгарон.
• Пешниҳоди тавсияҳо барои беҳтар кардани мутобиқат ва сифати маълумот.
• Таъмин ва нигоҳдории меъмории додаҳое, ки аз ҷониби олимони маълумот ва таҳлилгарони додаҳо истифода мешаванд.
• Маълумотро дар кластери тақсимшудаи даҳҳо ё садҳо серверҳо пайваста ва самаранок коркард ва нигоҳ доред.
• Мубодилаи техникии асбобҳоро барои эҷод кардани меъмории оддӣ, вале мустаҳкам, ки метавонанд аз вайроншавӣ наҷот диҳанд, арзёбӣ кунед.
• Назорат ва дастгирии ҷараёнҳои додаҳо ва системаҳои алоқаманд (ташкили мониторинг ва огоҳиҳо).

Дар доираи траекторияи муҳандиси маълумот тахассуси дигаре мавҷуд аст - муҳандиси ML. Хулоса, ин муҳандисон ба овардани моделҳои омӯзиши мошинсозӣ ба татбиқ ва истифодаи саноатӣ тахассус доранд. Аксар вақт, моделе, ки аз як олими маълумот гирифта шудааст, як қисми тадқиқот аст ва метавонад дар шароити ҷанг кор накунад.

Масъулиятҳои як олими маълумот

• Истихроҷи хусусиятҳо аз маълумот барои татбиқи алгоритмҳои омӯзиши мошин.
• Истифодаи воситаҳои гуногуни омӯзиши мошинсозӣ барои пешгӯӣ ва тасниф кардани намунаҳо дар маълумот.
• Баланд бардоштани самаранокӣ ва дақиқии алгоритмҳои омӯзиши мошинсозӣ тавассути танзими дақиқ ва оптимизатсияи алгоритмҳо.
• Ташаккули гипотезаҳои "қавӣ" мувофиқи стратегияи ширкат, ки бояд санҷида шаванд.

Ҳарду муҳандиси маълумот ва маълумотшинос дар рушди фарҳанги додаҳо саҳми назаррас доранд, ки тавассути он ширкат метавонад фоидаи иловагӣ ба даст орад ё хароҷотро кам кунад.

Муҳандисон ва олимон бо кадом забонҳо ва асбобҳо кор мекунанд?

Имрӯз интизориҳои олимони маълумот тағйир ёфтанд. Пештар, муҳандисон дархостҳои калони SQL ҷамъоварӣ мекарданд, MapReduce-ро дастӣ менавиштанд ва маълумотро бо истифода аз асбобҳо ба монанди Informatica ETL, Pentaho ETL, Talend коркард мекарданд. 

Дар соли 2020 мутахассис наметавонад бидуни дониши Python ва воситаҳои муосири ҳисобкунӣ (масалан, Airflow), дарки принсипҳои кор бо платформаҳои абрӣ (истифодаи онҳо барои сарфаи сахтафзор, ҳангоми риояи принсипҳои амният) кор кунад.

SAP, Oracle, MySQL, Redis асбобҳои анъанавӣ барои муҳандисони маълумот дар ширкатҳои бузург мебошанд. Онҳо хубанд, аммо арзиши иҷозатномаҳо чунон баланд аст, ки омӯзиши кор бо онҳо танҳо дар лоиҳаҳои саноатӣ маъно дорад. Дар айни замон, алтернативаи ройгон дар шакли Postgres мавҷуд аст - он ройгон аст ва на танҳо барои омӯзиш мувофиқ аст. 

Таърихан, дархостҳо барои Java ва Scala аксар вақт пайдо мешаванд, гарчанде ки технологияҳо ва равишҳо инкишоф меёбанд, ин забонҳо ба замина меафтанд.

Бо вуҷуди ин, BigData хардкор: Hadoop, Spark ва боқимондаи зоопарк дигар шарти ҳатмӣ барои муҳандиси додаҳо нест, балки як навъ асбобҳо барои ҳалли мушкилоте мебошанд, ки онҳоро бо ETL анъанавӣ ҳал карда наметавонанд. 

Тамоюл ин хидматҳо барои истифодаи асбобҳо бидуни донистани забоне, ки дар он навишта шудаанд (масалан, Hadoop бе донистани Java), инчунин пешниҳоди хидматҳои омода барои коркарди маълумоти ҷараёнӣ (шинохти овоз ё шинохти тасвир дар видео) ).

Қарорҳои саноатии SAS ва SPSS маъмуланд, дар ҳоле ки Tableau, Rapidminer, Stata ва Julia инчунин аз ҷониби олимони маълумот барои вазифаҳои маҳаллӣ васеъ истифода мешаванд.

Қобилияти сохтани қубурҳо ба таҳлилгарон ва олимони маълумот ҳамагӣ чанд сол пеш пайдо шуда буд: масалан, тавассути скриптҳои нисбатан содда фиристодани маълумот ба нигаҳдории PostgreSQL аллакай имконпазир аст. 

Одатан, истифодаи қубурҳо ва сохторҳои ҳамгирошудаи додаҳо масъулияти муҳандисони додаҳо боқӣ мемонад. Аммо имрӯз тамоюли мутахассисони дорои салоҳиятҳои васеъ дар соҳаҳои алоқаманд аз ҳарвақта қавитар аст, зеро асбобҳо доимо содда карда мешаванд.

Чаро муҳандиси маълумот ва олими маълумот якҷоя кор мекунанд

Бо ҳамкории зич бо муҳандисон, олимони маълумот метавонанд ба паҳлӯи тадқиқот тамаркуз карда, алгоритмҳои омӯзиши мошинсозии истеҳсолиро эҷод кунанд.
Ва муҳандисон бояд ба миқёспазирӣ, истифодаи дубораи додаҳо ва кафолат додани он, ки лӯлаҳои вуруд ва баромади додаҳо дар ҳар як лоиҳаи инфиродӣ ба меъмории ҷаҳонӣ мувофиқат кунанд.

Ин тақсимоти масъулиятҳо ҳамоҳангиро дар байни гурӯҳҳое, ки дар лоиҳаҳои гуногуни омӯзиши мошин кор мекунанд, таъмин мекунад. 

Ҳамкорӣ ба эҷоди самараноки маҳсулоти нав мусоидат мекунад. Суръат ва сифат тавассути мувозинат байни эҷоди хидмат барои ҳама (нигаҳдории глобалӣ ё ҳамгироии панелҳои идоракунӣ) ва татбиқи ҳар як эҳтиёҷ ё лоиҳаи мушаххас (қубури махсусгардонидашуда, пайваст кардани манбаъҳои беруна) ба даст оварда мешавад. 

Ҳамкории зич бо олимони маълумот ва таҳлилгарон ба муҳандисон дар рушди малакаҳои таҳлилӣ ва тадқиқотӣ барои навиштани коди беҳтар кӯмак мекунад. Мубодилаи дониш дар байни корбарони анбор ва кӯли додаҳо беҳтар шуда, лоиҳаҳоро тезтар мекунад ва натиҷаҳои дарозмуддати устувортар медиҳад.

Дар ширкатҳое, ки ҳадафи рушди фарҳанги кор бо додаҳо ва сохтани равандҳои тиҷорӣ дар асоси онҳо, донишманди маълумот ва муҳандиси додаҳо ҳамдигарро пурра мекунанд ва системаи мукаммали таҳлили додаҳоро эҷод мекунанд. 

Дар мақолаи навбатӣ мо дар бораи он сӯҳбат хоҳем кард, ки муҳандиси маълумот ва маълумотшиносон бояд чӣ гуна таҳсилот дошта бошанд, онҳо кадом малакаҳоро бояд инкишоф диҳанд ва бозор чӣ гуна кор мекунад.

Аз муҳаррирони Netology

Агар шумо ба касби муҳандиси маълумот ё маълумотшинос нигаред, мо шуморо даъват менамоем, ки барномаҳои курси моро омӯзед:

• касб"Муҳандиси маълумот".  
• касб"Олими маълумот".

Манбаъ: will.com