Боз салом! Сарлавхаи макола барои худ шаходат медихад. Ба пешвози огози курс Мо ба шумо тавсия медиҳем, ки фаҳмед, ки муҳандисони маълумот кистанд. Дар мақола бисёр истинодҳои муфид мавҷуданд. Хониши хуш.
Роҳнамои оддӣ дар бораи чӣ гуна гирифтани мавҷи муҳандисии маълумот ва нагузорад, ки он шуморо ба варта кашад.
Чунин ба назар мерасад, ки ҳама имрӯзҳо мехоҳанд, ки олими маълумот шаванд. Аммо дар бораи муҳандисии маълумот чӣ гуфтан мумкин аст? Аслан, ин як навъ гибриди таҳлилгари маълумот ва олими маълумот аст; Муҳандиси маълумот одатан барои идоракунии ҷараёнҳои корӣ, коркарди қубурҳо ва равандҳои ETL масъул аст. Бо назардошти аҳамияти ин функсияҳо, ин айни замон як жаргонҳои маъмули касбӣ мебошад, ки фаъолона суръат мегирад.
Маоши баланд ва талаботи зиёд танҳо як қисми хурди он чизест, ки ин корро бениҳоят ҷолиб мекунад! Агар шумо хоҳед, ки ба қатори қаҳрамонон дохил шавед, ҳеҷ гоҳ дер нест, ки омӯзишро оғоз кунед. Дар ин паём, ман тамоми маълумоти заруриро ҷамъ овардам, то ба шумо дар қадамҳои аввалини худ кӯмак расонанд.
Пас биёед оғоз кунем!
Муҳандисии маълумот чист?
Ростӣ, шарҳи беҳтаре аз ин вуҷуд надорад:
«Олим метавонад ситораи навро кашф кунад, аммо вай наметавонад ситораи навро офарад. Вай бояд аз муҳандис хоҳиш кунад, ки ин корро барои ӯ кунад."
– Гордон Линдси Глегг
Ҳамин тариқ, нақши муҳандиси маълумот хеле муҳим аст.
Тавре ки аз ном бармеояд, муҳандисии додаҳо бо додаҳо, яъне интиқол, нигоҳдорӣ ва коркарди он алоқаманд аст. Аз ин рӯ, вазифаи асосии муҳандисон таъмин намудани инфрасохтори боэътимоди додаҳо мебошад. Агар мо ба иерархияи ниёзҳои AI назар кунем, муҳандисии додаҳо 2-3 марҳилаи аввалро ишғол мекунад: ҷамъоварӣ, интиқол ва нигоҳдорӣ, омода кардани маълумот.
Муҳандиси маълумот чӣ кор мекунад?
Бо пайдоиши маълумоти калон, доираи масъулият ба таври назаррас тағйир ёфт. Агар қаблан ин коршиносон дархостҳои бузурги SQL ва маълумоти тозашударо бо истифода аз асбобҳо ба монанди Informatica ETL, Pentaho ETL, Talend навишта буданд, ҳоло талабот ба муҳандисони додаҳо зиёд шудааст.
Аксари ширкатҳое, ки ҷойҳои холӣ доранд барои вазифаи муҳандиси маълумот талаботҳои зеринро доранд:
- Дониши аълои SQL ва Python.
- Таҷриба бо платформаҳои абрӣ, махсусан Amazon Web Services.
- Дониши Java/Scala афзалият дорад.
- Фаҳмиши хуби пойгоҳи додаҳои SQL ва NoSQL (моделсозии додаҳо, анбори додаҳо).
Дар хотир доред, ки инҳо танҳо чизҳои зарурӣ мебошанд. Аз ин рӯйхат метавон тахмин кард, ки муҳандисони додаҳо мутахассисон дар соҳаи таҳияи нармафзор ва пуштибонӣ мебошанд.
Масалан, агар ширкат ба тавлиди миқдори зиёди маълумот аз сарчашмаҳои гуногун шурӯъ кунад, вазифаи шумо ҳамчун муҳандиси додаҳо ташкили ҷамъоварии иттилоот, коркард ва нигоҳдории он мебошад.
Рӯйхати асбобҳое, ки дар ин ҳолат истифода мешаванд, метавонанд фарқ кунанд, он ҳама аз ҳаҷми ин маълумот, суръати қабули он ва гетерогенӣ вобаста аст. Аксари ширкатҳо умуман бо маълумоти калон сару кор надоранд, аз ин рӯ ҳамчун як анбори мутамарказ, ба истилоҳ анбори додаҳо, шумо метавонед як пойгоҳи додаҳои SQL (PostgreSQL, MySQL ва ғайра) бо маҷмӯи хурди скриптҳо, ки маълумотро ба анбор.
Бузургони IT ба монанди Google, Amazon, Facebook ё Dropbox талаботи баландтар доранд: дониши Python, Java ё Scala.
- Таҷриба бо додаҳои калон: Hadoop, Spark, Kafka.
- Донистани алгоритмҳо ва сохторҳои додаҳо.
- Фаҳмидани асосҳои системаҳои тақсимшуда.
- Таҷриба бо абзорҳои визуализатсияи додаҳо ба монанди Tableau ё ElasticSearch як плюс хоҳад буд.
Яъне, як гузариш ба маълумоти калон, яъне коркарди он дар зери сарбории баланд вуҷуд дорад. Ин ширкатҳо талаботро барои таҳаммулпазирии хатогиҳои система зиёд кардаанд.
Муҳандисони маълумот Vs. олимони маълумот
Хуб, ин муқоисаи оддӣ ва хандовар буд (ҳеҷ чизи шахсӣ нест), аммо дар асл он хеле мураккабтар аст.
Аввалан, шумо бояд бидонед, ки дар муайян кардани нақшҳо ва малакаҳои олими маълумот ва муҳандиси додаҳо норавшании зиёд вуҷуд дорад. Яъне, шумо метавонед ба осонӣ дар бораи он ки барои муҳандиси бомуваффақияти додаҳо кадом малакаҳо лозиманд, ошуфта шавед. Албатта, малакаҳои муайяне ҳастанд, ки бо ҳарду нақш мувофиқат мекунанд. Аммо як қатор малакаҳои ба таври диаметралӣ мухолифи онҳо низ мавҷуданд.
Илми маълумот тиҷорати ҷиддӣ аст, аммо мо ба сӯи ҷаҳони илми функсионалии маълумот ҳаракат карда истодаем, ки дар он таҷрибаомӯзон қобилияти таҳлили шахсии худро доранд. Барои фаъол кардани қубурҳои додаҳо ва сохторҳои ҳамгирошудаи додаҳо, ба шумо муҳандисони додаҳо лозиманд, на олимони маълумот.
Оё муҳандиси маълумот нисбат ба як олими маълумот талабот бештар аст?
- Бале, зеро пеш аз тайёр кардани торт сабзӣ, шумо бояд аввал сабзӣ ҷамъ кунед, пӯст кунед ва захира кунед!
Муҳандиси додаҳо барномасозиро аз ҳама олими маълумот беҳтар мефаҳмад, аммо вақте сухан дар бораи омор меравад, баръакс дуруст аст.
Аммо бартарии муҳандиси додаҳо ин аст:
Бидуни ӯ, арзиши модели прототипӣ, ки аксар вақт аз як пораи рамзи сифати даҳшатнок дар файли Python иборат аст, ки аз як олими маълумот гирифта шудааст ва ба гунае натиҷа медиҳад, ба сифр мерасад.
Бе муҳандиси маълумот, ин код ҳеҷ гоҳ лоиҳа нахоҳад шуд ва ҳеҷ мушкили тиҷоратӣ ба таври муассир ҳал карда намешавад. Муҳандиси маълумот кӯшиш мекунад, ки ҳамаи инро ба маҳсулот табдил диҳад.
Маълумоти асосӣ, ки муҳандиси додаҳо бояд донад
Ҳамин тавр, агар ин кор нурро дар шумо равшан кунад ва шумо дилгарм бошед - шумо метавонед онро омӯзед, шумо метавонед ҳама малакаҳои заруриро азхуд кунед ва ситораи рок-ситораи ҳақиқӣ дар соҳаи муҳандисии додаҳо шавед. Ва, ҳа, шумо метавонед инро ҳатто бе малакаҳои барномасозӣ ё дигар донишҳои техникӣ иҷро кунед. Ин мушкил аст, аммо имконпазир!
Қадамҳои аввалин кадомҳоянд?
Шумо бояд тасаввуроти умумӣ дошта бошед, ки чӣ аст.
Пеш аз ҳама, муҳандисии маълумот ба илми информатика дахл дорад. Аниқтараш, шумо бояд алгоритмҳои муассир ва сохторҳои додаҳоро фаҳмед. Дуюм, азбаски муҳандисони додаҳо бо додаҳо кор мекунанд, фаҳмидани принсипҳои пойгоҳи додаҳо ва сохторҳое, ки ба онҳо асос ёфтааст, зарур аст.
Масалан, пойгоҳи додаҳои анъанавии B-tree SQL ба сохтори додаҳои B-Tree, инчунин дар анборҳои муосири тақсимшуда, LSM-Tree ва дигар дигаргуниҳои ҷадвалҳои хэш асос ёфтааст.
*Ин қадамҳо ба мақолаи олӣ асос ёфтаанд . Пас, агар шумо русиро медонед, ин муаллифро дастгирӣ кунед ва хонед .
1. Алгоритмҳо ва сохторҳои додаҳо
Истифодаи сохтори дурусти додаҳо метавонад кори алгоритмро ба таври назаррас беҳтар созад. Идеалӣ, мо ҳама бояд дар бораи сохторҳо ва алгоритмҳои додаҳо дар мактабҳои худ омӯзем, аммо ин хеле кам фаро гирифта мешавад. Дар ҳар сурат, барои шиносоӣ ҳеҷ гоҳ дер нест.
Ҳамин тавр, инҳо курсҳои ройгони дӯстдоштаи ман барои омӯзиши сохторҳо ва алгоритмҳои додаҳо мебошанд:
Илова бар ин, дар бораи кори классикии Томас Корман дар бораи алгоритмҳо фаромӯш накунед - . Ин истинод беҳтарин аст, вақте ки ба шумо лозим аст, ки хотираи худро тароват.
- Барои такмил додани малакаҳои худ, истифода баред .
Шумо инчунин метавонед бо видеоҳои аҷиб аз Донишгоҳи Карнеги Меллон дар Youtube ба ҷаҳони пойгоҳи додаҳо ғарқ шавед:
- .
- .
2. SQL-ро омӯзед
Тамоми ҳаёти мо маълумот аст. Ва барои он ки ин маълумот аз базаи маълумот гирифта шавад, шумо бояд бо ҳамон забон "сухан" кунед.
SQL (Structured Query Language) забони муошират дар домени додаҳост. Новобаста аз он ки касе чӣ мегӯяд, SQL зиндагӣ кардааст, зинда аст ва барои муддати хеле дароз зиндагӣ хоҳад кард.
Агар шумо муддати тӯлонӣ дар таҳия бошед, шумо эҳтимол пай бурдед, ки овозаҳо дар бораи марги наздики SQL давра ба давра пайдо мешаванд. Забон дар ибтидои солҳои 70-ум таҳия шуда буд ва ҳоло ҳам дар байни таҳлилгарон, таҳиягарон ва мухлисон хеле маъмул аст.
Бе дониши SQL дар муҳандисии додаҳо коре нест, зеро шумо ногузир барои дарёфти маълумот дархостҳо эҷод мекунед. Ҳама анборҳои муосири бузурги додаҳо SQL-ро дастгирӣ мекунанд:
- Amazon RedShift
- HP Vertica
- Oracle
- Сервери SQL
... ва бисьёр дигарон.
Барои таҳлили як қабати калони маълумоте, ки дар системаҳои тақсимшуда, аз қабили HDFS нигоҳ дошта мешаванд, муҳаррикҳои SQL ихтироъ карда шуданд: Apache Hive, Impala ва ғайра. Бубинед, он ба ҳеҷ ҷо намеравад.
Чӣ тавр омӯхтани SQL? Факат дар амал инро кунед.
Барои ин, ман тавсия медиҳам, ки як дастури олиро тафтиш кунед, ки дар омади гап, ройгон аст .
Он чизе, ки ин курсҳоро махсус мекунад, дар он аст, ки онҳо муҳити интерактивӣ доранд, ки дар он шумо метавонед дархостҳои SQL-ро мустақиман дар браузери худ нависед ва иҷро кунед. Сарчашма зиёдатй нахохад шуд. Ва шумо метавонед ин донишро ба кор баред дар бахши Пойгоҳи додаҳо.
3. Барномасозӣ дар Python ва Java/Scala
Чаро шумо бояд забони барномасозии Python-ро омӯзед, ман аллакай дар мақола навишта будам . Вақте ки сухан дар бораи Java ва Scala меравад, аксари асбобҳо барои нигоҳдорӣ ва коркарди миқдори зиёди додаҳо ба ин забонҳо навишта шудаанд. Барои намуна:
- Апачи Кафка (Скала)
- Hadoop, HDFS (Java)
- Apache Spark (Scala)
- Апачи Кассандра (Java)
- HBase (Java)
- Apache Hive (Java)
Барои фаҳмидани он ки ин асбобҳо чӣ гуна кор мекунанд, шумо бояд забонҳоеро, ки онҳо дар он навишта шудаанд, бидонед. Муносибати функсионалии Scala ба шумо имкон медиҳад, ки масъалаҳои коркарди параллели маълумотро самаранок ҳал кунед. Python, мутаассифона, наметавонад бо суръат ва коркарди параллелӣ фахр кунад. Умуман, донистани якчанд забонҳо ва парадигмаҳои барномасозӣ барои васеъ будани равишҳо ба ҳалли мушкилот хуб аст.
Барои ғарқ шудан ба забони Scala, шумо метавонед хонед аз муаллифи забон. Twitter инчунин як дастури хуби шиносоӣ нашр кард - .
Дар мавриди Python, ман боварӣ дорам беҳтарин китоби сатҳи миёна.
4. Воситаҳо барои кор бо додаҳои калон
Ин аст рӯйхати асбобҳои маъмултарин дар ҷаҳони маълумоти калон:
- Apache Spark
- Апач Кафка
- Apache Hadoop (HDFS, HBase, Hive)
- Apache кассандра
Шумо метавонед маълумоти бештарро дар бораи сохтани блокҳои бузурги додаҳо дар ин аҷиб пайдо кунед . Воситаҳои маъмултарин Spark ва Kafka мебошанд. Онҳо бешубҳа сазовори омӯхтан ҳастанд, тавсия дода мешавад, ки фаҳманд, ки чӣ гуна онҳо аз дарун кор мекунанд. Ҷей Крепс (ҳаммуаллифи Кафка) соли 2013 асари монументалиро нашр кард Дар омади гап, идеяҳои асосии ин Талмуд барои эҷоди Апачи Кафка истифода шуданд.
- Муқаддима ба Hadoop метавонад бошад .
- Дастури мукаммалтарин барои Apache Spark барои ман ин аст - .
5. Платформаҳои абрӣ
Донистани ҳадди аққал як платформаи абрӣ дар рӯйхати талаботҳои асосӣ барои довталабон барои вазифаи муҳандиси маълумот мавҷуд аст. Корфармоён ба Amazon Web Services бартарӣ медиҳанд, ки платформаи абрии Google дар ҷои дуюм ва Microsoft Azure сегонаи беҳтаринро ҷамъбаст мекунанд.
Шумо бояд дар бораи Amazon EC2, AWS Lambda, Amazon S3, DynamoDB дониши хуб дошта бошед.
6. Системаҳои тақсимшуда
Кор бо додаҳои калон мавҷудияти кластерҳои компютерҳои мустақилро дар назар дорад, ки алоқаи байни онҳо тавассути шабака сурат мегирад. Чӣ қадаре ки кластер калонтар бошад, эҳтимолияти нокомии гиреҳҳои аъзои он зиёдтар аст. Барои олими бузурги маълумот шудан, шумо бояд мушкилот ва роҳҳои ҳалли мавҷударо барои системаҳои тақсимшуда фаҳмед. Ин минтақа кӯҳна ва мураккаб аст.
Эндрю Таненбаум пешрав дар ин соҳа ҳисобида мешавад. Барои онҳое, ки аз назария наметарсанд, китоби ӯро тавсия медиҳам , он метавонад барои шурӯъкунандагон даҳшатнок ба назар расад, аммо он воқеан ба шумо кӯмак мекунад, ки маҳорати худро сайқал диҳед.
ман фикр мекунам беҳтарин китоби муқаддимавӣ. Дар омади гап, Мартин дорои аҷиб аст . Кори ӯ барои ба низом даровардани донишҳо дар бораи бунёди инфрасохтори муосир барои нигоҳдорӣ ва коркарди додаҳои калон кӯмак хоҳад кард.
Барои онҳое, ки видео тамошо карданро дӯст медоранд, дар Youtube як курс вуҷуд дорад .
7. Қубурҳои маълумот
Қубурҳои додаҳо чизест, ки шумо ҳамчун муҳандиси додаҳо зиндагӣ карда наметавонед.
Аксар вақт, муҳандиси додаҳо лӯлаи ба истилоҳ маълумотро месозад, яъне вай раванди интиқоли маълумотро аз як ҷой ба ҷои дигар месозад. Инҳо метавонанд скриптҳои фармоишӣ бошанд, ки ба API-и хидмати беруна мераванд ё дархости SQL мекунанд, маълумотро афзоиш медиҳанд ва онро ба мағозаи мутамарказ (анбори додаҳо) ё анбори додаҳои сохторнашуда (кӯлҳои додаҳо) ҷойгир мекунанд.
Барои ҷамъбаст: рӯйхати асосии санҷиш барои муҳандиси маълумот
Барои ҷамъбаст, фаҳмиши хуби чизҳои зерин зарур аст:
- Системаҳои иттилоотӣ;
- Таҳияи нармафзор (Agile, DevOps, Design Techniques, SOA);
- Системаҳои тақсимшуда ва барномасозии параллелӣ;
- Асосҳои пойгоҳи додаҳо - Банақшагирӣ, тарҳрезӣ, амалиёт ва бартараф кардани мушкилот;
- Тарҳрезии таҷрибаҳо - санҷишҳои A/B барои исботи консепсияҳо, муайян кардани эътимоднокӣ, иҷрои система ва таҳияи роҳҳои боэътимод барои зуд расонидани ҳалли хуб.
Инҳо танҳо чанде аз талаботҳо барои муҳандиси додаҳо мебошанд, аз ин рӯ системаҳои додаҳо, системаҳои иттилоотӣ, интиқоли доимӣ/ҷойгиркунӣ/интегратсия, забонҳои барномасозӣ ва дигар мавзӯъҳои илми информатикаро омӯзед ва дарк кунед (на ҳама соҳаҳои фанҳо).
Ва дар охир, чизи охирин, вале хеле муҳимро, ки ман мехоҳам бигӯям.
Роҳи шудан ба муҳандисии маълумот он қадар осон нест, ки ба назар мерасад. Ӯ намебахшад, ноумед мешавад ва шумо бояд ба ин омода бошед. Баъзе лаҳзаҳо дар ин сафар метавонанд шуморо водор кунанд, ки таслим шавед. Аммо ин кори воқеӣ ва раванди таълим аст.
Танҳо онро аз аввал шакар надиҳед. Тамоми нуқтаи сафар аз он иборат аст, ки то ҳадди имкон бештар омӯзед ва ба мушкилоти нав омода бошед.
Дар ин ҷо як тасвири олие, ки ман дучор шудам, ин нуктаро хуб нишон медиҳад:
Ва ҳа, фаромӯш накунед, ки аз хастагӣ ва истироҳат канорагирӣ кунед. Ин ҳам хеле муҳим аст. Барори кор!
Шумо дар бораи мақола чӣ фикр доред, дӯстон? шуморо даъват мекунем , ки имруз соати 20.00 барпо мегардад. Дар рафти вебинар, мо муҳокима хоҳем кард, ки чӣ гуна як системаи муассир ва миқёспазири коркарди маълумот барои як ширкати хурд ё оғозёбӣ бо арзиши ҳадди ақалл бунёд кунем. Ҳамчун таҷриба, мо бо абзорҳои коркарди додаҳои Google Cloud шинос мешавем. То дидор!
Манбаъ: will.com