Мувофиқи маълумот , муҳандиси додаҳо дар айни замон як касбест, ки талаботаш нисбат ба дигар ҳама тезтар меафзояд. Муҳандиси додаҳо дар созмон нақши муҳим мебозад - эҷод ва нигоҳдории қубурҳо ва пойгоҳи додаҳо, ки барои коркард, табдил додан ва нигоҳ доштани маълумот истифода мешаванд. Намояндагони ин касб пеш аз хама ба кадом махорат ниёз доранд? Оё рӯйхат аз он чизе, ки аз олимони маълумот талаб карда мешавад, фарқ мекунад? Шумо дар бораи ҳамаи ин аз мақолаи ман мефаҳмед.
Ман ҷойҳои холӣ барои вазифаи муҳандиси маълумотро таҳлил кардам, зеро онҳо дар моҳи январи соли 2020 ҳастанд, то бифаҳмам, ки кадом малакаҳои технологӣ бештар маъмуланд. Сипас ман натиҷаҳоро бо омор дар бораи ҷойҳои холӣ барои вазифаи олими маълумот муқоиса кардам - ва баъзе фарқиятҳои ҷолиб пайдо шуданд.
Бе муқаддимаи зиёд, инҳоянд даҳ технологияи беҳтарин, ки бештар дар эълонҳои корӣ зикр мешаванд:
Номи технологияҳо дар ҷойҳои холӣ барои вазифаи муҳандиси маълумот дар соли 2020
Биёед инро фаҳмем.
Масъулиятҳои муҳандиси маълумот
Имрӯз, коре, ки муҳандисони додаҳо анҷом медиҳанд, барои созмонҳо аҳамияти калон дорад - инҳо одамоне ҳастанд, ки барои нигоҳ доштани маълумот ва ба чунин шакл овардани он масъуланд, ки дигар кормандон метавонанд бо он кор кунанд. Муҳандисони додаҳо қубурҳо месозанд, ки маълумотро аз сарчашмаҳои гуногун ҷараён медиҳанд ё ҷамъоварӣ мекунанд. Пас аз он қубурҳо амалиёти истихроҷ, табдилдиҳӣ ва боркуниро иҷро мекунанд (ба ибораи дигар, равандҳои ETL), ки маълумотро барои истифодаи минбаъда мувофиқтар мекунанд. Пас аз ин, маълумот ба таҳлилгарон ва олимони маълумот барои коркарди амиқтар пешниҳод карда мешавад. Ниҳоят, маълумот сафари худро дар панелҳои идоракунӣ, ҳисоботҳо ва моделҳои омӯзиши мошин ба анҷом мерасонад.
Ман дар ҷустуҷӯи маълумоте будам, ки ба ман имкон медиҳад, ки хулоса барорам, ки дар айни замон кадом технологияҳо дар кори муҳандиси додаҳо бештар талабот доранд.
Усулҳо
Ман аз се сайти ҷустуҷӯи кор маълумот ҷамъ кардам - , и ва ба он назар кард, ки кадом калимаҳои калидӣ дар якҷоягӣ бо "муҳандиси маълумот" дар матнҳои ҷойҳои холии ба сокинони ИМА нигаронидашуда дучор меоянд. Барои ин вазифа ман ду китобхонаи Python -ро истифода кардам и . Дар байни калимаҳои калидӣ, ман ҳам онҳоеро, ки ба рӯйхати қаблӣ барои таҳлили ҷойҳои холӣ барои вазифаи олими маълумот дохил карда шуда буданд ва ҳам онҳоеро, ки ҳангоми хондани пешниҳодҳои кор барои муҳандисони маълумот дастӣ интихоб кардам, дохил кардам. LinkedIn ба рӯйхати манбаъҳо дохил карда нашуд, зеро ман пас аз кӯшиши охирини ҷамъоварии маълумот дар он ҷо манъ карда шудам.
Барои ҳар як калимаи калидӣ, ман фоизи боздидҳоро аз шумораи умумии матнҳои ҳар як сайт дар алоҳидагӣ ҳисоб кардам ва сипас ҳисоби миёнаро барои се манбаъ ҳисоб кардам.
натиҷаҳои
Дар зер сӣ истилоҳи муҳандисии маълумотҳои техникӣ бо холҳои баландтарин дар ҳар се сайти корӣ мавҷуданд.
Ва инҳо ҳамон рақамҳо ҳастанд, аммо дар шакли ҷадвал оварда шудаанд:
Биёед бо тартиб равем.
Баррасии натиҷаҳо
Ҳам SQL ва ҳам Python дар зиёда аз се ду ҳиссаи ҷойҳои кории баррасишуда пайдо мешаванд. Маҳз ҳамин ду технология аввал омӯхтан маъно доранд. забони хеле маъмули барномасозӣ аст, ки барои кор бо додаҳо, сохтани вебсайтҳо ва навиштани скриптҳо истифода мешавад. маънои забони сохтории дархостро дорад; он стандартеро дар бар мегирад, ки аз ҷониби як гурӯҳи забонҳо амалӣ карда мешавад ва барои дарёфти маълумот аз пойгоҳи додаҳои релятсионӣ истифода мешавад. Он кайҳо пеш пайдо шуда буд ва тобовар будани худро исбот кард.
Шарора кариб дар нисфи чойхои холй зикр ёфтааст. "муҳаррики ягонаи таҳлилии додаҳои калон бо модулҳои дарунсохт барои ҷараён, SQL, омӯзиши мошин ва коркарди графикҳо" мебошад. Он махсусан дар байни онҳое, ки бо пойгоҳи додаҳои калон кор мекунанд, маъмул аст.
AWS тақрибан дар 45% эълонҳои корӣ пайдо мешавад. Ин платформаи роёниши абрӣ мебошад, ки аз ҷониби Amazon истеҳсол шудааст; он дар байни ҳама платформаҳои абрӣ саҳми калонтарини бозор дорад.
Минбаъд Java ва Hadoop меоянд - каме бештар аз 40% барои бародарашон. забони ба таври васеъ гуфтугушуда, аз озмоиш гузаштааст, ки дар байни забонҳое, ки дар байни барномасозон даҳшатро ба вуҷуд меоранд, ҷои даҳум дода шуд. Баръакси ин, Python дуюмин забони дӯстдоштатарин буд. Забони Java-ро Oracle идора мекунад ва ҳама чизеро, ки шумо дар бораи он донед, аз ин скриншоти саҳифаи расмӣ аз январи соли 2020 фаҳмидан мумкин аст.
Ин мисли савор шудан дар мошини вақт аст
модели барномасозии MapReduce-ро бо кластерҳои сервер барои додаҳои калон истифода мебарад. Ҳоло ин модел торафт бештар тарк карда мешавад.
Он гоҳ мо Hive, Scala, Kafka ва NoSQL-ро мебинем - ҳар яке аз ин технологияҳо дар чоряки ҷойҳои холии пешниҳодшуда зикр шудаанд. Apache Hive як нармафзори анбори додаҳост, ки "хондан, навиштан ва идора кардани маҷмӯаҳои бузурги додаҳо дар мағозаҳои тақсимшуда бо истифода аз SQL-ро осон мекунад." – забони барномасозӣ, ки ҳангоми кор бо додаҳои калон фаъолона истифода мешавад. Аз ҷумла, Spark дар Скала сохта шудааст. Дар рейтинги забонҳои тарсу ҳарос, ки қаблан зикр гардид, Скала дар ҷои ёздаҳум қарор дорад. – платформаи тақсимшуда барои коркарди паёмҳои ҷараён. Ҳамчун воситаи интиқоли маълумот хеле маъмул аст.
худро бо SQL муқоиса кунед. Онҳо бо он фарқ мекунанд, ки онҳо робита надоранд, сохторӣ надоранд ва аз ҷиҳати уфуқӣ миқёспазиранд. NoSQL то андозае маъруфият пайдо кардааст, аммо девонаворӣ барои равиш, ҳатто то ҳадде, ки пешгӯиҳо дар бораи он, ки он SQL-ро ҳамчун парадигмаи бартаридоштаи нигаҳдорӣ иваз хоҳад кард, ба назар мерасад.
Муқоиса бо истилоҳот дар ҷойҳои холии олими маълумот
Дар ин ҷо сӣ истилоҳи технологӣ дар байни корфармоёни илми маълумот маъмуланд. Ман ин рӯйхатро ҳамон тавре, ки дар боло барои муҳандисии додаҳо тавсиф шудааст, гирифтам.
Маълумот дар бораи технологияҳо дар ҷойҳои холӣ барои вазифаи олими маълумот дар соли 2020
Агар дар бораи шумораи умумӣ сухан гӯем, дар муқоиса бо ҷалби қаблан баррасӣшуда, 28% зиёдтар ҷойҳои холӣ буданд (12 дар муқоиса бо 013). Биёед бубинем, ки кадом технологияҳо дар ҷойҳои холӣ барои олимони маълумот нисбат ба муҳандисони маълумот камтар маъмуланд.
Дар муҳандисии маълумот маъмултар
Графикаи зер калимаҳои калидиро бо фарқияти миёна аз 10% зиёд ё камтар аз -10% нишон медиҳад.
Бузургтарин фарқиятҳо дар басомади калимаҳои калидӣ байни муҳандиси додаҳо ва олими маълумот
AWS афзоиши назаррасро нишон медиҳад: дар муҳандисии додаҳо он нисбат ба илми маълумот 25% мунтазамтар пайдо мешавад (мутаносибан тақрибан 45% ва 20% шумораи умумии ҷойҳои холӣ). Фарқият назаррас аст!
Дар ин ҷо ҳамон маълумот дар презентатсия каме фарқ мекунад - дар график, натиҷаҳо барои як калимаи калидӣ дар ҷойҳои холии муҳандиси маълумот ва олими маълумот паҳлӯ ба паҳлӯ ҷойгир шудаанд.
Бузургтарин фарқиятҳо дар басомади калимаҳои калидӣ байни муҳандиси додаҳо ва олими маълумот
Бузургтарин ҷаҳиши навбатии ман қайд кардам, ки дар Spark буд - муҳандиси додаҳо аксар вақт бояд бо маълумоти калон кор кунад. инчунин 20% зиёд шуд, яъне нисбат ба натиҷаи ҷойҳои холии олими маълумот тақрибан чор маротиба. Интиқоли маълумот яке аз вазифаҳои асосии муҳандиси додаҳо мебошад. Дар ниҳоят, шумораи зикршудаҳо дар соҳаи муҳандисии додаҳо барои Java, NoSQL, Redshift, SQL ва Hadoop 15% зиёдтар буд.
Дар муҳандисии маълумот камтар маъмул аст
Акнун биёед бубинем, ки кадом технологияҳо дар ҷойҳои холии муҳандиси маълумот камтар маъмуланд.
Коҳиши шадид дар муқоиса бо бахши илми маълумот дар : дар он чо вай такрибан дар 56 фоизи чойхои холй пайдо шуд, дар ин чо — танхо дар 17 фоиз. Таъсирбахш. R як забони барномасозӣ аст, ки аз ҷониби олимон ва оморшиносон маъқул аст ва ҳаштумин забони тарсноктарин дар ҷаҳон аст.
инчунин дар ҷойҳои холӣ барои вазифаи муҳандиси маълумот ба таври назаррас камтар пайдо мешавад - фарқият 14% аст. SAS забони хусусиест, ки барои кор бо омор ва додаҳо пешбинӣ шудааст. Нуктаи ҷолиб: аз рӯи натиҷаҳо , вай дар вактхои охир бисьёр заминхоро аз даст дод — назар ба дигар техника бештар.
Талабот ҳам дар муҳандисии додаҳо ва ҳам дар илми маълумот
Бояд гуфт, ки аз даҳ мавқеъи аввал ҳашттои ҳарду сет яксонанд. SQL, Python, Spark, AWS, Java, Hadoop, Hive ва Scala онро ба даҳгонаи беҳтарин ҳам барои муҳандисии додаҳо ва ҳам дар соҳаи илми иттилоот дохил карданд. Дар графики зер шумо метавонед понздаҳ технологияи маъмултаринро дар байни корфармоёни муҳандиси додаҳо бубинед ва дар паҳлӯи онҳо сатҳи холии онҳо барои олимони маълумот мавҷуд аст.
тавсияњои
Агар шумо хоҳед, ки ба муҳандисии додаҳо дохил шавед, ман ба шумо маслиҳат медиҳам, ки технологияҳои зеринро азхуд кунед - ман онҳоро аз рӯи афзалиятҳои тахминӣ номбар мекунам.
SQL-ро омӯзед. Ман ба PostgreSQL майл дорам, зеро он манбаи кушода, дар ҷомеа хеле маъмул аст ва дар марҳилаи афзоиш аст. Шумо метавонед тарзи истифодаи забонро аз китоби My Memorable SQL омӯзед - версияи озмоишии он дастрас аст .
Мастер Python, ҳатто агар дар сатҳи сахттарин набошад. My Memorable Python махсусан барои шурӯъкунандагон тарҳрезӣ шудааст. Онро дар он харидан мумкин аст , нусхаи электронӣ ё ҷисмонӣ, интихоби шумо ё зеркашӣ дар формати pdf ё epub .
Пас аз он ки шумо бо Python шинос шудед, ба pandas гузаред, китобхонаи Python, ки барои тоза кардан ва коркарди додаҳо истифода мешавад. Агар шумо ният доред, ки дар ширкате кор кунед, ки қобилияти навиштан бо Python-ро талаб мекунад (ва ин аксарияти онҳост), шумо боварӣ дошта метавонед, ки дониши пандаҳо ба таври нобаёнӣ қабул карда мешавад. Ман ҳоло як дастури муқаддимавӣ барои кор бо пандаҳоро ба итмом расонида истодаам - шумо метавонед то ки лахзаи озодшавиро аз даст надихад.
Мастер AWS. Агар шумо хоҳед, ки муҳандиси додаҳо шавед, шумо наметавонед бе платформаи абрӣ дар анбор кор кунед ва AWS маъмултарини онҳост. Курсхо ба ман ёрии калон расонданд вақте ки ман таҳсил мекардам , Ман фикр мекунам, ки онҳо инчунин дар AWS маводи хуб хоҳанд дошт.
Агар шумо ин рӯйхатро аллакай пурра карда бошед ва хоҳед, ки минбаъд дар назари корфармоён ҳамчун муҳандиси додаҳо рушд кунед, ман пешниҳод мекунам, ки Apache Spark-ро барои кор бо додаҳои калон илова кунед. Гарчанде ки тадқиқоти ман дар бораи ҷойҳои холии олимони маълумот коҳиш ёфтани таваҷҷӯҳро нишон дод, дар байни муҳандисони маълумот он то ҳол қариб дар ҳар як ҷои дуюми холӣ пайдо мешавад.
Дар охир
Умедворам, ки шумо ин шарҳи технологияҳои серталаб барои муҳандисони маълумотро муфид ёфтед. Агар шумо дар ҳайрат бошед, ки кори таҳлилгар чӣ гуна аст, хонед . Муҳандиси муборак!
Манбаъ: will.com