Најтраженије вештине у професији инжењера података

Према статистика 2019, инжењер података је тренутно професија чија потражња расте брже од било које друге. Инжењер података игра кључну улогу у организацији – креира и одржава цевоводе и базе података које се користе за обраду, трансформацију и складиштење података. Које вештине су пре свега потребне представницима ове професије? Да ли се листа разликује од онога што се тражи од научника података? О свему томе ћете сазнати из мог чланка.

Анализирао сам слободна радна места за позицију инжењера података каква је у јануару 2020. да бих разумела које су технолошке вештине најпопуларније. Затим сам упоредио резултате са статистиком о слободним радним местима за позицију научника података - и појавиле су се неке занимљиве разлике.

Без много увода, ево десет најбољих технологија које се најчешће помињу у огласима за посао:

Помињање технологија на конкурсима за радно место инжењера података 2020. године

Хајде да схватимо.

Одговорности инжењера података

Данас је посао који обављају инжењери података од великог значаја за организације – то су људи који су одговорни за чување информација и њихово довођење у такву форму да са њима могу да раде други запослени. Инжењери података граде цевоводе за стриминг или скуп података из више извора. Цевоводи затим обављају операције екстракције, трансформације и учитавања (другим речима, ЕТЛ процесе), чинећи податке погоднијим за даљу употребу. Након тога, подаци се достављају аналитичарима и научницима података на дубљу обраду. Коначно, подаци завршавају своје путовање у контролним таблама, извештајима и моделима машинског учења.

Тражио сам информације које би ми омогућиле да извучем закључак о томе које су технологије тренутно најтраженије у раду дата инжењера.

Методе

Прикупио сам информације са три сајта за тражење посла − СимплиХиред, Заиста и чудовиште и погледао на које се кључне речи сусрећу у спрези са „инжењер података“ у текстовима конкурса за становнике САД. За овај задатак користио сам две Питхон библиотеке − захтеви и Беаутифул Соуп. Међу кључне речи уврстио сам и оне које су биле уврштене на претходну листу за анализу конкурса за позицију дата сциенце, и оне које сам ручно бирао читајући понуде за посао инжењера података. ЛинкедИн није уврштен на листу извора, пошто сам тамо био забрањен након мог последњег покушаја прикупљања података.

За сваку кључну реч сам израчунао проценат погодака од укупног броја текстова на сваком сајту посебно, а затим израчунао просек за три извора.

Налази

Испод је тридесет термина за инжењеринг техничких података са највишим оценама на сва три радна места.

А ево истих бројева, али представљених у облику табеле:

Идемо редом.

Преглед резултата

И СКЛ и Питхон се појављују у више од две трећине прегледаних радних места. Ове две технологије има смисла прво проучити. Питон је веома популаран програмски језик који се користи за рад са подацима, креирање веб локација и писање скрипти. СКЛ скраћеница од Струцтуред Куери Лангуаге; укључује стандард који имплементира група језика и користи се за преузимање података из релационих база података. Појавио се давно и показао се као веома отпоран.

Варница се помиње у отприлике половини слободних места. Апацхе Спарк је „обједињени мотор за анализу великих података са уграђеним модулима за стримовање, СКЛ, машинско учење и обраду графикона.“ Посебно је популаран међу онима који раде са великим базама података.

АВС се појављује у приближно 45% огласа за посао. То је платформа за рачунарство у облаку коју производи Амазон; има највећи тржишни удео међу свим клауд платформама.
Следе Јава и Хадооп – нешто више од 40% за њиховог брата. Јава је широко распрострањен језик који је тестиран у борби Анкета за програмере Стацк Оверфлов 2019 је награђен десетим местом међу језицима који изазивају ужас код програмера. Насупрот томе, Питхон је био други најомиљенији језик. Јава језиком управља Орацле, а све што треба да знате о њему може се разумети са овог снимка екрана званичне странице од јануара 2020.

То је као вожња у времеплову
Апацхе Хадооп користи програмски модел МапРедуце са кластерима сервера за велике податке. Сада се овај модел све више напушта.

Затим видимо Хиве, Сцала, Кафка и НоСКЛ – свака од ових технологија се помиње у четвртини пријављених слободних места. Апацхе Хиве је софтвер за складиште података који „олакшава читање, писање и управљање великим скуповима података који се налазе у дистрибуираним продавницама користећи СКЛ“. Сцала – програмски језик који се активно користи при раду са великим подацима. Конкретно, Спарк је створен у Сцали. На већ поменутој ранг листи застрашујућих језика, Сцала заузима једанаесто место. Апацхе Кафка – дистрибуирана платформа за обраду стриминг порука. Веома популаран као средство за стримовање података.

НоСКЛ базе података супротстављају се СКЛ-у. Они се разликују по томе што су нерелациони, неструктурирани и хоризонтално скалабилни. НоСКЛ је стекао одређену популарност, али се чини да је помама за приступом, чак и до тачке пророчанстава да ће заменити СКЛ као доминантну парадигму складиштења, завршена.

Поређење са терминима у радним местима научника података

Ево тридесет технолошких термина најчешћих међу послодавцима у области науке о подацима. Добио сам ову листу на исти начин као што је горе описано за инжењеринг података.

Помињања технологије на конкурсима за позицију дата сциенце 2020

Ако говоримо о укупном броју, у поређењу са претходно разматраним пријемом, било је 28% више слободних радних места (12 према 013). Да видимо које су технологије мање уобичајене на конкурсима за научнике података него за инжењере података.

Популарнији у инжењерингу података

Графикон испод приказује кључне речи са просечном разликом већом од 10% или мањом од -10%.

Највеће разлике у учесталости кључних речи између инжењера података и научника за податке

АВС показује најзначајнији пораст: у инжењерингу података се појављује 25% редовније него у науци о подацима (приближно 45% и 20% од укупног броја слободних радних места, респективно). Разлика је приметна!

Ево истих података у мало другачијој презентацији – на графикону су резултати за исту кључну реч на конкурсима за радно место дата инжењер и дата научник лоцирани један поред другог.

Највеће разлике у учесталости кључних речи између инжењера података и научника за податке

Следећи највећи скок који сам приметио био је у Спарк-у – инжењер података често мора да ради са великим подацима. Кафка такође повећан за 20%, односно скоро четири пута у поређењу са резултатом за упражњена радна места научника података. Пренос података је једна од кључних одговорности инжењера података. Коначно, број помињања је био 15% већи у области инжењеринга података за Јава, НоСКЛ, Редсхифт, СКЛ и Хадооп.

Мање популаран у инжењерингу података

Сада да видимо које технологије су мање популарне на пословима инжењера података.
Највећи пад у поређењу са сектором науке о подацима догодио се у R: тамо се појавио на отприлике 56% слободних места, овде - само у 17%. Импресиван. Р је програмски језик који фаворизују научници и статистичари, и осми је најстрашнији језик на свету.

СРС налази се и на конкурсима за радно место инжењер података знатно ређе – разлика је 14%. САС је власнички језик дизајниран за рад са статистиком и подацима. Занимљиво: судећи по резултатима моје истраживање отварања радних места за научнике података, у последње време је много изгубила – више од било које друге технологије.

Потребан иу инжењерингу података и науци о подацима

Треба напоменути да је осам од првих десет позиција у оба сета исто. СКЛ, Питхон, Спарк, АВС, Јава, Хадооп, Хиве и Сцала су ушли у првих десет и за инжењеринг података и за индустрију науке о подацима. На графикону испод можете видети петнаест најпопуларнијих технологија међу послодавцима инжењера података, а поред њих је њихова стопа слободних радних места за научнике података.

Препоруке

Ако желите да се бавите инжењерингом података, саветовао бих вам да савладате следеће технологије – наводим их по приближном приоритету.

Научите СКЛ. Нагињем се ПостгреСКЛ-у јер је отвореног кода, веома популаран у заједници и у фази је раста. Можете научити како да користите језик из књиге Ми Меморабле СКЛ – доступна је њена пилот верзија овде.

Мајстор Питхон-а, чак и ако не на најтврдокорнијем нивоу. Ми Меморабле Питхон је дизајниран посебно за почетнике. Може се купити на амазонка, електронска или физичка копија, по вашем избору или преузмите у пдф или епуб формату на овој страници.

Када се упознате са Питхон-ом, пређите на пандас, Питхон библиотеку која се користи за чишћење и обраду података. Ако намеравате да радите у компанији која захтева способност писања на Питхон-у (а ово је већина њих), можете бити сигурни да ће се подразумевано подразумевати познавање панда. Тренутно завршавам уводни водич за рад са пандама - можете претплатити седа не би пропустио тренутак ослобађања.

Мастер АВС. Ако желите да постанете инжењер података, не можете без клауд платформе у залихама, а АВС је најпопуларнији од њих. Курсеви су ми много помогли Линук Ацадемикада сам студирао инжењеринг података на Гоогле Цлоуд-у, мислим да ће и они имати добре материјале на АВС-у.

Ако сте већ завршили целу ову листу и желите даље да растете у очима послодаваца као инжењер података, предлажем да додате Апацхе Спарк за рад са великим подацима. Иако је моје истраживање о слободним радним местима научника података показало пад интересовања, међу инжењерима података оно се и даље појављује на скоро сваком другом упражњеном радном месту.

Коначно

Надам се да вам је овај преглед најтраженијих технологија за инжењере података био користан. Ако се питате како напредују послови аналитичара, прочитајте мој други чланак. Срећно инжењерство!

Извор: ввв.хабр.цом