Sicondu , l'ingegnere di dati hè attualmente una professione chì a so dumanda cresce più veloce di qualsiasi altru. Un ingegnere di dati ghjoca un rolu criticu in una urganizazione - creendu è mantene pipeline è basa di dati chì sò usati per processà, trasfurmà è almacenà e dati. Chì cumpetenze i rapprisentanti di sta professione necessitanu prima di tuttu? A lista hè diversa da ciò chì hè dumandatu à i scientifichi di dati? Sapete nantu à tuttu questu da u mo articulu.
Aghju analizatu i posti vacanti per a pusizione di ingegnere di dati cume sò in ghjennaghju 2020 per capisce quale cumpetenze tecnologiche sò più populari. Allora aghju paragunatu i risultati cù statistiche nantu à i posti vacanti per a pusizione di scientist di dati - è emergenu alcune differenzi interessanti.
Senza assai preambulu, eccu i primi deci tecnulugii chì sò citati più spessu in i posti di travagliu:
Menzione di tecnulugia in i posti vacanti per a pusizione di ingegnere di dati in 2020
Scupremu.
Responsabilità di un ingegnere di dati
Oghje, u travagliu chì l'ingegneri di dati facenu hè di grande impurtanza per l'urganisazione - queste sò e persone chì sò rispunsevuli di almacenà l'infurmazioni è di mette in una forma tali chì l'altri impiegati ponu travaglià cun ella. L'ingegneri di dati creanu pipeline per trasmette o batch data da parechje fonti. Pipelines poi eseguisce operazioni di estrazione, trasfurmazioni è carica (in altre parolle, prucessi ETL), rendendu i dati più adattati per un usu più. Dopu questu, i dati sò sottumessi à l'analista è i scientisti di dati per un prucessu più profundo. Infine, i dati finiscinu u so viaghju in dashboards, rapporti è mudelli di machine learning.
Aviu cercatu infurmazioni chì mi permettenu di piglià una cunclusione nantu à quali tecnulugia sò più richieste in u travagliu di un ingegnere di dati in u mumentu.
Metodi
Aghju cullatu infurmazione da trè siti di ricerca di travagliu - , и è hà guardatu ciò chì e parolle chjave ghjuntu in cunghjunzione cù "ingegnere di dati" in i testi di vacanti destinati à i residenti di i Stati Uniti. Per questu compitu aghju utilizatu duie librerie Python - и . Trà e parolle chjave, aghju inclusu sia quelli chì eranu inclusi in a lista precedente per analizà i vacanti per a pusizione di scientist di dati, è quelli chì aghju selezziunatu manualmente mentre leghjenu offerte di travagliu per ingegneri di dati. LinkedIn ùn era micca inclusu in a lista di fonti, postu chì era statu pruibitu quì dopu u mo ultimu tentativu di cullà dati.
Per ogni keyword, aghju calculatu u percentualità di hits da u numeru tutale di testi in ogni situ per separatamente, è dopu calculatu a media per e trè fonti.
Risultati
Quì sottu sò i trenta termini di ingegneria di dati tecnichi cù i punteggi più alti in tutti i trè siti di travagliu.
E quì sò i stessi numeri, ma presentati in forma di tavula:
Andemu in ordine.
Rivista di i risultati
Sia SQL è Python appariscenu in più di dui terzi di l'apertura di travagliu rivista. Sò sti dui tecnulugii chì anu sensu di studià prima. hè un linguaghju di prugrammazione assai populari utilizatu per travaglià cù dati, creà siti web è scrive script. sta per Structured Query Language; implica un standard implementatu da un gruppu di lingue è hè adupratu per ricuperà dati da basa di dati relazionale. Hè apparsu assai tempu fà è hà pruvatu à esse assai resistente.
Spark hè citatu in circa a mità di i vacanti. hè un "mutore di analisi di big data unificatu cù moduli integrati per streaming, SQL, apprendimentu automaticu è trasfurmazioni di grafici". Hè soprattuttu populari trà quelli chì travaglianu cù grande basa di dati.
AWS appare in circa 45% di i posti di travagliu. Hè una piattaforma di cloud computing fabricata da Amazon; hà a più grande parte di u mercatu trà tutte e plataforme di nuvola.
Dopu vene Java è Hadoop - un pocu più di 40% per u so fratellu. hè una lingua largamente parlata, a prova di battaglia chì hè stata premiata u decimu postu trà e lingue chì causanu l'orrore trà i programatori. In cuntrastu, Python era a seconda lingua più amata. A lingua Java hè gestita da Oracle, è tuttu ciò chì avete bisognu di sapè pò esse capitu da questa screenshot di a pagina ufficiale da ghjennaghju 2020.
Hè cum'è cavalcà in una macchina di u tempu
usa u mudellu di prugrammazione MapReduce cù clusters di servitori per big data. Avà stu mudellu hè sempre più abbandunatu.
Allora vedemu Hive, Scala, Kafka è NoSQL - ognunu di sti tecnulugii hè citatu in un quartu di i vacanti sottumessi. Apache Hive hè un software di magazzinu di dati chì "facilita a lettura, a scrittura è a gestione di grandi datasets residenti in magazzini distribuiti cù SQL". - una lingua di prugrammazione chì hè attivamente utilizata quandu travaglia cù big data. In particulare, Spark hè statu creatu in Scala. In a dighjà citata classificazione di e lingue temute, Scala hè undicesima. - una piattaforma distribuita per trattà i missaghji in streaming. Hè assai populari cum'è un mezzu di streaming di dati.
cuntrastà elli cù SQL. Differiscenu in quantu ùn sò micca relazionali, micca strutturati è scalabili orizontali. NoSQL hà guadagnatu una certa popularità, ma a mania per l'approcciu, ancu à u puntu di profezie chì rimpiazzà SQL cum'è u paradigma di almacenamiento dominante, pare esse finitu.
Cunfrontu cù termini in data scientist vacantes
Eccu trenta termini tecnologichi più cumuni trà i patroni di scienza di dati. Aghju ottenutu sta lista in u listessu modu cum'è descrittu sopra per l'ingegneria di dati.
Menzioni di tecnulugia in i posti vacanti per u postu di scientist di dati in 2020
Se parlemu di u numeru tutale, paragunatu à u reclutamentu cunsideratu prima, ci era 28% di più vacanti (12 versus 013). Videmu quali tecnulugii sò menu cumuni in i vacanti per i scientifichi di dati cà per l'ingegneri di dati.
Più populari in l'ingegneria di dati
U graficu sottu mostra e parolle chjave cù una diferenza media di più di 10% o menu di -10%.
A più grande differenze in a freccia di keyword trà l'ingegnere di dati è u scientist di dati
AWS mostra l'aumentu più significativu: in l'ingegneria di dati appare 25% più regularmente cà in a scienza di dati (circa 45% è 20% di u numeru tutale di vacanti, rispettivamente). A diffarenza hè nota!
Eccu i stessi dati in una presentazione ligeramente sfarente - in u graficu, i risultati per a listessa keyword in i posti vacanti per a pusizione di ingegnere di dati è scientist di dati sò situati fiancu à fiancu.
A più grande differenze in a freccia di keyword trà l'ingegnere di dati è u scientist di dati
U prossimu più grande saltu chì aghju nutatu era in Spark - un ingegnere di dati spessu hà da travaglià cù big data. ancu aumentatu da 20%, vale à dì, quasi quattru volte paragunatu à u risultatu di data scientist vacants. U trasferimentu di dati hè una di e responsabilità chjave di un ingegnere di dati. Infine, u numeru di menzioni era 15% più altu in u campu di l'ingegneria di dati per Java, NoSQL, Redshift, SQL è Hadoop.
Menu populari in l'ingegneria di dati
Avà vedemu quali tecnulugia sò menu populari in i vacanti di l'ingegneri di dati.
U più forte calatu paragunatu à u settore di a scienza di dati hè accadutu in : quì hè apparsu in circa 56% di vacanti, quì - solu in 17%. Impressive. R hè una lingua di prugrammazione chì hè favurita da i scientisti è i statistichi, è hè a ottava lingua più temuta in u mondu.
si trova ancu in posti vacanti per a pusizione di ingegnere di dati significativamente menu spessu - a diferenza hè di 14%. SAS hè una lingua proprietaria pensata per travaglià cù statistiche è dati. Puntu interessante: à ghjudicà da i risultati , hà persu assai di terra recentemente-più di qualsiasi altra tecnulugia.
In dumanda sia in ingegneria di dati sia in scienza di dati
Si deve esse nutatu chì ottu di i primi deci pusizioni in i dui setti sò listessi. SQL, Python, Spark, AWS, Java, Hadoop, Hive è Scala l'hanu fattu in u top ten per l'industria di l'ingegneria di dati è di a scienza di i dati. In u graficu quì sottu pudete vede e quindici tecnulugii più populari trà i patroni di l'ingegneri di dati, è accantu à elli hè u so tassu di vacanti per i scientisti di dati.
ci voli
Se vulete entre in l'ingegneria di dati, vi cunsigliu di maestru di e seguenti tecnulugii - I listinu in ordine di priorità apprussimativa.
Amparate SQL. Sò inclinatu versu PostgreSQL perchè hè open source, assai populari in a cumunità, è hè in una fase di crescita. Pudete amparà à utilizà a lingua da u libru My Memorable SQL - a so versione pilotu hè dispunibule .
Maestru Python, ancu s'ellu ùn hè micca à u livellu più hardcore. My Memorable Python hè pensatu apposta per i principianti. Pò esse acquistatu in , copia elettronica o fisica, a vostra scelta, o scaricate in formatu pdf o epub .
Una volta chì avete familiarizatu cù Python, andate à pandas, una biblioteca Python chì hè aduprata per a pulizia è u trattamentu di dati. Sè vo vulete travaglià in una cumpagnia chì esige l'abilità di scrive in Python (è questu hè a maiò parte di elli), pudete esse sicuru chì a cunniscenza di i panda serà assunta per automaticamente. Attualmente aghju finitu una guida introduttiva à travaglià cù panda - pudete per ùn mancassi u mumentu di liberazione.
Maestru AWS. Se vulete diventà un ingegnere di dati, ùn pudete micca fà senza una piattaforma nuvola in u stash, è AWS hè u più populari di elli. I corsi m'hà aiutatu assai quandu studiava , Pensu chì anu ancu avè boni materiali nantu à AWS.
Se avete digià cumpletu sta lista sana è vulete cresce ancu più in l'ochji di i patroni cum'è un ingegnere di dati, vi suggeriu di aghjunghje Apache Spark per travaglià cù big data. Ancu s'è a mo ricerca nantu à i vacanti di scientist di dati hà dimustratu una diminuzione di l'interessu, trà l'ingegneri di dati appare sempre in quasi ogni seconda vacante.
À fine
Spergu chì avete trovu utile questa panoramica di e tecnulugia più richieste per l'ingegneri di dati. Sè vi dumandate cumu stanu i travaglii di analista, leghjite . Felice ingegneria!
Source: www.habr.com