Sicondu
Aghju analizatu i posti vacanti per a pusizione di ingegnere di dati cume sò in ghjennaghju 2020 per capisce quale cumpetenze tecnologiche sò più populari. Allora aghju paragunatu i risultati cù statistiche nantu à i posti vacanti per a pusizione di scientist di dati - è emergenu alcune differenzi interessanti.
Senza assai preambulu, eccu i primi deci tecnulugii chì sò citati più spessu in i posti di travagliu:
Menzione di tecnulugia in i posti vacanti per a pusizione di ingegnere di dati in 2020
Responsabilità di un ingegnere di dati
Oghje, u travagliu chì l'ingegneri di dati facenu hè di grande impurtanza per l'urganisazione - queste sò e persone chì sò rispunsevuli di almacenà l'infurmazioni è di mette in una forma tali chì l'altri impiegati ponu travaglià cun ella. L'ingegneri di dati creanu pipeline per trasmette o batch data da parechje fonti. Pipelines poi eseguisce operazioni di estrazione, trasfurmazioni è carica (in altre parolle, prucessi ETL), rendendu i dati più adattati per un usu più. Dopu questu, i dati sò sottumessi à l'analista è i scientisti di dati per un prucessu più profundo. Infine, i dati finiscinu u so viaghju in dashboards, rapporti è mudelli di machine learning.
Aviu cercatu infurmazioni chì mi permettenu di piglià una cunclusione nantu à quali tecnulugia sò più richieste in u travagliu di un ingegnere di dati in u mumentu.
Metodi
Aghju cullatu infurmazione da trè siti di ricerca di travagliu -
Per ogni keyword, aghju calculatu u percentualità di hits da u numeru tutale di testi in ogni situ per separatamente, è dopu calculatu a media per e trè fonti.
Risultati
Quì sottu sò i trenta termini di ingegneria di dati tecnichi cù i punteggi più alti in tutti i trè siti di travagliu.
E quì sò i stessi numeri, ma presentati in forma di tavula:
Andemu in ordine.
Rivista di i risultati
Sia SQL è Python appariscenu in più di dui terzi di l'apertura di travagliu rivista. Sò sti dui tecnulugii chì anu sensu di studià prima.
Spark hè citatu in circa a mità di i vacanti.
AWS appare in circa 45% di i posti di travagliu. Hè una piattaforma di cloud computing fabricata da Amazon; hà a più grande parte di u mercatu trà tutte e plataforme di nuvola.
Dopu vene Java è Hadoop - un pocu più di 40% per u so fratellu.
Hè cum'è cavalcà in una macchina di u tempu
Allora vedemu Hive, Scala, Kafka è NoSQL - ognunu di sti tecnulugii hè citatu in un quartu di i vacanti sottumessi. Apache Hive hè un software di magazzinu di dati chì "facilita a lettura, a scrittura è a gestione di grandi datasets residenti in magazzini distribuiti cù SQL".
Cunfrontu cù termini in data scientist vacantes
Eccu trenta termini tecnologichi più cumuni trà i patroni di scienza di dati. Aghju ottenutu sta lista in u listessu modu cum'è descrittu sopra per l'ingegneria di dati.
Menzioni di tecnulugia in i posti vacanti per u postu di scientist di dati in 2020
Se parlemu di u numeru tutale, paragunatu à u reclutamentu cunsideratu prima, ci era 28% di più vacanti (12 versus 013). Videmu quali tecnulugii sò menu cumuni in i vacanti per i scientifichi di dati cà per l'ingegneri di dati.
Più populari in l'ingegneria di dati
U graficu sottu mostra e parolle chjave cù una diferenza media di più di 10% o menu di -10%.
A più grande differenze in a freccia di keyword trà l'ingegnere di dati è u scientist di dati
AWS mostra l'aumentu più significativu: in l'ingegneria di dati appare 25% più regularmente cà in a scienza di dati (circa 45% è 20% di u numeru tutale di vacanti, rispettivamente). A diffarenza hè nota!
Eccu i stessi dati in una presentazione ligeramente sfarente - in u graficu, i risultati per a listessa keyword in i posti vacanti per a pusizione di ingegnere di dati è scientist di dati sò situati fiancu à fiancu.
A più grande differenze in a freccia di keyword trà l'ingegnere di dati è u scientist di dati
U prossimu più grande saltu chì aghju nutatu era in Spark - un ingegnere di dati spessu hà da travaglià cù big data.
Menu populari in l'ingegneria di dati
Avà vedemu quali tecnulugia sò menu populari in i vacanti di l'ingegneri di dati.
U più forte calatu paragunatu à u settore di a scienza di dati hè accadutu in
In dumanda sia in ingegneria di dati sia in scienza di dati
Si deve esse nutatu chì ottu di i primi deci pusizioni in i dui setti sò listessi. SQL, Python, Spark, AWS, Java, Hadoop, Hive è Scala l'hanu fattu in u top ten per l'industria di l'ingegneria di dati è di a scienza di i dati. In u graficu quì sottu pudete vede e quindici tecnulugii più populari trà i patroni di l'ingegneri di dati, è accantu à elli hè u so tassu di vacanti per i scientisti di dati.
ci voli
Se vulete entre in l'ingegneria di dati, vi cunsigliu di maestru di e seguenti tecnulugii - I listinu in ordine di priorità apprussimativa.
Amparate SQL. Sò inclinatu versu PostgreSQL perchè hè open source, assai populari in a cumunità, è hè in una fase di crescita. Pudete amparà à utilizà a lingua da u libru My Memorable SQL - a so versione pilotu hè dispunibule
Maestru Python, ancu s'ellu ùn hè micca à u livellu più hardcore. My Memorable Python hè pensatu apposta per i principianti. Pò esse acquistatu in
Una volta chì avete familiarizatu cù Python, andate à pandas, una biblioteca Python chì hè aduprata per a pulizia è u trattamentu di dati. Sè vo vulete travaglià in una cumpagnia chì esige l'abilità di scrive in Python (è questu hè a maiò parte di elli), pudete esse sicuru chì a cunniscenza di i panda serà assunta per automaticamente. Attualmente aghju finitu una guida introduttiva à travaglià cù panda - pudete
Maestru AWS. Se vulete diventà un ingegnere di dati, ùn pudete micca fà senza una piattaforma nuvola in u stash, è AWS hè u più populari di elli. I corsi m'hà aiutatu assai
Se avete digià cumpletu sta lista sana è vulete cresce ancu più in l'ochji di i patroni cum'è un ingegnere di dati, vi suggeriu di aghjunghje Apache Spark per travaglià cù big data. Ancu s'è a mo ricerca nantu à i vacanti di scientist di dati hà dimustratu una diminuzione di l'interessu, trà l'ingegneri di dati appare sempre in quasi ogni seconda vacante.
À fine
Spergu chì avete trovu utile questa panoramica di e tecnulugia più richieste per l'ingegneri di dati. Sè vi dumandate cumu stanu i travaglii di analista, leghjite
Source: www.habr.com