{"id":55327,"date":"2020-01-18T00:00:00","date_gmt":"2020-01-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/samye-vostrebovannye-navyki-v-professii-data-engineer"},"modified":"2020-02-18T14:03:26","modified_gmt":"2020-02-18T11:03:26","slug":"samye-vostrebovannye-navyki-v-professii-data-engineer","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","title":{"rendered":"Le competenze pi\u00f9 richieste nella professione di data engineer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Secondo statistiche del 2019<\/a><\/noindex>, attualmente il data engineer \u00e8 la professione con la crescita di domanda pi\u00f9 rapida tra tutte le altre. Il data engineer gioca un ruolo critico all'interno dell'organizzazione: crea e mantiene pipelines e database che vengono utilizzati per elaborare, trasformare e memorizzare i dati. Quali competenze sono necessarie per i professionisti di questo settore? Esiste una differenza rispetto a quelle richieste ai data scientist? Di tutto ci\u00f2 parler\u00f2 nel mio articolo.<\/p>\n

Ho analizzato gli annunci di lavoro per la posizione di data engineer nel formato in cui si trovano a gennaio 2020, per capire quali abilit\u00e0 tecnologiche siano pi\u00f9 richieste. Poi ho confrontato i risultati ottenuti con le statistiche sugli annunci per la posizione di data scientist, rivelando alcune interessanti differenze.<\/p>\n

Senza ulteriori indugi, ecco le dieci tecnologie pi\u00f9 frequentemente menzionate nei testi degli annunci di lavoro:<\/p>\n

\"Le<\/p>\n

Menzioni delle tecnologie negli annunci per la posizione di data engineer nel 2020<\/i><\/p>\n

Iniziamo.
\n<\/a><\/noindex><\/p>\n

Responsabilit\u00e0 del data engineer<\/h4>\n

\nOggi, il lavoro svolto dai data engineer \u00e8 di enorme importanza per le organizzazioni: sono proprio queste persone a occuparsi della memorizzazione delle informazioni e a trasformarle in un formato utile affinch\u00e9 altri dipendenti possano lavorarci. I data engineer costruiscono pipelines per facilitare l'acquisizione dei dati, sia in flusso che in pacchetti, da molteplici fonti. Successivamente, le pipelines eseguono operazioni di estrazione, trasformazione e caricamento (in altre parole, processi ETL), rendendo i dati pi\u00f9 adatti per un utilizzo successivo. Dopo di ci\u00f2, i dati vengono inviati ad analisti e data scientist per ulteriori elaborazioni. Infine, i dati concludono il loro viaggio su dashboard informative, report e modelli per l'apprendimento automatico.<\/p>\n

Ho cercato informazioni che potessero concludere quali tecnologie siano attualmente pi\u00f9 richieste nel lavoro del data engineer.<\/p>\n

Metodi<\/h4>\n

\nHo raccolto informazioni da tre siti di ricerca lavoro \u2014 SimplyHired<\/a><\/noindex>, Indeed<\/a><\/noindex> e Monster<\/a><\/noindex> e ho osservato quali parole chiave compaiono in associazione con \"data engineer\" nei testi degli annunci destinati ai residenti negli Stati Uniti. Per questo compito ho utilizzato due librerie Python \u2014 Requests<\/a><\/noindex> e Beautiful Soup<\/a><\/noindex>. Ho incluso nella lista delle parole chiave sia quelle gi\u00e0 presenti nella precedente lista per l'analisi delle offerte di lavoro per la posizione di data scientist, sia quelle che ho selezionato manualmente leggendo le offerte di lavoro per data engineers. LinkedIn non \u00e8 stato considerato tra le fonti, in quanto sono stato bannato dopo il mio precedente tentativo di raccogliere dati.<\/p>\n

Per ogni parola chiave ho calcolato la percentuale di occorrenze sul numero totale di testi su ciascun sito singolarmente, e poi ho calcolato la media tra le tre fonti.<\/p>\n

Risultati<\/h4>\n

\nDi seguito sono riportati trenta termini tecnici nel campo del data engineering con i tassi pi\u00f9 elevati su tutti e tre i siti di annunci di lavoro.<\/p>\n

\"Le<\/p>\n

Ecco gli stessi dati, ma presentati in forma di tabella:<\/p>\n

\"Le<\/p>\n

Procediamo in ordine.<\/p>\n

Panoramica dei risultati<\/b><\/p>\n

Sia SQL che Python compaiono in pi\u00f9 di due terzi delle offerte di lavoro analizzate. Queste due tecnologie sono quelle che vale la pena studiare per prime. Python<\/a><\/noindex> \u2013 \u00e8 un linguaggio di programmazione molto popolare, utilizzato per lavorare con i dati, creare siti web e scrivere script. SQL<\/a><\/noindex> sta per Structured Query Language (linguaggio di query strutturato); prevede uno standard, implementato da un gruppo di linguaggi, ed \u00e8 utilizzato per estrarre dati da database relazionali. \u00c8 stato introdotto molto tempo fa e si \u00e8 dimostrato altamente affidabile.<\/p>\n

Di Spark si parla in circa la met\u00e0 delle offerte di lavoro. Apache Spark<\/a><\/noindex> \u2013 \u00e8 un \"motore analitico unificato per l'elaborazione di big data con moduli integrati per lo streaming, SQL, machine learning e elaborazione grafica\". \u00c8 particolarmente popolare tra coloro che lavorano con grandi basi di dati.<\/p>\n

AWS appare in circa il 45% dei testi delle offerte di lavoro. Si tratta di una piattaforma di calcolo cloud di Amazon; detiene la maggior parte del mercato tra tutte le piattaforme cloud.
\nSeguono Java e Hadoop \u2013 poco pi\u00f9 del 40% a testa. Java<\/a><\/noindex> \u2013 \u00e8 un linguaggio ampiamente utilizzato e collaudato, che nel sondaggio degli sviluppatori di Stack Overflow del 2019<\/a><\/noindex> ha ottenuto il decimo posto tra i linguaggi che spaventano di pi\u00f9 i programmatori. In contrapposizione, Python si \u00e8 classificato secondo tra i linguaggi pi\u00f9 amati. Java \u00e8 gestito da Oracle e tutto ci\u00f2 che c'\u00e8 da sapere su di esso pu\u00f2 essere compreso da questo screenshot della pagina ufficiale di gennaio 2020.<\/p>\n

\"Le
\n
\nSembra di essere stati su un viaggio nel tempo<\/i>
\nApache Hadoop<\/a><\/noindex> utilizza il modello software MapReduce con cluster di server per grandi dati. Ora, questo modello sta venendo sempre pi\u00f9 abbandonato.<\/p>\n

Successivamente, vediamo Hive, Scala, Kafka e NoSQL \u2013 ognuna di queste tecnologie \u00e8 menzionata in un quarto delle offerte di lavoro presentate. Apache Hive \u00e8 un programma di archiviazione dati che \"semplifica la lettura, la scrittura e la gestione di grandi insiemi di dati distribuiti, utilizzando SQL.\" Scala<\/a><\/noindex> \u00e8 un linguaggio di programmazione ampiamente utilizzato nel lavoro con grandi dati. In particolare, Spark \u00e8 stato sviluppato in Scala. Nella classifica delle lingue temute gi\u00e0 menzionata, Scala occupa l'undicesima posizione. Apache Kafka<\/a><\/noindex> \u00e8 una piattaforma distribuita per l'elaborazione di messaggi in streaming. \u00c8 molto popolare come mezzo di trasferimento dati.<\/p>\n

Le basi di dati NoSQL<\/a><\/noindex> si contrappongono a SQL. Si differenziano per il fatto che non sono relazionali, non strutturate e presentano scalabilit\u00e0 orizzontale. NoSQL ha acquisito una certa popolarit\u00e0, tuttavia il fervente interesse per questo approccio, fino alle profezie che avrebbe sostituito SQL come paradigma dominante per l'archiviazione, sembra ormai alle spalle.<\/p>\n

Confronto con i termini nelle offerte di lavoro per data scientist<\/h4>\n

\nEcco trenta termini tecnologici pi\u00f9 comuni tra i datori di lavoro nel campo della scienza dei dati. Questa lista l'ho ottenuta seguendo lo stesso metodo descritto sopra per l'ingegneria dei dati.<\/p>\n

\"Le<\/p>\n

Riferimenti alle tecnologie nelle offerte di lavoro per data scientist nel 2020<\/i><\/p>\n

Parlando del numero totale, rispetto all'insieme esaminato in precedenza, ci sono state il 28% di offerte di lavoro in pi\u00f9 (12.013 contro 9.396). Vediamo quali tecnologie sono presenti nelle offerte di lavoro per data scientist meno frequentemente rispetto a quelle per data engineer.<\/p>\n

Pi\u00f9 popolari in data engineering<\/b><\/p>\n

Nel grafico sottostante sono mostrati le parole chiave con una differenza media di valori superiore al 10% o inferiore al -10%.<\/p>\n

\"Le<\/p>\n

Le maggiori differenze nella frequenza delle parole chiave tra data engineer e data scientist<\/i><\/p>\n

La maggiore crescita si registra per AWS: in data engineering appare con una frequenza del 25% superiore rispetto a data science (circa il 45% e il 20% del totale delle offerte di lavoro rispettivamente). La differenza \u00e8 significativa!<\/p>\n

Ecco gli stessi dati in una presentazione leggermente diversa: nel grafico, i risultati per la stessa parola chiave nelle offerte di lavoro per data engineer e data scientist sono presentati fianco a fianco.<\/p>\n

\"Le<\/p>\n

Le maggiori differenze nella frequenza delle parole chiave tra data engineer e data scientist<\/i><\/p>\n

Ho notato il salto di visibilit\u00e0 pi\u00f9 grande per Spark: gli ingegneri dei dati si trovano spesso a lavorare con grandi quantit\u00e0 di dati. Kafka<\/a><\/noindex> \u00e8 aumentato del 20%, quasi quattro volte rispetto ai risultati per le offerte di lavoro degli data scientist. La trasmissione dei dati \u00e8 uno dei compiti chiave per un data engineer. Infine, il numero di menzioni \u00e8 risultata superiore del 15% nel campo del data engineering per Java, NoSQL, Redshift, SQL e Hadoop.<\/p>\n

Meno popolari nel data engineering<\/b><\/p>\n

Ora diamo un'occhiata alle tecnologie che sono meno popolari nelle offerte di lavoro per i data engineer.
\nLa flessione pi\u00f9 drastica rispetto al campo della data science si \u00e8 verificata per R<\/a><\/noindex>: qui era presente in circa il 56% delle offerte, mentre qui solo nel 17%. Impressionante. R \u00e8 un linguaggio di programmazione apprezzato da scienziati e statistici, ed \u00e8 anche all'ottavo posto nella classifica dei linguaggi pi\u00f9 temuti.<\/p>\n

SAS<\/a><\/noindex> \u00e8 anche presente nelle offerte per la posizione di data engineer in modo significativamente meno frequente: la differenza \u00e8 del 14%. SAS \u00e8 un linguaggio proprietario progettato per lavorare con statistiche e dati. Un fatto interessante: stando ai risultati della mia ricerca sulle offerte di lavoro per data scientists<\/a><\/noindex>, recentemente ha perso molto terreno \u2014 pi\u00f9 di qualsiasi altra tecnologia.<\/p>\n

Richieste sia nel data engineering che nella data science<\/b><\/p>\n

\u00c8 importante notare che otto delle dieci prime posizioni nei due set coincidono. SQL, Python, Spark, AWS, Java, Hadoop, Hive e Scala sono entrati nella top ten sia per l'industria del data engineering che per la data science. Nella grafica qui sotto puoi vedere le quindici tecnologie pi\u00f9 popolari richieste dai datori di lavoro per i data engineers, affiancate dai loro risultati nelle offerte per gli data scientists.<\/p>\n

\"Le<\/p>\n

Raccomandazioni<\/h4>\n

\nSe desideri intraprendere una carriera nel data engineering, ti consiglio di padroneggiare le seguenti tecnologie, elencate in ordine di priorit\u00e0 approssimativa.<\/p>\n

Studia SQL. Ti consiglio PostgreSQL, poich\u00e9 \u00e8 open source, molto popolare nella comunit\u00e0 e in fase di crescita. Puoi scoprire come utilizzare il linguaggio nel libro My Memorable SQL \u2013 la versione pilota \u00e8 disponibile qui<\/a><\/noindex>.<\/p>\n

Padroneggia Python, anche se non a un livello molto avanzato. Il libro My Memorable Python \u00e8 pensato proprio per i principianti. Pu\u00f2 essere acquistato su Amazon<\/a><\/noindex>, sia in formato elettronico che cartaceo, a tua scelta, oppure puoi scaricarlo in formato pdf o epub su questo sito<\/a><\/noindex>.<\/p>\n

Non appena ti familiarizzi con Python, passa a pandas \u2013 la libreria Python utilizzata per la pulizia e l'elaborazione dei dati. Se intendi lavorare in un'azienda dove \u00e8 richiesta la capacit\u00e0 di programmare in Python (e la maggior parte delle aziende lo richiede), puoi essere certo che la conoscenza di pandas sar\u00e0 data per scontata. Sto attualmente preparando una guida introduttiva per lavorare con pandas \u2013 puoi iscriverti<\/a><\/noindex>, per non perdere il momento del rilascio.<\/p>\n

Impara AWS. Se desideri diventare un data engineer, non puoi fare a meno di una piattaforma cloud, e AWS \u00e8 la pi\u00f9 popolare tra queste. I corsi di Linux Academy<\/a><\/noindex>, mi sono stati molto utili quando studiavo data engineering su Google Cloud<\/a><\/noindex>, penso che abbiano anche buoni materiali su AWS.<\/p>\n

Se hai gi\u00e0 acquisito tutte queste competenze e desideri ulteriore crescita agli occhi dei datori di lavoro come data engineer, ti consiglio di aggiungere Apache Spark per lavorare con i big data. Anche se la mia ricerca sulle offerte di lavoro nel data science ha mostrato un calo di interesse, per i data engineer questo compare ancora in quasi ogni seconda offerta.<\/p>\n

Infine,<\/h4>\n

\nSpero che questa panoramica delle tecnologie pi\u00f9 richieste per i data engineer ti sia sembrata utile. Se sei curioso di sapere com'\u00e8 la situazione con le offerte per gli analisti, leggi un altro dei miei articoli<\/a><\/noindex>. Buona ingegneria!
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0441\u0442\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0447\u0438\u0445. Data engineer \u0438\u0433\u0440\u0430\u0435\u0442 \u0432 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u2013 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0438 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c? \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-55327","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Le competenze pi\u00f9 richieste nella professione di data engineer | ProHoster","description":"Secondo le statistiche del 2019, il data engineer \u00e8 al momento una professione molto richiesta.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0430\u043c\u044b\u0435 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 data engineer | ProHoster","og:description":"\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-17T21:00:00+00:00","article:modified_time":"2020-02-18T11:03:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"55327","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 13:45:53","updated":"2022-09-30 07:37:35","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/55327","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=55327"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/55327\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=55327"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=55327"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=55327"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}