{"id":55327,"date":"2020-01-18T00:00:00","date_gmt":"2020-01-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/samye-vostrebovannye-navyki-v-professii-data-engineer"},"modified":"2020-02-18T14:03:26","modified_gmt":"2020-02-18T11:03:26","slug":"samye-vostrebovannye-navyki-v-professii-data-engineer","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","title":{"rendered":"De mest etterspurte ferdighetene innen dataingeni\u00f8rfaget","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

I henhold til statistikken fra 2019<\/a><\/noindex>, data engineer er i dag et yrke som ettersp\u00f8rres raskere enn noen andre. Data engineer har en kritisk rolle i organisasjoner \u2013 de lager og opprettholder pipelines og databaser som brukes til behandling, transformasjon og lagring av data. Hvilke ferdigheter trenger folk i dette yrket f\u00f8rst og fremst? Skiller listen seg fra det som kreves av data scientists? Alt dette vil du finne ut av i artikkelen min.<\/p>\n

Jeg har analysert stillingsannonser for data engineer slik de fremst\u00e5r i januar 2020 for \u00e5 forst\u00e5 hvilke teknologiske ferdigheter som er mest etterspurt. Deretter sammenlignet jeg resultatene med statistikken for stillingsannonser for data scientist \u2013 og det ble avdekket noen interessante forskjeller.<\/p>\n

La oss komme til sak uten lange forord \u2013 her er toppen av ti teknologier som oftest nevnes i stillingsannonser:<\/p>\n

\"De<\/p>\n

Omfattning av teknologier i stillingsannonser for data engineer i 2020<\/i><\/p>\n

La oss se n\u00e6rmere p\u00e5 dette.
\n<\/a><\/noindex><\/p>\n

Ansvarsomr\u00e5der for data engineer<\/h4>\n

\nI dag har arbeidet som data engineers enorm betydning for organisasjoner \u2013 det er disse menneskene som er ansvarlige for lagring av informasjon og f\u00e5r den til \u00e5 bli i en form som andre ansatte kan jobbe med. Data engineers bygger pipelines for \u00e5 sikre datainnhenting, enten str\u00f8mmet eller i pakker, fra mange kilder. Deretter utf\u00f8rer disse pipelinene ekstraksjons-, transformasjons- og lastingsprosesser (i andre ord, ETL-prosesser), som gj\u00f8r data mer egnet til videre bruk. Etter dette leveres data til analytikere og data scientists for dypere behandling. Til slutt ender dataene sin reise p\u00e5 informasjonsdashboards, i rapporter og modeller for maskinl\u00e6ring.<\/p>\n

Jeg har lett etter informasjon som kunne gi indikasjoner p\u00e5 hvilke teknologier som er mest etterspurt i arbeidet som data engineer for tiden.<\/p>\n

Metoder<\/h4>\n

\nJeg samlet informasjon fra tre jobbnettsider \u2014 SimplyHired<\/a><\/noindex>, Indeed<\/a><\/noindex> og Monster<\/a><\/noindex> og s\u00e5 p\u00e5 hvilke n\u00f8kkelord som dukker opp i sammenheng med \u00abdata engineer\u00bb i stillingsannonser rettet mot innbyggere i USA. For denne oppgaven brukte jeg to Python-biblioteker \u2014 Requests<\/a><\/noindex> og Beautiful Soup<\/a><\/noindex>. I included keywords both from the previous list for analyzing job postings for the data scientist position, as well as those I manually selected while reading job descriptions for data engineers. LinkedIn was not included as a source because I was banned there after my last attempt to collect data.<\/p>\n

For each keyword, I calculated the percentage of occurrences from the total number of texts on each site individually, and then computed the average across the three sources.<\/p>\n

Resultater<\/h4>\n

\nBelow are thirty technical terms from the field of data engineering with the highest indicators across all three job sites.<\/p>\n

\"De<\/p>\n

Here are the same numbers, but presented in table form:<\/p>\n

\"De<\/p>\n

Let's go in order.<\/p>\n

Overview of Results<\/b><\/p>\n

Both SQL and Python appear in more than two-thirds of the reviewed job postings. These two technologies are indeed the most important to study first. Python<\/a><\/noindex> \u2013 a very popular programming language used for data work, website creation, and script writing. SQL<\/a><\/noindex> stands for Structured Query Language; it implies a standard realized by a group of languages, and is used to extract data from relational databases. It has been around for a long time and has established itself with high reliability.<\/p>\n

Spark is mentioned in about half of the job postings. Apache Spark<\/a><\/noindex> \u2013 a unified analytics engine for big data processing with built-in modules for streaming, SQL, machine learning, and graph processing. It is especially popular among those working with large databases.<\/p>\n

AWS appears in about 45% of job postings. It is Amazon's cloud computing platform; it holds the largest market share among all cloud platforms.
\nNext are Java and Hadoop \u2013 just over 40% each. Java<\/a><\/noindex> \u2013 a widely used, battle-tested language which in the 2019 Stack Overflow Developer Survey<\/a><\/noindex> ranked tenth among languages that programmers dread. In contrast, Python came second among the most loved languages. Java is controlled by Oracle, and everything you need to know about it can be understood from this screenshot of the official page from January 2020.<\/p>\n

\"De
\n
\nAs if I took a ride in a time machine<\/i>
\nApache Hadoop<\/a><\/noindex> benytter MapReduce-programmodellen med klynger av servere for store data. Denne modellen blir n\u00e5 oftere forlatt.<\/p>\n

Videre ser vi Hive, Scala, Kafka og NoSQL \u2013 hver av disse teknologiene nevnes i en fjerdedel av de presenterte stillingsannonsene. Apache Hive er et datalagerprogram som \"forenkler lesing, skriving og h\u00e5ndtering av store datamengder som befinner seg i distribuerte lagre, ved hjelp av SQL.\" Scala<\/a><\/noindex> er et programmeringsspr\u00e5k som aktivt brukes i arbeidet med store data. Spilleren Scala brukes til \u00e5 utvikle Spark. P\u00e5 den allerede nevnte rangeringen av fryktende programmeringsspr\u00e5k, inntar Scala den ellevte plassen. Apache Kafka<\/a><\/noindex> - er en distribuert plattform for behandling av str\u00f8mmedata. Den er veldig popul\u00e6r som et verkt\u00f8y for datastreaming.<\/p>\n

NoSQL-databaser<\/a><\/noindex> setter seg i mot SQL. De skiller seg ved at de ikke er relasjonelle, ikke strukturerte, og de har horisontal skalerbarhet. NoSQL har oppn\u00e5dd en viss popularitet, men den febrilske besettelsen med denne tiln\u00e6rmingen, inkludert sp\u00e5dommene om at den vil erstatte SQL som den dominerende lagringsparadigmen, synes allerede \u00e5 v\u00e6re bak oss.<\/p>\n

Sammenligning med termer i stillingsannonser for data scientist<\/h4>\n

\nHer er tretti teknologiske termer som er mest brukte av arbeidsgivere innen data science. Denne listen fikk jeg p\u00e5 samme m\u00e5te som beskrevet ovenfor for data engineering.<\/p>\n

\"De<\/p>\n

Henvisninger til teknologier i stillingsannonser for data scientist i 2020<\/i><\/p>\n

N\u00e5r vi ser p\u00e5 det totale antallet, er det 28% flere stillinger sammenlignet med den tidligere vurderte settet (12 013 mot 9396). La oss se hvilke teknologier som forekommer sjeldnere i stillingsannonser for data scientist enn for data engineer.<\/p>\n

Mer popul\u00e6re innen data engineering<\/b><\/p>\n

Grafikken nedenfor viser n\u00f8kkelord med en gjennomsnittlig differanse i verdier p\u00e5 mer enn 10% eller mindre enn -10%.<\/p>\n

\"De<\/p>\n

De st\u00f8rste forskjellene i frekvens av n\u00f8kkelord mellom data engineer og data scientist<\/i><\/p>\n

Den mest betydelige \u00f8kningen observeres for AWS: i data engineering forekommer det 25% mer regelmessig enn i data science (henholdsvis omtrent 45% og 20% av totalt antall stillinger). Forskjellen er betydelig!<\/p>\n

Her er de samme dataene i en litt annen fremstilling \u2013 grafen viser resultatene for det samme n\u00f8kkelordet i stillingsannonser for data engineer og data scientist side om side.<\/p>\n

\"De<\/p>\n

De st\u00f8rste forskjellene i frekvens av n\u00f8kkelord mellom data engineer og data scientist<\/i><\/p>\n

Den neste store \u00f8kningen merket jeg hos Spark \u2013 dataingeni\u00f8rer m\u00e5 ofte jobbe med store datamengder. Kafka<\/a><\/noindex> \u00f8kte ogs\u00e5 med 20%, noe som er nesten fire ganger sammenlignet med resultatene for data scientist-stillinger. Datatransport er en av de viktigste oppgavene for dataingeni\u00f8rer. Til slutt var antallet omtaler 15% h\u00f8yere innen data engineering for Java, NoSQL, Redshift, SQL og Hadoop.<\/p>\n

Mindre popul\u00e6re i data engineering<\/b><\/p>\n

N\u00e5 la oss se p\u00e5 hvilke teknologier som er mindre popul\u00e6re i dataingeni\u00f8r-stillinger.
\nDen st\u00f8rste nedgangen sammenlignet med data science skjedde i R<\/a><\/noindex>: der ble det nevnt i omtrent 56% av stillingene, her bare i 17%. Imponerende. R er et programmeringsspr\u00e5k som er popul\u00e6rt blant forskere og statistikere, og det kom p\u00e5 \u00e5ttende plass i rangeringen av de mest fryktede spr\u00e5kene.<\/p>\n

SAS<\/a><\/noindex> forekommer ogs\u00e5 i dataingeni\u00f8r-stillinger betydelig sjeldnere \u2013 forskjellen er 14%. SAS er et propriet\u00e6rt spr\u00e5k designet for statistikk og datah\u00e5ndtering. Interessant \u00e5 merke seg: i f\u00f8lge resultatene fra min unders\u00f8king av stillinger for data scientists<\/a><\/noindex>, har det i det siste tapt stilling \u2013 mer enn noen annen teknologi.<\/p>\n

Etterspurt b\u00e5de i data engineering og i data science<\/b><\/p>\n

Det er verdt \u00e5 merke seg at \u00e5tte av de ti \u00f8verste posisjonene er de samme i begge sett. SQL, Python, Spark, AWS, Java, Hadoop, Hive og Scala kom inn p\u00e5 topp ti b\u00e5de for data engineering og for data science. I diagrammet nedenfor kan du se de femten mest popul\u00e6re teknologiene blant arbeidsgivere av dataingeni\u00f8rer, sammen med deres tall for stillinger for data scientists.<\/p>\n

\"De<\/p>\n

Anbefalinger<\/h4>\n

\nHvis du \u00f8nsker \u00e5 jobbe med data engineering, ville jeg anbefale \u00e5 mestre f\u00f8lgende teknologier \u2013 jeg lister dem i rekkef\u00f8lge etter omtrent hvilken prioritet de har.<\/p>\n

L\u00e6r deg SQL. Jeg anbefaler spesielt PostgreSQL, fordi det har \u00e5pen kildekode, stor popularitet i fellesskapet og er i vekst. Hvordan man bruker spr\u00e5ket kan man l\u00e6re fra boken My Memorable SQL \u2013 pilotversjonen er tilgjengelig her<\/a><\/noindex>.<\/p>\n

L\u00e6r deg Python, men ikke p\u00e5 det mest avanserte niv\u00e5et. Boken My Memorable Python er nettopp for nybegynnere. Den kan kj\u00f8pes p\u00e5 Amazon<\/a><\/noindex>, b\u00e5de digital kopi eller fysisk, etter ditt valg, eller lastes ned i pdf- eller epub-format p\u00e5 dette nettstedet<\/a><\/noindex>.<\/p>\n

N\u00e5r du har blitt kjent med Python, kan du g\u00e5 videre til pandas \u2013 Python-biblioteket som brukes til rengj\u00f8ring og behandling av data. Hvis du har som m\u00e5l \u00e5 jobbe i et selskap som krever Python-kunnskaper (og de fleste gj\u00f8r det), kan du v\u00e6re trygg p\u00e5 at kjennskap til pandas forventes som standard. Jeg avslutter n\u00e5 en introduksjonsguide for \u00e5 jobbe med pandas \u2013 du kan abonnere<\/a><\/noindex>, for \u00e5 ikke g\u00e5 glipp av lanseringen.<\/p>\n

L\u00e6r AWS. Hvis du vil bli dataingeni\u00f8r, kan du ikke klare deg uten en skyplattform, og AWS er den mest popul\u00e6re av dem. Kursene Linux Academy<\/a><\/noindex>, hjalp meg mye da jeg studerte data engineering p\u00e5 Google Cloud<\/a><\/noindex>, jeg tror de ogs\u00e5 har gode ressurser for AWS.<\/p>\n

Hvis du allerede har mestret denne listen og \u00f8nsker \u00e5 vokse videre i \u00f8ynene til arbeidsgiverne som dataingeni\u00f8r, foresl\u00e5r jeg at du legger til Apache Spark for arbeid med store data. Selv om min forskning p\u00e5 data science-jobber viste en nedgang i interessen, er den likevel til stede i nesten annenhver stilling for dataingeni\u00f8rer.<\/p>\n

Til slutt<\/h4>\n

\nH\u00e5per du fant denne oversikten over de mest ettertraktede teknologiene for dataingeni\u00f8rer nyttig. Hvis du er interessert i hvordan det st\u00e5r til med jobbene for analytikere, kan du lese artikkelen min<\/a><\/noindex>. Lykke til med ingeni\u00f8ren!
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0441\u0442\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0447\u0438\u0445. Data engineer \u0438\u0433\u0440\u0430\u0435\u0442 \u0432 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u2013 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0438 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c? \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-55327","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47De mest ettertraktede ferdighetene i yrket dataingeni\u00f8r | ProHoster","description":"If\u00f8lge statistikk fra 2019 er dataingeni\u00f8r i dag et yrke med h\u00f8y ettersp\u00f8rsel.","canonical_url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nn_NO","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0430\u043c\u044b\u0435 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 data engineer | ProHoster","og:description":"\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-17T21:00:00+00:00","article:modified_time":"2020-02-18T11:03:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"55327","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 13:45:53","updated":"2022-09-30 07:37:35","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/55327","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/comments?post=55327"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/posts\/55327\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/media?parent=55327"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/categories?post=55327"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/no\/wp-json\/wp\/v2\/tags?post=55327"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}