{"id":55327,"date":"2020-01-18T00:00:00","date_gmt":"2020-01-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/samye-vostrebovannye-navyki-v-professii-data-engineer"},"modified":"2020-02-18T14:03:26","modified_gmt":"2020-02-18T11:03:26","slug":"samye-vostrebovannye-navyki-v-professii-data-engineer","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","title":{"rendered":"De mest efterspurgte f\u00e6rdigheder i professionen som data engineer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

If\u00f8lge statistikkerne fra 2019<\/a><\/noindex>, data engineer er i \u00f8jeblikket et erhverv, hvor eftersp\u00f8rgslen vokser hurtigere end nogen andre. Data engineer spiller en kritisk rolle i organisationer \u2013 de skaber og vedligeholder pipelines og databaser, som bruges til behandling, transformation og opbevaring af data. Hvilke f\u00e6rdigheder er n\u00f8dvendige for personer i dette erhverv f\u00f8rst og fremmest? Adskiller listen sig fra det, der kr\u00e6ves af data scientists? Alt dette vil du finde ud af i min artikel.<\/p>\n

Jeg har analyseret stillingsopslag for data engineer positioner, som de fremst\u00e5r i januar 2020, for at forst\u00e5, hvilke teknologiske f\u00e6rdigheder der er mest efterspurgte. Derefter sammenlignede jeg de opn\u00e5ede resultater med statistikken for stillingsopslag til data scientists \u2013 hvilket afsl\u00f8rede nogle interessante forskelle.<\/p>\n

Lad os skippe de lange indledninger \u2013 her er de ti mest n\u00e6vnte teknologier i stillingsopslag:<\/p>\n

\"De<\/p>\n

Henvisninger til teknologier i stillingsopslag for data engineer i 2020<\/i><\/p>\n

Lad os finde ud af det.
\n<\/a><\/noindex><\/p>\n

Ansvarsomr\u00e5der for data engineer<\/h4>\n

\nI dag er arbejdet udf\u00f8rt af data engineers af enorm betydning for organisationer \u2013 det er disse personer, der er ansvarlige for opbevaring af information og tilpasser den, s\u00e5 andre medarbejdere kan arbejde med den. Data engineers opbygger pipelines for at sikre, at data modtages, enten kontinuerligt eller i batches, fra mange forskellige kilder. Derefter udf\u00f8rer disse pipelines operationer for ekstraktion, transformation og indl\u00e6sning (med andre ord, ETL-processer), hvilket g\u00f8r data mere anvendelige til videre brug. Til sidst overdrages dataene til analytikere og data scientists til dybere behandling. Til slut afslutter data deres rejse p\u00e5 instrumentbr\u00e6tter, i rapporter og modeller til maskinl\u00e6ring.<\/p>\n

Jeg har s\u00f8gt information, der kunne give indtryk af, hvilke teknologier der i \u00f8jeblikket er mest efterspurgte i arbejdet som data engineer.<\/p>\n

Metoder<\/h4>\n

\nJeg indsamlede information fra tre jobportaler \u2014 SimplyHired<\/a><\/noindex>, Indeed<\/a><\/noindex> og Monster<\/a><\/noindex> og s\u00e5, hvilke n\u00f8gleord der dukker op sammen med \u00abdata engineer\u00bb i stillingsopslag m\u00e5lrettet mod beboere i USA. Til denne opgave anvendte jeg to Python-biblioteker \u2014 Requests<\/a><\/noindex> og Beautiful Soup<\/a><\/noindex>I included key phrases that were both in the previous list for analyzing job postings for the data scientist position and those I manually selected while reading job descriptions for data engineers. LinkedIn was not included as a source because I was banned there after my last attempt to gather data.<\/p>\n

For each keyword, I calculated the percentage of occurrences from the total number of texts on each site individually and then computed the average across the three sources.<\/p>\n

Resultater<\/h4>\n

\nBelow are thirty technical terms from the data engineering field with the highest rates across all three job sites.<\/p>\n

\"De<\/p>\n

Here are the same figures presented in a table format:<\/p>\n

\"De<\/p>\n

Let's go step by step.<\/p>\n

Overview of Results<\/b><\/p>\n

Both SQL and Python appear in more than two-thirds of the reviewed job postings. These two technologies are particularly worth studying first. Python<\/a><\/noindex> is a very popular programming language used for working with data, creating websites, and writing scripts. SQL<\/a><\/noindex> stands for Structured Query Language; it implies a standard implemented by a group of languages and is used for extracting data from relational databases. It has been around for a long time and has proven to be very robust.<\/p>\n

Spark is mentioned in about half of the job postings. Apache Spark<\/a><\/noindex> is a unified analytics engine for big data processing with built-in modules for streaming, SQL, machine learning, and graph processing. It is particularly popular among those working with large databases.<\/p>\n

AWS appears in about 45% of job texts. It is a cloud computing platform from Amazon and holds the largest market share among all cloud platforms.
\nNext come Java and Hadoop \u2013 just over 40% each. Java<\/a><\/noindex> is a widely used, battle-tested language that ranked tenth among the languages causing programmers dread in the 2019 Stack Overflow developer survey<\/a><\/noindex> In contrast, Python was the second most loved language. Java is managed by Oracle, and everything you need to know about it can be understood from this screenshot of the official page from January 2020.<\/p>\n

\"De
\n
\nIt feels like I traveled in a time machine<\/i>
\nApache Hadoop<\/a><\/noindex> bruger en MapReduce-softwaremodel med klynge servere til big data. Denne model afvises nu oftere.<\/p>\n

Dern\u00e6st ser vi Hive, Scala, Kafka og NoSQL \u2013 hver af disse teknologier n\u00e6vnes i en fjerdedel af de pr\u00e6senterede stillinger. Apache Hive er et datalagerprogram, der \"forenkler l\u00e6sning, skrivning og administration af store datas\u00e6t, der er placeret i distribuerede lagre ved hj\u00e6lp af SQL.\" Scala<\/a><\/noindex> \u2013 et programmeringssprog, der aktivt anvendes til arbejdet med big data. S\u00e6rligt er Spark bygget p\u00e5 Scala. I den allerede n\u00e6vnte liste over frygtindgydende sprog indtager Scala den ellevte plads. Apache Kafka<\/a><\/noindex> \u2013 en distribueret platform til behandling af streamede beskeder. Meget popul\u00e6r som et middel til dataoverf\u00f8rsel.<\/p>\n

NoSQL-databaser<\/a><\/noindex> s\u00e6tter sig op imod SQL. De adskiller sig ved, at de ikke er relationelle, ikke strukturerede og har horisontal skalerbarhed. NoSQL har vundet en vis popularitet, men den hektiske fascination af denne tilgang, op til profetier om, at den vil erstatte SQL som den dominerende lagringsparadigme, synes at v\u00e6re forbi.<\/p>\n

Sammenligning med termer i stillingsopslag for data scientist<\/h4>\n

\nHer er tredive teknologiske termer, der er mest almindelige blandt arbejdsgivere inden for data science. Denne liste er opn\u00e5et p\u00e5 samme m\u00e5de som beskrevet tidligere for data engineering.<\/p>\n

\"De<\/p>\n

N\u00e6vnelse af teknologier i stillingsopslag for data scientist i 2020<\/i><\/p>\n

N\u00e5r vi ser p\u00e5 det samlede antal, er der flere opsl\u00e5ede stillinger end i den tidligere gennemg\u00e5ede gruppe med 28% (12.013 mod 9.396). Lad os se, hvilke teknologier der er mindre hyppige i stillingsopslag for data scientists end for data engineers.<\/p>\n

Mere popul\u00e6re inden for data engineering<\/b><\/p>\n

I grafen nedenfor vises n\u00f8gleord med en gennemsnitlig forskel i v\u00e6rdier p\u00e5 mere end 10% eller mindre end -10%.<\/p>\n

\"De<\/p>\n

De st\u00f8rste forskelle i n\u00f8gleords hyppighed mellem data engineer og data scientist<\/i><\/p>\n

Den mest markante stigning ses hos AWS: i data engineering optr\u00e6der det 25% hyppigere end i data science (ca. 45% og 20% af det samlede antal stillinger hhv. ). Forskellen er m\u00e6rkbar!<\/p>\n

Her er de samme data pr\u00e6senteret p\u00e5 en lidt anden m\u00e5de \u2013 i grafen er resultaterne for det samme n\u00f8gleord i stillingsopslag for data engineer og data scientist placeret side om side.<\/p>\n

\"De<\/p>\n

De st\u00f8rste forskelle i n\u00f8gleords hyppighed mellem data engineer og data scientist<\/i><\/p>\n

Den n\u00e6ste st\u00f8rste stigning, jeg har bem\u00e6rket, var hos Spark \u2013 dataingeni\u00f8rer arbejder ofte med store data. Kafka<\/a><\/noindex> er ogs\u00e5 steget med 20%, hvilket n\u00e6sten er fire gange s\u00e5 meget sammenlignet med resultaterne for data scientists. Datatransmission er en af de centrale opgaver for dataingeni\u00f8rer. Endelig viste antallet af omtaler sig at v\u00e6re 15% h\u00f8jere inden for data engineering for Java, NoSQL, Redshift, SQL og Hadoop.<\/p>\n

Mindre popul\u00e6re inden for data engineering<\/b><\/p>\n

Lad os nu se p\u00e5, hvilke teknologier der er mindre popul\u00e6re i jobopslag for dataingeni\u00f8rer.
\nDet mest markante fald sammenlignet med data science skete hos R<\/a><\/noindex>: her forekom det i ca. 56% af jobopslagene, mens det kun er 17% her. Imponerende. R er et programmeringssprog, der er popul\u00e6rt blandt forskere og statisikere, og det indtager en ottendeplads p\u00e5 listen over frygtede sprog.<\/p>\n

SAS<\/a><\/noindex> fremg\u00e5r ogs\u00e5 betydeligt sj\u00e6ldnere i jobopslag til dataingeni\u00f8rer \u2013 forskellen er 14%. SAS er et patenteret sprog designet til arbejde med statistik og data. En interessant detalje: if\u00f8lge resultaterne af min unders\u00f8gelse af jobopslag for data scientists<\/a><\/noindex>, har det i den seneste tid mistet betydelig ground \u2013 mere end nogen anden teknologi.<\/p>\n

Efterspurgte inden for b\u00e5de data engineering og data science<\/b><\/p>\n

Det skal bem\u00e6rkes, at otte ud af de ti \u00f8verste pladser i begge s\u00e6t er de samme. SQL, Python, Spark, AWS, Java, Hadoop, Hive og Scala er blandt de ti bedste b\u00e5de for data engineering-branchen og for data science. P\u00e5 grafikken nedenfor kan du se de femten mest popul\u00e6re teknologier blandt arbejdsgivere af dataingeni\u00f8rer, samt deres tal for jobopslag til data scientists.<\/p>\n

\"De<\/p>\n

Anbefalinger<\/h4>\n

\nHvis du vil besk\u00e6ftige dig med data engineering, vil jeg anbefale, at du mestrer f\u00f8lgende teknologier \u2013 jeg opregner dem i r\u00e6kkef\u00f8lge af omtrentlig prioritet.<\/p>\n

L\u00e6r SQL. Jeg anbefaler PostgreSQL, fordi det er open source, meget popul\u00e6rt i samfundet og er i v\u00e6kst. Hvordan man bruger sproget, kan man l\u00e6re fra bogen My Memorable SQL \u2013 dens testversion er tilg\u00e6ngelig her<\/a><\/noindex>.<\/p>\n

L\u00e6r Python, ikke n\u00f8dvendigvis p\u00e5 det mest hardcore niveau. Bogen My Memorable Python er lige netop for nybegyndere. Den kan k\u00f8bes p\u00e5 Amazon<\/a><\/noindex>, elektronik kopi eller fysisk, alt efter dit valg, eller du kan downloade den i pdf- eller epub-format p\u00e5 denne hjemmeside<\/a><\/noindex>.<\/p>\n

N\u00e5r du f\u00f8rst har f\u00e5et styr p\u00e5 Python, kan du g\u00e5 videre til pandas \u2013 et Python-bibliotek, der bruges til at rense og behandle data. Hvis du har til hensigt at arbejde i et firma, hvor det er n\u00f8dvendigt at kunne skrive i Python (og det er tilf\u00e6ldet for de fleste), kan du v\u00e6re sikker p\u00e5, at kendskab til pandas vil blive forventet som standard. Jeg er i \u00f8jeblikket ved at afslutte en introduktionsguide til brug af pandas \u2013 du kan tilmelde dig<\/a><\/noindex>, s\u00e5 du ikke g\u00e5r glip af udgivelses\u00f8jeblikket.<\/p>\n

L\u00e6r AWS. Hvis du vil blive data engineer, kan du ikke undg\u00e5 en cloud-platform, og AWS er den mest popul\u00e6re af dem alle. Jeg fandt kurserne Linux Academy<\/a><\/noindex>, da jeg studerede data engineering p\u00e5 Google Cloud<\/a><\/noindex>, og jeg tror, de ogs\u00e5 har gode materialer til AWS.<\/p>\n

Hvis du allerede har mestret hele denne liste og \u00f8nsker at vokse i \u00f8jnene p\u00e5 arbejdsgiverne som data engineer, foresl\u00e5r jeg, at du tilf\u00f8jer Apache Spark til arbejde med store data. Selvom min unders\u00f8gelse af jobopslag inden for data science viste et fald i interessen, dukker det op n\u00e6sten i hver anden stilling for data engineers.<\/p>\n

Til sidst<\/h4>\n

\nH\u00e5ber denne oversigt over de mest efterspurgte teknologier for data engineers har v\u00e6ret nyttig for dig. Hvis du er interesseret i, hvordan situationen er for analytikere, kan du l\u00e6se min anden artikel<\/a><\/noindex>. Held og lykke med ingeni\u00f8rarbejdet!
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0441\u0442\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0447\u0438\u0445. Data engineer \u0438\u0433\u0440\u0430\u0435\u0442 \u0432 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u2013 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0438 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c? \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-55327","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47 De mest efterspurgte f\u00e6rdigheder inden for data engineer-faget | ProHoster","description":"If\u00f8lge statistikker fra 2019 er data engineer i \u00f8jeblikket et erhverv med eftersp\u00f8rgsel.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0430\u043c\u044b\u0435 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 data engineer | ProHoster","og:description":"\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-17T21:00:00+00:00","article:modified_time":"2020-02-18T11:03:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"55327","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 13:45:53","updated":"2022-09-30 07:37:35","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/55327","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=55327"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/55327\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=55327"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=55327"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=55327"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}