{"id":55327,"date":"2020-01-18T00:00:00","date_gmt":"2020-01-17T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/samye-vostrebovannye-navyki-v-professii-data-engineer"},"modified":"2020-02-18T14:03:26","modified_gmt":"2020-02-18T11:03:26","slug":"samye-vostrebovannye-navyki-v-professii-data-engineer","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","title":{"rendered":"De meest gevraagde vaardigheden in het beroep van data engineer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Volgens statistieken van 2019<\/a><\/noindex>, data engineer is momenteel een van de snelst groeiende beroepen. Data engineers spelen een cruciale rol binnen organisaties \u2013 ze cre\u00ebren en onderhouden de pipelines en databases die worden gebruikt voor het verwerken, transformeren en opslaan van gegevens. Welke vaardigheden zijn voor deze functie het belangrijkst? Verschilt de lijst van wat nodig is van data scientists? Dit alles komt aan bod in mijn artikel.<\/p>\n

Ik heb vacatures voor de functie van data engineer geanalyseerd zoals ze er in januari 2020 uitzagen, om te begrijpen welke technologische vaardigheden het meest in trek zijn. Daarna heb ik de resultaten vergeleken met de statistieken voor vacatures van data scientists \u2013 hierbij kwamen enkele interessante verschillen aan het licht.<\/p>\n

Laten we zonder verdere introducties meteen naar de top tien technologie\u00ebn gaan die het vaakst in vacatures worden genoemd:<\/p>\n

\"De<\/p>\n

Vermeldingen van technologie\u00ebn in vacatures voor de functie van data engineer in 2020<\/i><\/p>\n

Laten we dit uitzoeken.
\n<\/a><\/noindex><\/p>\n

Verantwoordelijkheden van een data engineer<\/h4>\n

\nTegenwoordig is het werk dat data engineers verrichten van groot belang voor organisaties \u2013 deze mensen zijn verantwoordelijk voor het opslaan van informatie en het omzetten ervan in een formaat waar andere medewerkers mee kunnen werken. Data engineers bouwen pipelines om de gegevensstromen of batches uit verschillende bronnen te verzamelen. Vervolgens voeren de pipelines extractie-, transformatie- en laadprocessen uit (ook wel ETL-processen genoemd), zodat de gegevens beter bruikbaar zijn voor verdere verwerking. Daarna worden de gegevens overgedragen aan analisten en data scientists voor diepere analyses. Ten slotte eindigen de gegevens in dashboards, rapporten en modellen voor machine learning.<\/p>\n

Ik zocht naar informatie die kon helpen bij het bepalen welke technologie\u00ebn momenteel het meest gewild zijn in het werk van een data engineer.<\/p>\n

Methoden<\/h4>\n

\nIk heb informatie verzameld van drie vacaturesites \u2013 SimplyHired<\/a><\/noindex>, Indeed<\/a><\/noindex> en Monster<\/a><\/noindex> en onderzocht welke zoekwoorden worden gebruikt in combinatie met 'data engineer' in vacatures gericht op bewoners van de Verenigde Staten. Voor deze taak heb ik twee Python-bibliotheken gebruikt \u2013 Requests<\/a><\/noindex> en Beautiful Soup<\/a><\/noindex>Ik heb zowel de zoekwoorden die in de eerdere lijst voor de analyse van vacatures voor data scientists waren opgenomen, als de woorden die ik handmatig heb geselecteerd door vacatures voor data engineers te lezen, meegenomen. LinkedIn is niet als bron opgenomen, omdat ik daar ben verbannen na mijn vorige poging om gegevens te verzamelen.<\/p>\n

Voor elk zoekwoord heb ik het percentage vermeldingen berekend van het totale aantal teksten op elke site afzonderlijk, en vervolgens de gemiddelde waarde over de drie bronnen berekend.<\/p>\n

Resultaten<\/h4>\n

\nHieronder staan dertig technische termen uit het veld van data engineering met de hoogste scores op alle drie de vacaturewebsites.<\/p>\n

\"De<\/p>\n

Hier zijn dezelfde cijfers, maar gepresenteerd in tabelvorm:<\/p>\n

\"De<\/p>\n

Laten we stap voor stap doorgaan.<\/p>\n

Overzicht van de resultaten<\/b><\/p>\n

Zowel SQL als Python komen voor in meer dan twee derde van de bekeken vacatures. Deze twee technologie\u00ebn zijn dan ook het belangrijkst om als eerste te leren. Python<\/a><\/noindex> \u2013 een zeer populaire programmeertaal die wordt gebruikt voor dataverwerking, het maken van websites en het schrijven van scripts. SQL<\/a><\/noindex> staat voor Structured Query Language; het is een standaard die wordt gerealiseerd door een groep talen en wordt gebruikt voor het ophalen van gegevens uit relationele databases. Het bestaat al geruime tijd en heeft zich bewezen door zijn hoge stabiliteit.<\/p>\n

Spark wordt in ongeveer de helft van de vacatures genoemd. Apache Spark<\/a><\/noindex> \u2013 een 'gecombineerde analytische engine voor big data processing met ingebouwde modules voor streaming, SQL, machine learning en grafenverwerking'. Het is bijzonder populair bij degenen die met grote databases werken.<\/p>\n

AWS komt in ongeveer 45% van de vacatureteksten voor. Dit is een cloud computing-platform van Amazon; het heeft het grootste marktaandeel onder alle cloudplatforms.
\nDaarna volgen Java en Hadoop \u2013 iets meer dan 40% per stuk. Java<\/a><\/noindex> \u2013 een wijdverspreide, bewezen taal die in de Stack Overflow ontwikkelaarsenqu\u00eate van 2019<\/a><\/noindex> de tiende plaats behaalde onder de talen die ontwikkelaars angst aanjagen. Daarentegen was Python de tweede meest geliefde taal. Java wordt gedomineerd door Oracle, en alles wat je erover moet weten, is te begrijpen uit deze screenshot van de offici\u00eble pagina van januari 2020.<\/p>\n

\"De
\n
\nAlsof ik in een tijdmachine heb gereden<\/i>
\nApache Hadoop<\/a><\/noindex> maakt gebruik van het softwaremodel MapReduce met serverclusters voor big data. Deze model wordt steeds vaker verlaten.<\/p>\n

Daarna zien we Hive, Scala, Kafka en NoSQL \u2013 elk van deze technologie\u00ebn komt in een kwart van de gepresenteerde vacatures voor. Apache Hive is een databasestoftware die \"het lezen, schrijven en beheersen van grote datasets in gedistribueerde opslag vergemakkelijkt met behulp van SQL\". Scala<\/a><\/noindex> is een programmeertaal die actief wordt gebruikt bij het werken met big data. In het bijzonder is Spark gemaakt in Scala. In de eerder genoemde ranking van populaire programmeertalen staat Scala op de elfde plaats. Apache Kafka<\/a><\/noindex> is een gedistribueerd platform voor het verwerken van streamingberichten. Het is zeer populair als middel voor datastreaming.<\/p>\n

NoSQL-databases<\/a><\/noindex> stellen zichzelf tegenover SQL. Ze verschillen doordat ze niet relationeel, niet gestructureerd zijn en over horizontale schaalbaarheid beschikken. NoSQL heeft enige populariteit veroverd, maar de koortsachtige fascinatie voor deze benadering, die zelfs leidde tot profetie\u00ebn dat het SQL zou vervangen als dominante opslagparadigma, lijkt inmiddels voorbij.<\/p>\n

Vergelijking met de termen in data scientist vacatures<\/h4>\n

\nHier zijn dertig technologiegerelateerde termen die het meest voorkwamen bij werkgevers in de data science sector. Deze lijst heb ik op dezelfde manier verkregen als eerder beschreven voor data engineering.<\/p>\n

\"De<\/p>\n

Vermeldingen van technologie\u00ebn in vacatures voor de positie van data scientist in 2020<\/i><\/p>\n

Als we kijken naar het totaal aantal, zijn er vergeleken met de eerder bekeken set, 28% meer vacatures (12.013 tegenover 9.396). Laten we kijken naar welke technologie\u00ebn minder vaak voorkomen in vacatures voor data scientists dan voor data engineers.<\/p>\n

Populairder in data engineering<\/b><\/p>\n

In de onderstaande grafiek zijn de sleutelwoorden weergegeven met een gemiddelde afwijking in waarden van meer dan 10% of minder dan -10%.<\/p>\n

\"De<\/p>\n

De grootste verschillen in frequentie van sleutelwoorden tussen data engineer en data scientist<\/i><\/p>\n

De meest significante stijging wordt waargenomen bij AWS: in data engineering verschijnt het 25% vaker dan in data science (ongeveer 45% en 20% van het totale aantal vacatures respectievelijk). Het verschil is duidelijk!<\/p>\n

Hier zijn dezelfde gegevens in een iets andere presentatie - in de grafiek staan de resultaten voor hetzelfde sleutelwoord in vacatures voor data engineer en data scientist naast elkaar.<\/p>\n

\"De<\/p>\n

De grootste verschillen in frequentie van sleutelwoorden tussen data engineer en data scientist<\/i><\/p>\n

De volgende grootste sprong merkte ik bij Spark \u2013 data engineers moeten vaak met grote gegevens werken. Kafka<\/a><\/noindex> is ook met 20% gestegen, wat bijna vier keer zoveel is in vergelijking met de resultaten van data scientist vacatures. Gegevensoverdracht is een van de belangrijkste verantwoordelijkheden van een data engineer. Ten slotte bleek het aantal vermeldingen 15% hoger te zijn in het data engineering domein voor Java, NoSQL, Redshift, SQL en Hadoop.<\/p>\n

Minder populaire technologie\u00ebn in data engineering<\/b><\/p>\n

Laten we nu eens kijken naar welke technologie\u00ebn minder populair zijn in vacatures voor data engineers.
\nDe meest scherpe daling in vergelijking met het data science domein vond plaats bij R<\/a><\/noindex>: daar kwam het ongeveer in 56% van de vacatures voor, hier \u2013 slechts in 17%. Indrukwekkend. R is een programmeertaal die populair is bij wetenschappers en statitici, en staat op de achtste plaats in de ranking van angstaanjagende talen.<\/p>\n

SAS<\/a><\/noindex> komt ook aanzienlijk minder voor in vacatures voor data engineer \u2013 het verschil bedraagt 14%. SAS is een gepatenteerde taal die is ontworpen voor statistiek en gegevensanalyse. Interessant om op te merken: volgens de resultaten van mijn onderzoek naar vacatures voor data scientists<\/a><\/noindex>, heeft het de laatste tijd sterk aan terrein verloren \u2013 sterker dan enige andere technologie.<\/p>\n

Gewild in zowel data engineering als data science<\/b><\/p>\n

Het is belangrijk op te merken dat acht van de tien top posities in beide datasets overeenkomen. SQL, Python, Spark, AWS, Java, Hadoop, Hive en Scala maken deel uit van de top tien voor zowel de data engineering als de data science sector. In de onderstaande grafiek kunt u de vijftien populairste technologie\u00ebn bij werkgevers van data engineers zien, met bovendien hun score in vacatures voor data scientists.<\/p>\n

\"De<\/p>\n

Aanbevelingen<\/h4>\n

\nAls je je wilt bezighouden met data engineering, raad ik je aan de volgende technologie\u00ebn te beheersen \u2013 ik geef ze in volgorde van geschatte prioriteit.<\/p>\n

Leer SQL. Ik wijs je in het bijzonder naar PostgreSQL omdat het open source is, grote populariteit heeft binnen de gemeenschap en zich in een groeifase bevindt. Hoe je de taal kunt gebruiken, staat in het boek My Memorable SQL \u2013 de pilotversie is beschikbaar hier<\/a><\/noindex>.<\/p>\n

Beheers Python, al is het niet op het meest hardcore niveau. Het boek My Memorable Python is precies gericht op beginners. Het is te koop op Amazon<\/a><\/noindex>, elektronische versie of harde kopie, aan jou de keus, of je kunt het downloaden in pdf of epub formaat op deze website<\/a><\/noindex>.<\/p>\n

Zodra je met Python bekend bent, ga je verder met pandas \u2013 de Python-bibliotheek die wordt gebruikt voor het opschonen en verwerken van gegevens. Als je van plan bent om te werken bij een bedrijf waar kennis van Python vereist is (en dat is de meerderheid), kun je er zeker van zijn dat kennis van pandas als standaard wordt aangenomen. Ik ben momenteel bezig met een inleidende handleiding voor het werken met pandas \u2013 je kunt je aanmelden<\/a><\/noindex>, zodat je het moment van uitgave niet mist.<\/p>\n

Beheers AWS. Als je een data engineer wilt worden, kun je niet zonder een cloudplatform, en AWS is de populairste daarvan. De cursussen van Linux Academy<\/a><\/noindex>, hebben me geholpen toen ik data engineering op Google Cloud bestudeerde<\/a><\/noindex>, en ik denk dat ze ook goede materialen voor AWS hebben.<\/p>\n

Als je deze lijst allemaal hebt afgehandeld en als data engineer verder wilt groeien in de ogen van werkgevers, stel ik voor om Apache Spark toe te voegen voor het werken met grote gegevens. Hoewel mijn onderzoek naar vacatures voor data science een daling in interesse liet zien, komt het bij data engineers toch bijna in elke tweede vacature voorbij.<\/p>\n

Tot slot<\/h4>\n

\nIk hoop dat dit overzicht van de meest gevraagde technologie\u00ebn voor data engineers nuttig voor je is geweest. Als je benieuwd bent naar de situatie met vacatures voor analisten, lees dan mijn andere artikel<\/a><\/noindex>. Veel succes met engineering!
\n
Bron: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0440\u0430\u0441\u0442\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0447\u0438\u0445. Data engineer \u0438\u0433\u0440\u0430\u0435\u0442 \u0432 \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0430\u0436\u043d\u0443\u044e \u0440\u043e\u043b\u044c \u2013 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u044b \u0438 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438, \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a\u0438\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u043d\u0443\u0436\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u043c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c? \u041e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-55327","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47De meest gevraagde vaardigheden in het beroep van data engineer | ProHoster","description":"Volgens statistieken uit 2019 is data engineer momenteel een beroep met vraag.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u0430\u043c\u044b\u0435 \u0432\u043e\u0441\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430\u0432\u044b\u043a\u0438 \u0432 \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 data engineer | ProHoster","og:description":"\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 2019 \u0433\u043e\u0434\u0430, data engineer \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0435\u0439, \u0441\u043f\u0440\u043e\u0441 \u043d\u0430.","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/samye-vostrebovannye-navyki-v-professii-data-engineer","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-01-17T21:00:00+00:00","article:modified_time":"2020-02-18T11:03:26+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"55327","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 13:45:53","updated":"2022-09-30 07:37:35","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/55327","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=55327"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/55327\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=55327"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=55327"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=55327"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}