{"id":77176,"date":"2020-04-08T13:42:19","date_gmt":"2020-04-08T11:42:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/data-engineer-i-data-scientist-kakaya-voobshhe-raznicza"},"modified":"2020-04-08T13:42:19","modified_gmt":"2020-04-08T11:42:19","slug":"data-engineer-i-data-scientist-kakaya-voobshhe-raznicza","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/data-engineer-i-data-scientist-kakaya-voobshhe-raznicza","title":{"rendered":"Data Engineer en Data Scientist: wat is het verschil?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

De beroepen Data Scientist en Data Engineer worden vaak door elkaar gehaald. Elke onderneming heeft zijn eigen specifieke manier van werken met gegevens, verschillende analysem targets en verschillende opvattingen over wie welke taak moet uitvoeren, daarom stelt iedereen zijn eigen eisen.\u00a0<\/p>\n

We onderzoeken het verschil tussen deze specialisten, welke zakelijke taken zij oplossen, over welke vaardigheden zij beschikken en hoeveel zij verdienen. Het materiaal is omvangrijk, daarom hebben we het in twee publicaties verdeeld.<\/p>\n

In het eerste artikel vertelt Elena Gerasimova, de leidinggevende van de faculteit \u00abData Science en Analytics<\/a><\/noindex>\u00bb aan Netology, over het verschil tussen Data Scientist en Data Engineer en met welke tools zij werken.<\/a><\/noindex><\/p>\n

Hoe de rollen van ingenieurs en scientists verschillen<\/h2>\n

\nEen data engineer is een specialist die aan de ene kant de infrastructuur van gegevensverwerking ontwikkelt, test en ondersteunt: databases, opslag en systemen voor massale verwerking. Aan de andere kant is hij degene die gegevens schoonmaakt en 'ordent' voor gebruik door analisten en data scientists, dat wil zeggen hij cre\u00ebert verwerkingspipelines.<\/p>\n

Data Scientists cre\u00ebren en trainen voorspellende (en andere) modellen met behulp van machine learning-algoritmen en neurale netwerken, waarbij zij bedrijven helpen verborgen patronen te ontdekken, de ontwikkeling van gebeurtenissen te voorspellen en belangrijke bedrijfsprocessen te optimaliseren.<\/p>\n

Het belangrijkste verschil tussen een Data Scientist en een Data Engineer is dat zij meestal verschillende doelen hebben. Beiden werken eraan om gegevens toegankelijk en van hoge kwaliteit te maken. Maar de Data Scientist zoekt antwoorden op zijn vragen en test hypotheses in het gegevens ecosysteem (bijvoorbeeld op basis van Hadoop), terwijl de Data Engineer een pipeline cre\u00ebert voor het onderhoud van het machine learning-algoritme dat door de data scientist is geschreven, binnen een Spark-cluster in hetzelfde ecosysteem.\u00a0<\/p>\n

Een data engineer voegt waarde toe aan het bedrijf door in een team te werken. Zijn taak is om een belangrijke schakel te zijn tussen verschillende deelnemers: van ontwikkelaars tot bedrijfsgebruikers van rapportages - en de productiviteit van analisten te verhogen, van marketing en product tot BI.\u00a0<\/p>\n

De Data Scientist daarentegen, speelt een actieve rol in de strategie van het bedrijf en het extraheren van inzichten, besluitvorming, de implementatie van automatiseringsalgoritmen, modellering en het genereren van waarde uit gegevens.
\n\"Data
\n
\nHet werken met gegevens is onderhevig aan het GIGO-principe (garbage in \u2014 garbage out): als analisten en data scientists werken met onvoorbereide en potentieel onjuiste gegevens, zullen de resultaten, zelfs met de meest geavanceerde analysalgoritmen, onjuist zijn.\u00a0<\/p>\n

Data-ingenieurs lossen dit probleem op door pipelines op te bouwen voor het verwerken, schoonmaken en transformeren van gegevens, zodat de data scientist met hoogwaardige gegevens kan werken.\u00a0<\/p>\n

Er zijn veel tools op de markt voor gegevensverwerking die elke fase dekken: van het ontstaan van gegevens tot het weergeven op een dashboard voor de raad van bestuur. Het is belangrijk dat de beslissing om deze tools te gebruiken door de ingenieur wordt genomen, niet omdat het trendy is, maar omdat het echt zal helpen in het werk van de andere procesdeelnemers.\u00a0<\/p>\n

Voorbeeld: als een bedrijf BI en ETL moet verbinden \u2014 de gegevensinvoer en het bijwerken van rapporten, dan is dit het typische legacy-fundament waarmee een Data Engineer te maken zal krijgen (het is goed als er naast hem ook een architect in het team zit).<\/p>\n

Verantwoordelijkheden van de Data Engineer<\/b><\/p>\n