{"id":39275,"date":"2019-10-31T22:29:10","date_gmt":"2019-10-31T19:29:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/plan-prokachki-dlya-polucheniya-professii-data-engineer\/"},"modified":"2019-10-31T22:29:10","modified_gmt":"2019-10-31T19:29:10","slug":"plan-prokachki-dlya-polucheniya-professii-data-engineer","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/plan-prokachki-dlya-polucheniya-professii-data-engineer","title":{"rendered":"Upgrade plan for obtaining the profession of Data Engineer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Acht jaar lang heb ik als projectmanager gewerkt (ik schrijf geen code op het werk), wat natuurlijk een negatieve invloed heeft op mijn technische achtergrond. Ik heb besloten mijn technologische achterstand te verkleinen en een carri\u00e8re als Data engineer te beginnen. De belangrijkste vaardigheid van een Data engineer is het vermogen om dataopslag te ontwikkelen, op te bouwen en te onderhouden.<\/p>\n<p>Ik heb een leerplan opgesteld dat niet alleen voor mij nuttig zal zijn. Het plan is gericht op zelfstandig studeren van cursussen. De voorkeur gaat uit naar gratis cursussen in het Russisch.<\/p>\n<p>Secties: <\/p>\n<ul>\n<li><b>Algoritmen en datastructuren. <\/b>Een sleutelsectie. Als je dit bestudeert, lukt de rest ook. Het is belangrijk om ervaring op te doen met coderen en het gebruik van basisstructuren en algoritmen.<\/li>\n<li><b>Databases en dataopslag, Business Intelligence.<\/b> Van algoritmen gaan we verder naar dataopslag en verwerking.<\/li>\n<li><b>Hadoop en Big Data. <\/b>Wanneer de database niet op de harde schijf past, of wanneer gegevens geanalyseerd moeten worden maar Excel het niet meer kan laden, beginnen de grote gegevens. Naar mijn mening moet je pas naar deze sectie overstappen na een grondige studie van de twee voorgaande secties.<\/li>\n<\/ul>\n<p><noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<h2>Algoritmen en datastructuren<\/h2>\n<p>\nIn mijn plan heb ik het leren van Python opgenomen, en het herhalen van de basisprincipes van wiskunde en algoritmiek.<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/67\">Programmeren in Python<\/a><\/noindex> <\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/512\">Python: basisprincipes en toepassing<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/2461\">Lineaire algebra<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/91\/\">Basisbeginselen van discrete wiskunde <\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/217\/\">Algoritmen: theorie en praktijk. Methoden<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/1547\">Algoritmen: theorie en praktijk. Datastructuren<\/a><\/noindex><\/li>\n<\/ul>\n<p><\/p>\n<h2>Databases en dataopslag, Business Intelligence<\/h2>\n<p><\/p>\n<ul>\n<li>Boek: Martin Kleppmann \u2014 Hoogbelaste applicaties. Programmeren, schalen, onderhoud. Het boek beschrijft hoe verschillende datamodellen werken, hun interne implementatie, beperkingen en keuzes afhankelijk van de taak. <\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/551\">Inleiding tot databases <\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/3203\">Diepgaand in DBMS<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/2586\">Inleiding tot niet-relationele databases <\/a><\/noindex><\/li>\n<\/ul>\n<p>\nOnderwerpen gerelateerd aan het bouwen van dataopslagsystemen, ETL, OLAP-kubussen hangen sterk af van de tools, daarom geef ik in dit document geen links naar cursussen. Het is zinvol om dergelijke systemen te bestuderen tijdens het werken aan een specifiek project in een specifiek bedrijf. Voor een kennismaking met ETL kun je proberen <noindex><a rel=\"nofollow\" href=\"https:\/\/www.talend.com\/\">Talend<\/a><\/noindex> of <noindex><a rel=\"nofollow\" href=\"https:\/\/airflow.apache.org\/\">Airflow<\/a><\/noindex>.<\/p>\n<p>Naar mijn mening is het belangrijk om moderne methodologie\u00ebn voor het ontwerpen van dataopslagsystemen, zoals Data Vault, te bestuderen. <noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/348188\/\">link 1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"http:\/\/www.dwh-club.com\/ru\/dwh-bi-articles\/vse-o-data-vault.html\">link 2<\/a><\/noindex>. En de beste manier om het te leren is door het te implementeren met een eenvoudig voorbeeld. Op GitHub zijn er verschillende voorbeelden van de implementatie van Data Vault. <noindex><a rel=\"nofollow\" href=\"https:\/\/github.com\/semashkinvg\/DataVault\">link<\/a><\/noindex>Een modern boek over datagestuurde opslag: Modeling the Agile Data Warehouse with Data Vault door Hans Hultgren.<\/p>\n<p>Voor een introductie in Business Intelligence-tools voor eindgebruikers kan de gratis rapportgenerator, dashboards en mini-datagegevens Power BI Desktop worden gebruikt. Leermaterialen: <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.microsoft.com\/ru-ru\/learn\/paths\/create-use-analytics-reports-power-bi\/\">link 1<\/a><\/noindex>, <noindex><a rel=\"nofollow\" href=\"https:\/\/docs.microsoft.com\/ru-ru\/learn\/paths\/consume-data-with-power-bi\/\">link 2<\/a><\/noindex>.<\/p>\n<h2>Hadoop en Big Data<\/h2>\n<p><\/p>\n<ul>\n<li>Je moet beginnen met het zelfstandig implementeren van MapReduce zonder externe bibliotheken. Dit zal helpen om in de toekomst beter inzicht te krijgen in multithreaded implementaties. Een uitstekend voorbeeld in Python wordt beschreven <noindex><a rel=\"nofollow\" href=\"http:\/\/michaelnielsen.org\/blog\/write-your-first-mapreduce-program-in-20-minutes\/\">here<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/stepik.org\/course\/150\">Hadoop. Een systeem voor de verwerking van grote hoeveelheden gegevens.<\/a><\/noindex> <\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/openedu.ru\/course\/misis\/ABD\/\">Inleiding tot big data engineering <\/a><\/noindex><\/li>\n<\/ul>\n<p><\/p>\n<h2>Conclusie<\/h2>\n<p>\nNiet alles wat je leert, kan je op je werk toepassen. Daarom is een afstudeerproject nodig, waarin je zult proberen je nieuwe kennis toe te passen. <\/p>\n<p>In het plan zijn er geen onderwerpen gerelateerd aan data-analyse en machine learning, aangezien dit meer te maken heeft met het beroep van Data Scientist. Ook zijn er geen onderwerpen met betrekking tot clouds zoals AWS, Azure, omdat deze onderwerpen sterk afhangen van de keuze van het platform.<\/p>\n<p>Vragen aan de gemeenschap:<br \/>\nHoe realistisch is mijn ontwikkelingsplan? Wat moet ik verwijderen of toevoegen?<br \/>\nWelk project raad je aan als afstudeerproject?<br \/>\n<br \/>Bron: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/post\/472622\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u043e\u0441\u0435\u043c\u044c \u043b\u0435\u0442 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 (\u043d\u0435 \u043f\u0438\u0448\u0443 \u043a\u043e\u0434 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435), \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043a\u044d\u043d\u0434. \u042f \u0440\u0435\u0448\u0438\u043b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u0432\u043e\u0451 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u0441\u0442\u0430\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u044e Data engineer. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043d\u0430\u0432\u044b\u043a Data engineer \u2014 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c, \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. \u0421\u043e\u0441\u0442\u0430\u0432\u0438\u043b \u043f\u043b\u0430\u043d \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0434\u0443\u043c\u0430\u044e \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043c\u0435\u043d\u044f. \u041f\u043b\u0430\u043d [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39275","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u043e\u0441\u0435\u043c\u044c \u043b\u0435\u0442 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 (\u043d\u0435 \u043f\u0438\u0448\u0443 \u043a\u043e\u0434 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435), \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043a\u044d\u043d\u0434.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/plan-prokachki-dlya-polucheniya-professii-data-engineer\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"nl_NL\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041f\u043b\u0430\u043d \u043f\u0440\u043e\u043a\u0430\u0447\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 Data engineer | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u043e\u0441\u0435\u043c\u044c \u043b\u0435\u0442 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 (\u043d\u0435 \u043f\u0438\u0448\u0443 \u043a\u043e\u0434 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435), \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043a\u044d\u043d\u0434.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/plan-prokachki-dlya-polucheniya-professii-data-engineer\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T19:29:10+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T19:29:10+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Ontwikkelingsplan voor het beroep van Data engineer | ProHoster","description":"De laatste acht jaar werk ik als projectmanager (ik schrijf geen code op het werk), wat natuurlijk een negatieve invloed heeft op mijn technologische achtergrond.","canonical_url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/plan-prokachki-dlya-polucheniya-professii-data-engineer","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"nl_NL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041f\u043b\u0430\u043d \u043f\u0440\u043e\u043a\u0430\u0447\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u0438 Data engineer | ProHoster","og:description":"\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0432\u043e\u0441\u0435\u043c\u044c \u043b\u0435\u0442 \u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0432 (\u043d\u0435 \u043f\u0438\u0448\u0443 \u043a\u043e\u0434 \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0435), \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u043e\u0439 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043a\u044d\u043d\u0434.","og:url":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/plan-prokachki-dlya-polucheniya-professii-data-engineer","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:29:10+00:00","article:modified_time":"2019-10-31T19:29:10+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39275","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 01:32:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 23:11:43","updated":"2026-01-24 01:32:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/39275","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/comments?post=39275"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/posts\/39275\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/media?parent=39275"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/categories?post=39275"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/nl\/wp-json\/wp\/v2\/tags?post=39275"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}