{"id":34083,"date":"2019-10-31T21:56:19","date_gmt":"2019-10-31T18:56:19","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\/"},"modified":"2019-10-31T21:56:19","modified_gmt":"2019-10-31T18:56:19","slug":"kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","title":{"rendered":"Wer sind Data-Engineers und wie wird man einer?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Und wieder hallo! Der Titel des Artikels spricht f\u00fcr sich. Vor dem Start des Kurses <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/a4Uj\/\">\u201eData Engineer\u201c<\/a><\/noindex> laden wir dazu ein, herauszufinden, wer genau die Dateningenieure sind. In dem Artikel gibt es viele n\u00fctzliche Links. Viel Spa\u00df beim Lesen.<\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/5f831df35ab1292adafca20f937ed22d.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<i>Ein einfaches Handbuch, wie man die Welle des Data Engineering erfasst und sich nicht in die Tiefe ziehen l\u00e4sst.<\/i><\/p>\n<p>Es entsteht der Eindruck, dass heutzutage jeder Datenwissenschaftler (Data Scientist) werden m\u00f6chte. Aber wie steht es um das Data Engineering? <i>Im Grunde genommen ist es eine Art Hybrid aus Datenanalytiker und Datenwissenschaftler; der Dateningenieur ist in der Regel f\u00fcr die Verwaltung von Arbeitsabl\u00e4ufen, Datenpipelines und ETL-Prozessen verantwortlich.<\/i>Angesichts der Wichtigkeit dieser Funktionen ist es derzeit ein weiteres popul\u00e4res Fachjargon, das an Fahrt gewinnt.<\/p>\n<p>Ein hohes Gehalt und enorme Nachfrage sind nur ein kleiner Teil dessen, was diesen Job \u00e4u\u00dferst attraktiv macht! Wenn Sie Teil der Helden werden m\u00f6chten, ist es nie zu sp\u00e4t, um zu lernen. In diesem Beitrag habe ich alle notwendigen Informationen zusammengestellt, um Ihnen zu helfen, Ihre ersten Schritte zu machen.<\/p>\n<p>Also, fangen wir an!<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><\/p>\n<p><b>Was ist Data Engineering?<\/b><\/p>\n<p>Ehrlich gesagt, gibt es keine bessere Erkl\u00e4rung als diese:<\/p>\n<blockquote><p><i>\u201eEin Wissenschaftler kann einen neuen Stern entdecken, aber er kann ihn nicht erschaffen. Er wird einen Ingenieur bitten m\u00fcssen, dies f\u00fcr ihn zu tun.\u201c<\/i><\/p>\n<p>\u2013Gordon Lindsay Glegg<\/p><\/blockquote>\n<p>Somit ist die Rolle eines Dateningenieurs durchaus erheblich.<\/p>\n<p>Der Name legt nahe, dass Datenengineering mit Daten zu tun hat, insbesondere mit deren Lieferung, Speicherung und Verarbeitung. Daher besteht die Hauptaufgabe der Ingenieure darin, eine zuverl\u00e4ssige Infrastruktur f\u00fcr Daten bereitzustellen. Wenn wir uns die Hierarchie der Bed\u00fcrfnisse von KI ansehen, belegen die Dateningenieure die ersten 2\u20133 Stufen: <b>Sammlung, Bewegung und Speicherung, Datenaufbereitung<\/b>.<\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/377481f2f52a4ed771508a450678afd0.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\n<b>Womit besch\u00e4ftigt sich ein Dateningenieur?<\/b><\/p>\n<p>Mit dem Aufkommen von Big Data haben sich die Verantwortlichkeiten drastisch ver\u00e4ndert. Wenn diese Experten fr\u00fcher gro\u00dfe SQL-Abfragen schrieben und Daten mit solchen Tools wie Informatica ETL, Pentaho ETL oder Talend \u00fcbertrugen, sind die Anforderungen an Dateningenieure mittlerweile gestiegen.<\/p>\n<p>Die meisten Unternehmen mit offenen Stellen f\u00fcr Dateningenieure stellen die folgenden Anforderungen:<\/p>\n<ul>\n<li>Ausgezeichnete Kenntnisse in SQL und Python.<\/li>\n<li>Erfahrung mit Cloud-Plattformen, insbesondere Amazon Web Services.<\/li>\n<li>Bevorzugt sind Kenntnisse in Java\/Scala.<\/li>\n<li>Gutes Verst\u00e4ndnis von SQL- und NoSQL-Datenbanken (Datenmodellierung, Datenspeicherung).<\/li>\n<\/ul>\n<p>Halten Sie im Hinterkopf, dass dies nur das N\u00f6tigste ist. Aus dieser Liste kann man schlie\u00dfen, dass Dateningenieure Fachleute im Bereich der Softwareentwicklung und Backend sind.<br \/>\nWenn ein Unternehmen beispielsweise beginnt, gro\u00dfe Datenmengen aus verschiedenen Quellen zu generieren, besteht Ihre Aufgabe als Dateningenieur darin, die Sammlung von Informationen, deren Verarbeitung und Speicherung zu organisieren.<\/p>\n<p>Die Liste der in diesem Fall verwendeten Werkzeuge kann unterschiedlich sein, alles h\u00e4ngt von der Menge dieser Daten, der Geschwindigkeit ihrer Lieferung und ihrer Heterogenit\u00e4t ab. Die meisten Unternehmen haben im Allgemeinen keine Ber\u00fchrung mit gro\u00dfen Daten, daher kann als zentrales Speichersystem, dem sogenannten Data Warehouse, eine SQL-Datenbank (PostgreSQL, MySQL usw.) mit einer kleinen Anzahl von Skripten verwendet werden, die Daten ins Speicher leiten.<\/p>\n<p>IT-Giganten wie Google, Amazon, Facebook oder Dropbox stellen h\u00f6here Anforderungen: Kenntnisse in Python, Java oder Scala.<\/p>\n<ul>\n<li>Erfahrung mit gro\u00dfen Daten: Hadoop, Spark, Kafka.<\/li>\n<li>Kenntnis von Algorithmen und Datenstrukturen.<\/li>\n<li>Verst\u00e4ndnis der Grundlagen verteilter Systeme.<\/li>\n<li>Erfahrung mit Datenvisualisierungswerkzeugen wie Tableau oder ElasticSearch ist ein gro\u00dfer Vorteil.<\/li>\n<\/ul>\n<p>Das hei\u00dft, es gibt eine klare Verschiebung hin zu gro\u00dfen Daten, insbesondere in deren Verarbeitung unter hoher Last. Diese Unternehmen haben erh\u00f6hte Anforderungen an die Ausfallsicherheit des Systems.<\/p>\n<p><b>Dateningenieure vs. Data Scientists<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/f01dd66863fcc0a89ab0b763d208a863.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<i>Okay, das war ein einfaches und unterhaltsames Vergleich (nichts Pers\u00f6nliches), aber in Wirklichkeit ist alles viel komplizierter.<\/i><\/p>\n<p>Zun\u00e4chst sollten Sie wissen, dass es viele Unklarheiten bei der Abgrenzung der Rollen und F\u00e4higkeiten von Data Scientists und Dateningenieuren gibt. Das hei\u00dft, Sie k\u00f6nnten leicht verwirrt sein dar\u00fcber, welche F\u00e4higkeiten f\u00fcr einen erfolgreichen Dateningenieur erforderlich sind. Nat\u00fcrlich gibt es bestimmte F\u00e4higkeiten, die auf beide Rollen zutreffen. Aber es gibt auch eine ganze Reihe von diametral entgegengesetzten F\u00e4higkeiten.<\/p>\n<p>Data Science ist ein ernstes Thema, aber wir bewegen uns hin zu einer Welt mit funktionaler Data Science, in der Praktiker in der Lage sind, ihre eigene Analyse durchzuf\u00fchren. Um Datenpipelines und integrierte Datenstrukturen zu nutzen, brauchen Sie Dateningenieure, keine Wissenschaftler.<\/p>\n<p><b>Ist ein Dateningenieur gefragter als ein Data Scientist?<\/b><\/p>\n<blockquote><p><i> \u2014 Ja, denn bevor Sie einen Karottenkuchen backen k\u00f6nnen, m\u00fcssen Sie zun\u00e4chst Karotten sammeln, sie sch\u00e4len und aufbewahren!<\/i><\/p><\/blockquote>\n<p>Ein Dateningenieur versteht Programmierung besser als jeder Datenwissenschaftler, aber wenn es um Statistik geht, ist alles genau umgekehrt.<\/p>\n<p>Aber hier ist der Vorteil eines Dateningenieurs:<\/p>\n<p>Ohne ihn\/sie strebt der Wert eines Prototypmodells, das meist aus einem Codefragment von minderwertiger Qualit\u00e4t in einer Python-Datei besteht, das von einem Datenwissenschaftler erstellt wurde und irgendwie Ergebnisse liefert, gegen Null.<\/p>\n<p>Ohne den Dateningenieur wird dieser Code niemals ein Projekt, und kein Gesch\u00e4ftsproblem wird effizient gel\u00f6st. Der Dateningenieur versucht, all dies in ein Produkt zu verwandeln.<\/p>\n<p><b>Grundlagen, die ein Dateningenieur wissen sollte<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/f724004e5a30a0c021c4377d66985d16.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nWenn diese Arbeit also in Ihnen ein Licht entfacht und Sie voller Enthusiasmus sind \u2013 Sie k\u00f6nnen das lernen, alle notwendigen F\u00e4higkeiten erwerben und ein wahrer Rockstar im Bereich der Datenentwicklung werden. Und ja, Sie k\u00f6nnen dies sogar ohne Programmierkenntnisse oder technisches Wissen erreichen. Es ist anspruchsvoll, aber m\u00f6glich!<\/p>\n<p><b>Was sind die ersten Schritte?<\/b><\/p>\n<blockquote><p><i>Sie sollten eine allgemeine Vorstellung davon haben, was was ist.<\/i><\/p><\/blockquote>\n<p>Zun\u00e4chst einmal bezieht sich Data Engineering auf Informatik. Konkret sollten Sie effektive Algorithmen und Datenstrukturen verstehen. Zweitens, da Dateningenieure mit Daten arbeiten, ist es notwendig, die Funktionsweisen von Datenbanken und die zugrunde liegenden Strukturen zu verstehen.<\/p>\n<p>Zum Beispiel basieren g\u00e4ngige B-Tree SQL-Datenbanken auf der Datenstruktur B-Tree sowie in modernen verteilten Repositories, LSM-Tree und anderen Modifikationen von Hash-Tabellen.<\/p>\n<p><i>* Diese Schritte basieren auf einem bemerkenswerten Artikel <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/@adil_45422\">Adil Khashtamov<\/a><\/noindex>. Wenn Sie also Russisch verstehen, unterst\u00fctzen Sie diesen Autor und lesen Sie <noindex><a rel=\"nofollow\" href=\"https:\/\/khashtamov.com\/ru\/data-engineer\/\">seinen Beitrag<\/a><\/noindex>.<\/i><\/p>\n<p><b>1. Algorithmen und Datenstrukturen<\/b><\/p>\n<p>Die Verwendung der richtigen Datenstruktur kann die Leistung des Algorithmus erheblich verbessern. Idealerweise sollten wir alle in unseren Schulen Datenstrukturen und Algorithmen studieren, aber das wird selten thematisiert. Auf jeden Fall ist es nie zu sp\u00e4t, sich zu informieren.<br \/>\nHier sind also meine Lieblingsressourcen f\u00fcr kostenlose Kurse zu Datenstrukturen und Algorithmen:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.udemy.com\/introduction-to-data-structures\/?ranMID=39197&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-fcVI3mDcwPC4Q5dpzDABSg&amp;LSNPUBID=JVFxdTr9V80\">Von einfach bis komplex: Datenstrukturen (Udemy)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part1?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;siteID=JVFxdTr9V80-Y2SOzvEQ5UCqGZ8SQ8yPFA&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algorithmen, Teil I (Coursera)<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.coursera.org\/learn\/algorithms-part2?ranMID=40328&amp;ranEAID=JVFxdTr9V80&amp;ranSiteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;siteID=JVFxdTr9V80-sXWvgPKRyzYEBJ33lVooUQ&amp;utm_content=10&amp;utm_medium=partners&amp;utm_source=linkshare&amp;utm_campaign=JVFxdTr9V80\">Algorithmen, Teil II (Coursera)<\/a><\/noindex>\n <\/li>\n<\/ul>\n<p>Au\u00dferdem vergessen Sie nicht die klassische Arbeit \u00fcber die Algorithmen von Thomas Cormen \u2013 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0262033844\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0262033844&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=74742875db503b1a899ca35159749067\">Einf\u00fchrung in die Algorithmen<\/a><\/noindex>. Das ist das perfekte Nachschlagewerk, wenn Sie Ihr Ged\u00e4chtnis auffrischen m\u00fcssen.<\/p>\n<ul>\n<li>Um Ihre F\u00e4higkeiten zu verbessern, nutzen Sie <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/algorithms\/\">Leetcode<\/a><\/noindex>.<\/li>\n<\/ul>\n<p>Sie k\u00f6nnen auch in die Welt der Datenbanken eintauchen mit den gro\u00dfartigen Videos der Carnegie Mellon University auf Youtube:<\/p>\n<ul>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXjYutVzTeAds8xUt1rcmyT7x\">Einf\u00fchrung in Datenbanksysteme<\/a><\/noindex>.<\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/playlist?list=PLSE8ODhjZXja7K1hjZ01UTVDnGQdx5v5U\">Fortgeschrittene Datenbanksysteme<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>2. SQL lernen<\/b><\/p>\n<p>Unser ganzes Leben besteht aus Daten. Und um diese Daten aus der Datenbank abzurufen, m\u00fcssen Sie mit ihnen in einer gemeinsamen Sprache \u201esprechen\u201c.<\/p>\n<p>SQL (Structured Query Language \u2014 Sprache f\u00fcr strukturierte Abfragen) ist die Kommunikationssprache im Bereich der Daten. Egal, was jemand sagt, SQL hat gelebt, lebt und wird noch lange leben.<\/p>\n<p>Wenn Sie lange in der Entwicklung t\u00e4tig sind, haben Sie wahrscheinlich bemerkt, dass die Ger\u00fcchte \u00fcber das baldige Ende von SQL periodisch auftauchen. Die Sprache wurde in den fr\u00fchen 70er Jahren entwickelt und ist bis heute bei Analysten, Entwicklern und einfach nur Enthusiasten \u00e4u\u00dferst beliebt.<br \/>\nOhne SQL-Kenntnisse kann man im Datenengineering nichts anfangen, da Sie unweigerlich Abfragen zur Datenabfrage erstellen m\u00fcssen. Alle modernen Data-Warehouses unterst\u00fctzen SQL:<\/p>\n<ul>\n<li>Amazon Redshift<\/li>\n<li>HP Vertica<\/li>\n<li>Oracle<\/li>\n<li>SQL Server<\/li>\n<\/ul>\n<p>\u2026 und viele andere.<\/p>\n<p>Um gro\u00dfe Datenmengen, die in verteilten Systemen wie HDFS gespeichert sind, zu analysieren, wurden SQL-Mechanismen erfunden: Apache Hive, Impala usw. Sehen Sie, es wird nirgends hingehen.<\/p>\n<p>Wie lernt man SQL? Einfach machen Sie es in der Praxis.<\/p>\n<p>Daf\u00fcr w\u00fcrde ich empfehlen, sich mit einem gro\u00dfartigen Tutorial vertraut zu machen, das \u00fcbrigens kostenlos ist, von <noindex><a rel=\"nofollow\" href=\"https:\/\/mode.com\/sql-tutorial\/introduction-to-sql\/\">Mode Analytics<\/a><\/noindex>.<\/p>\n<ol>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/intermediate-sql\/\">SQL Grundkenntnisse<\/a><\/noindex><\/li>\n<li><noindex><a rel=\"nofollow\" href=\"https:\/\/www.datacamp.com\/courses\/joining-data-in-postgresql\">Daten in SQL zusammenf\u00fchren<\/a><\/noindex><\/li>\n<\/ol>\n<p>Das Besondere an diesen Kursen ist die interaktive Umgebung, in der Sie SQL-Abfragen direkt im Browser schreiben und ausf\u00fchren k\u00f6nnen. Die Ressource <noindex><a rel=\"nofollow\" href=\"https:\/\/modern-sql.com\/\">Modern SQL<\/a><\/noindex> wird nicht schaden. Und Sie k\u00f6nnen dieses Wissen in <noindex><a rel=\"nofollow\" href=\"https:\/\/leetcode.com\/problemset\/database\/\">Leetcode Aufgaben<\/a><\/noindex> im Bereich Datenbanken anwenden.<\/p>\n<p><b>3. Programmierung in Python und Java\/Scala<\/b><\/p>\n<p>Warum es sich lohnt, die Programmiersprache Python zu lernen, habe ich bereits in dem Artikel <noindex><a rel=\"nofollow\" href=\"https:\/\/medium.com\/datadriveninvestor\/python-vs-r-choosing-the-best-tool-for-ai-ml-data-science-7e0c2295e243\">Python vs R. Die Wahl des besten Werkzeugs f\u00fcr KI, ML und Data Science<\/a><\/noindex>. Was Java und Scala betrifft, die meisten Werkzeuge zum Speichern und Verarbeiten von riesigen Datenmengen sind in diesen Sprachen geschrieben. Zum Beispiel:<\/p>\n<ul>\n<li>Apache Kafka (Scala)<\/li>\n<li>Hadoop, HDFS (Java)<\/li>\n<li>Apache Spark (Scala)<\/li>\n<li>Apache Cassandra (Java)<\/li>\n<li>HBase (Java)<\/li>\n<li>Apache Hive (Java)<\/li>\n<\/ul>\n<p>Um zu verstehen, wie diese Werkzeuge funktionieren, m\u00fcssen Sie die Sprachen kennen, in denen sie geschrieben sind. Der funktionale Ansatz von Scala erm\u00f6glicht es, Aufgaben der parallelen Datenverarbeitung effizient zu l\u00f6sen. Python kann leider nicht mit der Geschwindigkeit und der parallelen Verarbeitung konkurrieren. Insgesamt hat das Wissen um mehrere Sprachen und Programmierparadigmen einen positiven Einfluss auf die Vielfalt der L\u00f6sungsans\u00e4tze f\u00fcr Probleme.<\/p>\n<p>Um in die Sprache Scala einzutauchen, k\u00f6nnen Sie <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/0981531687\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=0981531687&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=69314619f1e546e3921eb97c72cf4850\">Programmierung in Scala<\/a><\/noindex> von dem Sch\u00f6pfer der Sprache lesen. Au\u00dferdem hat Twitter ein gutes Einf\u00fchrungs-Handbuch ver\u00f6ffentlicht \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/twitter.github.io\/scala_school\/\">Scala School<\/a><\/noindex>.<\/p>\n<p>Was Python betrifft, ich halte <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491946008\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491946008&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=8a663e966770c24874e323133cc7a005\">Fluent Python<\/a><\/noindex> f\u00fcr das beste Buch auf mittlerem Niveau.<\/p>\n<p><b>4. Werkzeuge f\u00fcr Big Data<\/b><\/p>\n<p>Hier ist eine Liste der beliebtesten Werkzeuge in der Welt der Big Data:<\/p>\n<ul>\n<li>Apache Spark<\/li>\n<li>Apache Kafka<\/li>\n<li>Apache Hadoop (HDFS, HBase, Hive)<\/li>\n<li>Apache Cassandra<\/li>\n<\/ul>\n<p>Mehr Informationen \u00fcber den Aufbau gro\u00dfer Datenbl\u00f6cke finden Sie in dieser erstaunlichen <noindex><a rel=\"nofollow\" href=\"http:\/\/xyz.insightdataengineering.com\/blog\/pipeline_map\/\">interaktiven Umgebung<\/a><\/noindex>. Die beliebtesten Werkzeuge sind Spark und Kafka. Es lohnt sich auf jeden Fall, sie zu lernen und vorzugsweise zu verstehen, wie sie intern funktionieren. Jay Kreps (Mitbegr\u00fcnder von Kafka) ver\u00f6ffentlichte 2013 ein monumentales Werk, <noindex><a rel=\"nofollow\" href=\"https:\/\/engineering.linkedin.com\/distributed-systems\/log-what-every-software-engineer-should-know-about-real-time-datas-unifying\">The Log: Was jeder Softwareentwickler \u00fcber die Abstraktion von Echtzeit-Datenzusammenf\u00fchrung wissen sollte<\/a><\/noindex>, \u00fcbrigens wurden die grundlegenden Ideen aus diesem Talmud zur Schaffung von Apache Kafka verwendet.<\/p>\n<ul>\n<li>Eine Einf\u00fchrung in Hadoop kann folgendes sein: <noindex><a rel=\"nofollow\" href=\"https:\/\/data-flair.training\/blogs\/hadoop-tutorials-home\/\">Das umfassende Handbuch zur Beherrschung von Hadoop (kostenlos)<\/a><\/noindex>.<\/li>\n<li>Das umfassendste Handbuch zu Apache Spark f\u00fcr mich ist \u2014 <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1491912219\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1491912219&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=5b206424060cfc80a33d13b05c0bfee2\">Spark: Das umfassende Handbuch<\/a><\/noindex>.<\/li>\n<\/ul>\n<p><b>5. Cloud-Plattformen<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/cc435bc9f9b91ec87d1cf7a591cf84a2.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nKenntnisse in mindestens einer Cloud-Plattform stehen auf der Liste der grundlegenden Anforderungen an Bewerber f\u00fcr die Position eines Data Engineers. Arbeitgeber bevorzugen Amazon Web Services, gefolgt von Google Cloud und Microsoft Azure als Dritten.<\/p>\n<p>Sie sollten sich gut in Amazon EC2, AWS Lambda, Amazon S3, DynamoDB auskennen.<\/p>\n<p><b>6. Verteilte Systeme<\/b><\/p>\n<p>Die Arbeit mit Big Data setzt Cluster von unabh\u00e4ngig arbeitenden Computern voraus, die \u00fcber ein Netzwerk verbunden sind. Je gr\u00f6\u00dfer das Cluster, desto h\u00f6her ist die Wahrscheinlichkeit des Ausfalls seiner Mitglieder. Um ein gro\u00dfartiger Experte im Bereich Daten zu werden, m\u00fcssen Sie sich mit den Problemen und bestehenden L\u00f6sungen f\u00fcr verteilte Systeme auseinandersetzen. Dieses Feld ist alt und komplex.<\/p>\n<p>Andrew Tanenbaum gilt als Pionier auf diesem Gebiet. F\u00fcr diejenigen, die keine Angst vor Theorie haben, empfehle ich sein Buch <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1543057381\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1543057381&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=721aedeb23c313bc46a92c134c5baafa\">\u201eVerteilte Systeme\u201c<\/a><\/noindex>, f\u00fcr Anf\u00e4nger mag es komplex erscheinen, aber es wird Ihnen wirklich helfen, Ihre F\u00e4higkeiten zu verfeinern.<\/p>\n<p>Ich halte <noindex><a rel=\"nofollow\" href=\"https:\/\/www.amazon.com\/gp\/product\/1449373321\/ref=as_li_tl?ie=UTF8&amp;camp=1789&amp;creative=9325&amp;creativeASIN=1449373321&amp;linkCode=as2&amp;tag=adilkhash-20&amp;linkId=e7e0e096aa5761066245eb90965ac849\">\u201eEntwurf datenintensiver Anwendungen\u201c von Martin Kleppmann<\/a><\/noindex> f\u00fcr das beste Einf\u00fchrungsbuch. \u00dcbrigens hat Martin einen gro\u00dfartigen <noindex><a rel=\"nofollow\" href=\"https:\/\/martin.kleppmann.com\/\">Blogs<\/a><\/noindex>. Seine Arbeit hilft dabei, das Wissen \u00fcber den Aufbau moderner Infrastrukturen zur Speicherung und Verarbeitung gro\u00dfer Datenmengen zu systematisieren.<br \/>\nF\u00fcr diejenigen, die gerne Videos schauen, gibt es auf Youtube einen Kurs <noindex><a rel=\"nofollow\" href=\"https:\/\/www.youtube.com\/watch?v=w8KFPWkK0bI&amp;list=PLawkBQ15NDEkDJ5IyLIJUTZ1rRM9YQq6N&amp;index=2&amp;t=0s\">Verteilte Computersysteme<\/a><\/noindex>.<\/p>\n<p><b>7. Datenpipeline<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/cf1c8e2baad0cc79c0b8c3707741353a.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDatenpipelines sind etwas, auf das Sie als Dateningenieur nicht verzichten k\u00f6nnen.<\/p>\n<p>Der Gro\u00dfteil der Zeit baut ein Dateningenieur die sogenannte Datenpipeline, das hei\u00dft, er erstellt einen Prozess zur \u00dcbertragung von Daten von einem Ort zum anderen. Das k\u00f6nnen Benutzerszenarien sein, die an eine API eines externen Dienstes gesendet werden, oder SQL-Abfragen, die Daten erg\u00e4nzen und in einem zentralen Speicher (Data Warehouse) oder in einem unstrukturierten Datenspeicher (Datenlake) ablegen.<\/p>\n<p><b>Zusammenfassend: Die Hauptcheckliste eines Dateningenieurs<\/b><\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/de0eca662b2246e63901afb89c9f255f.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nZusammenfassend l\u00e4sst sich sagen, dass ein gutes Verst\u00e4ndnis der folgenden Punkte erforderlich ist:<\/p>\n<ul>\n<li>Informationssysteme;<\/li>\n<li>Softwareentwicklung (Agile, DevOps, Entwurfstechniken, SOA);<\/li>\n<li>Verteilte Systeme und parallele Programmierung;<\/li>\n<li>Grundlagen der Datenbanken \u2013 Planung, Entwurf, Betrieb und Fehlersuche;<\/li>\n<li>Experimente entwerfen \u2013 A\/B-Tests zur \u00dcberpr\u00fcfung von Konzepten, zur Bewertung der Zuverl\u00e4ssigkeit, der Leistung von Systemen sowie zur Entwicklung robuster Wege, um gute L\u00f6sungen schnell bereitzustellen.<\/li>\n<\/ul>\n<p>Dies sind nur einige Anforderungen, um Dateningenieur zu werden, daher sollten Sie Datenmanagementsysteme, Informationssysteme, Continuous Delivery\/Deployment\/Integration, Programmiersprachen und andere Informatikthemen (nicht in allen Fachgebieten) studieren und verstehen.<\/p>\n<p><b>Und schlie\u00dflich m\u00f6chte ich etwas Letztes, aber sehr Wichtiges sagen.<\/b><\/p>\n<blockquote><p><i><b>Der Weg zur Data Engineering ist nicht so einfach, wie es scheint. Er verzeiht nicht, frustriert und man muss darauf vorbereitet sein. Manche Momente auf dieser Reise k\u00f6nnten dazu f\u00fchren, dass Sie alles aufgeben m\u00f6chten. Aber es ist echte Arbeit und ein Lernprozess.<\/b><\/i><\/p><\/blockquote>\n<p>Schm\u00fccken Sie es einfach nicht von Anfang an. Der ganze Sinn der Reise liegt darin, so viel wie m\u00f6glich zu lernen und bereit f\u00fcr neue Herausforderungen zu sein.<br \/>\nHier ist ein gro\u00dfartiges Bild, auf das ich gesto\u00dfen bin, das diesen Moment gut veranschaulicht:<\/p>\n<p><img decoding=\"async\" alt=\"Wer sind Data-Engineers und wie wird man einer?\" src=\"\/wp-content\/uploads\/2019\/05\/9cc8db9011e5f54717d7e9f31f915523.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nUnd ja, vergessen Sie nicht, Burnout zu vermeiden und sich auszuruhen. Das ist auch sehr wichtig. Viel Gl\u00fcck!<\/p>\n<p>Wie gef\u00e4llt Ihnen der Artikel, Freunde? Wir laden Sie ein zu <noindex><a rel=\"nofollow\" href=\"https:\/\/otus.pw\/RCuj\/\">kostenlosen Webinar<\/a><\/noindex>, das heute um 20:00 Uhr stattfindet. Im Rahmen des Webinars werden wir besprechen, wie man ein effektives und skalierbares Datensystem f\u00fcr ein kleines Unternehmen oder Start-up mit minimalen Kosten aufbaut. In der Praxis werden wir die Google Cloud-Datenverarbeitungs-Tools kennenlernen. Bis sp\u00e4ter!<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/otus\/blog\/452670\/\">habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435. \u0412 \u043f\u0440\u0435\u0434\u0434\u0432\u0435\u0440\u0438\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043a\u0443\u0440\u0441\u0430 \u00abData Engineer\u00bb \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0442\u043e \u0436\u0435 \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0441\u044b\u043b\u043e\u043a. \u041f\u0440\u0438\u044f\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0447\u0442\u0435\u043d\u0438\u044f. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0432\u043e\u043b\u043d\u0443 Data Engineering \u0438 \u043d\u0435 \u0434\u0430\u0442\u044c \u0435\u0439 \u0437\u0430\u0442\u044f\u043d\u0443\u0442\u044c \u0432\u0430\u0441 \u0432 \u043f\u0443\u0447\u0438\u043d\u0443. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0432 \u043d\u0430\u0448\u0438 \u0434\u043d\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25729,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-34083","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.1.1 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.1.1\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2019-10-31T18:56:19+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wer sind Data Engineers und wie wird man einer? | ProHoster","description":"Und wieder hallo! Der Titel des Artikels spricht f\u00fcr sich.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041a\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u0434\u0430\u0442\u0430-\u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u0438 \u043a\u0430\u043a \u0438\u043c\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f? | ProHoster","og:description":"\u0418 \u0441\u043d\u043e\u0432\u0430 \u0437\u0434\u0440\u0430\u0432\u0441\u0442\u0432\u0443\u0439\u0442\u0435! \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u0430\u043c \u043e \u0441\u0435\u0431\u0435.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/kto-takie-data-inzhenery-i-kak-imi-stanovyatsya","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:56:19+00:00","article:modified_time":"2019-10-31T18:56:19+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"34083","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 17:49:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:28:35","updated":"2026-01-21 17:49:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34083","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=34083"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/34083\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/25729"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=34083"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=34083"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=34083"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}