{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Brauchen wir einen Datensee? Und was ist mit dem Datenspeicher?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dieser Artikel ist eine \u00dcbersetzung meines Artikels auf Medium \u2014 Einstieg in Data Lake<\/a><\/noindex>, der sich als ziemlich beliebt herausgestellt hat, wahrscheinlich wegen seiner Einfachheit. Daher habe ich beschlossen, ihn auf Deutsch zu schreiben und ein wenig zu erg\u00e4nzen, damit es auch einer Person, die kein Datenexperte ist, klar wird, was ein Data Warehouse (DW) und was ein Data Lake ist, und wie sie zusammen funktionieren. <\/p>\n

Warum wollte ich \u00fcber den Data Lake schreiben? Ich arbeite seit mehr als 10 Jahren mit Daten und Analytik, und im Moment arbeite ich definitiv mit gro\u00dfen Daten bei Amazon Alexa AI in Cambridge, das in Boston liegt, obwohl ich selbst in Victoria auf Vancouver Island wohne und oft sowohl in Boston als auch in Seattle und Vancouver bin, und manchmal sogar in Moskau auf Konferenzen spreche. Auch schreibe ich von Zeit zu Zeit, haupts\u00e4chlich auf Englisch, und habe bereits einige B\u00fccher<\/a><\/noindex>, au\u00dferdem habe ich das Bed\u00fcrfnis, Trends der Analytik aus Nordamerika zu teilen, und ich schreibe manchmal in Telegram<\/a><\/noindex>.<\/p>\n

Ich habe immer mit Datenspeichern gearbeitet und seit 2015 intensiv mit Amazon Web Services, also allgemein mit Cloud-Analytik (AWS, Azure, GCP). Ich habe die Entwicklung von Analyse-L\u00f6sungen seit 2007 beobachtet und habe sogar bei dem Datenspeicher-Anbieter Teradata gearbeitet, wo ich dessen L\u00f6sung bei Sberbank implementiert habe. In dieser Zeit entstand Big Data mit Hadoop. Alle begannen zu sagen, dass die \u00c4ra der Datenspeicher vorbei sei und jetzt alles Hadoop sei, und bald sprach man \u00fcber Data Lakes, erneut mit der Behauptung, dass es f\u00fcr Datenspeicher nun endg\u00fcltig vorbei sei. Aber zum Gl\u00fcck (vielleicht f\u00fcr einige ungl\u00fccklich, die viel Geld mit der Einrichtung von Hadoop verdient haben) ist das Datenschlie\u00dffach nicht verschwunden.
\n<\/a><\/noindex>
\nIn diesem Artikel werden wir uns mit dem Thema Data Lake besch\u00e4ftigen. Der Artikel richtet sich an Personen, die wenig oder gar keine Erfahrung mit Datenspeichern haben.<\/p>\n

\"Brauchen
\n
\nAuf dem Bild ist der Bleder See zu sehen, eines meiner Lieblingsseen, auch wenn ich nur einmal dort war, aber ich habe ihn mein Leben lang in Erinnerung behalten. Aber wir sprechen \u00fcber einen anderen Typ von See \u2014 das Data Lake. Vielleicht haben viele von Ihnen diesen Begriff schon oft geh\u00f6rt, aber eine weitere Definition kann nie schaden.<\/p>\n

Zun\u00e4chst sind hier die bekanntesten Definitionen eines Data Lakes:<\/p>\n

\u201eEin Dateispeicher f\u00fcr alle Arten von Rohdaten, die von jedem in der Organisation analysiert werden k\u00f6nnen\u201c \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u201eWenn Sie denken, dass ein Data Warehouse eine Flasche Wasser ist \u2014 gereinigt, verpackt und f\u00fcr den bequemen Gebrauch abgef\u00fcllt, dann ist ein Data Lake ein riesiger Reservoir mit Wasser in seiner nat\u00fcrlichen Form. Benutzer k\u00f6nnen sich Wasser sch\u00f6pfen, tauchen und erforschen\u201c \u2014 James Dixon. <\/p><\/blockquote>\n

Jetzt wissen wir ganz genau, dass ein Data Lake sich um Analytik dreht, er erm\u00f6glicht es uns, gro\u00dfe Datenmengen in ihrer urspr\u00fcnglichen Form zu speichern, und wir haben den n\u00f6tigen und bequemen Zugriff auf die Daten.<\/p>\n

Ich liebe es oft, Dinge zu vereinfachen. Wenn ich einen komplexen Begriff in einfachen Worten erkl\u00e4ren kann, habe ich f\u00fcr mich selbst verstanden, wie es funktioniert und wof\u00fcr es gebraucht wird. So war ich einmal mit meinem iPhone in der Fotogalerie besch\u00e4ftigt, und es kam mir in den Sinn, dass das tats\u00e4chlich ein Data Lake ist; ich habe sogar eine Folie f\u00fcr Konferenzen erstellt:<\/p>\n

\"Brauchen
\n
\nEs ist ganz einfach. Wir machen ein Foto mit dem Handy, das Foto wird auf dem Handy gespeichert und kann in iCloud (Cloud-Speicher) gespeichert werden. Au\u00dferdem sammelt das Handy Metadaten des Fotos: was darauf abgebildet ist, Geotags, Zeit. Das Ergebnis ist, dass wir die benutzerfreundliche iPhone-Oberfl\u00e4che nutzen k\u00f6nnen, um unser Foto zu finden, und dabei sehen wir sogar Auswertungen. Wenn ich zum Beispiel nach Bildern mit dem Wort Feuer suche, finde ich drei Fotos mit dem Bild eines Lagerfeuers. F\u00fcr mich ist das wie ein Business-Intelligence-Tool, das sehr schnell und pr\u00e4zise arbeitet. <\/p>\n

Und nat\u00fcrlich d\u00fcrfen wir die Sicherheit (Autorisierung und Authentifizierung) nicht vergessen, sonst k\u00f6nnen unsere Daten leicht in die falschen H\u00e4nde geraten. Es gibt viele Nachrichten \u00fcber gro\u00dfe Unternehmen und Startups, deren Daten wegen Nachl\u00e4ssigkeit der Entwickler und der Missachtung einfacher Regeln in den offenen Zugang gelangt sind.<\/p>\n

Selbst so ein einfaches Bild hilft uns zu verstehen, was ein Datenlake ist, wie er sich von einem traditionellen Datenspeicher unterscheidet und welche Hauptelemente er hat:<\/p>\n

    \n
  1. Daten hochladen <\/b>(Ingestion) \u2014 ein zentraler Bestandteil des Data Lakes. Daten k\u00f6nnen auf zwei Arten in das Datenspeicher gelangen: durch Batch-Verarbeitung (\u00dcbertragung in Intervallen) und Streaming (Datenstrom).<\/li>\n
  2. Dateispeicher<\/b> (Storage) \u2014 die Hauptkomponente des Data Lakes. Es ist wichtig, dass der Speicher skalierbar, \u00e4u\u00dferst zuverl\u00e4ssig und kosteneffizient ist. Zum Beispiel ist das S3 in AWS.<\/li>\n
  3. Katalog und Suche<\/b> (Catalog and Search) \u2014 um das Data Swamp zu vermeiden (was passiert, wenn wir alle Daten in einem Haufen ablegen und dann nicht mehr damit arbeiten k\u00f6nnen), m\u00fcssen wir eine Metadatenebene schaffen, um die Daten zu klassifizieren, damit Benutzer die Daten, die sie f\u00fcr ihre Analysen ben\u00f6tigen, leicht finden k\u00f6nnen. Zus\u00e4tzlich k\u00f6nnen weitere Suchl\u00f6sungen wie ElasticSearch eingesetzt werden. Die Suche hilft dem Benutzer, die ben\u00f6tigten Daten \u00fcber eine benutzerfreundliche Schnittstelle zu finden.<\/li>\n
  4. Verarbeitung<\/b> (Process) \u2014 dieser Schritt ist f\u00fcr die Verarbeitung und Transformation der Daten verantwortlich. Wir k\u00f6nnen Daten transformieren, ihre Strukturen \u00e4ndern, sie bereinigen und vieles mehr. <\/li>\n
  5. Sicherheit<\/b> (Sicherheit) \u2014 es ist wichtig, Zeit f\u00fcr das Design der Sicherheitsl\u00f6sung aufzuwenden. Zum Beispiel die Verschl\u00fcsselung von Daten w\u00e4hrend der Speicherung, Verarbeitung und \u00dcbertragung. Authentifizierungs- und Autorisierungsmethoden sollten verwendet werden. Abschlie\u00dfend wird ein Audit-Tool ben\u00f6tigt.<\/li>\n<\/ol>\n

    \nAus praktischer Sicht k\u00f6nnen wir einen Datensee durch drei Attribute charakterisieren:<\/p>\n

      \n
    1. Sammeln und speichern Sie alles, was Sie m\u00f6chten<\/b> \u2014 ein Datensee enth\u00e4lt alle Daten, sowohl rohe, unverarbeitete Daten \u00fcber einen beliebigen Zeitraum als auch verarbeitete\/bereinigte Daten.<\/li>\n
    2. Tiefenanalyse<\/b> \u2014 ein Datensee erm\u00f6glicht es Benutzern, Daten zu erkunden und zu analysieren.<\/li>\n
    3. Flexibler Zugang<\/b> \u2014 ein Datensee bietet flexiblen Zugang zu verschiedenen Daten und Szenarien.<\/li>\n<\/ol>\n

      \nNun k\u00f6nnen wir \u00fcber den Unterschied zwischen einem Data Warehouse und einem Datensee sprechen. Normalerweise fragen die Leute:<\/p>\n