{"id":55701,"date":"2020-01-26T00:00:00","date_gmt":"2020-01-25T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh"},"modified":"2020-02-18T14:03:50","modified_gmt":"2020-02-18T11:03:50","slug":"nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/nuzhno-li-nam-ozero-dannyh-a-chto-delat-s-hranilishhem-dannyh","title":{"rendered":"Brauchen wir einen Datensee? Und was ist mit einem Datenspeicher?","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dieser Artikel ist eine \u00dcbersetzung meines Artikels auf Medium \u2014 Erste Schritte mit Data Lake<\/a><\/noindex>, der sich als ziemlich popul\u00e4r herausgestellt hat, wahrscheinlich wegen seiner Einfachheit. Daher habe ich beschlossen, ihn auf Russisch zu schreiben und ein wenig zu erg\u00e4nzen, damit es dem Durchschnittsmenschen, der kein Datenexperte ist, verst\u00e4ndlich wird, was ein Data Warehouse (DW) ist, was ein Data Lake ist und wie sie miteinander koexistieren. <\/p>\n

Warum wollte ich \u00fcber Data Lake schreiben? Ich arbeite seit \u00fcber 10 Jahren mit Daten und Analytik, und jetzt arbeite ich definitiv mit Big Data bei Amazon Alexa AI in Cambridge, das in Boston liegt, obwohl ich selbst in Victoria auf Vancouver Island lebe und oft sowohl in Boston, als auch in Seattle und Vancouver bin, und manchmal sogar in Moskau auf Konferenzen spreche. Von Zeit zu Zeit schreibe ich auch, haupts\u00e4chlich auf Englisch, und habe bereits mehrere B\u00fccher<\/a><\/noindex>, ich habe auch das Bed\u00fcrfnis, Trends in der Analytik aus Nordamerika zu teilen, und manchmal schreibe ich in Telegram<\/a><\/noindex>.<\/p>\n

Ich habe immer mit Data Warehouses gearbeitet und seit 2015 intensiv mit Amazon Web Services zu tun, also habe ich insgesamt auf Cloud-Analytik (AWS, Azure, GCP) umgeschaltet. Ich habe die Evolution der Analytikl\u00f6sungen seit 2007 beobachtet und habe sogar selbst bei dem Anbieter von Data Warehouses Teradata gearbeitet und dieses in der Sberbank implementiert, damals begann die \u00c4ra von Big Data mit Hadoop. Alle fingen an zu sagen, dass die \u00c4ra der Data Warehouses vorbei sei und jetzt alles auf Hadoop l\u00e4uft, und sp\u00e4ter begann man schon \u00fcber Data Lake zu sprechen, wiederum, dass es f\u00fcr Data Warehouses jetzt wirklich vorbei sei. Aber zum Gl\u00fcck (vielleicht f\u00fcr einige Ungl\u00fcck, die viel Geld mit der Einrichtung von Hadoop verdient haben), ist das Data Warehouse nicht verschwunden.
\n<\/a><\/noindex>
\nIn diesem Artikel werden wir uns ansehen, was ein Data Lake ist. Der Artikel richtet sich an Menschen, die wenig oder gar keine Erfahrung mit Data Warehouses haben.<\/p>\n

\"Brauchen
\n
\nAuf dem Bild ist der Bleder See, eines meiner Lieblingsseen, obwohl ich erst einmal dort war, aber ich werde ihn mein Leben lang in Erinnerung behalten. Aber wir werden \u00fcber einen anderen Typ See sprechen \u2014 den Data Lake. M\u00f6glicherweise haben viele von Ihnen diesen Begriff bereits mehrmals geh\u00f6rt, aber eine weitere Definition kann nie schaden.<\/p>\n

Zun\u00e4chst die beliebtesten Definitionen von Data Lake:<\/p>\n

\u201eEin Dateispeicher f\u00fcr alle Arten roher Daten, die von jedem in der Organisation zur Analyse verf\u00fcgbar sind\u201c \u2014 Martin Fowler.<\/p><\/blockquote>\n

\u201eWenn Sie denken, dass ein Datensee eine Flasche Wasser ist \u2013 gereinigt, verpackt und f\u00fcr den bequemen Verzehr abgef\u00fcllt, dann ist ein Datensee ein riesiger Beh\u00e4lter mit Wasser in seiner nat\u00fcrlichen Form. Benutzer k\u00f6nnen sich Wasser f\u00fcr sich holen, in die Tiefe tauchen und erkunden\u201c \u2013 James Dixon. <\/p><\/blockquote>\n

Jetzt wissen wir genau, dass ein Datensee um Analytik geht; er erm\u00f6glicht es uns, gro\u00dfe Datenmengen in ihrer urspr\u00fcnglichen Form zu speichern und wir haben den n\u00f6tigen und bequemen Zugang zu den Daten.<\/p>\n

Ich liebe es oft, Dinge zu vereinfachen. Wenn ich einen komplexen Begriff in einfachen Worten erkl\u00e4ren kann, bedeutet das, dass ich f\u00fcr mich selbst verstanden habe, wie es funktioniert und wof\u00fcr es n\u00fctzlich ist. Neulich habe ich im iPhone in der Fotogalerie herumgest\u00f6bert, und es kam mir in den Sinn, das ist doch ein echter Datensee, ich habe sogar eine Folie f\u00fcr Konferenzen gemacht:<\/p>\n

\"Brauchen
\n
\nEs ist ganz einfach. Wir machen ein Foto mit dem Handy, das Foto wird auf dem Handy gespeichert und kann in iCloud (Cloud-Speicher) gesichert werden. Auch das Handy sammelt Metadaten des Fotos: was darauf zu sehen ist, Geotag, Zeit. Als Ergebnis k\u00f6nnen wir die benutzerfreundliche Oberfl\u00e4che des iPhones nutzen, um unser Foto zu finden, und dabei sehen wir sogar Kennzahlen. Zum Beispiel finde ich, wenn ich nach Fotos des Begriffs Feuer (fire) suche, 3 Fotos von einem Lagerfeuer. F\u00fcr mich ist das wie ein Business-Intelligence-Tool, das sehr schnell und pr\u00e4zise arbeitet. <\/p>\n

Und nat\u00fcrlich d\u00fcrfen wir die Sicherheit (Autorisierung und Authentifizierung) nicht vergessen, sonst k\u00f6nnten unsere Daten leicht \u00f6ffentlich zug\u00e4nglich werden. Es gibt viele Nachrichten \u00fcber gro\u00dfe Unternehmen und Startups, deren Daten aufgrund von Nachl\u00e4ssigkeit der Entwickler in den \u00f6ffentlichen Zugriff geraten sind, weil einfache Regeln nicht beachtet wurden.<\/p>\n

Bereits ein so einfaches Bild hilft uns, das Konzept eines Datensees, seine Unterschiede zu traditionellen Datenspeichern und seine grundlegenden Elemente zu verstehen:<\/p>\n

    \n
  1. Daten hochladen <\/b>(Ingestion) \u2013 ein Schl\u00fcsselelement eines Datensees. Daten gelangen auf zwei Arten in den Datenspeicher \u2013 als Batch (Laden in Intervallen) und Streaming (Datenstrom).<\/li>\n
  2. Dateispeicher<\/b> (Storage) \u2013 das Hauptbestandteil eines Datensees. Es ist wichtig, dass der Speicher leicht skalierbar, \u00e4u\u00dferst zuverl\u00e4ssig und kosteng\u00fcnstig ist. Zum Beispiel bei AWS ist das S3.<\/li>\n
  3. Katalog und Suche<\/b> (Katalog und Suche) \u2014 um das Datenmoor zu vermeiden (das passiert, wenn wir alle Daten in einen Haufen werfen und dann nicht mehr damit arbeiten k\u00f6nnen), m\u00fcssen wir eine Schicht aus Metadaten zur Klassifizierung der Daten erstellen, damit die Benutzer die Daten, die sie f\u00fcr ihre Analysen ben\u00f6tigen, leicht finden k\u00f6nnen. Dar\u00fcber hinaus k\u00f6nnen zus\u00e4tzliche L\u00f6sungen f\u00fcr die Suche verwendet werden, wie beispielsweise ElasticSearch. Die Suche hilft dem Benutzer, die ben\u00f6tigten Daten \u00fcber eine benutzerfreundliche Oberfl\u00e4che zu finden.<\/li>\n
  4. Verarbeitung<\/b> (Prozess) \u2014 dieser Schritt ist f\u00fcr die Verarbeitung und Transformation von Daten verantwortlich. Wir k\u00f6nnen Daten transformieren, ihre Strukturen \u00e4ndern, sie bereinigen und vieles mehr. <\/li>\n
  5. Sicherheit<\/b> (Sicherheit) \u2014 es ist wichtig, Zeit f\u00fcr das Sicherheitsdesign der L\u00f6sung aufzuwenden. Zum Beispiel die Verschl\u00fcsselung von Daten w\u00e4hrend der Speicherung, Verarbeitung und \u00dcbertragung. Es ist wichtig, Authentifizierungs- und Autorisierungsmethoden zu verwenden. Abschlie\u00dfend wird ein Audit-Tool ben\u00f6tigt.<\/li>\n<\/ol>\n

    \nAus praktischer Sicht k\u00f6nnen wir den Datensee durch drei Attribute charakterisieren:<\/p>\n

      \n
    1. Sammeln und speichern Sie alles<\/b> \u2014 der Datensee enth\u00e4lt alle Daten, sowohl rohe unbewertete Daten \u00fcber jeden Zeitraum als auch verarbeitete\/bereinigte Daten.<\/li>\n
    2. Tiefgehende Analysen<\/b> \u2014 der Datensee erm\u00f6glicht es Benutzern, Daten zu erkunden und zu analysieren.<\/li>\n
    3. Flexibler Zugriff<\/b> \u2014 der Datensee gew\u00e4hrleistet flexiblen Zugriff auf unterschiedliche Daten und verschiedene Szenarien.<\/li>\n<\/ol>\n

      \nJetzt k\u00f6nnen wir \u00fcber den Unterschied zwischen einem Data Warehouse und einem Datensee sprechen. Oft fragen die Leute:<\/p>\n