{"id":90548,"date":"2020-08-02T13:42:53","date_gmt":"2020-08-02T11:42:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3"},"modified":"2020-08-02T13:42:53","modified_gmt":"2020-08-02T11:42:53","slug":"reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","title":{"rendered":"Ver\u00f6ffentlichung der Plattform f\u00fcr verteilte Datenverarbeitung Apache Hadoop 3.3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nach anderthalb Jahren Entwicklung hat die Apache Software Foundation ver\u00f6ffentlicht<\/a><\/noindex> Release Apache Hadoop 3.3.0<\/a><\/noindex>, eine freie Plattform zur Organisation der verteilten Verarbeitung gro\u00dfer Datenmengen unter Verwendung des Paradigmas map\/reduce<\/a><\/noindex>, bei dem die Aufgabe in viele kleinere, getrennte Fragmente zerlegt wird, von denen jedes auf einem separaten Knoten im Cluster ausgef\u00fchrt werden kann. Das auf Hadoop basierende Speicher kann Tausende von Knoten umfassen und Exabytes an Daten enthalten.<\/p>\n

Hadoop umfasst die Implementierung des verteilten Dateisystems Hadoop Distributed Filesystem (HDFS), das automatisch Datensicherung gew\u00e4hrleistet und f\u00fcr MapReduce-Anwendungen optimiert ist. Um den Datenzugriff in Hadoop zu vereinfachen, wurde die Datenbank HBase und die SQL-\u00e4hnliche Sprache Pig entwickelt, die eine Art SQL f\u00fcr MapReduce ist, deren Abfragen parallelisiert und von mehreren Hadoop-Plattformen verarbeitet werden k\u00f6nnen. Das Projekt wird als vollst\u00e4ndig stabil und bereit f\u00fcr den industriellen Einsatz angesehen. Hadoop wird aktiv in gro\u00dfen Industrieprojekten eingesetzt und bietet \u00e4hnliche M\u00f6glichkeiten wie die Plattform Google Bigtable\/GFS\/MapReduce, wobei Google offiziell die<\/a><\/noindex> Hadoop- und andere Apache-Projekte mit dem Recht delegiert hat, Technologien zu nutzen, die durch Patente in Bezug auf die Methode MapReduce abgedeckt sind. <\/p>\n

Hadoop belegt den ersten Platz unter den Apache-Repositories hinsichtlich der Anzahl der \u00c4nderungen und den f\u00fcnften Platz nach der Gr\u00f6\u00dfe des Codebasis (etwa 4 Millionen Zeilen Code). Zu den gr\u00f6\u00dferen Implementierungen von Hadoop z\u00e4hlen die Lager von Netflix (\u00fcber 500 Milliarden Ereignisse pro Tag), Twitter (ein Cluster von 10.000 Knoten speichert in Echtzeit \u00fcber ein Zettabyte Daten und verarbeitet \u00fcber 5 Milliarden Sitzungen pro Tag) und Facebook (ein Cluster aus 4.000 Knoten speichert \u00fcber 300 Petabyte und w\u00e4chst t\u00e4glich um 4 PB pro Tag).<\/p>\n

Haupt- \u00c4nderungen<\/a><\/noindex> in Apache Hadoop 3.3:<\/p>\n