{"id":90548,"date":"2020-08-02T13:42:53","date_gmt":"2020-08-02T11:42:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3"},"modified":"2020-08-02T13:42:53","modified_gmt":"2020-08-02T11:42:53","slug":"reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","title":{"rendered":"Freigabe der Plattform f\u00fcr verteilte Datenverarbeitung Apache Hadoop 3.3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nach anderthalb Jahren Entwicklung hat die Apache Software Foundation die<\/a><\/noindex> Release Apache Hadoop 3.3.0<\/a><\/noindex>, eine Open-Source-Plattform f\u00fcr die verteilte Verarbeitung gro\u00dfer Datenmengen unter Verwendung des MapReduce<\/a><\/noindex>-Paradigmas, bei dem eine Aufgabe in viele kleinere, separate Fragmente unterteilt wird, die jeweils auf einem einzelnen Knoten des Clusters ausgef\u00fchrt werden k\u00f6nnen. Das Hadoop-basierte Speicher kann Tausende von Knoten abdecken und Exabytes an Daten enthalten.<\/p>\n

Hadoop umfasst die Implementierung eines verteilten Dateisystems, des Hadoop Distributed Filesystem (HDFS), das automatisch Datenredundanz gew\u00e4hrleistet und f\u00fcr MapReduce-Anwendungen optimiert ist. Um den Datenzugriff zu erleichtern, wurde eine Datenbank namens HBase und eine SQL-\u00e4hnliche Sprache namens Pig entwickelt, die eine Art SQL f\u00fcr MapReduce ist, dessen Abfragen parallelisiert und von mehreren Hadoop-Plattformen verarbeitet werden k\u00f6nnen. Das Projekt wird als voll stabil und bereit f\u00fcr den industriellen Einsatz angesehen. Hadoop wird aktiv in gro\u00dfen Industrieprojekten eingesetzt und bietet Funktionen, die der Plattform Google Bigtable\/GFS\/MapReduce \u00e4hnlich sind, wobei das Unternehmen Google offiziell delegiert hat<\/a><\/noindex> Hadoop und anderen Apache-Projekten steht das Recht zur Nutzung von Technologien zu, die durch Patente \u00fcber das MapReduce-Verfahren gesch\u00fctzt sind. <\/p>\n

Hadoop belegt den ersten Platz unter den Apache-Repositories in Bezug auf die Anzahl der \u00c4nderungen und den f\u00fcnften Platz in der Gr\u00f6\u00dfe des Codes (rund 4 Millionen Zeilen). Zu den gro\u00dfen Implementierungen von Hadoop geh\u00f6ren die Repositories von Netflix (\u00fcber 500 Milliarden Ereignisse pro Tag), Twitter (ein Cluster mit 10.000 Knoten speichert in Echtzeit \u00fcber ein Zettabyte Daten und verarbeitet mehr als 5 Milliarden Sitzungen t\u00e4glich) und Facebook (ein Cluster mit 4.000 Knoten speichert \u00fcber 300 Petabyte und w\u00e4chst t\u00e4glich um 4 Terabyte).<\/p>\n

Haupt eingef\u00fchrt wurde, die im Januar dieses Jahres in den Kernel \u00fcbernommen wurde. Es betrifft ausschlie\u00dflich die Version 5.1 und tritt in den meisten F\u00e4llen auf Systemen mit Samsung-SSD-Speichern auf, bei denen zur Verschl\u00fcsselung Daten mit dm-crypt\/LUKS \u00fcber device-mapper\/LVM verwendet werden.<\/a><\/noindex> in Apache Hadoop 3.3:<\/p>\n