{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Das verteilte Rechensystem Apache Storm 2.0 ist verf\u00fcgbar","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ist jetzt verf\u00fcgbar.<\/a><\/noindex> eine bedeutende Ver\u00f6ffentlichung des Systems zur verteilten Ereignisverarbeitung Apache Storm 2.0<\/a><\/noindex>, das durch den Wechsel zu einer neuen Architektur besticht, die in Java implementiert ist, anstelle der zuvor verwendeten Programmiersprache Clojure. <\/p>\n

Das Projekt erm\u00f6glicht eine garantierte Verarbeitung verschiedener Ereignisse in Echtzeit. Storm kann beispielsweise zur Analyse von Datenstr\u00f6men in Echtzeit, zur Ausf\u00fchrung von Aufgaben im maschinellen Lernen, zur Durchf\u00fchrung kontinuierlicher Berechnungen sowie zur Implementierung von RPC, ETL und vielem mehr eingesetzt werden. Das System unterst\u00fctzt die Clusterbildung, die Erstellung von ausfallsicheren Konfigurationen und den Modus der garantierten Datenverarbeitung und bietet eine hohe Leistung, die ausreicht, um \u00fcber eine Million Anfragen pro Sekunde auf einem Clusterknoten zu verarbeiten. <\/p>\n

Die Architektur von Storm unterst\u00fctzt die Integration mit verschiedenen Warteschlangensystemen und Datenbanktechnologien. Storm ist darauf ausgelegt, unstrukturierte, st\u00e4ndig aktualisierte Datenstr\u00f6me zu empfangen und zu verarbeiten, wobei beliebig komplexe Verarbeitungsprogramme und eine Sektionierung zwischen verschiedenen Berechnungsphasen erm\u00f6glicht werden. Das Projekt wurde an die Apache-Community \u00fcbergeben, nachdem Twitter die Firma BackType \u00fcbernommen hatte, die urspr\u00fcnglich das Framework entwickelt hat. In der Praxis wurde Storm bei BackType verwendet, um die Reflexion von Ereignissen in Mikrobblogs zu analysieren, indem neue Tweets und die darin enthaltenen Links in Echtzeit abgeglichen wurden (beispielsweise wurde bewertet, wie externe Links oder Ank\u00fcndigungen auf Twitter von anderen Nutzern weiterverbreitet werden). <\/p>\n

Die Funktionalit\u00e4t von Storm kann mit der Plattform Hadoop verglichen werden, wobei der wesentliche Unterschied darin besteht, dass Daten nicht gespeichert, sondern extern bezogen und in Echtzeit verarbeitet werden. Storm verf\u00fcgt \u00fcber keine integrierte Schicht zur Datenorganisation, und analytische Anfragen werden auf die eingehenden Daten angewendet, bis sie abgebrochen werden (w\u00e4hrend bei Hadoop zeitaufw\u00e4ndige MapReduce-Jobs verwendet werden, greift Storm auf das Konzept von kontinuierlich ausf\u00fchrbaren \u201eTopologien\u201c zur\u00fcck). Die Ausf\u00fchrung der Handler kann auf mehrere Server verteilt werden \u2013 Storm parallelisiert automatisch die Verarbeitung von Streams auf verschiedene Knoten im Cluster. <\/p>\n

Urspr\u00fcnglich wurde das System in der Programmiersprache Clojure entwickelt und l\u00e4uft innerhalb der JVM (Java Virtual Machine). Im Apache-Projekt wurde eine Initiative gestartet, um Storm auf einen neuen Kern, der in Java geschrieben ist, zu migrieren, dessen Ergebnisse in der Version Apache Storm 2.0 vorgestellt werden. Alle wesentlichen Komponenten der Plattform wurden in Java neu geschrieben. Die Unterst\u00fctzung f\u00fcr die Erstellung von Handlern in Clojure bleibt erhalten, wird jedoch jetzt in Form von Bindings angeboten. F\u00fcr den Betrieb von Storm 2.0.0 ist Java 8 erforderlich. Das Modell der Mehrfachverarbeitung wurde vollst\u00e4ndig \u00fcberarbeitet, was zu einer signifikanten Leistungssteigerung gef\u00fchrt hat (in einigen Topologien wurden die Latenzen um 50-80 % reduziert).<\/a><\/noindex> In der neuen Version wird auch eine neue typisierte API f\u00fcr Streams angeboten, die es erm\u00f6glicht, Handler unter Verwendung von Operationen im Stil der funktionalen Programmierung zu definieren. Die neue API wurde \u00fcber der bestehenden Basis-API implementiert und unterst\u00fctzt die automatische Zusammenf\u00fchrung von Operationen zur Optimierung ihrer Verarbeitung. In der API f\u00fcr Windowing wurden Unterst\u00fctzung f\u00fcr die Speicherung und Wiederherstellung von Zust\u00e4nden im Backend hinzugef\u00fcgt.<\/p>\n

\"Das<\/a><\/noindex><\/center><\/p>\n

In der neuen Version wurde ein neuer typisierter API-Streams-Typ eingef\u00fchrt, der es erm\u00f6glicht, Handler mithilfe von Operationen im Stil der funktionalen Programmierung festzulegen. Die neue API basiert auf der vorhandenen Basisk API und unterst\u00fctzt die automatische Zusammenf\u00fchrung von Operationen zur Optimierung deren Verarbeitung. Im API Windowing f\u00fcr Fensteroperationen wurde die Unterst\u00fctzung f\u00fcr das Speichern und Wiederherstellen von Zust\u00e4nden im Backend hinzugef\u00fcgt. <\/p>\n

Im Job-Scheduler f\u00fcr Handler wurde die Unterst\u00fctzung f\u00fcr die Ber\u00fccksichtigung zus\u00e4tzlicher Ressourcen bei Entscheidungsprozessen, die \u00fcber CPU und RAM hinausgehen, implementiert, einschlie\u00dflich Netzwerkkonfigurationen und GPU. Es wurden zahlreiche Verbesserungen zur Integration mit der Plattform vorgenommen.
\n Das Zugriffssteuerungssystem wurde erweitert, wobei die M\u00f6glichkeit zur Erstellung von Administratorgruppen und zur Delegierung von Token hinzugef\u00fcgt wurde. Zudem wurden Verbesserungen in der SQL-Unterst\u00fctzung und bei Metriken implementiert. Im Administrationsinterface sind neue Befehle zur Fehlerbehebung des Clusterzustands verf\u00fcgbar. Kafka<\/a><\/noindex>Anwendungsgebiete von Storm:<\/p>\n

Echtzeitverarbeitung von neuen Datenstr\u00f6men oder Datenbankaktualisierungen;\n<\/p>\n