{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Das System f\u00fcr verteiltes Rechnen Apache Storm 2.0 ist verf\u00fcgbar","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Erblickte das Licht der Welt<\/a><\/noindex> bedeutende Ver\u00f6ffentlichung des Systems zur verteilten Ereignisverarbeitung Apache Storm 2.0<\/a><\/noindex>, bemerkenswert durch den Wechsel zu einer neuen Architektur, die in der Programmiersprache Java implementiert ist, anstelle der zuvor verwendeten Sprache Clojure. <\/p>\n

Das Projekt erm\u00f6glicht die garantierte Verarbeitung verschiedener Ereignisse in Echtzeit. Beispielsweise kann Storm zur Analyse von Echtzeitdatenstr\u00f6men, zur Durchf\u00fchrung von Aufgaben f\u00fcr maschinelles Lernen, zur Organisation kontinuierlicher Berechnungen, zur Umsetzung von RPC, ETL usw. eingesetzt werden. Das System unterst\u00fctzt Clustering, die Erstellung ausfallsicherer Konfigurationen, einen Modus f\u00fcr garantierte Datenverarbeitung und bietet eine hohe Leistung, die ausreicht, um mehr als eine Million Anfragen pro Sekunde auf einem Knoten des Clusters zu verarbeiten. <\/p>\n

Die Integration mit verschiedenen Warteschlangenverarbeitungssystemen und Datenbanktechnologien wird unterst\u00fctzt. Die Architektur von Storm sieht die Annahme und Verarbeitung von unstrukturierten, kontinuierlich aktualisierten Datenstr\u00f6men unter Verwendung beliebig komplexer Verarbeiter mit der M\u00f6glichkeit der Partitionierung zwischen verschiedenen Berechnungsstufen vor. Das Projekt wurde der Apache-Community nach der \u00dcbernahme von Twitter der Firma BackType, die urspr\u00fcnglich das Framework entwickelt hatte, \u00fcbergeben. In der Praxis wurde Storm bei BackType zur Analyse der Ereignisantworten in Microblogs verwendet, indem neue Tweets und die darin verwendeten Links in Echtzeit zugeordnet wurden (zum Beispiel wurde bewertet, wie externe Links oder in Twitter ver\u00f6ffentlichte Ank\u00fcndigungen von anderen Teilnehmern weiterverbreitet werden). <\/p>\n

Die Funktionalit\u00e4t von Storm wird mit der Plattform Hadoop verglichen, wobei der Hauptunterschied darin besteht, dass die Daten nicht in einem Speicher abgelegt werden, sondern extern bereitgestellt und in Echtzeit verarbeitet werden. In Storm gibt es keine integrierte Schicht zur Verwaltung eines Speichers, und die analytische Abfrage wird auf die eingehenden Daten angewandt, bis sie abgebrochen wird (w\u00e4hrend in Hadoop zeitintensive MapReduce-Jobs verwendet werden, basiert Storm auf der Idee von kontinuierlich ausgef\u00fchrten \u201eTopologien\u201c). Die Ausf\u00fchrung der Handler kann auf mehrere Server verteilt werden \u2013 Storm parallelisiert automatisch die Verarbeitung von Streams auf verschiedene Knoten im Cluster. <\/p>\n

Urspr\u00fcnglich wurde das System in der Programmiersprache Clojure geschrieben und l\u00e4uft innerhalb der virtuellen Maschine JVM. Im Apache-Projekt wurde eine Initiative zur Migration von Storm auf einen neuen Kern, der in Java geschrieben ist, gestartet, deren Ergebnisse in der Version Apache Storm 2.0 angeboten werden. Alle grundlegenden Komponenten der Plattform wurden in Java neu geschrieben. Die Unterst\u00fctzung f\u00fcr die Entwicklung von Handlern in Clojure ist erhalten geblieben, wird jedoch nun in Form von Bindings angeboten. F\u00fcr den Betrieb von Storm 2.0.0 ist Java 8 erforderlich. Das Modell der Multithread-Verarbeitung wurde vollst\u00e4ndig \u00fcberarbeitet, was erlaubt hat, zu erreichen<\/a><\/noindex> deutliche Leistungssteigerung zu erzielen (f\u00fcr einige Topologien wurden die Latenzen um 50-80 % reduziert).<\/p>\n

\"Das<\/a><\/noindex><\/center><\/p>\n

In der neuen Version wird auch eine neue typisierte API f\u00fcr Streams angeboten, die es erm\u00f6glicht, Handler unter Verwendung von funktionalen Programmieroperationen zu definieren. Die neue API wurde \u00fcber der Standard-API implementiert und unterst\u00fctzt die automatische Zusammenf\u00fchrung von Operationen zur Optimierung ihrer Verarbeitung. In der API Windowing f\u00fcr Fensteroperationen wurde die Unterst\u00fctzung f\u00fcr das Speichern und Wiederherstellen des Zustands im Backend hinzugef\u00fcgt. <\/p>\n

Im Scheduler f\u00fcr die Ausf\u00fchrung von Handlern wurde die Unterst\u00fctzung f\u00fcr die Ber\u00fccksichtigung zus\u00e4tzlicher Ressourcen bei Entscheidungen integriert, die nicht auf
\n CPU und Speicher beschr\u00e4nkt sind, wie Netzwerkparameter und GPU. Zahlreiche Verbesserungen wurden in Bezug auf die Integration mit der Plattform vorgenommen. Kafka<\/a><\/noindex>Das Zugriffskontrollsystem wurde erweitert, und es ist nun m\u00f6glich, Administratorgruppen zu erstellen und Token zu delegieren. Verbesserungen im Zusammenhang mit SQL- und Metrikunterst\u00fctzung wurden hinzugef\u00fcgt. Im Administrationsinterface sind neue Befehle zur Fehlersuche des Clusterzustands verf\u00fcgbar.<\/p>\n

Anwendungsbereiche von Storm:\n<\/p>\n