{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Het gedistribueerde rekensysteem Apache Storm 2.0 is beschikbaar.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Zag het licht<\/a><\/noindex> belangrijke release van het systeem voor gedistribueerde gebeurtenisverwerking Apache Storm 2.0<\/a><\/noindex>, opmerkelijk vanwege de overgang naar een nieuwe architectuur, ge\u00efmplementeerd in de programmeertaal Java, in plaats van de eerder gebruikte programmeertaal Clojure. <\/p>\n

Het project stelt gebruikers in staat om gegarandeerde verwerking van verschillende gebeurtenissen in realtime te organiseren. Zo kan Storm worden gebruikt voor het analyseren van datastromen in realtime, het uitvoeren van taken voor machine learning, het organiseren van continue berekeningen, het implementeren van RPC, ETL, enz. Het systeem ondersteunt clustering, het cre\u00ebren van fouttolerante configuraties, de modus van gegarandeerde gegevensverwerking en heeft een hoge prestaties, voldoende om meer dan een miljoen verzoeken per seconde op een enkele cluster-knooppunt te verwerken. <\/p>\n

Integratie met verschillende queue-verwerkingssystemen en database-technologie\u00ebn wordt ondersteund. De architectuur van Storm stelt het in staat om ongestructureerde, continu ge\u00fcpdatete datastromen te verwerken met behulp van willekeurige complexe verwerkers met de mogelijkheid tot partitionering tussen verschillende stadia van berekeningen. Het project werd overgedragen aan de Apache-gemeenschap na de overname van Twitter door BackType, dat het framework oorspronkelijk had ontwikkeld. In de praktijk werd Storm gebruikt bij BackType voor het analyseren van gebeurtenissen in microblogs door nieuwe tweets en de daarin gebruikte links on-the-fly te matchen (bijvoorbeeld het werd ge\u00ebvalueerd hoe externe links of aankondigingen die op Twitter werden geplaatst, door andere gebruikers werden gere-tweet). <\/p>\n

De functionaliteit van Storm is te vergelijken met het Hadoop-platform, met als belangrijkste verschil dat de gegevens niet in een opslag worden geplaatst, maar extern binnenkomen en in real-time worden verwerkt. In Storm is er geen ingebouwde laag voor het organiseren van opslag, en de analytische query wordt toegepast op de binnenkomende gegevens totdat deze wordt geannuleerd (terwijl in Hadoop eindige tijdsintensive MapReduce-taken worden gebruikt, wordt in Storm het idee van continu draaiende 'topologie\u00ebn' toegepast). Het uitvoeren van verwerkers kan worden verdeeld over meerdere servers - Storm paralleliseert automatisch de verwerking van streams over verschillende knooppunten in het cluster. <\/p>\n

Aanvankelijk was het systeem geschreven in de Clojure-taal en draait het binnen de JVM-virtuele machine. Bij de Apache Foundation is een initiatief gestart om Storm over te zetten naar een nieuwe kern, geschreven in Java, waarvan de resultaten worden aangeboden in de Apache Storm 2.0-release. Alle basiscomponenten van het platform zijn herschreven in Java. De ondersteuning voor het schrijven van handlers in Clojure is behouden, maar wordt nu aangeboden in de vorm van bindings. Voor het draaien van Storm 2.0.0 is Java 8 vereist. Het model voor multithreading is volledig herzien, wat heeft geleid tot een<\/a><\/noindex> significante prestatieverbetering (voor sommige topologie\u00ebn zijn de latenties met 50-80% verminderd).<\/p>\n

\"Het<\/a><\/noindex><\/center><\/p>\n

In de nieuwe versie is ook een nieuw getypeerd Streams-API ge\u00efntroduceerd, waarmee handlers kunnen worden gedefinieerd met behulp van operaties in functionele programmeerstijl. De nieuwe API is gebouwd bovenop de standaard basis-API en ondersteunt automatische combinaties van operaties om hun verwerking te optimaliseren. In de Windowing API voor venstermodules is ondersteuning toegevoegd voor het opslaan en herstellen van status in de backend. <\/p>\n

In de planner voor het starten van handlers is ondersteuning toegevoegd voor het meenemen van extra resources bij het nemen van beslissingen, die niet alleen beperkt zijn tot
\n CPU en geheugen, maar ook netwerkinstellingen en GPU's omvatten. Er zijn een groot aantal verbeteringen doorgevoerd met betrekking tot de integratie met het Kafka<\/a><\/noindex>. Het toegangsbeheersysteem is uitgebreid, waarbij de mogelijkheid is toegevoegd om beheergroepen te maken en tokens te delegeren. Er zijn verbeteringen aangebracht in de ondersteuning van SQL en metrics. In de admin-interface zijn nieuwe commando's toegevoegd voor het debuggen van de status van de cluster.<\/p>\n

Toepassingsgebieden van Storm:\n<\/p>\n