Apache Storm 2.0-fördelat datorsystem är tillgängligt

Har sett dagens ljus betydande release av distribuerad händelsehanteringssystem Apache Storm 2.0, anmärkningsvärd övergång till en ny arkitektur, implementerad i Java istället för det tidigare använda språket Clojure.

Projektet möjliggör garanterad bearbetning av olika händelser i realtid. Till exempel kan Storm användas för att analysera datastreams i realtid, utföra uppgifter för maskininlärning, organisera kontinuerliga beräkningar, implementera RPC, ETL osv. Systemet stöder klusterhantering, skapande av felresistenta konfigurationer, läget för garanterad databehandling och har hög prestanda, tillräcklig för att bearbeta mer än en miljon begärningar per sekund på en nod i klustret.

Det stöder integration med olika köhanteringssystem och databasteknologier. Storm-arkitekturen förutsätter mottagande och behandling av ostrukturerade, ständigt uppdaterade datastreams med användning av valfria komplexa bearbetare med möjlighet till partitionering mellan olika beräkningssteg. Projektet överlämnades till Apache-gemenskapen efter att Twitter hade förvärvat företaget BackType, som ursprungligen utvecklade ramverket. I praktiken användes Storm på BackType för att analysera reflektioner av händelser i mikrobloggar genom att i realtid matcha nya tweets och länkar som användes i dem (t.ex. bedömdes hur externa länkar eller Twitter-annonsinlägg återutsändes av andra deltagare).

Storms funktionalitet jämförs med Hadoop-plattformen, där den nyckelfulla skillnaden är att data inte lagras utan kommer utifrån och behandlas i realtid. I Storm finns det ingen inbyggd mellanlager för lagring, och analytiska förfrågningar börjar tillämpas på inkommande data tills de avbryts (medan Hadoop använder tidsbestämd MapReduce-arbetsuppgifter, tillämpas i Storm idén om ständigt körande 'topologier'). Behandlarna kan distribueras över flera servrar — Storm parallelliserar automatiskt arbetet med strömmarna på olika klusterknutar.

Systemen skrevs ursprungligen i Clojure och körs inuti JVM. Inom Apache har en initiativ startats för att översätta Storm till en ny kärna, skriven i Java, vars resultat presenteras i Apache Storm 2.0. Alla grundkomponenter av plattformen har skrivits om i Java. Stödet för att skriva handlare i Clojure har bevarats, men erbjuds nu i form av bindningar. För att köra Storm 2.0.0 krävs Java 8. Modellen för flertrådig bearbetning har helt omarbetats, vilket möjliggjorde att uppnå en betydande prestandaökning (för vissa topologier har latensen minskat med 50-80%).

I den nya versionen introduceras även en typad API för Streams, som tillåter specificering av handlare med hjälp av funktionella programmeringsoperationer. Den nya API:n är implementerad ovanpå den vanliga bas-API:n och stöder automatisk sammanslagning av operationer för att optimera behandlingen. I API:n Windowing för fönsteroperationer har stöd för att spara och återställa tillstånd i backend lagts till.

Till schemaläggaren för att starta handlare har stöd för att ta hänsyn till extra resurser vid beslut som inte begränsar sig till
CPU och minne, såsom nätverksparametrar och GPU. Många förbättringar har gjorts för att säkerställa integrering med plattformen Kafka. Åtkomstkontrollsystemet har utvidgats, där möjligheten att skapa administratörsgrupper och delegera tokens har lagts till. Förbättringar avseende SQL och metrik har lagts till. I administrationsgränssnittet har nya kommandon lagts till för att felsöka klusterstatus.

Användningsområden för Storm:

• Bearbetning av strömmar av ny data eller databasuppdateringar i realtid;
• Kontinuerlig beräkning: Storm kan utföra kontinuerliga förfrågningar och bearbeta kontinuerliga strömmar, vilket gör att resultaten av behandlingen skickas till kunden i realtid.
• Distribuerad fjärrprocedur-anrop (RPC): Storm kan användas för att möjliggöra parallell exekvering av resurskrävande förfrågningar. En uppgift ("topologi") i Storm representerar en distribuerad funktion över noder som väntar på att ta emot meddelanden som ska bearbetas. Efter att ha mottagit ett meddelande bearbetar funktionen det i ett lokalt sammanhang och returnerar resultatet. Ett exempel på användning av distribuerad RPC kan vara parallell bearbetning av sökfrågor eller utförande av operationer på stora mängder datamängder.

Egenskaper hos Storm:

• En enkel programmeringsmodell som avsevärt förenklar bearbetning av data i realtid;
• Stöd för alla programmeringsspråk. Det finns moduler för Java, Ruby och Python, och anpassningar för andra språk är inte svåra tack vare ett mycket enkelt kommunikationsprotokoll, för att implementera stödet för vilket ungefär 100 rader kod behövs;
• Felsäkerhet: för att köra en databehandlingsuppgift krävs att en jar-fil med koden skapas. Storm distribuerar självmant denna jar-fil över klusternoder, kopplar de relaterade handlarna och organiserar övervakningen. När uppgiften är slutförd kopplas koden automatiskt bort från alla noder;
• Horisonell skalbarhet. Alla beräkningar utförs parallellt, och vid ökad belastning räcker det att helt enkelt ansluta nya noder till klustret;
• Tillförlitlighet. Storm garanterar att varje mottaget meddelande kommer att bearbetas helt minst en gång. Meddelandet kommer endast att behandlas en gång om det inte uppstår några fel under genomförandet av alla handlare; om problem uppstår kommer misslyckade bearbetningsförsök att upprepas.
• Hastighet. Storms kod är skriven med hög prestanda i åtanke och använder ett system för snabb asynkron meddelandeutbyte. ZeroMQ.

Källa: opennet.ru