{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Apache Storm 2.0-f\u00f6rdelat datorsystem \u00e4r tillg\u00e4ngligt","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Har sett dagens ljus<\/a><\/noindex> betydande release av distribuerad h\u00e4ndelsehanteringssystem Apache Storm 2.0<\/a><\/noindex>, anm\u00e4rkningsv\u00e4rd \u00f6verg\u00e5ng till en ny arkitektur, implementerad i Java ist\u00e4llet f\u00f6r det tidigare anv\u00e4nda spr\u00e5ket Clojure. <\/p>\n

Projektet m\u00f6jligg\u00f6r garanterad bearbetning av olika h\u00e4ndelser i realtid. Till exempel kan Storm anv\u00e4ndas f\u00f6r att analysera datastreams i realtid, utf\u00f6ra uppgifter f\u00f6r maskininl\u00e4rning, organisera kontinuerliga ber\u00e4kningar, implementera RPC, ETL osv. Systemet st\u00f6der klusterhantering, skapande av felresistenta konfigurationer, l\u00e4get f\u00f6r garanterad databehandling och har h\u00f6g prestanda, tillr\u00e4cklig f\u00f6r att bearbeta mer \u00e4n en miljon beg\u00e4rningar per sekund p\u00e5 en nod i klustret. <\/p>\n

Det st\u00f6der integration med olika k\u00f6hanteringssystem och databasteknologier. Storm-arkitekturen f\u00f6ruts\u00e4tter mottagande och behandling av ostrukturerade, st\u00e4ndigt uppdaterade datastreams med anv\u00e4ndning av valfria komplexa bearbetare med m\u00f6jlighet till partitionering mellan olika ber\u00e4kningssteg. Projektet \u00f6verl\u00e4mnades till Apache-gemenskapen efter att Twitter hade f\u00f6rv\u00e4rvat f\u00f6retaget BackType, som ursprungligen utvecklade ramverket. I praktiken anv\u00e4ndes Storm p\u00e5 BackType f\u00f6r att analysera reflektioner av h\u00e4ndelser i mikrobloggar genom att i realtid matcha nya tweets och l\u00e4nkar som anv\u00e4ndes i dem (t.ex. bed\u00f6mdes hur externa l\u00e4nkar eller Twitter-annonsinl\u00e4gg \u00e5teruts\u00e4ndes av andra deltagare). <\/p>\n

Funktionen hos Storm kan j\u00e4mf\u00f6ras med plattformen Hadoop, med den viktiga skillnaden att data inte lagras i ett lager utan kommer utifr\u00e5n och bearbetas i realtid. I Storm finns det ingen inbyggd mellanliggande lager f\u00f6r att organisera lagring, och den analytiska f\u00f6rfr\u00e5gan b\u00f6rjar till\u00e4mpas p\u00e5 ankommande data tills den avbryts (medan MapReduce-jobb som tar en viss tid anv\u00e4nds i Hadoop, till\u00e4mpas i Storm id\u00e9n om kontinuerligt k\u00f6rda \"topologier\"). Bearbetningen kan f\u00f6rdelas \u00f6ver flera servrar \u2013 Storm automatiskt parallelliserar arbetet med str\u00f6mmar p\u00e5 olika noder i klustret. <\/p>\n

Systemen skrevs ursprungligen i Clojure och k\u00f6rs inuti JVM. Inom Apache har en initiativ startats f\u00f6r att \u00f6vers\u00e4tta Storm till en ny k\u00e4rna, skriven i Java, vars resultat presenteras i Apache Storm 2.0. Alla grundkomponenter av plattformen har skrivits om i Java. St\u00f6det f\u00f6r att skriva handlare i Clojure har bevarats, men erbjuds nu i form av bindningar. F\u00f6r att k\u00f6ra Storm 2.0.0 kr\u00e4vs Java 8. Modellen f\u00f6r flertr\u00e5dig bearbetning har helt omarbetats, vilket m\u00f6jliggjorde att uppn\u00e5<\/a><\/noindex> en betydande prestanda\u00f6kning (f\u00f6r vissa topologier har latensen minskat med 50-80%).<\/p>\n

\"Apache<\/a><\/noindex><\/center><\/p>\n

I den nya versionen introduceras \u00e4ven en typad API f\u00f6r Streams, som till\u00e5ter specificering av handlare med hj\u00e4lp av funktionella programmeringsoperationer. Den nya API:n \u00e4r implementerad ovanp\u00e5 den vanliga bas-API:n och st\u00f6der automatisk sammanslagning av operationer f\u00f6r att optimera behandlingen. I API:n Windowing f\u00f6r f\u00f6nsteroperationer har st\u00f6d f\u00f6r att spara och \u00e5terst\u00e4lla tillst\u00e5nd i backend lagts till. <\/p>\n

Till schemal\u00e4ggaren f\u00f6r att starta handlare har st\u00f6d f\u00f6r att ta h\u00e4nsyn till extra resurser vid beslut som inte begr\u00e4nsar sig till
\n CPU och minne, s\u00e5som n\u00e4tverksparametrar och GPU. M\u00e5nga f\u00f6rb\u00e4ttringar har gjorts f\u00f6r att s\u00e4kerst\u00e4lla integrering med plattformen Kafka<\/a><\/noindex>. \u00c5tkomstkontrollsystemet har utvidgats, d\u00e4r m\u00f6jligheten att skapa administrat\u00f6rsgrupper och delegera tokens har lagts till. F\u00f6rb\u00e4ttringar avseende SQL och metrik har lagts till. I administrationsgr\u00e4nssnittet har nya kommandon lagts till f\u00f6r att fels\u00f6ka klusterstatus.<\/p>\n

Anv\u00e4ndningsomr\u00e5den f\u00f6r Storm:\n<\/p>\n