{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Saadaval on Apache Storm 2.0 hajutatud arvutuss\u00fcsteem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Tuli v\u00e4lja<\/a><\/noindex> m\u00e4rkimisv\u00e4\u00e4rne s\u00fcndmuste hajutatud t\u00f6\u00f6tlemise s\u00fcsteemi versioon Apache Storm 2.0<\/a><\/noindex>, mille t\u00e4helepanuv\u00e4\u00e4rne \u00fcleminek uuele arhitektuurile, mis on rakendatud Java keeles, asendas varem kasutatud Clojure keelt. <\/p>\n

Projekt v\u00f5imaldab korraldada erinevate s\u00fcndmuste tagatud t\u00f6\u00f6tlemist reaalajas. N\u00e4iteks saab Stormi kasutada reaalajas andmevoogude anal\u00fc\u00fcsimiseks, masin\u00f5ppes \u00fclesannete t\u00e4itmiseks, pidevate arvutuste korraldamiseks, RPC, ETL jne. S\u00fcsteem toetab klasterdamist, katkestuskindlate konfiguratsioonide loomist, tagatud andmete t\u00f6\u00f6tlemise re\u017eiimi ja omab k\u00f5rget j\u00f5udlust, piisavat \u00fcle miljoni p\u00e4ringu t\u00f6\u00f6tlemiseks sekundis \u00fchel klastris\u00f5lmel. <\/p>\n

Toetatakse integreerimist erinevate j\u00e4rjekordade t\u00f6\u00f6tlemise s\u00fcsteemide ja andmebaasi tehnoloogiatega. Stormi arhitektuur t\u00e4hendab, et see v\u00f5tab vastu ja t\u00f6\u00f6tleb struktureerimata pidevalt uuendatavaid andmevooge, kasutades mis tahes keerulisi t\u00f6\u00f6tlejaid, v\u00f5imaldades samal ajal andmete sektsioonide vahel erinevate arvutuste etappide vahel. Projekt anti Apache kogukonnale p\u00e4rast Twitteri ettev\u00f5tte BackType'i omandamist, mis algselt arendas raamistikku. Praktikas on Stormi kasutatud BackType'is s\u00fcndmuste peegeldamise anal\u00fc\u00fcsimiseks mikroblogides, sidudes reaalajas uusi tweet'e ja nende linke (n\u00e4iteks hinnati, kuidas v\u00e4lised lingid v\u00f5i Twitteris avaldatud ankrud taaslevivad teiste osalejate poolt). <\/p>\n

Stormi funktsionaalsus sarnaneb Hadoopi platvormiga, kuid peamine erinevus seisneb selles, et andmeid ei salvestata ladustamisruumi, vaid need tulevad v\u00e4ljastpoolt ja t\u00f6\u00f6deldakse reaalajas. Stormis ei ole sisseehitatud kihti ladustamise korraldamiseks ning anal\u00fc\u00fcsip\u00e4ring rakendatakse saabuvatele andmetele seni, kuni see t\u00fchistatakse (kui Hadoopis kasutatakse aeglast MapReduce protsessi, siis Stormis kehtib pidevalt t\u00e4idetavate 'topoloogiate' idee). T\u00f6\u00f6tlemise k\u00e4ivitajad v\u00f5ivad olla jaotatud mitmele serverile \u2014 Storm jaotab automaatselt t\u00f6\u00f6 voogude vahel erinevates klastris\u00f5lmedes. <\/p>\n

Alguses oli s\u00fcsteem kirjutatud Clojure keeles ja k\u00e4ivitati virtuaalses masinas JVM. Apache'i fondis k\u00e4idi algatus Stormi \u00fcleviimiseks uuele tuumale, mis on kirjutatud Java keeles, mille tulemused on esitatud Apache Storm 2.0 v\u00e4ljaandes. K\u00f5ik platvormi p\u00f5hikomponendid on \u00fcmber kirjutatud Java keeles. Toetust Clojure keeles t\u00f6\u00f6tlejate kirjutamiseks on s\u00e4ilitatud, kuid see pakutakse n\u00fc\u00fcd sidemete kujul. Storm 2.0.0 k\u00e4itamiseks on vajalik Java 8 olemasolu. Palju on t\u00e4iustatud mitme l\u00f5ime t\u00f6\u00f6tlemise mudelit, mis v\u00f5imaldab saavutada<\/a><\/noindex> t\u00e4iendavat j\u00f5udluskasvu (teatud topoloogiate puhul on latentsus v\u00e4henenud 50-80%).<\/p>\n

\"Saadaval<\/a><\/noindex><\/center><\/p>\n

Uues versioonis on samuti pakutud uut t\u00fc\u00fcpi API Streams, mis v\u00f5imaldab m\u00e4\u00e4rata t\u00f6\u00f6tlejaid, kasutades funktsionaalset programmeerimist. Uus API on rakendatud ettev\u00f5tte p\u00f5hitegevuse API kohal ja toetab operatsioonide automaatset \u00fchendamist nende t\u00f6\u00f6tlemise optimeerimiseks. API Windowing\u2019is, mis on m\u00f5eldud aknaoperatsioonide jaoks, on lisatud tugi oleku salvestamiseks ja taastamiseks tagaplaanil. <\/p>\n

T\u00f6\u00f6tleja k\u00e4ivitamise ajakavadisse on lisatud tugi lisavaramete arvestamiseks otsuste tegemisel, mis ei piirdu
\n CPU ja m\u00e4lu, vaid h\u00f5lmavad ka v\u00f5rgu ja GPU parameetreid. On tehtud palju t\u00e4iustusi seoses integratsiooni v\u00f5imaldamisega platvormiga Kafka<\/a><\/noindex>. Juurdep\u00e4\u00e4sukontrolli s\u00fcsteem on laienenud, lisades v\u00f5imaluse luua administraatorigruppide ja delegeerimise tokenite loomine. On lisatud t\u00e4iustusi, mis on seotud SQL-i ja m\u00f5\u00f5dikute toetamisega. Administraatori liideses on lisatud uued k\u00e4sud klastrite oleku t\u00f5rkeotsimiseks.<\/p>\n

Stormi rakendusalad:\n<\/p>\n