{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Sistemul de calcul distribuit Apache Storm 2.0 este disponibil","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

A v\u0103zut lumina zilei<\/a><\/noindex> versiune semnificativ\u0103 a sistemului de procesare distribuit\u0103 a evenimentelor Apache Storm 2.0<\/a><\/noindex>, remarcabil prin trecerea la o nou\u0103 arhitectur\u0103, realizat\u0103 \u00een limbajul Java, \u00een locul limbajului Clojure utilizat anterior. <\/p>\n

Proiectul permite organizarea proces\u0103rii garantate a diferitelor evenimente \u00een timp real. De exemplu, Storm poate fi aplicat pentru analiza fluxurilor de date \u00een timp real, executarea sarcinilor de \u00eenv\u0103\u021bare automat\u0103, organiza\u021bia calculului continuu, implementarea RPC, ETL etc. Sistemul suport\u0103 clusterizare, crearea de configura\u021bii rezistente la defec\u021biuni, modul de procesare garantat\u0103 a datelor \u0219i are o vitez\u0103 mare de procesare, suficient\u0103 pentru a gestiona mai mult de un milion de cereri pe secund\u0103 pe un nod al clusterului. <\/p>\n

Este suportat\u0103 integrarea cu diferite sisteme de procesare a cozii \u0219i tehnologii de baze de date. Arhitectura Storm preconizeaz\u0103 recep\u021bionarea \u0219i procesarea fluxurilor de date nestructurate, actualizate constant, cu utilizarea unor procesatori complexi arbitrare, cu posibilitatea de sec\u021bionare \u00eentre diferitele etape ale calculului. Proiectul a fost predat comunit\u0103\u021bii Apache dup\u0103 achizi\u021bia de c\u0103tre Twitter a companiei BackType, care a dezvoltat ini\u021bial cadrul. \u00cen practic\u0103, Storm a fost utilizat la BackType pentru analiza reflec\u021biei evenimentelor \u00een microbloguri, prin compararea \u00een timp real a noilor tweet-uri \u0219i link-urilor utilizate \u00een acestea (de exemplu, s-a evaluat modul \u00een care link-urile externe sau anun\u021burile publicate \u00een Twitter sunt retransmise de al\u021bi participan\u021bi). <\/p>\n

Func\u021bionalitatea Storm este comparabil\u0103 cu platforma Hadoop, dar o diferen\u021b\u0103 cheie const\u0103 \u00een faptul c\u0103 datele nu sunt stocate, ci sunt primite din exterior \u0219i procesate \u00een timp real. \u00cen Storm nu exist\u0103 un strat \u00eencorporat pentru organizarea stoc\u0103rii, iar interogarea analitic\u0103 \u00eencepe s\u0103 se aplice datelor primite p\u00e2n\u0103 c\u00e2nd este anulat\u0103 (\u00een timp ce \u00een Hadoop se folosesc sarcini MapReduce care consum\u0103 timp fix, \u00een Storm se aplic\u0103 ideea \u201etopologiilor\u201d care sunt executate continuu). Executarea handlerelor poate fi distribuit\u0103 pe mai multe servere - Storm \u00ee\u0219i paralelizeaz\u0103 automat lucrul cu fluxurile pe noduri diferite ale clusterului. <\/p>\n

Ini\u021bial, sistemul a fost scris \u00een Clojure \u0219i ruleaz\u0103 \u00een interiorul unei ma\u0219ini virtuale JVM. La funda\u021bia Apache a fost lansat\u0103 o ini\u021biativ\u0103 pentru migrarea Storm pe un nou nucleu, scris \u00een Java, ale c\u0103rui rezultate au fost propuse \u00een versiunea Apache Storm 2.0. Toate componentele de baz\u0103 ale platformei au fost rescrise \u00een Java. Suportul pentru scrierea manivelor \u00een Clojure a fost p\u0103strat, dar acum este oferit sub form\u0103 de bindinguri. Pentru a rula Storm 2.0.0 este necesar s\u0103 ave\u021bi Java 8. Modelul de procesare multi-thread a fost complet revizuit, ceea ce a permis ob\u021binerea<\/a><\/noindex> ob\u021binerea unor \u00eembun\u0103t\u0103\u021biri semnificative ale performan\u021bei (pentru anumite topologii, \u00eent\u00e2rzierile au fost reduse cu 50-80%).<\/p>\n

\"Sistemul<\/a><\/noindex><\/center><\/p>\n

\u00cen noua versiune a fost introdus un nou API de tipizat Streams, care permite definirea handlerilor folosind opera\u021bii \u00een stilul program\u0103rii func\u021bionale. Noul API este implementat deasupra API-ului de baz\u0103 standard \u0219i suport\u0103 combinarea automat\u0103 a opera\u021biunilor pentru a optimiza procesarea acestora. \u00cen API-ul Windowing pentru opera\u021bii de fereastr\u0103 a fost ad\u0103ugat suport pentru salvarea \u0219i recuperarea st\u0103rii \u00een backend. <\/p>\n

\u00cen planificatorul de rulare a handlerilor a fost ad\u0103ugat suport pentru a lua \u00een considerare resurse suplimentare \u00een timpul deciziilor, f\u0103r\u0103 a se limita la
\n CPU \u0219i memorie, cum ar fi parametrii re\u021belei \u0219i GPU. S-au f\u0103cut numeroase \u00eembun\u0103t\u0103\u021biri legate de integrarea cu platforma Kafka<\/a><\/noindex>. Sistemul de control al accesului a fost extins, permi\u021b\u00e2nd crearea de grupuri de administratori \u0219i delegarea tokenurilor. Au fost ad\u0103ugate \u00eembun\u0103t\u0103\u021biri legate de suportul SQL \u0219i metrici. \u00cen interfa\u021ba de administrator au fost introduse noi comenzi pentru depanarea st\u0103rii clusterului.<\/p>\n

Domeniile de aplicare ale Storm:\n<\/p>\n