Apache Storm 2.0 na-ekesa sistemụ kọmputa dị

Hụrụ ọkụ ntọhapụ dị ịrịba ama nke usoro nhazi ihe omume kesara Oké ifufe Apache 2.0, ama ama maka ngbanwe ya gaa na ihe owuwu ọhụrụ etinyere na Java, kama ịbụ asụsụ Clojure ejiribu.

Ọrụ ahụ na-enye gị ohere ịhazi nhazi nke ihe omume dị iche iche na-ekwe nkwa ozugbo. Dịka ọmụmaatụ, enwere ike iji Storm nyochaa iyi data ozugbo, rụọ ọrụ mmụta igwe, hazie mgbakọ na-aga n'ihu, mejuputa RPC, ETL, wdg. Usoro ahụ na-akwado nchịkọta, ịmepụta nhazi nke mmejọ, ọnọdụ nhazi data na-ekwe nkwa ma nwee nnukwu arụmọrụ, zuru ezu iji hazie ihe karịrị otu nde arịrịọ kwa nkeji na otu ụyọkọ ọnụ.

A na-akwado njikọta na usoro nhazi kwụ n'ahịrị dị iche iche na teknụzụ nchekwa data. The Storm architecture na-agụnye ịnata na nhazi na-adịghị ahazi, na-emelite mgbe niile data iyi site na iji aka ike mgbagwoju processors na ike nkebi n'etiti dị iche iche nkebi nke mgbako. Enyere ọrụ ahụ n'aka ndị obodo Apache mgbe Twitter nwetara BackType, ụlọ ọrụ ahụ nke mepụtara usoro ahụ. Na omume, a na-eji Storm na BackType nyochaa ntụgharị uche nke ihe omume na microblogs, site n'iji atụnyere tweet ọhụrụ na njikọ eji eme ihe n'ime ha (dịka ọmụmaatụ, a na-enyocha otú njikọ dị n'èzí ma ọ bụ ọkwa nke e bipụtara na Twitter si maliteghachi site n'aka ndị ọzọ so na ya. ).

A na-atụnyere ọrụ Storm na ikpo okwu Hadoop, yana isi ihe dị iche bụ na anaghị echekwa data ahụ n'ụlọ nkwakọba ihe, kama a na-etinye ya na mpụga ma hazie ya ozugbo. Storm enweghị akwa nchekwa arụnyere n'ime yana ajụjụ nyocha na-amalite itinye n'ọrụ na data na-abata ruo mgbe a kagbuo ya (ebe Hadoop na-eji oge MapReduce ọrụ, Storm na-eji echiche nke na-aga n'ihu na-agba ọsọ "topologies"). Enwere ike kesaa ogbugbu nke ndị njikwa n'ofe sava dị iche iche - Storm na-emekọ ọrụ na eri na ọnụ ụyọkọ dị iche iche.

Edeburu usoro a na Clojure ma na-agba n'ime igwe mebere JVM. Apache Foundation ewepụtala ụzọ ịkwaga Storm gaa na kernel ọhụrụ edere na Java, nke a na-atụpụta nsonaazụ ya na mwepụta nke Apache Storm 2.0. A na-edegharị akụkụ niile nke ikpo okwu na Java. A na-ejigide nkwado maka ndị na-ede akwụkwọ na Clojure, ma ugbu a, a na-enye ya n'ụdị njikọ. Oké ifufe 2.0.0 chọrọ Java 8. Emezigharịla ụdị nhazi multi-threaded kpamkpam, na-enye ohere. nweta mmụba a na-ahụ anya na arụmọrụ (maka ụfọdụ topologies, e belatara igbu oge site na 50-80%).

Ụdị ọhụrụ ahụ na-enyekwa API iyi iyi ọhụrụ nke na-enye gị ohere ịkọwa ndị njikwa na-eji arụ ọrụ ụdị mmemme na-arụ ọrụ. A na-emejuputa API ọhụrụ n'elu ọkọlọtọ ọkọlọtọ API ma na-akwado ijikọ ọrụ akpaaka iji kwalite nhazi ha. API Windowing maka arụmọrụ windo agbakwunyela nkwado maka ịchekwa na iweghachi steeti na azụ azụ.

Nkwado maka iburu n'uche akụrụngwa ndị ọzọ mgbe ị na-eme mkpebi na-ejedebeghị na
CPU na ebe nchekwa, dị ka netwọk na GPU ntọala. Emerela ọnụ ọgụgụ dị ukwuu nke mmezi iji hụ na njikọta na ikpo okwu Kafka. A gbasaala usoro njikwa ohere iji gụnye ikike ịmepụta otu ndị nchịkwa na inyefe token. Nkwalite agbakwunyere metụtara nkwado SQL na metrik. Iwu ọhụrụ apụtala na interface nchịkwa maka imegharị steeti ụyọkọ ahụ.

Mpaghara ngwa maka Storm:

• Ịhazi iyi nke data ọhụrụ ma ọ bụ mmelite nchekwa data na ozugbo;
• Mgbakọ na-aga n'ihu: Storm nwere ike ịgba ajụjụ na-aga n'ihu ma hazie iyi na-aga n'ihu, na-ebuga ndị ahịa nsonaazụ nhazi ozugbo.
• Oku usoro nkesa nkesa (RPC): Enwere ike iji oké ifufe wepụta mmezu nke ajụjụ gbasara akụrụngwa. Ọrụ (“topology”) na Storm bụ ọrụ ekesara n'ofe ọnụ ọnụ na-eche ka ozi bịarute nke achọrọ ka ahazi ya. Mgbe ị nwetasịrị ozi, ọrụ ahụ na-ahazi ya na mpaghara mpaghara wee weghachi nsonaazụ ya. Otu ihe atụ nke iji RPC kesara ga-abụ ịhazi ajụjụ ọchụchọ n'otu oge ma ọ bụ rụọ ọrụ na nnukwu nhazi.

Atụmatụ oké ifufe:

• Ụdị mmemme dị mfe nke na-eme ka nhazi data oge dị mfe nke ukwuu;
• Nkwado maka asụsụ mmemme ọ bụla. Enwere modul maka Java, Ruby na Python, mmegharị maka asụsụ ndị ọzọ adịghị esiri ike n'ihi usoro nkwukọrịta dị mfe, nke chọrọ ihe dị ka ahịrị 100 nke koodu iji kwado;
• Nkwenye mmejọ: iji rụọ ọrụ nhazi data, ịkwesịrị ịmepụta faịlụ ite nwere koodu. Oké ifufe ga-ekesa faịlụ ite a n'onwe ya n'ofe ọnụ ụyọkọ, jikọọ ndị na-ahụ maka ya, wee hazie nlekota. Mgbe ọrụ ahụ gwụchara, koodu ahụ ga-enwe nkwarụ na-akpaghị aka na oghere niile;
• scalability kwụ ọtọ. A na-eme ngụkọ niile n'otu ọnọdụ, ka ibu na-abawanye, ọ ga-ezuru naanị ijikọ ọnụ ọhụrụ na ụyọkọ;
• Ntụkwasị obi. Oké ifufe na-eme ka a mara na a na-ahazi ozi ọ bụla na-abata n'ụzọ zuru ezu opekata mpe otu ugboro. A ga-edozi ozi ahụ otu ugboro naanị ma ọ bụrụ na enweghị njehie mgbe ị na-agafe ndị ọrụ niile; ọ bụrụ na nsogbu bilitere, mgbe ahụ, a ga-emeghachi mbọ nhazi na-agaghị nke ọma.
• Ọsọ. Edere koodu Storm na arụ ọrụ dị elu n'uche ma na-eji sistemụ maka ozi ngwa ngwa asynchronous ZeroMQ.

isi: opennet.ru