siidaynta muhiimka ah ee nidaamka habaynta dhacdada qaybsan , oo caan ku ah u gudubka qaab dhismeedka cusub ee laga hirgeliyay Java, halkii hore loo isticmaali jiray luqadda Clojure.
Mashruucu wuxuu kuu ogolaanayaa inaad abaabusho dammaanad qaadka habaynta dhacdooyinka kala duwan wakhtiga dhabta ah. Tusaale ahaan, Storm waxaa loo isticmaali karaa in lagu falanqeeyo qulqulka xogta wakhtiga dhabta ah, socodsiinta hawlaha barashada mashiinka, habeynta xisaabinta joogtada ah, hirgelinta RPC, ETL, iwm. Nidaamku waxa uu taageeraa ururinta, abuurista isku xidhka u dulqaadashada cilada, hab habayn xogta dammaanad qaaday oo leh hawl qabad sare, oo ku filan in lagu socodsiiyo in ka badan milyan codsi ilbiriqsi kasta hal unug.
La-qabsiga hababka habaynta safka kala duwan iyo tignoolajiyada xogta xogta waa la taageeray. Nashqada Duufaanta waxay ku lug leedahay helitaanka iyo habaynta xogta aan habaysanayn, si joogto ah loo cusboonaysiiyay iyada oo la adeegsanayo soo-saareyaal adag oo aan sabab lahayn oo awood u leh in loo qaybiyo heerarka kala duwan ee xisaabinta. Mashruuca waxaa lagu wareejiyay bulshada Apache ka dib markii Twitter ay heshay BackType, shirkadda markii hore soo saartay qaabka. Ficil ahaan, Storm waxaa loo adeegsaday BackType si loo falanqeeyo milicsiga dhacdooyinka microblogs, iyadoo la barbardhigay duullimaadyada tweets cusub iyo xiriiriyeyaasha loo adeegsaday iyaga (tusaale ahaan, waxaa la qiimeeyay sida xiriirinta dibadda ama ogeysiisyada lagu daabacay Twitter ay dib u faafiyeen kaqeybgalayaasha kale ).
Shaqaynta duufaantu waxa la barbar dhigayaa goobta Hadoop, iyada oo farqiga ugu muhiimsani uu yahay in xogta aan lagu kaydin bakhaar, laakiin dibadda laga soo geliyo lana farsameeyo wakhtiga dhabta ah. Duufaanku ma laha lakab kaydin ah oo ku dhex jira, su'aasha falanqaynta waxay bilaabmaysaa in lagu dabaqo xogta soo socota ilaa la tirtiro (halka Hadoop uu isticmaalo Map-ka-dhimista shaqooyinka waqti-gaaban, duufaantu waxay isticmaashaa fikradda ah inay si joogto ah u socoto "topologies"). Fulinta hawl-wadeenada waxa loo qaybin karaa dhawr adeegayaal - Duufaanta ayaa si toos ah u barbar-dhigta shaqada dunta qanjidhada kooxaha kala duwan.
Nidaamku wuxuu markii hore ku qornaa Clojure wuxuuna ku dhex shaqeeyaa mashiinka farsamada ee JVM. Aasaaska Apache ayaa bilaabay hindise ay ugu haajiraan Storm kernel cusub oo ku qoran Java, natiijooyinka kuwaas oo lagu soo jeediyay sii deynta Apache Storm 2.0. Dhammaan qaybaha aasaasiga ah ee madal waxaa dib loogu qoraa Java. Taageerada gacan-ku-haynta qorista ee Clojure waa la hayaa, laakiin hadda waxa lagu bixiyaa qaab xidhidh. Duufaanta 2.0.0 waxay u baahan tahay Java 8. Qaabka farsamaynta dunta badan leh ayaa gebi ahaanba dib loo habeeyey, taas oo oggolaanaysa kor u kac la dareemo oo waxqabadka ah (ee topologiyada qaarkood, dib u dhac ayaa lagu dhimay 50-80%).
Nooca cusub waxa kale oo uu bixiyaa API Streams cusub oo la daabacay kaas oo kuu ogolaanaya inaad qeexdo hawl-wadeenada isticmaalaya qaabka barnaamij-samaynta. API-ga cusub waxaa lagu hirgeliyay dusha sare ee saldhigga caadiga ah ee API wuxuuna taageeraa isku-dhafka tooska ah ee hawlgallada si loo wanaajiyo habayntooda. Daaqadaha API ee hawlgallada daaqadaha ayaa ku daray taageerada badbaadinta iyo soo celinta gobolka ee gadaasha dambe.
Taageerada tixgelinta agabka dheeraadka ah marka la samaynayo go'aamo aan ku xaddidnayn
CPU iyo xusuusta, sida shabakadaha iyo goobaha GPU. Tiro badan oo horumarin ah ayaa la sameeyay si loo hubiyo la-qabsiga goobta . Nidaamka xakamaynta gelitaanka ayaa la ballaariyay si loogu daro awoodda lagu abuurayo kooxaha maamulka iyo wakiillada calaamadaha. Horumarin lagu daray SQL iyo taageerada cabbirada. Amarro cusub ayaa ka soo muuqday is-dhex-galka maamulka si loo tirtiro gobolka kutlada.
Aagagga codsiga duufaanka:
- Ka baaraandegidda qulqulka xogta cusub ama cusboonaysiinta xogta wakhtiga dhabta ah;
- Xisaabinta Joogtada ah: Duufaanta waxay socodsiin kartaa weydiimo joogto ah waxayna socodsiin kartaa qulqulka joogtada ah, u gudbinta natiijooyinka habaynta macmiilka wakhtiga dhabta ah.
- Wicista Nidaamka Fog ee La Qaybiyay (RPC): Duufaanta waxaa loo isticmaali karaa in lagu bixiyo fulinta isbarbar-dhigga weydiimaha-dhaqdhaqaaqa kheyraadka. Shaqada ("topology") ee Storm waa shaqo loo qaybiyey qanjidhada oo sugaysa inay yimaadaan fariimaha u baahan in la habeeyo. Ka dib marka la helo farriinta, shaqadu waxay ku socodsiisaa macnaha gudaha waxayna soo celisaa natiijada. Tusaalaha isticmaalka RPC ee la qaybiyey waxay noqon kartaa in la habeeyo weydiimaha raadinta si isbarbar socda ama lagu sameeyo hawlgallo tiro badan.
Tilmaamaha Duufaanta:
- Qaab barnaamij fudud oo si weyn u fududeeya habaynta xogta wakhtiga-dhabta ah;
- Taageerada luuqad kasta oo barnaamijka. Modules ayaa diyaar u ah Java, Ruby iyo Python, la qabsiga luqadaha kale waa sahlan tahay iyada oo ay ugu wacan tahay hab-maamuuska isgaarsiinta oo aad u fudud oo u baahan ilaa 100 xariiq oo kood ah si loo taageero;
- Dulqaadashada qaladka: si aad u socodsiiso shaqada habaynta xogta, waxaad u baahan tahay inaad abuurto fayl yar oo kood leh. Duufaanta ayaa si madaxbanaan u qaybin doonta faylka weelkan dhammaan qanjidhada kooxda, waxay isku xidhi doontaa maamulayaasha la xidhiidha, oo habayn doonta la socodka. Marka shaqadu dhammaato, koodka si toos ah ayuu u curyaami doonaa dhammaan noodaha;
- Miisaanka toosan. Dhammaan xisaabaadka waxaa lagu sameeyaa qaab isku mid ah, marka uu culeysku kordho, waa ku filan in si fudud loogu xiro qanjidhada cusub ee kooxda;
- Kalsoonida Duufaanadu waxay hubisaa in fariin kasta oo timaada si buuxda loo habeeyey ugu yaraan hal mar. Farriinta waxa la habayn doonaa hal mar oo kaliya haddii aanay jirin khaladaad marka la marayo dhammaan maamulayaasha; haddii ay dhibaatooyin soo baxaan, ka dibna isku dayga socodsiinta ee aan lagu guulaysan ayaa lagu soo celin doonaa.
- Xawaaraha Koodhka Duufaanta waxaa lagu qoray iyadoo maskaxda lagu hayo waxqabadka sare wuxuuna nidaamka u adeegsadaa fariimaha degdega ah .
Source: opennet.ru