Apache Storm 2.0 බෙදා හරින ලද පරිගණක පද්ධතිය තිබේ

ආලෝකය දැක්කා බෙදා හරින ලද සිදුවීම් සැකසුම් පද්ධතියක් සැලකිය යුතු ලෙස මුදා හැරීම Apache Storm 2.0, කලින් භාවිතා කරන ලද Clojure භාෂාව වෙනුවට Java හි ක්‍රියාත්මක කරන ලද නව ගෘහ නිර්මාණ ශිල්පයකට සංක්‍රමණය වීම කැපී පෙනේ.

තත්‍ය කාලීනව විවිධ සිදුවීම්වල සහතික සැකසීම සංවිධානය කිරීමට ව්‍යාපෘතිය ඔබට ඉඩ සලසයි. උදාහරණයක් ලෙස, තත්‍ය කාලීනව දත්ත ප්‍රවාහ විශ්ලේෂණය කිරීමට, යන්ත්‍ර ඉගෙනීමේ කාර්යයන් ක්‍රියාත්මක කිරීමට, අඛණ්ඩ පරිගණකකරණය සංවිධානය කිරීමට, RPC, ETL ක්‍රියාත්මක කිරීමට Storm භාවිතා කළ හැක. එක් පොකුරු නෝඩයක් මත තත්පරයකට මිලියනයකට වඩා ඉල්ලීම් සැකසීමට ප්‍රමාණවත්, ක්ලස්ටරින් කිරීම, දෝෂ-ඉවසන වින්‍යාසයන් නිර්මාණය කිරීම, සහතික කළ දත්ත සැකසුම් මාදිලිය සහ ඉහළ කාර්ය සාධනයක් ඇත.

විවිධ පෝලිම් සැකසුම් පද්ධති සහ දත්ත සමුදා තාක්ෂණයන් සමඟ ඒකාබද්ධ කිරීම සඳහා සහය දක්වයි. Storm architecture යනු ගණනය කිරීම් වල විවිධ අවධීන් අතර කොටස් කිරීමේ හැකියාව ඇති හිතුවක්කාර සංකීර්ණ ප්‍රොසෙසර භාවිතා කරමින් ව්‍යුහගත නොවන, නිරන්තරයෙන් යාවත්කාලීන කරන ලද දත්ත ප්‍රවාහයන් ලබා ගැනීම සහ සැකසීමයි. මෙම ව්‍යාපෘතිය Apache ප්‍රජාව වෙත භාර දෙන ලද්දේ Twitter විසින් BackType, එම රාමුව මුලින් නිර්මාණය කළ සමාගම අත්පත් කර ගැනීමෙන් පසුවය. ප්‍රායෝගිකව, ක්‍ෂුද්‍ර බ්ලොග් වල සිදුවීම් පිළිබිඹු කිරීම විශ්ලේෂණය කිරීමට BackType හි Storm භාවිතා කරන ලදී, ෆ්ලයි නව ට්වීට් සහ ඒවායේ භාවිතා වන සබැඳි සංසන්දනය කිරීමෙන් (උදාහරණයක් ලෙස, Twitter හි ප්‍රකාශයට පත් කරන ලද බාහිර සබැඳි හෝ නිවේදන වෙනත් සහභාගිවන්නන් විසින් නැවත විකාශනය කරන ආකාරය තක්සේරු කරන ලදී. )

Storm හි ක්‍රියාකාරීත්වය Hadoop වේදිකාවට සංසන්දනය කරයි, ප්‍රධාන වෙනස වන්නේ දත්ත ගබඩාවක ගබඩා කර නොතිබීම, නමුත් බාහිරව අවශෝෂණය කර තථ්‍ය කාලීනව සැකසීමයි. කුණාටුවට ගොඩනඟන ලද ගබඩා ස්ථරයක් නොමැති අතර ලැබෙන දත්ත අවලංගු වන තෙක් විශ්ලේෂණාත්මක විමසුම යෙදීමට පටන් ගනී (Hadoop විසින් සීමිත-කාලීන MapReduce රැකියා භාවිතා කරන අතර, Storm "ස්ථල" අඛණ්ඩව ධාවනය කිරීමේ අදහස භාවිතා කරයි). හසුරුවන්නන් ක්‍රියාත්මක කිරීම සේවාදායක කිහිපයක් හරහා බෙදා හැරිය හැක - ස්ටෝම් ස්වයංක්‍රීයව විවිධ පොකුරු නෝඩ් වල නූල් සමග වැඩ සමාන්තර කරයි.

පද්ධතිය මුලින් ලියා ඇත්තේ Clojure වලින් වන අතර JVM අතථ්‍ය යන්ත්‍රය තුළ ක්‍රියාත්මක වේ. Apache Foundation විසින් ජාවා භාෂාවෙන් ලියන ලද නව කර්නලයකට Storm සංක්‍රමණය කිරීමේ මුලපිරීමක් දියත් කර ඇති අතර, එහි ප්‍රතිඵල Apache Storm 2.0 නිකුත් කිරීමේදී යෝජනා කෙරේ. වේදිකාවේ සියලුම මූලික සංරචක ජාවා තුළ නැවත ලියනු ලැබේ. Clojure හි ලිවීමේ හසුරුවන්න සඳහා සහය රඳවා තබා ඇත, නමුත් දැන් බන්ධන ආකාරයෙන් ඉදිරිපත් කෙරේ. Storm 2.0.0 සඳහා Java 8 අවශ්‍ය වේ. බහු-නූල් සැකසුම් ආකෘතිය සම්පූර්ණයෙන්ම ප්‍රතිනිර්මාණය කර ඇත, ඉඩ සාක්ෂාත් කර ගැනීම කාර්ය සාධනයේ කැපී පෙනෙන වැඩි වීමක් (සමහර ස්ථලක සඳහා, ප්රමාදයන් 50-80% කින් අඩු විය).

නව අනුවාදය මඟින් ක්‍රියාකාරී ක්‍රමලේඛන ආකාරයේ මෙහෙයුම් භාවිතයෙන් හසුරුවන්නන් නිර්වචනය කිරීමට ඔබට ඉඩ සලසන නව ටයිප් කළ Streams API ද පිරිනමයි. නව API සම්මත පදනම් API මත ක්‍රියාත්මක වන අතර ඒවායේ සැකසුම් ප්‍රශස්ත කිරීම සඳහා මෙහෙයුම් ස්වයංක්‍රීයව ඒකාබද්ධ කිරීමට සහාය වේ. කවුළු මෙහෙයුම් සඳහා වන Windowing API පසුබිමෙහි තත්වය සුරැකීමට සහ ප්‍රතිසාධනය කිරීමට සහය එක් කර ඇත.

සීමා නොවී තීරණ ගැනීමේදී අතිරේක සම්පත් සැලකිල්ලට ගැනීම සඳහා සහාය
ජාල සහ GPU සැකසුම් වැනි CPU සහ මතකය. වේදිකාව සමඟ ඒකාබද්ධ වීම සහතික කිරීම සඳහා වැඩි දියුණු කිරීම් විශාල සංඛ්යාවක් සිදු කර ඇත කාෆ්කා. පරිපාලක කණ්ඩායම් සහ නියෝජිත ටෝකන නිර්මාණය කිරීමේ හැකියාව ඇතුළත් කිරීමට ප්රවේශ පාලන පද්ධතිය පුළුල් කර ඇත. SQL සහ මෙට්‍රික්ස් සහාය සම්බන්ධ වැඩිදියුණු කිරීම් එකතු කරන ලදී. පොකුරු තත්ත්වය නිදොස් කිරීම සඳහා නව විධාන පරිපාලක අතුරුමුහුණතෙහි දර්ශනය වී ඇත.

කුණාටුව සඳහා අයදුම් කරන ක්ෂේත්‍ර:

• තථ්‍ය කාලය තුළ නව දත්ත හෝ දත්ත සමුදා යාවත්කාලීන ප්‍රවාහයන් සැකසීම;
• අඛණ්ඩ පරිගණනය: කුණාටුවට අඛණ්ඩ විමසුම් ක්‍රියාත්මක කිරීමට සහ අඛණ්ඩ ප්‍රවාහ ක්‍රියාවට නැංවිය හැකි අතර, සැකසුම් ප්‍රතිඵල සේවාදායකයාට තත්‍ය කාලීනව ලබා දෙයි.
• බෙදා හරින ලද දුරස්ථ ක්‍රියා පටිපාටි ඇමතුම (RPC): සම්පත්-දැඩි විමසුම් සමාන්තරව ක්‍රියාත්මක කිරීම සඳහා කුණාටුව භාවිතා කළ හැක. Storm හි රැකියාවක් ("ස්ථල විද්‍යාව") යනු සැකසීමට අවශ්‍ය පණිවිඩ පැමිණෙන තෙක් බලා සිටින නෝඩ් හරහා බෙදා හරින ශ්‍රිතයකි. පණිවිඩයක් ලැබීමෙන් පසු, ශ්‍රිතය එය ප්‍රාදේශීය සන්දර්භය තුළ සකසන අතර ප්‍රති result ලය ලබා දෙයි. බෙදා හරින ලද RPC භාවිතා කිරීමේ උදාහරණයක් නම්, සෙවුම් විමසුම් සමාන්තරව සැකසීම හෝ විශාල කට්ටල කට්ටලයක් මත මෙහෙයුම් සිදු කිරීමයි.

කුණාටු විශේෂාංග:

• තත්‍ය කාලීන දත්ත සැකසීම බෙහෙවින් සරල කරන සරල ක්‍රමලේඛන ආකෘතියක්;
• ඕනෑම ක්‍රමලේඛන භාෂා සඳහා සහාය. ජාවා, රූබි සහ පයිතන් සඳහා මොඩියුල තිබේ, වෙනත් භාෂා සඳහා අනුවර්තනය කිරීම පහසු වන්නේ ඉතා සරල සන්නිවේදන ප්‍රොටෝකෝලයකට ස්තුති වන්නට සහය දැක්වීමට කේත පේළි 100 ක් පමණ අවශ්‍ය වේ;
• දෝෂ ඉවසීම: දත්ත සැකසුම් කාර්යයක් ධාවනය කිරීමට, ඔබ කේතය සහිත jar ගොනුවක් ජනනය කළ යුතුය. Storm විසින් මෙම jar ගොනුව ස්වාධීනව පොකුරු නෝඩ් හරහා බෙදා හරිනු ඇත, එයට සම්බන්ධ හසුරුවන්නන් සම්බන්ධ කර අධීක්ෂණය සංවිධානය කරනු ඇත. කාර්යය සම්පූර්ණ වූ විට, සියලුම නෝඩ් වල කේතය ස්වයංක්‍රීයව අක්‍රිය වනු ඇත;
• තිරස් පරිමාණය. සියලුම ගණනය කිරීම් සමාන්තර ආකාරයෙන් සිදු කරනු ලැබේ; බර වැඩි වන විට, පොකුරට නව නෝඩ් සම්බන්ධ කිරීම ප්රමාණවත්ය;
• විශ්වසනීයත්වය. එන සෑම පණිවිඩයක්ම අවම වශයෙන් එක් වරක්වත් සම්පුර්ණයෙන්ම සකසන බව Storm සහතික කරයි. සියලුම හසුරුවන්නන් හරහා ගමන් කිරීමේදී දෝෂයක් නොමැති නම් පමණක් පණිවිඩය එක් වරක් සකසනු ලැබේ; ගැටළු ඇති වුවහොත්, අසාර්ථක සැකසුම් උත්සාහයන් නැවත නැවතත් සිදු කෙරේ.
• වේගය. Storm's code ඉහල කාර්ය සාධනය මනසේ තබාගෙන ලියා ඇති අතර වේගවත් අසමමුහුර්ත පණිවිඩ යැවීම සඳහා පද්ධතිය භාවිතා කරයි ZeroMQ.

මූලාශ්රය: opennet.ru