د توزیع شوي پیښې پروسس کولو سیسټم د پام وړ خوشې کول په جاوا کې پلي شوي نوي جوړښت ته د دې د لیږد لپاره د پام وړ دی ، د پخوانۍ کارول شوې کلوجور ژبې پرځای.
پروژه تاسو ته اجازه درکوي په ریښتیني وخت کې د مختلف پیښو تضمین شوي پروسس تنظیم کړئ. د مثال په توګه ، طوفان په ریښتیني وخت کې د ډیټا جریانونو تحلیل کولو لپاره کارول کیدی شي ، د ماشین زده کړې دندې پرمخ وړئ ، دوامداره کمپیوټري تنظیم کړئ ، RPC ، ETL پلي کړئ ، او داسې نور. سیسټم د کلستر کولو ملاتړ کوي، د غلطۍ زغمونکي ترتیبونو رامینځته کول، د ډیټا پروسس کولو حالت تضمین شوی او لوړ فعالیت لري، په یوه کلستر نوډ کې په هر ثانیه کې د یو ملیون څخه ډیرو غوښتنو پروسس کولو لپاره کافي دي.
د مختلف قطار پروسس کولو سیسټمونو او ډیټابیس ټیکنالوژیو سره ادغام ملاتړ کیږي. د طوفان جوړښت د محاسبې مختلف مرحلو ترمینځ د ویشلو وړتیا سره د خپل سري پیچلي پروسیسرونو په کارولو سره د غیر منظم ، دوامداره تازه معلوماتو جریانونو ترلاسه کول او پروسس کول شامل دي. دا پروژه د اپاچي ټولنې ته وسپارل شوه وروسته له هغه چې ټویټر بیک ټایپ ترلاسه کړ، هغه شرکت چې په اصل کې چوکاټ یې رامینځته کړی. په عمل کې، طوفان په مایکرو بلاګونو کې د پیښو انعکاس تحلیل کولو لپاره په بیک ټایپ کې کارول شوی و، د الوتنې نوي ټویټونو او په دوی کې کارول شوي لینکونو پرتله کولو سره (د مثال په توګه، دا ارزول شوي چې څنګه په ټویټر کې خپاره شوي بهرني لینکونه یا اعلانونه د نورو ګډون کونکو لخوا بیا نشر شوي. ).
د طوفان فعالیت د هډوپ پلیټ فارم سره پرتله شوی ، د کلیدي توپیر سره دا دی چې معلومات په ګودام کې ندي زیرمه شوي ، مګر په بهر کې مینځل کیږي او په ریښتیني وخت کې پروسس کیږي. طوفان د ذخیره کولو جوړ شوی پرت نلري او تحلیلي پوښتنې په راتلونکو معلوماتو کې پلي کیږي تر هغه چې لغوه نشي (پداسې حال کې چې هډوپ د محدود وخت نقشه ریډوس دندې کاروي ، طوفان په دوامداره توګه د "ټاپولوژیو" چلولو نظر کاروي). د هینډلرونو اجرا کول په ډیری سرورونو کې توزیع کیدی شي - طوفان په اوتومات ډول په مختلف کلستر نوډونو کې د تارونو سره کار موازي کوي.
سیسټم په اصل کې په کلوجور کې لیکل شوی و او د JVM مجازی ماشین دننه چلیږي. د اپاچي فاؤنڈیشن په جاوا کې لیکل شوي نوي کرنل ته د طوفان مهاجرت لپاره نوښت پیل کړی ، چې پایلې یې د اپاچي طوفان 2.0 په خپرولو کې وړاندیز شوي. د پلیټ فارم ټولې اساسي برخې په جاوا کې بیا لیکل شوي. په کلوجور کې د لیکلو لاسوندونو لپاره ملاتړ ساتل شوی ، مګر اوس د پابندۍ په شکل کې وړاندیز کیږي. طوفان 2.0.0 جاوا 8 ته اړتیا لري. د څو تارونو پروسس کولو ماډل په بشپړ ډول بیا ډیزاین شوی، اجازه ورکوي په فعالیت کې د پام وړ زیاتوالی (د ځینو ټوپولوژیو لپاره، ځنډ د 50-80٪ لخوا کم شوی).
نوې نسخه د نوي ټایپ شوي سټریم API هم وړاندیز کوي چې تاسو ته اجازه درکوي د برنامه کولو سټایل عملیاتو په کارولو سره هینډلرونه تعریف کړئ. نوی API د معیاري بیس API په سر کې پلي کیږي او د دوی پروسس کولو لپاره د عملیاتو اتوماتیک ادغام ملاتړ کوي. د کړکۍ عملیاتو لپاره د کړکۍ API په شاتنۍ برخه کې د حالت خوندي کولو او بحالولو لپاره ملاتړ اضافه کړی.
د اضافي سرچینو په پام کې نیولو کې ملاتړ کله چې پریکړې کول محدود ندي
CPU او حافظه، لکه د شبکې او GPU ترتیبات. د پلیټ فارم سره ادغام ډاډ ترلاسه کولو لپاره لوی شمیر پرمختګونه شوي . د لاسرسي کنټرول سیسټم پراخ شوی ترڅو د مدیر ګروپونو رامینځته کولو او د توکیو نمایش کولو وړتیا شامل کړي. د SQL او میټریک ملاتړ پورې اړوند پرمختګونه اضافه شوي. د کلستر حالت ډیبګ کولو لپاره نوي کمانډونه د مدیر انٹرفیس کې څرګند شوي.
د طوفان لپاره د غوښتنلیک ساحې:
- په ریښتیني وخت کې د نوي ډیټا یا ډیټابیس تازه معلوماتو جریان پروسس کول؛
- دوامداره کمپیوټري: طوفان کولی شي دوامداره پوښتنې پرمخ بوځي او دوامداره جریانونه پروسس کړي ، پیرودونکي ته په ریښتیني وخت کې د پروسس پایلې وړاندې کوي.
- د توزیع شوي ریموټ پروسیجر کال (RPC): طوفان د سرچینو متمرکز پوښتنو موازي اجرا کولو لپاره کارول کیدی شي. په طوفان کې دنده ("ټوپولوژي") یو فنکشن دی چې په نوډونو کې توزیع شوی چې د پیغامونو رسیدو ته انتظار باسي چې پروسس کولو ته اړتیا لري. د پیغام ترلاسه کولو وروسته، فنکشن دا په محلي شرایطو کې پروسس کوي او پایله یې بیرته راولي. د توزیع شوي RPC کارولو یوه بیلګه به په موازي ډول د لټون پوښتنو پروسس کول وي یا په لوی سیټونو کې عملیات ترسره کړي.
د طوفان ځانګړتیاوې:
- یو ساده پروګرامینګ ماډل چې د ریښتیني وخت ډیټا پروسس کول خورا ساده کوي؛
- د هرې برنامې ژبې لپاره ملاتړ. ماډلونه د جاوا، روبي او پایتون لپاره شتون لري، د نورو ژبو لپاره تطبیق د خورا ساده اړیکو پروتوکول څخه مننه اسانه ده چې د ملاتړ لپاره شاوخوا 100 لاین کوډ ته اړتیا لري؛
- د غلطۍ زغم: د ډیټا پروسس کولو دندې پرمخ وړلو لپاره ، تاسو اړتیا لرئ د کوډ سره جار فایل رامینځته کړئ. طوفان به په خپلواکه توګه د دې جار فایل د کلستر نوډونو په اوږدو کې توزیع کړي، د دې سره تړلي سمبالونکي سره وصل کړي، او نظارت تنظیم کړي. کله چې کار بشپړ شي، کوډ به په اوتومات ډول په ټولو نوډونو کې غیر فعال شي؛
- افقی اندازه کول. ټول حسابونه په موازي حالت کې ترسره کیږي؛ لکه څنګه چې بار زیاتیږي، دا کافي ده چې په ساده ډول نوي نوډونه کلستر ته وصل کړئ؛
- اعتبار. طوفان ډاډ ورکوي چې هر راتلونکی پیغام لږترلږه یو ځل په بشپړ ډول پروسس شوی. پیغام به یوازې یوځل پروسس شي که چیرې د ټولو هینډلرونو څخه تیریدو پرمهال کومه تیروتنه شتون ونلري؛ که ستونزې رامینځته شي ، نو د پروسس کولو ناکامې هڅې به تکرار شي.
- سرعت. د طوفان کوډ د لوړ فعالیت سره په ذهن کې لیکل شوی او سیسټم د ګړندي غیر متناسب پیغام رسولو لپاره کاروي .
سرچینه: opennet.ru