ورهايل واقعي جي پروسيسنگ سسٽم جي اهم رليز , جاوا ۾ لاڳو ڪيل نئين فن تعمير جي منتقلي لاءِ قابل ذڪر آهي، اڳ ۾ استعمال ٿيل ڪلوجور ٻولي جي بدران.
پروجيڪٽ توهان کي حقيقي وقت ۾ مختلف واقعن جي ضمانت واري پروسيسنگ کي منظم ڪرڻ جي اجازت ڏئي ٿي. مثال طور، طوفان حقيقي وقت ۾ ڊيٽا اسٽريمز جو تجزيو ڪرڻ لاءِ استعمال ٿي سگھي ٿو، مشين جي سکيا جا ڪم هلائڻ، مسلسل ڪمپيوٽنگ کي منظم ڪرڻ، RPC، ETL وغيره کي لاڳو ڪرڻ. سسٽم ڪلسٽرنگ کي سپورٽ ڪري ٿو، غلطي برداشت ڪندڙ ترتيبن جي تخليق، ڊيٽا پروسيسنگ موڊ جي ضمانت ۽ اعلي ڪارڪردگي آهي، هڪ ڪلستر نوڊ تي في سيڪنڊ کان وڌيڪ ملين درخواستن تي عمل ڪرڻ لاء ڪافي آهي.
مختلف قطار پروسيسنگ سسٽم ۽ ڊيٽابيس ٽيڪنالاجيز سان انضمام جي حمايت ڪئي وئي آهي. طوفان آرڪيٽيڪچر ۾ غير منظم، مسلسل اپڊيٽ ٿيل ڊيٽا اسٽريمز کي وصول ڪرڻ ۽ پروسيسنگ ڪرڻ شامل آهي صوابديدي پيچيده پروسيسرز استعمال ڪندي حسابن جي مختلف مرحلن جي وچ ۾ ورهاڱي جي صلاحيت سان. پروجيڪٽ کي Apache ڪميونٽي جي حوالي ڪيو ويو جڏهن Twitter BackType حاصل ڪيو، اها ڪمپني جيڪا اصل ۾ فريم ورڪ ٺاهي ٿي. عملي طور تي، طوفان کي بيڪ ٽائپ ۾ استعمال ڪيو ويو مائڪروبلاگس ۾ واقعن جي عڪاسي جو تجزيو ڪرڻ لاءِ، فلائي نيون ٽوئيٽس ۽ انهن ۾ استعمال ڪيل لنڪس جي مقابلي ۾ (مثال طور، اهو اندازو ڪيو ويو ته ڪيئن ٻاهرين لنڪس يا Twitter تي شايع ٿيل اعلان ٻين شرڪت ڪندڙن پاران ٻيهر نشر ڪيا ويا. ).
Storm جي ڪارڪردگيءَ جو مقابلو Hadoop پليٽ فارم سان ڪيو ويو آهي، اهم فرق اهو آهي ته ڊيٽا گودام ۾ محفوظ نه آهي، پر ٻاهران داخل ڪئي ويندي آهي ۽ حقيقي وقت ۾ پروسيس ڪئي ويندي آهي. Storm وٽ تعمير ٿيل اسٽوريج پرت نه آهي ۽ تجزياتي سوال ايندڙ ڊيٽا تي لاڳو ٿيڻ شروع ٿئي ٿي جيستائين اهو منسوخ نه ڪيو وڃي (جڏهن ته Hadoop استعمال ڪري ٿو محدود وقت جي MapReduce نوڪريون، Storm مسلسل هلائڻ جو خيال استعمال ڪري ٿو "ٽاپولوجيز"). هينڊلر جي عمل کي ڪيترن ئي سرورن ۾ ورهائي سگهجي ٿو - طوفان خود بخود مختلف ڪلستر نوڊس تي موضوعن سان ڪم کي متوازي ڪري ٿو.
سسٽم اصل ۾ ڪلوجور ۾ لکيل هو ۽ JVM ورچوئل مشين اندر هلندو هو. اپاچي فائونڊيشن هڪ شروعات ڪئي آهي طوفان کي لڏپلاڻ ڪرڻ لاءِ جاوا ۾ لکيل هڪ نئين ڪرنل ڏانهن، جنهن جا نتيجا تجويز ڪيل آهن اپاچي طوفان 2.0 جي ڇڏڻ ۾. پليٽ فارم جا سڀ بنيادي حصا جاوا ۾ ٻيهر لکيا ويا آهن. ڪلوجور ۾ لکڻ جي هينڊلر لاءِ سپورٽ برقرار رکي وئي آهي، پر هاڻي بائنڊنگ جي صورت ۾ پيش ڪئي وئي آهي. Storm 2.0.0 جاوا 8 جي ضرورت آهي. ملٽي ٿريڊ پروسيسنگ ماڊل مڪمل طور تي نئين سر ترتيب ڏني وئي آهي، اجازت ڏئي ٿي ڪارڪردگي ۾ قابل ذڪر اضافو (ڪجهه ٽوپولوجيز لاء، دير سان 50-80٪ گهٽجي ويو).
نئون نسخو پڻ پيش ڪري ٿو هڪ نئون ٽائيپ ٿيل اسٽريمز API جيڪو توهان کي فنڪشنل پروگرامنگ طرز جي عملن کي استعمال ڪندي هينڊلر جي وضاحت ڪرڻ جي اجازت ڏئي ٿو. نئون API معياري بنيادي API جي چوٽي تي لاڳو ڪيو ويو آهي ۽ انهن جي پروسيسنگ کي بهتر ڪرڻ لاءِ عملن جي خودڪار ضم کي سپورٽ ڪري ٿو. ونڊو آپريشنز لاءِ ونڊونگ API پس منظر ۾ رياست کي بچائڻ ۽ بحال ڪرڻ لاءِ سپورٽ شامل ڪئي آھي.
اڪائونٽ ۾ اضافي وسيلن وٺڻ جي حمايت جڏهن فيصلا ڪرڻ تائين محدود ناهي
سي پي يو ۽ ميموري، جهڙوڪ نيٽ ورڪ ۽ GPU سيٽنگون. پليٽ فارم سان انضمام کي يقيني بڻائڻ لاءِ وڏي تعداد ۾ سڌارا ڪيا ويا آهن . رسائي ڪنٽرول سسٽم کي وڌايو ويو آهي شامل ڪرڻ جي صلاحيت شامل ڪرڻ لاء منتظم گروپ ۽ وفد ٽوڪن. SQL ۽ ميٽرڪس سپورٽ سان لاڳاپيل سڌارا شامل ڪيا ويا. ڪلستر اسٽيٽ کي ڊيبگ ڪرڻ لاءِ ايڊمنسٽريٽر انٽرفيس ۾ نوان حڪم ظاهر ٿيا آهن.
طوفان لاء درخواست جا علائقا:
- حقيقي وقت ۾ نئين ڊيٽا يا ڊيٽابيس جي تازه ڪاري جي پروسيسنگ اسٽريمز؛
- مسلسل ڪمپيوٽنگ: طوفان مسلسل سوالن کي هلائي سگهي ٿو ۽ مسلسل سلسلو جاري ڪري سگهي ٿو، پروسيسنگ نتيجن کي ڪلائنٽ کي حقيقي وقت ۾ پهچائڻ.
- ورهايل ريموٽ پروسيسنگ ڪال (RPC): طوفان استعمال ڪري سگھجي ٿو وسيلا-گھڻي سوالن جي متوازي عملدرآمد مهيا ڪرڻ لاءِ. طوفان ۾ هڪ نوڪري ("ٽپوولوجي") نوڊس ۾ ورهايل هڪ فنڪشن آهي جيڪو پيغام پهچڻ جو انتظار ڪري ٿو جيڪو پروسيس ٿيڻ جي ضرورت آهي. پيغام حاصل ڪرڻ کان پوء، فنڪشن ان کي مقامي حوالي سان عمل ڪري ٿو ۽ نتيجو واپس ڪري ٿو. ورهايل RPC استعمال ڪرڻ جو هڪ مثال متوازي طور تي ڳولا جي سوالن کي پروسيس ڪرڻ يا سيٽ جي وڏي سيٽ تي آپريشن ڪرڻ لاء هوندو.
طوفان جون خاصيتون:
- هڪ سادي پروگرامنگ ماڊل جيڪو حقيقي وقت جي ڊيٽا پروسيسنگ کي تمام آسان بڻائي ٿو؛
- ڪنهن به پروگرامنگ ٻولين لاءِ سپورٽ. جاوا، روبي ۽ پٿون لاءِ ماڊلز موجود آهن، ٻين ٻولين لاءِ موافقت آسان آهي هڪ تمام سادي ڪميونيڪيشن پروٽوڪول جي مهرباني جنهن کي سپورٽ ڪرڻ لاءِ ڪوڊ جون 100 لائينون گهرجن؛
- غلطي رواداري: ڊيٽا پروسيسنگ نوڪري کي هلائڻ لاء، توهان کي ڪوڊ سان هڪ جار فائل ٺاهڻ جي ضرورت آهي. طوفان آزاديء سان هن جار فائل کي ڪلستر نوڊس ۾ ورهائيندو، ان سان لاڳاپيل هٿيارن کي ڳنڍيندو، ۽ نگراني کي منظم ڪندو. جڏهن نوڪري مڪمل ٿئي ٿي، ڪوڊ خودڪار طريقي سان سڀني نوڊس تي بند ڪيو ويندو؛
- افقي اسڪاليبلٽي. سڀئي حساب متوازي موڊ ۾ ڪيا ويا آهن؛ جيئن لوڊ وڌندو آهي، اهو صرف نون نوڊس کي ڪلستر سان ڳنڍڻ لاء ڪافي آهي.
- اعتبار. طوفان کي يقيني بڻائي ٿو ته هر ايندڙ پيغام مڪمل طور تي گهٽ ۾ گهٽ هڪ ڀيرو پروسيس ڪيو ويندو آهي. پيغام تي عمل صرف هڪ ڀيرو ڪيو ويندو جيڪڏهن سڀني هينڊلرن مان گذرڻ وقت ڪو به نقص نه هجي؛ جيڪڏهن مسئلا پيدا ٿين ٿا، ته پروسيسنگ جي ناڪام ڪوششون بار بار ڪيون وينديون.
- رفتار. طوفان جو ڪوڊ لکيو ويو آهي اعليٰ ڪارڪردگيءَ سان ذهن ۾ ۽ سسٽم کي استعمال ڪري ٿو تيز اسينچرونس پيغامن لاءِ .
جو ذريعو: opennet.ru