अपाचे स्टॉर्म 2.0 वितरित कंप्यूटिंग प्रणाली उपलब्ध है

रोशनी देखी वितरित इवेंट प्रोसेसिंग सिस्टम की महत्वपूर्ण रिलीज़ अपाचे स्टॉर्म 2.0, पहले इस्तेमाल की गई क्लोजर भाषा के बजाय जावा में कार्यान्वित एक नई वास्तुकला में इसके संक्रमण के लिए उल्लेखनीय है।

परियोजना आपको वास्तविक समय में विभिन्न घटनाओं के गारंटीकृत प्रसंस्करण को व्यवस्थित करने की अनुमति देती है। उदाहरण के लिए, स्टॉर्म का उपयोग वास्तविक समय में डेटा स्ट्रीम का विश्लेषण करने, मशीन लर्निंग कार्यों को चलाने, निरंतर कंप्यूटिंग को व्यवस्थित करने, आरपीसी, ईटीएल आदि को लागू करने के लिए किया जा सकता है। सिस्टम क्लस्टरिंग, दोष-सहिष्णु कॉन्फ़िगरेशन के निर्माण, गारंटीकृत डेटा प्रोसेसिंग मोड का समर्थन करता है और इसमें उच्च प्रदर्शन है, जो एक क्लस्टर नोड पर प्रति सेकंड दस लाख से अधिक अनुरोधों को संसाधित करने के लिए पर्याप्त है।

विभिन्न कतार प्रसंस्करण प्रणालियों और डेटाबेस प्रौद्योगिकियों के साथ एकीकरण समर्थित है। स्टॉर्म आर्किटेक्चर में गणना के विभिन्न चरणों के बीच विभाजन की क्षमता के साथ मनमाने ढंग से जटिल प्रोसेसर का उपयोग करके असंरचित, लगातार अद्यतन डेटा स्ट्रीम प्राप्त करना और संसाधित करना शामिल है। ट्विटर द्वारा मूल रूप से रूपरेखा विकसित करने वाली कंपनी बैकटाइप का अधिग्रहण करने के बाद यह परियोजना अपाचे समुदाय को सौंप दी गई थी। व्यवहार में, माइक्रोब्लॉग में घटनाओं के प्रतिबिंब का विश्लेषण करने के लिए स्टॉर्म का उपयोग बैकटाइप में किया गया था, नए ट्वीट्स और उनमें उपयोग किए गए लिंक की तुलना करके (उदाहरण के लिए, यह मूल्यांकन किया गया था कि ट्विटर पर प्रकाशित बाहरी लिंक या घोषणाएं अन्य प्रतिभागियों द्वारा कैसे पुन: प्रसारित की गईं) ).

स्टॉर्म की कार्यक्षमता की तुलना Hadoop प्लेटफ़ॉर्म से की जाती है, जिसमें मुख्य अंतर यह है कि डेटा को गोदाम में संग्रहीत नहीं किया जाता है, बल्कि बाहरी रूप से ग्रहण किया जाता है और वास्तविक समय में संसाधित किया जाता है। स्टॉर्म में एक अंतर्निहित भंडारण परत नहीं है और विश्लेषणात्मक क्वेरी को आने वाले डेटा पर तब तक लागू किया जाना शुरू हो जाता है जब तक कि इसे रद्द नहीं किया जाता है (जबकि Hadoop परिमित-समय MapReduce नौकरियों का उपयोग करता है, स्टॉर्म लगातार "टोपोलॉजी" चलाने के विचार का उपयोग करता है)। हैंडलर के निष्पादन को कई सर्वरों में वितरित किया जा सकता है - स्टॉर्म स्वचालित रूप से विभिन्न क्लस्टर नोड्स पर थ्रेड के साथ काम को समानांतर करता है।

सिस्टम मूल रूप से क्लोजर में लिखा गया था और जेवीएम वर्चुअल मशीन के अंदर चलता है। अपाचे फाउंडेशन ने स्टॉर्म को जावा में लिखे एक नए कर्नेल में स्थानांतरित करने के लिए एक पहल शुरू की है, जिसके परिणाम अपाचे स्टॉर्म 2.0 की रिलीज में प्रस्तावित हैं। प्लेटफ़ॉर्म के सभी बुनियादी घटक जावा में फिर से लिखे गए हैं। क्लोजर में हैंडलर लिखने के लिए समर्थन बरकरार रखा गया है, लेकिन अब इसे बाइंडिंग के रूप में पेश किया गया है। स्टॉर्म 2.0.0 को जावा 8 की आवश्यकता है। मल्टी-थ्रेडेड प्रोसेसिंग मॉडल को पूरी तरह से नया डिज़ाइन किया गया है, जिससे अनुमति मिलती है प्राप्त करना प्रदर्शन में उल्लेखनीय वृद्धि (कुछ टोपोलॉजी के लिए, विलंब 50-80% तक कम हो गया)।

नया संस्करण एक नई टाइप की गई स्ट्रीम एपीआई भी प्रदान करता है जो आपको कार्यात्मक प्रोग्रामिंग-शैली संचालन का उपयोग करके हैंडलर को परिभाषित करने की अनुमति देता है। नया एपीआई मानक आधार एपीआई के शीर्ष पर लागू किया गया है और उनके प्रसंस्करण को अनुकूलित करने के लिए संचालन के स्वचालित विलय का समर्थन करता है। विंडो संचालन के लिए विंडोिंग एपीआई ने बैकएंड में स्थिति को सहेजने और पुनर्स्थापित करने के लिए समर्थन जोड़ा है।

निर्णय लेते समय अतिरिक्त संसाधनों को ध्यान में रखने का समर्थन यहीं तक सीमित नहीं है
सीपीयू और मेमोरी, जैसे नेटवर्क और जीपीयू सेटिंग्स। प्लेटफ़ॉर्म के साथ एकीकरण सुनिश्चित करने के लिए बड़ी संख्या में सुधार किए गए हैं काफ्का. व्यवस्थापक समूह बनाने और टोकन सौंपने की क्षमता को शामिल करने के लिए पहुंच नियंत्रण प्रणाली का विस्तार किया गया है। SQL और मेट्रिक्स समर्थन से संबंधित सुधार जोड़े गए। क्लस्टर स्थिति को डीबग करने के लिए व्यवस्थापक इंटरफ़ेस में नए आदेश दिखाई दिए हैं।

तूफ़ान के लिए आवेदन के क्षेत्र:

• वास्तविक समय में नए डेटा या डेटाबेस अपडेट की प्रोसेसिंग स्ट्रीम;
• सतत कंप्यूटिंग: स्टॉर्म निरंतर क्वेरी चला सकता है और निरंतर स्ट्रीम संसाधित कर सकता है, जिससे क्लाइंट को वास्तविक समय में प्रसंस्करण परिणाम मिल सकते हैं।
• वितरित दूरस्थ प्रक्रिया कॉल (आरपीसी): संसाधन-गहन प्रश्नों के समानांतर निष्पादन प्रदान करने के लिए स्टॉर्म का उपयोग किया जा सकता है। स्टॉर्म में एक जॉब ("टोपोलॉजी") नोड्स में वितरित एक फ़ंक्शन है जो उन संदेशों के आने की प्रतीक्षा करता है जिन्हें संसाधित करने की आवश्यकता होती है। संदेश प्राप्त करने के बाद, फ़ंक्शन इसे स्थानीय संदर्भ में संसाधित करता है और परिणाम लौटाता है। वितरित आरपीसी का उपयोग करने का एक उदाहरण खोज क्वेरी को समानांतर में संसाधित करना या सेट के बड़े सेट पर संचालन करना होगा।

तूफान की विशेषताएं:

• एक सरल प्रोग्रामिंग मॉडल जो वास्तविक समय डेटा प्रोसेसिंग को बहुत सरल बनाता है;
• किसी भी प्रोग्रामिंग भाषा के लिए समर्थन. जावा, रूबी और पायथन के लिए मॉड्यूल उपलब्ध हैं, अन्य भाषाओं के लिए अनुकूलन एक बहुत ही सरल संचार प्रोटोकॉल के लिए आसान है जिसके समर्थन के लिए कोड की लगभग 100 लाइनों की आवश्यकता होती है;
• दोष सहनशीलता: डेटा प्रोसेसिंग कार्य चलाने के लिए, आपको कोड के साथ एक जार फ़ाइल उत्पन्न करने की आवश्यकता है। स्टॉर्म स्वतंत्र रूप से इस जार फ़ाइल को क्लस्टर नोड्स में वितरित करेगा, इससे जुड़े हैंडलर को कनेक्ट करेगा और निगरानी व्यवस्थित करेगा। जब कार्य पूरा हो जाएगा, तो कोड सभी नोड्स पर स्वचालित रूप से अक्षम हो जाएगा;
• क्षैतिज मापनीयता. सभी गणनाएँ समानांतर मोड में की जाती हैं; जैसे-जैसे लोड बढ़ता है, यह केवल नए नोड्स को क्लस्टर से जोड़ने के लिए पर्याप्त है;
• विश्वसनीयता. स्टॉर्म यह सुनिश्चित करता है कि आने वाला प्रत्येक संदेश कम से कम एक बार पूरी तरह से संसाधित हो। संदेश केवल एक बार संसाधित किया जाएगा यदि सभी हैंडलर से गुजरते समय कोई त्रुटि न हो; यदि समस्याएँ उत्पन्न होती हैं, तो असफल प्रसंस्करण प्रयास दोहराए जाएंगे।
• रफ़्तार। स्टॉर्म का कोड उच्च प्रदर्शन को ध्यान में रखकर लिखा गया है और तेज़ एसिंक्रोनस मैसेजिंग के लिए सिस्टम का उपयोग करता है ज़ीरोएमक्यू.

स्रोत: opennet.ru