Apache Storm 2.0 वितरित संगणकीय प्रणाली उपलब्ध

प्रकाश पाहिला वितरित इव्हेंट प्रोसेसिंग सिस्टमचे महत्त्वपूर्ण प्रकाशन अपाचे वादळ 2.0, पूर्वी वापरल्या जाणार्‍या Clojure भाषेऐवजी Java मध्ये लागू केलेल्या नवीन आर्किटेक्चरच्या संक्रमणासाठी लक्षणीय.

प्रकल्प तुम्हाला रिअल टाइममध्ये विविध कार्यक्रमांची हमी प्रक्रिया आयोजित करण्याची परवानगी देतो. उदाहरणार्थ, स्टॉर्मचा वापर रिअल टाइममध्ये डेटा प्रवाहाचे विश्लेषण करण्यासाठी, मशीन लर्निंग कार्ये चालविण्यासाठी, सतत संगणन आयोजित करण्यासाठी, RPC, ETL इत्यादीसाठी केला जाऊ शकतो. प्रणाली क्लस्टरिंग, दोष-सहिष्णु कॉन्फिगरेशनची निर्मिती, गॅरंटीड डेटा प्रोसेसिंग मोडचे समर्थन करते आणि उच्च कार्यक्षमता आहे, एका क्लस्टर नोडवर प्रति सेकंद दशलक्षाहून अधिक विनंत्यांवर प्रक्रिया करण्यासाठी पुरेसे आहे.

विविध रांग प्रक्रिया प्रणाली आणि डेटाबेस तंत्रज्ञानासह एकत्रीकरण समर्थित आहे. स्टॉर्म आर्किटेक्चरमध्ये गणनेच्या वेगवेगळ्या टप्प्यांमध्ये विभाजन करण्याची क्षमता असलेल्या अनियंत्रित जटिल प्रोसेसरचा वापर करून असंरचित, सतत अद्यतनित डेटा प्रवाह प्राप्त करणे आणि त्यावर प्रक्रिया करणे समाविष्ट आहे. Twitter ने BackType, मूळत: फ्रेमवर्क विकसित करणारी कंपनी विकत घेतल्यानंतर हा प्रकल्प Apache समुदायाकडे सोपवण्यात आला. सराव मध्ये, स्ट्रॉमचा वापर मायक्रोब्लॉगमधील घटनांच्या प्रतिबिंबाचे विश्लेषण करण्यासाठी, फ्लाय ऑन फ्लाय नवीन ट्विट्स आणि त्यात वापरलेल्या लिंक्सची तुलना करून केला गेला (उदाहरणार्थ, बाह्य लिंक्स किंवा Twitter वर प्रकाशित केलेल्या घोषणा इतर सहभागींद्वारे कसे पुनर्प्रसारण केले गेले याचे मूल्यांकन केले गेले. ).

स्टॉर्मच्या कार्यक्षमतेची तुलना हडूप प्लॅटफॉर्मशी केली जाते, मुख्य फरक असा आहे की डेटा वेअरहाऊसमध्ये संग्रहित केला जात नाही, परंतु बाहेरून अंतर्भूत केला जातो आणि वास्तविक वेळेत प्रक्रिया केली जाते. स्टॉर्ममध्ये बिल्ट-इन स्टोरेज लेयर नसतो आणि तो रद्द होईपर्यंत विश्लेषणात्मक क्वेरी इनकमिंग डेटावर लागू करणे सुरू होते (जेव्हा Hadoop मर्यादित-वेळ MapReduce जॉब वापरते, तर Storm सतत "टोपोलॉजीज" चालवण्याची कल्पना वापरते). हँडलरची अंमलबजावणी अनेक सर्व्हरवर वितरीत केली जाऊ शकते - स्टॉर्म आपोआप वेगवेगळ्या क्लस्टर नोड्सवरील थ्रेडसह कार्य समांतर करते.

प्रणाली मूळतः Clojure मध्ये लिहिलेली होती आणि JVM आभासी मशीनमध्ये चालते. अपाचे फाऊंडेशनने जावामध्ये लिहिलेल्या नवीन कर्नलमध्ये स्टॉर्म स्थलांतरित करण्याचा एक उपक्रम सुरू केला आहे, ज्याचे परिणाम अपाचे स्टॉर्म 2.0 च्या रिलीजमध्ये प्रस्तावित आहेत. प्लॅटफॉर्मचे सर्व मूलभूत घटक Java मध्ये पुन्हा लिहिलेले आहेत. Clojure मधील हँडलर लिहिण्यासाठी समर्थन कायम ठेवण्यात आले आहे, परंतु आता ते बाइंडिंगच्या स्वरूपात देऊ केले आहे. Storm 2.0.0 ला Java 8 आवश्यक आहे. मल्टी-थ्रेडेड प्रोसेसिंग मॉडेल पूर्णपणे पुन्हा डिझाइन केले गेले आहे, परवानगी देते साध्य करणे कार्यक्षमतेत लक्षणीय वाढ (काही टोपोलॉजीजसाठी, विलंब 50-80% ने कमी झाला).

नवीन आवृत्ती नवीन टाइप केलेले स्ट्रीम API देखील ऑफर करते जे तुम्हाला फंक्शनल प्रोग्रामिंग-शैली ऑपरेशन्स वापरून हँडलर परिभाषित करण्यास अनुमती देते. नवीन API मानक बेस API च्या शीर्षस्थानी लागू केले आहे आणि त्यांची प्रक्रिया ऑप्टिमाइझ करण्यासाठी ऑपरेशन्सच्या स्वयंचलित विलीनीकरणास समर्थन देते. विंडो ऑपरेशन्ससाठी Windowing API ने बॅकएंडमध्ये स्थिती जतन आणि पुनर्संचयित करण्यासाठी समर्थन जोडले आहे.

मर्यादित न राहता निर्णय घेताना अतिरिक्त संसाधने विचारात घेण्यासाठी समर्थन
CPU आणि मेमरी, जसे की नेटवर्क आणि GPU सेटिंग्ज. प्लॅटफॉर्मसह एकत्रीकरण सुनिश्चित करण्यासाठी मोठ्या प्रमाणात सुधारणा केल्या आहेत काफका. अ‍ॅडमिनिस्ट्रेटर ग्रुप्स आणि डेलिगेट टोकन्स तयार करण्याची क्षमता समाविष्ट करण्यासाठी ऍक्सेस कंट्रोल सिस्टमचा विस्तार करण्यात आला आहे. SQL आणि मेट्रिक्स समर्थनाशी संबंधित सुधारणा जोडल्या. क्लस्टर स्थिती डीबग करण्यासाठी प्रशासक इंटरफेसमध्ये नवीन आदेश दिसू लागले आहेत.

वादळासाठी अर्ज करण्याचे क्षेत्रः

• रिअल टाइममध्ये नवीन डेटा किंवा डेटाबेस अद्यतनांच्या प्रवाहावर प्रक्रिया करणे;
• सतत संगणन: वादळ सतत क्वेरी चालवू शकते आणि सतत प्रवाहांवर प्रक्रिया करू शकते, रिअल टाइममध्ये क्लायंटला प्रक्रिया परिणाम वितरीत करते.
• डिस्ट्रिब्युटेड रिमोट प्रोसिजर कॉल (RPC): संसाधन-केंद्रित प्रश्नांची समांतर अंमलबजावणी प्रदान करण्यासाठी वादळाचा वापर केला जाऊ शकतो. स्टॉर्म मधील जॉब ("टोपोलॉजी") हे नोड्समध्ये वितरीत केलेले कार्य आहे जे संदेश येण्याची प्रतीक्षा करते ज्यावर प्रक्रिया करणे आवश्यक आहे. संदेश प्राप्त केल्यानंतर, फंक्शन स्थानिक संदर्भात त्यावर प्रक्रिया करते आणि परिणाम परत करते. वितरीत RPC वापरण्याचे उदाहरण म्हणजे समांतर शोध क्वेरीवर प्रक्रिया करणे किंवा मोठ्या सेटवर ऑपरेशन करणे.

वादळाची वैशिष्ट्ये:

• एक साधे प्रोग्रामिंग मॉडेल जे रिअल-टाइम डेटा प्रोसेसिंग मोठ्या प्रमाणात सुलभ करते;
• कोणत्याही प्रोग्रामिंग भाषांसाठी समर्थन. जावा, रुबी आणि पायथनसाठी मॉड्यूल्स आहेत, अगदी सोप्या संप्रेषण प्रोटोकॉलमुळे इतर भाषांसाठी रुपांतर करणे कठीण नाही, ज्यास समर्थन देण्यासाठी सुमारे 100 ओळी कोड आवश्यक आहेत;
• फॉल्ट टॉलरन्स: डेटा प्रोसेसिंग जॉब चालवण्यासाठी, तुम्हाला कोडसह जार फाइल व्युत्पन्न करावी लागेल. स्टॉर्म स्वतंत्रपणे ही जार फाइल क्लस्टर नोड्समध्ये वितरीत करेल, त्याच्याशी संबंधित हँडलर कनेक्ट करेल आणि मॉनिटरिंग आयोजित करेल. कार्य पूर्ण झाल्यावर, कोड सर्व नोड्सवर स्वयंचलितपणे अक्षम केला जाईल;
• क्षैतिज स्केलेबिलिटी. सर्व गणना समांतर मोडमध्ये केल्या जातात; जसजसा भार वाढतो, क्लस्टरमध्ये नवीन नोड्स जोडणे पुरेसे आहे;
• विश्वसनीयता. वादळ हे सुनिश्चित करते की प्रत्येक येणारा संदेश किमान एकदा पूर्णतः प्रक्रिया केला जातो. सर्व हँडलर्समधून जाताना कोणतीही त्रुटी नसल्यास संदेशावर एकदाच प्रक्रिया केली जाईल; समस्या उद्भवल्यास, अयशस्वी प्रक्रिया प्रयत्नांची पुनरावृत्ती केली जाईल.
• गती. स्टॉर्मचा कोड उच्च कार्यक्षमता लक्षात घेऊन लिहिलेला आहे आणि जलद असिंक्रोनस मेसेजिंगसाठी सिस्टम वापरतो ZeroMQ.

स्त्रोत: opennet.ru