Apache Storm 2.0 वितरित कम्प्युटिङ प्रणाली उपलब्ध छ

उज्यालो देखियो एक वितरित घटना प्रसंस्करण प्रणाली को महत्वपूर्ण रिलीज Apache Storm 2.0, पहिले प्रयोग गरिएको Clojure भाषाको सट्टा Java मा लागू गरिएको नयाँ वास्तुकलामा यसको संक्रमणको लागि उल्लेखनीय।

परियोजनाले तपाईंलाई वास्तविक समयमा विभिन्न घटनाहरूको ग्यारेन्टी प्रशोधन व्यवस्थित गर्न अनुमति दिन्छ। उदाहरणका लागि, Storm लाई वास्तविक समयमा डाटा स्ट्रिमहरू विश्लेषण गर्न, मेसिन लर्निङ कार्यहरू चलाउन, निरन्तर कम्प्युटिङ व्यवस्थित गर्न, RPC, ETL, आदि कार्यान्वयन गर्न प्रयोग गर्न सकिन्छ। प्रणालीले क्लस्टरिङ, गल्ती-सहिष्णु कन्फिगरेसनहरूको सिर्जना, डाटा प्रोसेसिङ मोडको ग्यारेन्टी र उच्च कार्यसम्पादनलाई समर्थन गर्दछ, एक क्लस्टर नोडमा प्रति सेकेन्ड एक मिलियन भन्दा बढी अनुरोधहरू प्रशोधन गर्न पर्याप्त छ।

विभिन्न लाम प्रशोधन प्रणाली र डाटाबेस प्रविधिहरूसँग एकीकरण समर्थित छ। Storm आर्किटेक्चरले गणनाको विभिन्न चरणहरू बीच विभाजन गर्ने क्षमताको साथ मनमानी जटिल प्रोसेसरहरू प्रयोग गरेर असंरचित, निरन्तर अद्यावधिक डेटा स्ट्रिमहरू प्राप्त र प्रशोधन समावेश गर्दछ। ट्विटरले ब्याकटाइप प्राप्त गरेपछि परियोजनालाई Apache समुदायलाई हस्तान्तरण गरिएको थियो, जुन मूल रूपमा फ्रेमवर्क विकास गर्ने कम्पनी हो। अभ्यासमा, Storm लाई माइक्रोब्लगहरूमा भएका घटनाहरूको प्रतिबिम्ब विश्लेषण गर्न ब्याकटाइपमा प्रयोग गरिएको थियो, फ्लाई नयाँ ट्वीटहरू र तिनीहरूमा प्रयोग गरिएका लिङ्कहरू तुलना गरेर (उदाहरणका लागि, यो मूल्याङ्कन गरिएको थियो कि कसरी ट्विटरमा प्रकाशित बाह्य लिङ्कहरू वा घोषणाहरू अन्य सहभागीहरूद्वारा पुन: प्रसारण गरियो। )।

Storm को कार्यक्षमता Hadoop प्लेटफर्मसँग तुलना गरिएको छ, मुख्य भिन्नता यो हो कि डाटा गोदाममा भण्डार गरिएको छैन, तर बाह्य रूपमा इन्जेस्ट गरिन्छ र वास्तविक समयमा प्रशोधन गरिन्छ। Storm सँग अन्तर्निहित भण्डारण तह छैन र यो रद्द नभएसम्म विश्लेषणात्मक क्वेरी आगमन डेटामा लागू हुन थाल्छ (जब Hadoop ले सीमित-समय MapReduce कार्यहरू प्रयोग गर्दछ, Storm लगातार "टोपोलोजीहरू" चलाउने विचार प्रयोग गर्दछ)। ह्यान्डलरहरूको कार्यान्वयन धेरै सर्भरहरूमा वितरण गर्न सकिन्छ - Storm स्वचालित रूपमा विभिन्न क्लस्टर नोडहरूमा थ्रेडहरूसँग समानान्तर काम गर्दछ।

प्रणाली मूल रूपमा Clojure मा लेखिएको थियो र JVM भर्चुअल मेसिन भित्र चल्छ। Apache Foundation ले जाभामा लेखिएको नयाँ कर्नेलमा Storm माइग्रेट गर्न पहल सुरु गरेको छ, जसको परिणाम Apache Storm 2.0 को रिलीजमा प्रस्ताव गरिएको छ। प्लेटफर्मका सबै आधारभूत कम्पोनेन्टहरू जाभामा पुन: लेखिएका छन्। Clojure मा लेख्ने ह्यान्डलरहरूको लागि समर्थन कायम राखिएको छ, तर अब बाइन्डिङको रूपमा प्रस्ताव गरिएको छ। Storm 2.0.0 लाई Java 8 आवश्यक छ। बहु-थ्रेडेड प्रशोधन मोडेल पूर्ण रूपमा पुन: डिजाइन गरिएको छ, अनुमति दिँदै हासिल गर्ने प्रदर्शनमा उल्लेखनीय वृद्धि (केही टोपोलोजीहरूको लागि, ढिलाइ 50-80% द्वारा घटाइएको थियो)।

नयाँ संस्करणले नयाँ टाइप गरिएको स्ट्रिम्स API पनि प्रदान गर्दछ जसले तपाईंलाई कार्यात्मक प्रोग्रामिङ-शैली सञ्चालनहरू प्रयोग गरेर ह्यान्डलरहरू परिभाषित गर्न अनुमति दिन्छ। नयाँ API मानक आधार API को शीर्षमा लागू गरिएको छ र तिनीहरूको प्रशोधन अनुकूलन गर्न सञ्चालनहरूको स्वचालित मर्ज समर्थन गर्दछ। सञ्झ्याल सञ्चालनका लागि विन्डोइङ API ले ब्याकइन्डमा स्थिति बचत र पुनर्स्थापनाको लागि समर्थन थपेको छ।

सीमित नभएका निर्णयहरू गर्दा खातामा अतिरिक्त स्रोतहरू लिनको लागि समर्थन
CPU र मेमोरी, जस्तै नेटवर्क र GPU सेटिङहरू। प्लेटफर्मको साथ एकीकरण सुनिश्चित गर्न ठूलो संख्यामा सुधारहरू गरिएको छ काफका। प्रशासक समूहहरू र प्रतिनिधि टोकनहरू सिर्जना गर्ने क्षमता समावेश गर्न पहुँच नियन्त्रण प्रणाली विस्तार गरिएको छ। SQL र मेट्रिक्स समर्थन सम्बन्धित सुधारहरू थपियो। क्लस्टर अवस्था डिबग गर्नका लागि प्रशासक इन्टरफेसमा नयाँ आदेशहरू देखा परेका छन्।

आँधीको लागि आवेदन क्षेत्रहरू:

• वास्तविक समयमा नयाँ डाटा वा डाटाबेस अद्यावधिकहरूको स्ट्रिमहरू प्रशोधन गर्दै;
• निरन्तर कम्प्युटिङ: तूफानले निरन्तर प्रश्नहरू चलाउन सक्छ र निरन्तर स्ट्रिमहरू प्रक्रिया गर्न सक्छ, वास्तविक समयमा ग्राहकलाई प्रशोधन परिणामहरू प्रदान गर्दछ।
• वितरित रिमोट प्रक्रिया कल (RPC): स्रोत-गहन प्रश्नहरूको समानान्तर कार्यान्वयन प्रदान गर्न तूफान प्रयोग गर्न सकिन्छ। Storm मा काम ("टोपोलोजी") नोडहरूमा वितरित एक प्रकार्य हो जुन सन्देशहरू आउन पर्खन्छ जुन प्रक्रिया गर्न आवश्यक छ। सन्देश प्राप्त गरेपछि, प्रकार्यले यसलाई स्थानीय सन्दर्भमा प्रशोधन गर्छ र परिणाम फर्काउँछ। वितरित RPC प्रयोग गर्ने एउटा उदाहरण समानान्तरमा खोज क्वेरीहरू प्रशोधन गर्न वा सेटहरूको ठूलो सेटमा कार्यहरू प्रदर्शन गर्ने हो।

आँधीका विशेषताहरू:

• एक साधारण प्रोग्रामिङ मोडेल जसले वास्तविक-समय डाटा प्रोसेसिङलाई धेरै सरल बनाउँछ;
• कुनै पनि प्रोग्रामिङ भाषाहरूको लागि समर्थन। त्यहाँ जाभा, रुबी र पाइथनका लागि मोड्युलहरू छन्, अन्य भाषाहरूको लागि अनुकूलन धेरै सरल संचार प्रोटोकलको कारणले गाह्रो छैन, जसलाई समर्थन गर्न कोडको लगभग 100 लाइनहरू आवश्यक पर्दछ;
• गल्ती सहिष्णुता: डाटा प्रोसेसिङ कार्य चलाउनको लागि, तपाईंले कोडको साथ जार फाइल उत्पन्न गर्न आवश्यक छ। Storm ले स्वतन्त्र रूपमा क्लस्टर नोडहरूमा यो जार फाइल वितरण गर्नेछ, यससँग सम्बन्धित ह्यान्डलरहरू जडान गर्नेछ, र अनुगमन व्यवस्थित गर्नेछ। जब काम पूरा हुन्छ, कोड स्वचालित रूपमा सबै नोडहरूमा असक्षम हुनेछ;
• तेर्सो स्केलेबिलिटी। सबै गणनाहरू समानान्तर मोडमा गरिन्छ; लोड बढ्दै जाँदा, क्लस्टरमा नयाँ नोडहरू जडान गर्न पर्याप्त हुन्छ;
• विश्वसनीयता। आँधीले सुनिश्चित गर्दछ कि प्रत्येक आगमन सन्देश कम्तिमा एक पटक पूर्ण रूपमा प्रशोधन गरिएको छ। सन्देश एक पटक मात्र प्रशोधन हुनेछ यदि सबै ह्यान्डलरहरू मार्फत पास गर्दा कुनै त्रुटिहरू छैनन् भने; यदि समस्याहरू उत्पन्न भएमा, त्यसपछि असफल प्रक्रिया प्रयासहरू दोहोर्याइनेछ।
• गति। Storm को कोड उच्च कार्यसम्पादनलाई ध्यानमा राखेर लेखिएको छ र द्रुत एसिन्क्रोनस सन्देशको लागि प्रणाली प्रयोग गर्दछ ZeroMQ.

स्रोत: opennet.ru