अपाचे इग्नाइट शून्य परिनियोजन: वास्तव में शून्य?

हम एक खुदरा नेटवर्क के प्रौद्योगिकी विकास विभाग हैं। एक दिन, प्रबंधन ने MSSQL के साथ अपाचे इग्नाइट का उपयोग करके बड़े पैमाने पर गणनाओं को गति देने का कार्य निर्धारित किया, और सुंदर चित्रों और जावा कोड के उदाहरणों के साथ एक वेबसाइट दिखाई। मुझे साइट तुरंत पसंद आ गई शून्य परिनियोजन, जिसका वर्णन चमत्कार का वादा करता है: आपको ग्रिड में प्रत्येक नोड पर अपने जावा या स्काला कोड को मैन्युअल रूप से तैनात करने और हर बार परिवर्तन होने पर इसे फिर से तैनात करने की आवश्यकता नहीं है। जैसे-जैसे काम आगे बढ़ा, यह पता चला कि जीरो डिप्लॉयमेंट के विशिष्ट उपयोग हैं, जिनकी विशेषताएं मैं साझा करना चाहता हूं। कट के नीचे विचार और कार्यान्वयन विवरण हैं।

1. समस्या का विवरण

समस्या का सार इस प्रकार है. एक SalesPoint विक्रय बिंदु निर्देशिका और एक Sku (स्टॉक कीपिंग यूनिट) उत्पाद निर्देशिका है। विक्रय स्थल में "छोटा" और "बड़ा" मानों के साथ "स्टोर प्रकार" विशेषता होती है। एक वर्गीकरण (बिक्री बिंदु के उत्पादों की सूची) बिक्री के प्रत्येक बिंदु से जुड़ा हुआ है (डीबीएमएस से लोड किया गया) और जानकारी प्रदान की जाती है कि निर्दिष्ट तिथि से निर्दिष्ट उत्पाद
वर्गीकरण से बाहर रखा गया या वर्गीकरण में जोड़ा गया।

बिक्री के बिंदुओं के एक विभाजित कैश को व्यवस्थित करना और उसमें जुड़े उत्पादों के बारे में एक महीने पहले से जानकारी संग्रहीत करना आवश्यक है। लड़ाकू प्रणाली के साथ संगतता के लिए इग्नाइट क्लाइंट नोड को डेटा लोड करने, फॉर्म के कुल योग (स्टोर प्रकार, उत्पाद कोड, दिन, संख्या_ऑफ_सेल्स_पॉइंट्स) की गणना करने और इसे डीबीएमएस पर वापस अपलोड करने की आवश्यकता होती है।

2. साहित्य का अध्ययन

मुझे अभी तक कोई अनुभव नहीं है, इसलिए मैं स्टोव से नृत्य करना शुरू कर रहा हूं। यानी प्रकाशनों की समीक्षा से.

2016 का लेख अपाचे इग्नाइट का परिचय: पहला कदम इसमें अपाचे इग्नाइट प्रोजेक्ट के दस्तावेज़ीकरण का एक लिंक है और साथ ही इस दस्तावेज़ की अस्पष्टता के लिए निंदा भी है। मैं इसे एक-दो बार दोबारा पढ़ता हूं, स्पष्टता नहीं आती। मैं आधिकारिक ट्यूटोरियल का संदर्भ देता हूं शुरू करनाजो
आशावादी वादा करता है "आप एक पल में ठीक हो जायेंगे!" मैं पर्यावरण चर सेटिंग्स का पता लगा रहा हूं, दो अपाचे इग्नाइट एसेंशियल वीडियो देख रहा हूं, लेकिन वे मेरे विशिष्ट कार्य के लिए बहुत उपयोगी नहीं थे। मैंने पहले एप्लिकेशन का निर्माण करते हुए मानक फ़ाइल "example-ignite.xml" के साथ कमांड लाइन से इग्नाइट को सफलतापूर्वक लॉन्च किया आवेदन की गणना करें मेवेन का उपयोग करना। एप्लिकेशन काम करता है और शून्य परिनियोजन का उपयोग करता है, क्या ख़ूबसूरती है!

मैंने आगे पढ़ा, और वहां उदाहरण तुरंत affinityKey (एक SQL क्वेरी के माध्यम से पहले बनाया गया) का उपयोग करता है, और यहां तक ​​कि रहस्यमय बाइनरीऑब्जेक्ट का भी उपयोग करता है:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

पढ़ें немного: बाइनरी प्रारूप - प्रतिबिंब जैसा कुछ, नाम से किसी वस्तु के क्षेत्रों तक पहुंच। ऑब्जेक्ट को पूरी तरह से डिसेरिएलाइज़ किए बिना (मेमोरी सेव करते हुए) किसी फ़ील्ड का मान पढ़ सकते हैं। लेकिन शून्य परिनियोजन होने पर, व्यक्ति के बजाय बाइनरीऑब्जेक्ट का उपयोग क्यों किया जाता है? इग्नाइट कैश क्यों? IgniteCache में स्थानांतरित कर दिया गया ? यह अभी तक स्पष्ट नहीं है.

मैं अपने मामले के अनुरूप कंप्यूट एप्लिकेशन का पुनर्निर्माण कर रहा हूं। MSSQL में बिक्री के बिंदुओं की निर्देशिका की प्राथमिक कुंजी को [id] [int] NOT NULL के रूप में परिभाषित किया गया है, मैं सादृश्य द्वारा एक कैश बनाता हूं

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

एक्सएमएल कॉन्फ़िगरेशन में मैं इंगित करता हूं कि कैश विभाजित है

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

विक्रय बिंदु द्वारा विभाजन यह मानता है कि वहां उपलब्ध सेल्सपॉइंट कैश रिकॉर्ड के लिए प्रत्येक क्लस्टर नोड पर आवश्यक समुच्चय बनाया जाएगा, जिसके बाद क्लाइंट नोड अंतिम सारांश निष्पादित करेगा।

मैं ट्यूटोरियल पढ़ रहा हूं पहला इग्नाइट कंप्यूट एप्लिकेशन, मैं इसे सादृश्य से करता हूं। प्रत्येक क्लस्टर नोड पर मैं IgniteRunnable() चलाता हूं, कुछ इस तरह:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

मैं एकत्रीकरण और अपलोडिंग तर्क जोड़ता हूं और इसे परीक्षण डेटा सेट पर चलाता हूं। सब कुछ विकास सर्वर पर स्थानीय रूप से काम करता है।

मैं दो CentOs परीक्षण सर्वर लॉन्च करता हूं, डिफ़ॉल्ट-config.xml में आईपी पते निर्दिष्ट करता हूं, प्रत्येक पर निष्पादित करता हूं

./bin/ignite.sh config/default-config.xml

दोनों इग्नाइट नोड चल रहे हैं और एक दूसरे को देख सकते हैं। मैं क्लाइंट एप्लिकेशन के xml कॉन्फ़िगरेशन में आवश्यक पते निर्दिष्ट करता हूं, यह प्रारंभ होता है, टोपोलॉजी में एक तीसरा नोड जोड़ता है और तुरंत फिर से दो नोड होते हैं। लॉग पंक्ति में "ClassNotFoundException: model.SalesPoint" दिखाता है

SalesPoint sp=salesPointCache.get(spId);

StackOverflow का कहना है कि त्रुटि का कारण यह है कि CentOs सर्वर पर कोई कस्टम SalesPoint क्लास नहीं है। हम आ गए हैं. "आपको प्रत्येक नोड पर अपने जावा कोड को मैन्युअल रूप से तैनात करने की आवश्यकता नहीं है" इत्यादि के बारे में क्या ख्याल है? या "आपका जावा कोड" SalesPoint के बारे में नहीं है?

मैं शायद कुछ भूल गया हूँ - मैं फिर से खोजना, पढ़ना और फिर से खोजना शुरू करता हूँ। थोड़ी देर बाद मुझे ऐसा महसूस हुआ कि मैंने इस विषय पर सब कुछ पढ़ लिया है, अब इसमें कुछ भी नया नहीं है। जब मैं खोज रहा था, मुझे कुछ दिलचस्प टिप्पणियाँ मिलीं।

वैलेन्टिन कुलिचेंको, ग्रिडगैन सिस्टम्स में लीड आर्किटेक्ट, जवाब स्टैक ओवरफ़्लो पर, अप्रैल 2016:

Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.

एक और आधिकारिक राय: डेनिस मैग्डा, ग्रिडगेन सिस्टम्स के उत्पाद प्रबंधन निदेशक।

हबरे पर लेख माइक्रोसर्विसेज के बारे में डेनिस मैग्डा के तीन लेखों का संदर्भ: माइक्रोसर्विसेज भाग I, माइक्रोसर्विसेज भाग II, माइक्रोसर्विसेज भाग III 2016-2017. दूसरे लेख में, डेनिस MaintenanceServiceNodeStartup.jar के माध्यम से क्लस्टर नोड शुरू करने का सुझाव देता है। आप xml कॉन्फ़िगरेशन और कमांड लाइन के साथ लॉन्च का भी उपयोग कर सकते हैं, लेकिन फिर आपको प्रत्येक तैनात क्लस्टर नोड पर मैन्युअल रूप से कस्टम क्लास लगाने की आवश्यकता होगी:

That's it. Start (..)  node using MaintenanceServiceNodeStartup file or pass
maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts.
If you prefer the latter then make sure to build a jar file that will contain
all the classes from java/app/common and java/services/maintenance directories.
The jar has to be added to the classpath of every node where the service
might be deployed.

वास्तव में, यही बात है। यहाँ यह पता चला है, क्यों, यह रहस्यमय बाइनरी प्रारूप!

3.सिंगल जार

डेनिस ने मेरी व्यक्तिगत रेटिंग में पहला स्थान प्राप्त किया, आईएमएचओ सभी उपलब्ध ट्यूटोरियल में सबसे उपयोगी है। उसके में माइक्रोसर्विसेज उदाहरण जीथब में क्लस्टर नोड्स स्थापित करने का एक पूरी तरह से तैयार उदाहरण शामिल है, जो बिना किसी अतिरिक्त स्क्वाटिंग के संकलित होता है।

मैं इसे उसी तरह से करता हूं और एक एकल जार फ़ाइल प्राप्त करता हूं जो कमांड लाइन तर्क के आधार पर "डेटा नोड" या "क्लाइंट नोड" लॉन्च करता है। असेंबली शुरू होती है और काम करती है। शून्य तैनाती हार गई है.

परीक्षण डेटा के मेगाबाइट से दसियों गीगाबाइट युद्ध डेटा में संक्रमण से पता चला कि बाइनरी प्रारूप एक कारण से मौजूद है। नोड्स पर मेमोरी खपत को अनुकूलित करना आवश्यक था, और यहीं पर बाइनरीऑब्जेक्ट बहुत उपयोगी साबित हुआ।

4। निष्कर्ष

अपाचे इग्नाइट परियोजना दस्तावेज़ीकरण की अस्पष्टता के बारे में पहली आलोचना निष्पक्ष निकली; 2016 के बाद से थोड़ा बदलाव आया है। किसी शुरुआती व्यक्ति के लिए किसी वेबसाइट और/या रिपॉजिटरी के आधार पर कार्यशील प्रोटोटाइप को इकट्ठा करना आसान नहीं है।

किए गए कार्य के परिणामों के आधार पर, धारणा यह थी कि शून्य परिनियोजन कार्य करता है, लेकिन केवल सिस्टम स्तर पर। कुछ इस तरह: बाइनरीऑब्जेक्ट का उपयोग दूरस्थ क्लस्टर नोड्स को कस्टम कक्षाओं के साथ काम करना सिखाने के लिए किया जाता है; शून्य परिनियोजन - आंतरिक तंत्र
अपाचे स्वयं इग्नाइट करता है और सिस्टम ऑब्जेक्ट को पूरे क्लस्टर में वितरित करता है।

मुझे आशा है कि मेरा अनुभव नए अपाचे इग्नाइट उपयोगकर्ताओं के लिए उपयोगी होगा।

स्रोत: www.habr.com