अपाचे इग्नाइट शून्य तैनाती: साँच्चै शून्य?

हामी रिटेल नेटवर्कको टेक्नोलोजी विकास विभाग हौं। एक दिन, व्यवस्थापनले MSSQL सँग संयोजनमा Apache Ignite को प्रयोग गरेर ठूला-ठूला गणनाहरूको गति बढाउने कार्य सेट गर्‍यो, र जाभा कोडका सुन्दर दृष्टान्तहरू र उदाहरणहरू सहितको वेबसाइट देखायो। मलाई तुरुन्तै साइट मनपर्यो शून्य परिनियोजन, जसको विवरणले चमत्कारहरूको प्रतिज्ञा गर्दछ: तपाईंले ग्रिडमा प्रत्येक नोडमा आफ्नो Java वा Scala कोड म्यानुअल रूपमा डिप्लोय गर्नु पर्दैन र प्रत्येक पटक परिवर्तन हुँदा यसलाई पुन: तैनाती गर्नुहोस्। काम अगाडि बढ्दै जाँदा, यो बाहिरियो कि शून्य डिप्लोयमेन्टमा विशेष प्रयोगहरू छन्, जसका सुविधाहरू म साझा गर्न चाहन्छु। कट तल विचार र कार्यान्वयन विवरणहरू छन्।

1. समस्याको कथन

समस्याको सार निम्नानुसार छ। त्यहाँ एक सेल्सपोइन्ट बिक्री बिन्दु डाइरेक्टरी र एक Sku (स्टक किपिङ युनिट) उत्पादन निर्देशिका छ। बिक्रीको बिन्दुमा "सानो" र "ठूलो" मानहरूसँग "स्टोर प्रकार" विशेषता छ। एक वर्गीकरण (बिक्री बिन्दुको उत्पादनहरूको सूची) बिक्रीको प्रत्येक बिन्दुसँग जोडिएको छ (DBMS बाट लोड गरिएको) र जानकारी प्रदान गरिएको छ कि निर्दिष्ट मितिबाट निर्दिष्ट उत्पादन
वर्गीकरणबाट बहिष्कृत वा वर्गीकरणमा थपियो।

बिक्रीको बिन्दुहरूको विभाजन गरिएको क्यास व्यवस्थित गर्न र यसमा जडान गरिएका उत्पादनहरू बारे जानकारी एक महिना अगाडि भण्डार गर्न आवश्यक छ। लडाई प्रणालीसँग अनुकूलताका लागि इग्नाइट क्लाइन्ट नोडलाई डेटा लोड गर्न, फारमको कुल गणना (स्टोर प्रकार, उत्पादन कोड, दिन, नम्बर_of_sales_points) र यसलाई DBMS मा फिर्ता अपलोड गर्न आवश्यक छ।

२. साहित्यको अध्ययन

मसँग अहिलेसम्म कुनै अनुभव छैन, त्यसैले म चुलोबाट नाच्न थालेको छु। त्यो हो, प्रकाशनहरूको समीक्षाबाट।

लेख 2016 Apache Ignite को परिचय दिँदै: पहिलो चरणहरू Apache Ignite परियोजनाको कागजातको लिङ्क र एकै समयमा यो कागजातको अस्पष्टताको लागि निन्दा समावेश गर्दछ। मैले यसलाई दुई पटक पुन: पढें, स्पष्टता आउँदैन। म आधिकारिक ट्यूटोरियल सन्दर्भ गर्छु सुरु गर्दैकुन
आशावादी रूपमा प्रतिज्ञा गर्दछ "तपाई एक पलमा उठ्नुहुनेछ र दौडनुहुनेछ!" म वातावरण चर सेटिङहरू पत्ता लगाउँदै छु, दुई Apache Ignite Essentials भिडियोहरू हेर्दै छु, तर तिनीहरू मेरो विशिष्ट कार्यको लागि धेरै उपयोगी थिएनन्। मैले पहिलो एप्लिकेसन निर्माण गर्दै मानक फाइल "example-ignite.xml" को साथ कमाण्ड लाइनबाट इग्नाइट सफलतापूर्वक सुरु गरें। गणना अनुप्रयोग Maven प्रयोग गर्दै। अनुप्रयोगले काम गर्दछ र शून्य तैनाती प्रयोग गर्दछ, कस्तो सुन्दरता!

मैले थप पढें, र त्यहाँ उदाहरणले तुरुन्तै affinityKey प्रयोग गर्दछ (पहिले SQL क्वेरी मार्फत सिर्जना गरिएको), र रहस्यमय BinaryObject पनि प्रयोग गर्दछ:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

मैले यो पढें थोरै: बाइनरी ढाँचा - प्रतिबिम्ब जस्तै केहि, नाम द्वारा एक वस्तु को क्षेत्रहरु पहुँच। वस्तु (स्मृति बचत) लाई पूर्ण रूपमा डिसेरियलाइज नगरी फिल्डको मान पढ्न सक्छ। तर किन व्यक्तिको सट्टा BinaryObject प्रयोग गरिन्छ, किनकि त्यहाँ शून्य तैनाती छ? किन IgniteCache IgniteCache मा हस्तान्तरण गरियो ? यो अझै स्पष्ट छैन।

म मेरो केस अनुरूप कम्प्युट एप्लिकेसन रिमेक गर्दैछु। MSSQL मा बिक्री बिन्दुहरूको निर्देशिकाको प्राथमिक कुञ्जीलाई [id] [int] NOT NULL को रूपमा परिभाषित गरिएको छ, म समानताद्वारा क्यास सिर्जना गर्छु।

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

xml कन्फिगरेसनमा म क्यास विभाजन भएको संकेत गर्छु

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

बिन्दुको बिन्दुद्वारा विभाजन गर्दा त्यहाँ उपलब्ध salesPointCache रेकर्डहरूको लागि प्रत्येक क्लस्टर नोडमा आवश्यक जम्मा बनाइनेछ, जस पछि ग्राहक नोडले अन्तिम योगफल प्रदर्शन गर्नेछ।

म ट्युटोरियल पढ्दै छु पहिलो इग्नाइट कम्प्युट अनुप्रयोग, म यो समानता द्वारा गर्छु। प्रत्येक क्लस्टर नोडमा म IgniteRunnable() चलाउँछु, यो जस्तै:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

म एकीकरण र अपलोड तर्क थप्छु र यसलाई परीक्षण डेटा सेटमा चलाउँछु। सबै कुरा विकास सर्भरमा स्थानीय रूपमा काम गर्दछ।

म दुई CentOs परीक्षण सर्भरहरू सुरू गर्छु, IP ठेगानाहरू default-config.xml मा निर्दिष्ट गर्नुहोस्, प्रत्येकमा कार्यान्वयन गर्नुहोस्

./bin/ignite.sh config/default-config.xml

दुबै इग्नाइट नोडहरू चलिरहेका छन् र एक अर्कालाई देख्न सक्छन्। मैले क्लाइन्ट एप्लिकेसनको xml कन्फिगरेसनमा आवश्यक ठेगानाहरू निर्दिष्ट गर्दछु, यो सुरु हुन्छ, टोपोलोजीमा तेस्रो नोड थप्छ र तुरुन्तै त्यहाँ दुईवटा नोडहरू छन्। लगले लाइनमा "ClassNotFoundException: model.SalesPoint" देखाउँछ

SalesPoint sp=salesPointCache.get(spId);

StackOverflow भन्छ कि त्रुटिको कारण CentOs सर्भरहरूमा कुनै अनुकूलन SalesPoint वर्ग छैन। हामी आइपुगेका छौं। कसरी "तपाईले प्रत्येक नोडमा आफ्नो जाभा कोड म्यानुअल रूपमा डिप्लोइ गर्नु पर्दैन" र यस्तै? वा "तपाईंको जाभा कोड" SalesPoint को बारेमा होइन?

मैले सायद केहि छुटेको छु - म फेरि खोज्न थाल्छु, पढ्छु र फेरि खोज्छु। केहि समय पछि, मैले विषयको सबै कुरा पढेको महसुस गर्छु, अब नयाँ केहि छैन। मैले खोज्दै गर्दा, मैले केही रोचक टिप्पणीहरू फेला पारे।

भ्यालेन्टिन कुलिचेन्को, ग्रिडगेन प्रणालीमा प्रमुख वास्तुकार, जवाफ दिनुहोस् StackOverflow मा, अप्रिल 2016:

Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.

अर्को आधिकारिक राय: डेनिस म्याग्डा, उत्पादन व्यवस्थापन निर्देशक, ग्रिडगेन प्रणाली।

Habré मा लेख माइक्रो सेवाहरूको बारेमा डेनिस म्याग्डा द्वारा तीन लेख सन्दर्भ: माइक्रो सेवा भाग I, माइक्रो सर्भिसेस भाग II, माइक्रो सेवा भाग III 2016-2017। दोस्रो लेखमा, डेनिसले MaintenanceServiceNodeStartup.jar मार्फत क्लस्टर नोड सुरु गर्न सुझाव दिन्छ। तपाइँ xml कन्फिगरेसन र कमाण्ड लाइनको साथ सुरुवात पनि प्रयोग गर्न सक्नुहुन्छ, तर तपाइँले प्रत्येक डिप्लोइड क्लस्टर नोडमा म्यानुअल रूपमा अनुकूलन कक्षाहरू राख्न आवश्यक छ:

That's it. Start (..)  node using MaintenanceServiceNodeStartup file or pass
maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts.
If you prefer the latter then make sure to build a jar file that will contain
all the classes from java/app/common and java/services/maintenance directories.
The jar has to be added to the classpath of every node where the service
might be deployed.

वास्तवमा, यो हो। यहाँ यो बाहिर जान्छ, किन, यो रहस्यमय बाइनरी ढाँचा!

3. सिंगल जार

डेनिसले मेरो व्यक्तिगत मूल्याङ्कनमा पहिलो स्थान लिनुभयो, IMHO उपलब्ध सबै भन्दा उपयोगी ट्यूटोरियल। उनको मा MicroServices उदाहरण Github ले क्लस्टर नोडहरू सेटअप गर्ने पूर्ण रूपमा तयार-निर्मित उदाहरण समावेश गर्दछ, जुन कुनै अतिरिक्त स्क्वाटिंग बिना कम्पाइल गर्दछ।

म यसलाई त्यहि तरिकाले गर्छु र एकल जार फाइल पाउँछु जसले "डेटा नोड" वा "क्लायन्ट नोड" लाई कमाण्ड लाइन तर्कमा निर्भर गर्दछ। सभा सुरु हुन्छ र काम गर्दछ। शून्य तैनाती पराजित भएको छ।

परीक्षण डाटाको मेगाबाइटबाट दशौं गीगाबाइट लडाई डाटामा संक्रमणले देखाएको छ कि बाइनरी ढाँचा एक कारणको लागि अवस्थित छ। यो नोडहरूमा मेमोरी खपत अनुकूलन गर्न आवश्यक थियो, र यो हो जहाँ BinaryObject धेरै उपयोगी साबित भयो।

Con. निष्कर्ष

Apache Ignite परियोजना कागजातको अस्पष्टताको बारेमा सामना गरेको पहिलो निन्दा निष्पक्ष भयो; 2016 पछि थोरै परिवर्तन भएको छ। वेबसाइट र/वा रिपोजिटरीमा आधारित कार्यात्मक प्रोटोटाइप भेला गर्न एक शुरुआतीका लागि यो सजिलो छैन।

कामको नतिजाको आधारमा, शून्य परिनियोजनले काम गर्छ भन्ने धारणा थियो, तर प्रणाली स्तरमा मात्र। केहि यस्तो: BinaryObject लाई रिमोट क्लस्टर नोडहरू अनुकूलन कक्षाहरूसँग काम गर्न सिकाउन प्रयोग गरिन्छ; शून्य परिनियोजन - आन्तरिक संयन्त्र
Apache आफै प्रज्वलित गर्दछ र क्लस्टर भर प्रणाली वस्तुहरू वितरण गर्दछ।

मलाई आशा छ कि मेरो अनुभव नयाँ Apache Ignite प्रयोगकर्ताहरूको लागि उपयोगी हुनेछ।

स्रोत: www.habr.com