अपाचे इग्नाइट झिरो डिप्लॉयमेंट: खरोखर शून्य?

आम्ही किरकोळ नेटवर्कचे तंत्रज्ञान विकास विभाग आहोत. एके दिवशी, व्यवस्थापनाने MSSQL च्या संयोगाने Apache Ignite चा वापर करून मोठ्या प्रमाणातील गणनेला गती देण्याचे काम सेट केले आणि जावा कोडची सुंदर चित्रे आणि उदाहरणे असलेली वेबसाइट दाखवली. मला लगेच साइट आवडली शून्य उपयोजन, ज्याचे वर्णन चमत्कारांचे वचन देते: तुम्हाला तुमचा Java किंवा Scala कोड ग्रिडमधील प्रत्येक नोडवर व्यक्तिचलितपणे उपयोजित करावा लागणार नाही आणि प्रत्येक वेळी तो बदलल्यावर तो पुन्हा उपयोजित करावा लागणार नाही. जसजसे काम पुढे सरकत गेले, तसतसे असे दिसून आले की झिरो डिप्लॉयमेंटचे विशिष्ट उपयोग आहेत, ज्याची वैशिष्ट्ये मला सामायिक करायची आहेत. कट खाली विचार आणि अंमलबजावणी तपशील आहेत.

1. समस्येचे विधान

समस्येचे सार खालीलप्रमाणे आहे. एक SalesPoint विक्री बिंदू निर्देशिका आणि एक Sku (स्टॉक कीपिंग युनिट) उत्पादन निर्देशिका आहे. विक्रीच्या बिंदूमध्ये "लहान" आणि "मोठे" मूल्यांसह "स्टोअर प्रकार" विशेषता आहे. एक वर्गीकरण (विक्रीच्या बिंदूच्या उत्पादनांची सूची) विक्रीच्या प्रत्येक बिंदूशी जोडलेली असते (DBMS वरून लोड केलेली) आणि माहिती प्रदान केली जाते की निर्दिष्ट तारखेपासून निर्दिष्ट उत्पादन
वर्गीकरणातून वगळलेले किंवा वर्गीकरणात जोडलेले.

विक्रीच्या बिंदूंचे विभाजन केलेले कॅशे आयोजित करणे आवश्यक आहे आणि त्यात एक महिना अगोदर कनेक्ट केलेल्या उत्पादनांची माहिती संग्रहित करणे आवश्यक आहे. कॉम्बॅट सिस्टमसह सुसंगततेसाठी इग्नाइट क्लायंट नोडला डेटा लोड करणे आवश्यक आहे, फॉर्मची एकूण गणना करणे (स्टोअर प्रकार, उत्पादन कोड, दिवस, संख्या_ऑफ_सेल्स_पॉइंट) आणि ते डीबीएमएसवर परत अपलोड करणे आवश्यक आहे.

2. साहित्याचा अभ्यास

मला अजून कोणताही अनुभव नाही, म्हणून मी स्टोव्हवरून नाचायला सुरुवात केली आहे. म्हणजेच, प्रकाशनांच्या पुनरावलोकनातून.

लेख 2016 Apache Ignite सादर करत आहे: पहिली पायरी अपाचे इग्नाइट प्रकल्पाच्या दस्तऐवजीकरणाची लिंक आहे आणि त्याच वेळी या दस्तऐवजीकरणाच्या अस्पष्टतेसाठी निंदा आहे. मी ते दोन वेळा पुन्हा वाचले, स्पष्टता येत नाही. मी अधिकृत ट्यूटोरियल पहा सुरू करणे, जे
आशावादीपणे वचन देतो “तुम्ही क्षणार्धात तयार व्हाल!” मी पर्यावरण परिवर्तनीय सेटिंग्ज शोधत आहे, दोन Apache Ignite Essentials व्हिडिओ पाहत आहे, परंतु ते माझ्या विशिष्ट कार्यासाठी फारसे उपयुक्त नव्हते. मी प्रथम ऍप्लिकेशन तयार करून, मानक फाइल “example-ignite.xml” सह कमांड लाइनवरून इग्नाइट यशस्वीरित्या लाँच केले. अर्जाची गणना करा Maven वापरून. अॅप्लिकेशन शून्य उपयोजन कार्य करते आणि वापरते, किती सुंदर आहे!

मी पुढे वाचले, आणि तेथे उदाहरण ताबडतोब affinityKey (आधी SQL क्वेरीद्वारे तयार केलेले) वापरते आणि रहस्यमय BinaryObject देखील वापरते:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

मी ते वाचले थोडेसे: बायनरी स्वरूप - प्रतिबिंबासारखे काहीतरी, नावाने ऑब्जेक्टच्या फील्डमध्ये प्रवेश करणे. ऑब्जेक्ट पूर्णपणे डीसीरियल न करता फील्डचे मूल्य वाचू शकते (मेमरी जतन करते). पण झिरो डिप्लॉयमेंट असल्याने व्यक्तीऐवजी BinaryObject का वापरला जातो? IgniteCache का IgniteCache वर हस्तांतरित केले ? ते अजून स्पष्ट झालेले नाही.

मी माझ्या केससाठी कॉम्प्युट ऍप्लिकेशन रीमेक करत आहे. MSSQL मधील पॉइंट ऑफ सेलच्या डिरेक्ट्रीची प्राथमिक की [id] [int] NOT NULL म्हणून परिभाषित केली आहे, मी समानतेनुसार कॅशे तयार करतो

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

xml कॉन्फिगरेशनमध्ये मी सूचित करतो की कॅशेचे विभाजन केले आहे

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

विक्रीच्या बिंदूनुसार विभाजन करणे असे गृहीत धरते की प्रत्येक क्लस्टर नोडवर उपलब्ध असलेल्या salesPointCache रेकॉर्डसाठी आवश्यक एकत्रित तयार केले जाईल, त्यानंतर क्लायंट नोड अंतिम समीकरण करेल.

मी ट्यूटोरियल वाचत आहे प्रथम प्रज्वलित गणना अनुप्रयोग, मी उपमा करून करतो. प्रत्येक क्लस्टर नोडवर मी IgniteRunnable(), असे काहीतरी चालवतो:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

मी एकत्रीकरण आणि अपलोडिंग लॉजिक जोडतो आणि ते चाचणी डेटा सेटवर चालवतो. विकास सर्व्हरवर सर्व काही स्थानिक पातळीवर कार्य करते.

मी दोन CentOs चाचणी सर्व्हर लाँच करतो, IP पत्ते default-config.xml मध्ये निर्दिष्ट करतो, प्रत्येकावर कार्यान्वित करतो

./bin/ignite.sh config/default-config.xml

दोन्ही इग्नाइट नोड्स चालू आहेत आणि एकमेकांना पाहू शकतात. मी क्लायंट ऍप्लिकेशनच्या xml कॉन्फिगरेशनमध्ये आवश्यक पत्ते निर्दिष्ट करतो, ते सुरू होते, टोपोलॉजीमध्ये तिसरा नोड जोडतो आणि लगेचच पुन्हा दोन नोड असतात. लॉग ओळीत “ClassNotFoundException: model.SalesPoint” दाखवतो

SalesPoint sp=salesPointCache.get(spId);

स्टॅकओव्हरफ्लो म्हणते की त्रुटीचे कारण हे आहे की CentOs सर्व्हरवर कोणताही सानुकूल SalesPoint वर्ग नाही. आम्ही पोहोचलो. "तुम्हाला प्रत्येक नोडवर तुमचा जावा कोड व्यक्तिचलितपणे उपयोजित करण्याची गरज नाही" वगैरे काय? किंवा “तुमचा Java कोड” SalesPoint बद्दल नाही?

माझे कदाचित काहीतरी चुकले आहे - मी पुन्हा शोधणे, वाचणे आणि पुन्हा शोधणे सुरू करतो. थोड्या वेळाने, मला असे वाटते की मी विषयावरील सर्व काही वाचले आहे, आता नवीन काहीही नाही. मी शोधत असताना, मला काही मनोरंजक टिप्पण्या सापडल्या.

व्हॅलेंटाईन कुलिचेन्को, ग्रिडगेन सिस्टीम्सचे लीड आर्किटेक्ट, उत्तर StackOverflow वर, एप्रिल 2016:

Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.

आणखी एक अधिकृत मत: डेनिस मॅग्डा, उत्पादन व्यवस्थापन संचालक, ग्रिडगेन सिस्टम्स.

Habré वर लेख मायक्रो सर्व्हिसेस बद्दल डेनिस मॅग्डा यांच्या तीन लेखांचा संदर्भ: मायक्रो सर्व्हिसेस भाग I, सूक्ष्म सेवा भाग II, सूक्ष्म सेवा भाग III 2016-2017. दुसऱ्या लेखात, डेनिस ने MaintenanceServiceNodeStartup.jar द्वारे क्लस्टर नोड सुरू करण्याचे सुचवले आहे. तुम्ही xml कॉन्फिगरेशन आणि कमांड लाइनसह लाँच देखील वापरू शकता, परंतु नंतर तुम्हाला प्रत्येक उपयोजित क्लस्टर नोडवर स्वहस्ते सानुकूल वर्ग ठेवणे आवश्यक आहे:

That's it. Start (..)  node using MaintenanceServiceNodeStartup file or pass
maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts.
If you prefer the latter then make sure to build a jar file that will contain
all the classes from java/app/common and java/services/maintenance directories.
The jar has to be added to the classpath of every node where the service
might be deployed.

खरंच, तेच आहे. येथे ते बाहेर वळते, का, हे रहस्यमय बायनरी स्वरूप!

3.सिंगल जार

डेनिसने माझ्या वैयक्तिक रेटिंगमध्ये प्रथम स्थान मिळविले, IMHO हे सर्व उपलब्ध ट्यूटोरियल सर्वात उपयुक्त आहे. त्याच्या मायक्रो सर्व्हिसेसचे उदाहरण गिथबमध्ये क्लस्टर नोड्स सेट करण्याचे पूर्णपणे तयार उदाहरण आहे, जे कोणत्याही अतिरिक्त स्क्वॅटिंगशिवाय संकलित करते.

मी ते त्याच प्रकारे करतो आणि कमांड लाइन आर्ग्युमेंटवर अवलंबून "डेटा नोड" किंवा "क्लायंट नोड" लाँच करणारी सिंगल जार फाइल मिळते. विधानसभा सुरू होते आणि कार्य करते. झिरो डिप्लॉयमेंटचा पराभव झाला आहे.

चाचणी डेटाच्या मेगाबाइट्सपासून दहापट गीगाबाइट्सच्या लढाऊ डेटामध्ये संक्रमणाने दर्शवले की बायनरी स्वरूप एका कारणासाठी अस्तित्वात आहे. नोड्सवर मेमरी वापर ऑप्टिमाइझ करणे आवश्यक होते आणि येथेच बायनरीऑब्जेक्ट खूप उपयुक्त ठरले.

4. निष्कर्ष

Apache Ignite प्रकल्प दस्तऐवजीकरणाच्या अस्पष्टतेबद्दल आलेली पहिली निंदा निष्पक्ष ठरली; 2016 पासून थोडे बदलले आहेत. नवशिक्यासाठी वेबसाइट आणि/किंवा भांडारावर आधारित कार्यरत प्रोटोटाइप एकत्र करणे सोपे नाही.

केलेल्या कामाच्या परिणामांच्या आधारे, शून्य उपयोजन कार्य करते, परंतु केवळ सिस्टम स्तरावर अशी छाप होती. यासारखे काहीतरी: BinaryObject चा वापर रिमोट क्लस्टर नोड्सला सानुकूल वर्गांसह कार्य करण्यास शिकवण्यासाठी केला जातो; शून्य उपयोजन - अंतर्गत यंत्रणा
अपाचे स्वतः प्रज्वलित करते आणि संपूर्ण क्लस्टरमध्ये सिस्टम ऑब्जेक्ट्सचे वितरण करते.

मला आशा आहे की माझा अनुभव नवीन Apache Ignite वापरकर्त्यांसाठी उपयुक्त ठरेल.

स्त्रोत: www.habr.com