অ্যাপাচি ইগনিট জিরো ডিপ্লয়মেন্ট: সত্যিই জিরো?

আমরা একটি খুচরা নেটওয়ার্কের প্রযুক্তি উন্নয়ন বিভাগ. একদিন, ব্যবস্থাপনা MSSQL এর সাথে Apache Ignite ব্যবহার করে বড় আকারের গণনার গতি বাড়ানোর কাজ সেট করে এবং জাভা কোডের সুন্দর চিত্র এবং উদাহরণ সহ একটি ওয়েবসাইট দেখায়। আমি অবিলম্বে সাইট পছন্দ জিরো ডিপ্লয়মেন্ট, যার বিবরণ অলৌকিকতার প্রতিশ্রুতি দেয়: আপনাকে গ্রিডের প্রতিটি নোডে আপনার জাভা বা স্কালা কোড ম্যানুয়ালি স্থাপন করতে হবে না এবং প্রতিবার এটি পরিবর্তন করার সময় এটি পুনরায় স্থাপন করতে হবে না। কাজটি অগ্রসর হওয়ার সাথে সাথে দেখা গেল যে জিরো ডিপ্লয়মেন্টের নির্দিষ্ট ব্যবহার রয়েছে, যার বৈশিষ্ট্যগুলি আমি ভাগ করতে চাই৷ কাটা নীচে চিন্তা এবং বাস্তবায়ন বিবরণ আছে.

1. সমস্যার বিবৃতি

সমস্যার সারমর্ম নিম্নরূপ। বিক্রয় পয়েন্টগুলির একটি সেলসপয়েন্ট ডিরেক্টরি এবং একটি Sku (স্টক কিপিং ইউনিট) পণ্য ডিরেক্টরি রয়েছে। বিক্রয় বিন্দুতে "ছোট" এবং "বড়" মান সহ একটি "স্টোরের ধরন" বৈশিষ্ট্য রয়েছে। একটি ভাণ্ডার (বিক্রয় পয়েন্টের পণ্যগুলির তালিকা) প্রতিটি বিক্রয়ের পয়েন্টের সাথে সংযুক্ত থাকে (ডিবিএমএস থেকে লোড করা হয়) এবং তথ্য সরবরাহ করা হয় যে নির্দিষ্ট তারিখ থেকে নির্দিষ্ট পণ্যটি
ভাণ্ডার থেকে বাদ বা ভাণ্ডার যোগ করা হয়েছে.

বিক্রয়ের পয়েন্টগুলির একটি বিভাজিত ক্যাশে সংগঠিত করা এবং এতে সংযুক্ত পণ্যগুলির তথ্য এক মাস আগে সংরক্ষণ করা প্রয়োজন। যুদ্ধ ব্যবস্থার সাথে সামঞ্জস্যের জন্য ইগনাইট ক্লায়েন্ট নোডকে ডেটা লোড করতে, ফর্মের একটি সমষ্টি গণনা করতে হবে (স্টোরের ধরন, পণ্য কোড, দিন, সংখ্যা_অফ_বিক্রয়_পয়েন্ট) এবং এটি ডিবিএমএসে আবার আপলোড করতে হবে।

2. সাহিত্য অধ্যয়ন

আমার এখনও কোন অভিজ্ঞতা নেই, তাই আমি চুলা থেকে নাচতে শুরু করছি। যে, প্রকাশনা একটি পর্যালোচনা থেকে.

প্রবন্ধ 2016 Apache Ignite প্রবর্তন: প্রথম পদক্ষেপ Apache Ignite প্রকল্পের ডকুমেন্টেশনের একটি লিঙ্ক এবং একই সাথে এই ডকুমেন্টেশনের অস্পষ্টতার জন্য একটি তিরস্কার রয়েছে৷ আমি এটি কয়েকবার পুনরায় পড়ি, স্পষ্টতা আসে না। আমি অফিসিয়াল টিউটোরিয়াল পড়ি শুরু হচ্ছে, যা
আশাবাদীভাবে প্রতিশ্রুতি দেয় "আপনি এক নিমিষেই উঠে আসবেন!" আমি এনভায়রনমেন্ট ভেরিয়েবল সেটিংস বের করছি, দুটি Apache Ignite Essentials ভিডিও দেখছি, কিন্তু সেগুলি আমার নির্দিষ্ট কাজের জন্য খুব একটা কার্যকর ছিল না। আমি সফলভাবে কমান্ড লাইন থেকে Ignite চালু করেছি স্ট্যান্ডার্ড ফাইল "example-ignite.xml" সহ, প্রথম অ্যাপ্লিকেশন তৈরি করে কম্পিউট অ্যাপ্লিকেশন Maven ব্যবহার করে। অ্যাপ্লিকেশন কাজ করে এবং জিরো ডিপ্লয়মেন্ট ব্যবহার করে, কি একটি সৌন্দর্য!

আমি আরও পড়ি, এবং সেখানে উদাহরণটি অবিলম্বে affinityKey ব্যবহার করে (একটি SQL কোয়েরির মাধ্যমে আগে তৈরি করা হয়েছিল), এবং এমনকি রহস্যময় BinaryObject ব্যবহার করে:

IgniteCache<BinaryObject, BinaryObject> people 
        = ignite.cache("Person").withKeepBinary(); 

পড়া немного: বাইনারি বিন্যাস - প্রতিফলনের মতো কিছু, নাম অনুসারে একটি বস্তুর ক্ষেত্রগুলি অ্যাক্সেস করা। অবজেক্টকে সম্পূর্ণরূপে ডিসিরিয়ালাইজ না করে একটি ক্ষেত্রের মান পড়তে পারে (মেমরি সংরক্ষণ)। কিন্তু কেন ব্যাক্তির পরিবর্তে BinaryObject ব্যবহার করা হয়, যেহেতু জিরো ডিপ্লয়মেন্ট আছে? কেন IgniteCache IgniteCache এ স্থানান্তরিত হয়েছে ? এটা এখনও পরিষ্কার নয়.

আমি আমার কেস অনুসারে কম্পিউট অ্যাপ্লিকেশন রিমেক করছি। MSSQL-এ পয়েন্ট অফ সেলের ডিরেক্টরির প্রাথমিক কীটিকে [id] [int] NOT NULL হিসাবে সংজ্ঞায়িত করা হয়েছে, আমি সাদৃশ্য দ্বারা একটি ক্যাশে তৈরি করি

IgniteCache<Integer, SalesPoint> salesPointCache=ignite.cache("spCache")

xml কনফিগারেশনে আমি নির্দেশ করি যে ক্যাশে পার্টিশন করা হয়েছে

<bean class="org.apache.ignite.configuration.CacheConfiguration">
    <property name="name" value="spCache"/>
    <property name="cacheMode" value="PARTITIONED"/>
</bean>

বিক্রয় পয়েন্ট দ্বারা বিভাজন অনুমান করে যে প্রয়োজনীয় সমষ্টি সেখানে উপলব্ধ বিক্রয় পয়েন্ট ক্যাশে রেকর্ডের জন্য প্রতিটি ক্লাস্টার নোডে তৈরি করা হবে, যার পরে ক্লায়েন্ট নোড চূড়ান্ত সমষ্টি সম্পাদন করবে।

আমি টিউটোরিয়াল পড়ছি প্রথম ইগনিট কম্পিউট অ্যাপ্লিকেশন, আমি উপমা দ্বারা এটা. প্রতিটি ক্লাস্টার নোডে আমি IgniteRunnable(), এরকম কিছু চালাই:

  @Override
  public void run() {
    SalesPoint sp=salesPointCache.get(spId);
    sp.calculateSalesPointCount();
    ..
  }

আমি একত্রিতকরণ এবং আপলোডিং যুক্তি যোগ করি এবং এটি একটি পরীক্ষা ডেটা সেটে চালাই। সবকিছু ডেভেলপমেন্ট সার্ভারে স্থানীয়ভাবে কাজ করে।

আমি দুটি CentOs টেস্ট সার্ভার চালু করি, ডিফল্ট-config.xml-এ আইপি ঠিকানা উল্লেখ করি, প্রতিটিতে চালান

./bin/ignite.sh config/default-config.xml

উভয় ইগ্নাইট নোড চলছে এবং একে অপরকে দেখতে পাচ্ছে। আমি ক্লায়েন্ট অ্যাপ্লিকেশনের xml কনফিগারে প্রয়োজনীয় ঠিকানাগুলি নির্দিষ্ট করি, এটি শুরু হয়, টপোলজিতে একটি তৃতীয় নোড যোগ করে এবং অবিলম্বে আবার দুটি নোড থাকে। লগটি লাইনে "ClassNotFoundException: model.SalesPoint" দেখায়

SalesPoint sp=salesPointCache.get(spId);

StackOverflow বলে যে ত্রুটির কারণ হল CentOs সার্ভারে কোন কাস্টম SalesPoint ক্লাস নেই। আমরা পৌঁছে গেছি। কীভাবে "আপনাকে প্রতিটি নোডে আপনার জাভা কোড ম্যানুয়ালি স্থাপন করতে হবে না" ইত্যাদি? অথবা "আপনার জাভা কোড" সেলসপয়েন্ট সম্পর্কে নয়?

আমি সম্ভবত কিছু মিস করেছি - আমি আবার অনুসন্ধান শুরু, পড়া এবং আবার অনুসন্ধান. কিছুক্ষণ পরে, আমি অনুভব করি যে আমি টপিকের সবকিছু পড়েছি, আর নতুন কিছু নেই। আমি যখন অনুসন্ধান করছিলাম, আমি কিছু আকর্ষণীয় মন্তব্য পেয়েছি।

ভ্যালেন্টিন কুলিচেঙ্কো, গ্রিডগেইন সিস্টেমের প্রধান স্থপতি, উত্তর স্ট্যাকওভারফ্লোতে, এপ্রিল 2016:

Model classes are not peer deployed, but you can use withKeepBinary() flag
on the cache and query BinaryObjects. This way you will avoid deserialization
on the server side and will not get ClassNotFoundException.

আরেকটি প্রামাণিক মতামত: ডেনিস মাগদা, পণ্য ব্যবস্থাপনা পরিচালক, গ্রিডগেইন সিস্টেমস।

হাবরে নিবন্ধ মাইক্রো সার্ভিস সম্পর্কে ডেনিস ম্যাগদার তিনটি নিবন্ধের উল্লেখ: মাইক্রো সার্ভিসেস পার্ট I, মাইক্রোসার্ভিসেস পার্ট II, মাইক্রোসার্ভিসেস পার্ট III 2016-2017। দ্বিতীয় নিবন্ধে, ডেনিস MaintenanceServiceNodeStartup.jar এর মাধ্যমে একটি ক্লাস্টার নোড শুরু করার পরামর্শ দিয়েছেন। আপনি xml কনফিগারেশন এবং কমান্ড লাইনের সাথে লঞ্চ ব্যবহার করতে পারেন, তবে তারপরে আপনাকে প্রতিটি স্থাপন করা ক্লাস্টার নোডে ম্যানুয়ালি কাস্টম ক্লাস রাখতে হবে:

That's it. Start (..)  node using MaintenanceServiceNodeStartup file or pass
maintenance-service-node-config.xml to Apache Ignite's ignite.sh/bat scripts.
If you prefer the latter then make sure to build a jar file that will contain
all the classes from java/app/common and java/services/maintenance directories.
The jar has to be added to the classpath of every node where the service
might be deployed.

প্রকৃতপক্ষে, এটা. এখানে দেখা যাচ্ছে, কেন, এই রহস্যময় বাইনারি ফরম্যাট!

3. একক জার

ডেনিস আমার ব্যক্তিগত রেটিংয়ে প্রথম স্থান অধিকার করেছে, IMHO সব থেকে উপলভ্য টিউটোরিয়াল। তার মধ্যে মাইক্রোসার্ভিস উদাহরণ Github ক্লাস্টার নোড সেট আপ করার একটি সম্পূর্ণ প্রস্তুত-তৈরি উদাহরণ রয়েছে, যা কোনো অতিরিক্ত স্কোয়াটিং ছাড়াই কম্পাইল করে।

আমি এটি একইভাবে করি এবং একটি একক জার ফাইল পাই যা কমান্ড লাইন আর্গুমেন্টের উপর নির্ভর করে "ডেটা নোড" বা "ক্লায়েন্ট নোড" চালু করে। সমাবেশ শুরু হয় এবং কাজ করে। জিরো ডিপ্লয়মেন্ট পরাজিত হয়েছে।

মেগাবাইট টেস্ট ডেটা থেকে দশ গিগাবাইট যুদ্ধের ডেটাতে রূপান্তর দেখায় যে বাইনারি ফর্ম্যাটটি একটি কারণে বিদ্যমান। নোডগুলিতে মেমরি খরচ অপ্টিমাইজ করা প্রয়োজন ছিল, এবং এখানেই BinaryObject খুব দরকারী হতে দেখা গেছে।

4। উপসংহার

Apache Ignite প্রজেক্ট ডকুমেন্টেশনের অস্পষ্টতা সম্পর্কে প্রথম তিরস্কারের সম্মুখীন হওয়াটা ন্যায্য বলে প্রমাণিত হয়েছে; 2016 সাল থেকে সামান্য পরিবর্তন হয়েছে। একটি ওয়েবসাইট এবং/অথবা সংগ্রহস্থলের উপর ভিত্তি করে একটি কার্যকরী প্রোটোটাইপ একত্রিত করা একজন শিক্ষানবিশের পক্ষে সহজ নয়।

সম্পন্ন কাজের ফলাফলের উপর ভিত্তি করে, ধারণা ছিল যে জিরো ডিপ্লয়মেন্ট কাজ করে, তবে শুধুমাত্র সিস্টেম স্তরে। এইরকম কিছু: BinaryObject কাস্টম ক্লাসের সাথে কাজ করতে দূরবর্তী ক্লাস্টার নোড শেখাতে ব্যবহৃত হয়; জিরো ডিপ্লয়মেন্ট - অভ্যন্তরীণ প্রক্রিয়া
অ্যাপাচি নিজেই ইগ্নিট করে এবং ক্লাস্টার জুড়ে সিস্টেম অবজেক্ট বিতরণ করে।

আমি আশা করি আমার অভিজ্ঞতা নতুন Apache Ignite ব্যবহারকারীদের কাজে লাগবে।

উত্স: www.habr.com