ক্লোস্টার → সহজ ওটিপি ক্লাস্টার ব্যবস্থাপনা

প্রায় প্রতিটি সফল ব্যবসায়িক অ্যাপ্লিকেশন শীঘ্র বা পরে একটি পর্যায়ে প্রবেশ করে যেখানে অনুভূমিক স্কেলিং প্রয়োজন। অনেক ক্ষেত্রে, আপনি সহজভাবে একটি নতুন উদাহরণ শুরু করতে পারেন এবং লোড গড় কমাতে পারেন। তবে এমন কিছু তুচ্ছ ঘটনাও রয়েছে যেখানে আমাদের নিশ্চিত করতে হবে যে বিভিন্ন নোড একে অপরের সম্পর্কে জানে এবং সাবধানে কাজের চাপ বিতরণ করে।

এটা এত ভাগ্যবান যে পরিণত erlang, যা আমরা এর মনোরম সিনট্যাক্স এবং এর চারপাশে হাইপের জন্য বেছে নিয়েছি, এর একটি প্রথম-শ্রেণী রয়েছে বিতরণ সিস্টেমের জন্য সমর্থন. তাত্ত্বিকভাবে, এটি সম্পূর্ণ তুচ্ছ শোনাচ্ছে:

বিভিন্ন নোডের প্রসেসের মধ্যে, সেইসাথে লিঙ্ক এবং মনিটরের মধ্যে বার্তা পাস হচ্ছে, স্বচ্ছ […]

অনুশীলনে, সবকিছু একটু বেশি জটিল। বিতরণ করা হয়েছে erlang বিকশিত হয়েছিল যখন "কন্টেইনার" মানে শিপিংয়ের জন্য একটি বড় লোহার বাক্স, এবং "ডকার" ছিল লংশোরম্যানের প্রতিশব্দ। ভিতরে IP4 অনেকগুলি অব্যক্ত ঠিকানা ছিল, নেটওয়ার্ক ব্রেকগুলি সাধারণত ইঁদুরের তারের মাধ্যমে চিবানোর কারণে ঘটেছিল এবং উত্পাদন ব্যবস্থার গড় আপটাইম কয়েক দশকে পরিমাপ করা হয়েছিল।

এখন আমরা সকলেই অবিশ্বাস্যভাবে স্বয়ংসম্পূর্ণ, প্যাকেজড এবং চলমান বিতরণ erlang একটি পরিবেশে যেখানে গতিশীল আইপি ঠিকানাগুলি দুর্দান্ত র্যান্ডমনেসের নীতিতে হস্তান্তর করা হয় এবং নোডগুলি উপস্থিত হতে পারে এবং শিডিউলারের বাম গোড়ালিতে অদৃশ্য হয়ে যেতে পারে। বয়লারপ্লেট কোডের গাদা এড়াতে প্রতিটি প্রকল্প চলমান একটি বিতরণ erlang, প্রতিকূল পরিবেশ মোকাবেলা করতে, সাহায্য প্রয়োজন.

মন্তব্য: আমি সচেতন যে আছে libcluster. এটি সত্যিই দুর্দান্ত, এটিতে এক হাজারেরও বেশি তারা রয়েছে, লেখক সম্প্রদায়ের মধ্যে বিখ্যাত এবং এই সমস্ত কিছু৷ একটি ক্লাস্টার তৈরি এবং বজায় রাখার জন্য এই প্যাকেজের দেওয়া পদ্ধতিগুলি যদি আপনার জন্য যথেষ্ট হয়, আমি আপনার জন্য খুশি। দুর্ভাগ্যক্রমে, আমার আরও অনেক কিছু দরকার। আমি সেটআপটি বিস্তারিতভাবে নিয়ন্ত্রণ করতে চাই এবং ক্লাস্টার পুনর্গঠনের থিয়েটারে বাইরের দর্শক হতে চাই না।

প্রয়োজনীয়তা

আমার ব্যক্তিগতভাবে যা প্রয়োজন ছিল তা হল একটি লাইব্রেরি যা ক্লাস্টারের পরিচালনার দায়িত্ব নেবে এবং নিম্নলিখিত বৈশিষ্ট্যগুলি থাকবে:

• নোডের একটি হার্ড-কোডেড তালিকা এবং পরিষেবার মাধ্যমে গতিশীল আবিষ্কার উভয়ের সাথে স্বচ্ছ কাজ erlang;
• প্রতিটি টপোলজি পরিবর্তনের জন্য সম্পূর্ণ কার্যকরী কলব্যাক (সেখানে নোড, এখানে নোড, নেটওয়ার্ক অস্থিরতা, বিভাজন);
• দীর্ঘ এবং সংক্ষিপ্ত নাম সহ একটি ক্লাস্টার চালু করার জন্য স্বচ্ছ ইন্টারফেস :nonode@nohost;
• অবকাঠামো কোড লিখতে ছাড়াই ডকার সমর্থন বাক্সের বাইরে।

পরেরটির মানে হল যে আমি স্থানীয়ভাবে অ্যাপ্লিকেশনটি পরীক্ষা করার পরে :nonode@nohost, অথবা ব্যবহার করে একটি কৃত্রিমভাবে বিতরণ করা পরিবেশে test_cluster_task, আমি শুধু দৌড়াতে চাই docker-compose up --scale my_app=3 এবং দেখুন কিভাবে এটি কোন কোড পরিবর্তন ছাড়াই ডকারে তিনটি উদাহরণ কার্যকর করে। আমি যেমন নির্ভরশীল অ্যাপ্লিকেশন চাই mnesia - যখন টপোলজি পরিবর্তিত হয়, পর্দার আড়ালে তারা অ্যাপ্লিকেশন থেকে কোনো অতিরিক্ত কিক ছাড়াই ক্লাস্টার লাইভ পুনর্নির্মাণ করে।

মঠ একটি ক্লাস্টার সমর্থন থেকে কফি তৈরি সবকিছু করতে সক্ষম একটি লাইব্রেরি হতে উদ্দেশ্য ছিল না. এটি একটি রূপালী বুলেট নয় যার লক্ষ্য সমস্ত সম্ভাব্য কেস কভার করা বা একাডেমিকভাবে সম্পূর্ণ সমাধান হতে পারে যে অর্থে তাত্ত্বিকরা CS এই পদে রাখুন। এই লাইব্রেরিটি একটি খুব স্পষ্ট উদ্দেশ্য পরিবেশন করার জন্য ডিজাইন করা হয়েছে, তবে এটির কাজটি খুব বড় নয়। এই লক্ষ্য হবে স্থানীয় উন্নয়ন পরিবেশ এবং প্রতিকূল পাত্রে পূর্ণ বিতরণকৃত ইলাস্টিক পরিবেশের মধ্যে সম্পূর্ণ স্বচ্ছতা প্রদান করা।

বেছে নেওয়া পদ্ধতি

মঠ একটি অ্যাপ্লিকেশন হিসাবে চালানোর উদ্দেশ্যে করা হয়েছে, যদিও উন্নত ব্যবহারকারীরা সরাসরি চালানোর মাধ্যমে ক্লাস্টারের সমাবেশ এবং রক্ষণাবেক্ষণের সাথে কাজ করতে পারে Cloister.Manager লক্ষ্য অ্যাপ্লিকেশনের সুপারভাইজার গাছে।

একটি অ্যাপ্লিকেশন হিসাবে চালানো হলে, লাইব্রেরি নির্ভর করে config, যা থেকে এটি নিম্নলিখিত মৌলিক মানগুলি পড়ে:

config :cloister,
  otp_app: :my_app,
  sentry: :"cloister.local", # or ~w|n1@foo n2@bar|a
  consensus: 3,              # number of nodes to consider
                             #    the cluster is up
  listener: MyApp.Listener   # listener to be called when
                             #    the ring has changed

উপরের প্যারামিটারগুলি আক্ষরিক অর্থে নিম্নলিখিতগুলি বোঝায়: মঠ OTP অ্যাপ্লিকেশনের জন্য ব্যবহৃত হয় :my_app, ব্যবহারসমূহ erlang পরিষেবা আবিষ্কার নোড সংযোগ করতে, অন্তত তিনটি, এবং MyApp.Listener মডিউল (বাস্তবায়ন @behaviour Cloister.Listener) টপোলজি পরিবর্তন সম্পর্কে বিজ্ঞপ্তি পেতে কনফিগার করা হয়েছে। সম্পূর্ণ কনফিগারেশনের একটি বিশদ বিবরণ পাওয়া যাবে ডকুমেন্টেশন.

এই কনফিগারেশন, অ্যাপ্লিকেশন সঙ্গে মঠ হতে হবে পর্যায়ক্রমে চালু করুন, ঐক্যমত না পৌঁছানো পর্যন্ত মূল অ্যাপ্লিকেশন শুরু করার প্রক্রিয়াটিকে বিলম্বিত করা (উপরের উদাহরণের মতো তিনটি নোড সংযুক্ত এবং সংযুক্ত রয়েছে।) এটি মূল অ্যাপ্লিকেশনটিকে অনুমান করার সুযোগ দেয় যে যখন এটি শুরু হয়, ক্লাস্টারটি ইতিমধ্যেই উপলব্ধ। যখনই টপোলজি পরিবর্তিত হয় (এগুলির মধ্যে অনেকগুলি থাকবে, কারণ নোডগুলি সম্পূর্ণরূপে সিঙ্ক্রোনাসভাবে শুরু হয় না), হ্যান্ডলারকে ডাকা হবে MyApp.Listener.on_state_change/2. আমরা যখন একটি স্ট্যাটাস মেসেজ পাই তখন বেশিরভাগ সময় আমরা একটি অ্যাকশন করি %Cloister.Monitor{status: :up}, যার অর্থ: "হ্যালো, ক্লাস্টার একত্রিত হয়েছে।"

বেশিরভাগ ক্ষেত্রে, ইনস্টলেশন consensus: 3 সর্বোত্তম কারণ আমরা আরো নোড সংযোগ করার আশা করলেও, কলব্যাক হবে status: :rehashing → status: :up নতুন যোগ করা বা অপসারণ করা কোনো নোডে।

বিকাশ মোডে শুরু করার সময়, আপনাকে কেবল সেট করতে হবে consensus: 1 и মঠ যখন তিনি দেখেন তখন আনন্দের সাথে ক্লাস্টার সমাবেশের জন্য অপেক্ষা এড়িয়ে যাবেন :nonode@nohostঅথবা :node@hostঅথবা :[email protected] - নোডটি কীভাবে কনফিগার করা হয়েছিল তার উপর নির্ভর করে (:none | :shortnames | :longnames).

বিতরণ করা অ্যাপ্লিকেশন ব্যবস্থাপনা

ডিস্ট্রিবিউটেড অ্যাপ্লিকেশানগুলি শূন্যে নয় সাধারণত বিতরণ নির্ভরতা অন্তর্ভুক্ত করে, যেমন mnesia. একই কলব্যাক থেকে তাদের পুনরায় কনফিগারেশন পরিচালনা করা আমাদের পক্ষে সহজ on_state_change/2. এখানে, উদাহরণস্বরূপ, কিভাবে পুনরায় কনফিগার করতে হয় তার একটি বিশদ বিবরণ রয়েছে mnesia ফ্লাই ইন ডকুমেন্টেশন মঠ.

ব্যবহারের প্রধান সুবিধা মঠ এটি একটি টপোলজি পরিবর্তনের পরে ক্লাস্টার পুনর্নির্মাণের জন্য সমস্ত প্রয়োজনীয় ক্রিয়াকলাপ সম্পাদন করে ফণা অধীনে. আমরা আইপি ঠিকানা এবং সেইজন্য নোডের নামগুলি আগে থেকেই জানি কিনা বা সেগুলি গতিশীলভাবে বরাদ্দ/পরিবর্তিত হয়েছে কিনা তা নির্বিশেষে অ্যাপ্লিকেশনটি কেবল ইতিমধ্যেই প্রস্তুত বিতরণ করা পরিবেশে চলে, সমস্ত নোড সংযুক্ত রয়েছে। এর জন্য একেবারেই কোনো বিশেষ ডকার কনফিগারেশন সেটিংসের প্রয়োজন নেই এবং একটি অ্যাপ্লিকেশন ডেভেলপারের দৃষ্টিকোণ থেকে, বিতরণ করা পরিবেশে চালানো বা স্থানীয় পরিবেশে চালানোর মধ্যে কোনো পার্থক্য নেই। :nonode@nohost. আপনি এই সম্পর্কে আরও পড়তে পারেন ডকুমেন্টেশন.

যদিও টপোলজি পরিবর্তনের জটিল হ্যান্ডলিং একটি কাস্টম বাস্তবায়নের মাধ্যমে সম্ভব MyApp.Listener, সর্বদা প্রান্তের ক্ষেত্রে হতে পারে যেখানে এই লাইব্রেরি সীমাবদ্ধতা এবং কনফিগারেশন পক্ষপাতগুলি বাস্তবায়নের ভিত্তি হিসাবে প্রমাণিত হয়। এটা ঠিক আছে, শুধু উপরোক্ত নিন libcluster, যা আরও সাধারণ-উদ্দেশ্য, বা এমনকি নিম্ন-স্তরের ক্লাস্টার নিজে পরিচালনা করুন। এই কোড লাইব্রেরির লক্ষ্য প্রতিটি সম্ভাব্য দৃশ্যকে কভার করা নয়, তবে অপ্রয়োজনীয় ব্যথা এবং কষ্টকর কপি-পেস্ট ছাড়াই সবচেয়ে সাধারণ দৃশ্য ব্যবহার করা।

দ্রষ্টব্য: এই মুহুর্তে মূল শব্দটি ছিল "হ্যাপি ক্লাস্টারিং!", এবং ইয়ানডেক্স, যার সাথে আমি অনুবাদ করি (আমাকে নিজেকে অভিধানে যেতে হবে না), আমাকে "হ্যাপি ক্লাস্টারিং!" বিকল্পটি অফার করেছিল। বিশেষ করে বর্তমান ভূ-রাজনৈতিক পরিস্থিতির আলোকে এর থেকে ভালো অনুবাদ কল্পনা করা সম্ভবত অসম্ভব।

উত্স: www.habr.com