একটি Kubernetes ক্লাস্টারে ডেটা সংরক্ষণ করা হচ্ছে

কুবারনেটস ক্লাস্টারে চলমান অ্যাপ্লিকেশনগুলির জন্য ডেটা স্টোরেজ কনফিগার করার বিভিন্ন উপায় রয়েছে। তাদের মধ্যে কিছু ইতিমধ্যে পুরানো, অন্যরা বেশ সম্প্রতি হাজির। এই নিবন্ধে, আমরা স্টোরেজ সিস্টেমগুলিকে সংযুক্ত করার জন্য তিনটি বিকল্পের ধারণাটি দেখব, যার মধ্যে সাম্প্রতিকতমটি রয়েছে - কনটেইনার স্টোরেজ ইন্টারফেসের মাধ্যমে সংযোগ করা।

পদ্ধতি 1: পড ম্যানিফেস্টে PV উল্লেখ করুন

কুবারনেটস ক্লাস্টারে একটি পড বর্ণনা করে একটি সাধারণ ম্যানিফেস্ট:

ম্যানিফেস্টের অংশগুলি বর্ণনা করে যে কোন ভলিউম সংযুক্ত এবং কোথায় রঙে হাইলাইট করা হয়েছে৷

অধ্যায় ভলিউম মাউন্ট মাউন্ট পয়েন্টগুলি নির্দেশ করুন (মাউন্টপাথ) - কন্টেইনারের ভিতরে কোন ডিরেক্টরিতে স্থায়ী ভলিউম মাউন্ট করা হবে, সেইসাথে ভলিউমের নামও।

অধ্যায় x পডে ব্যবহৃত সমস্ত ভলিউম তালিকাভুক্ত করে। প্রতিটি ভলিউমের নাম, সেইসাথে প্রকার (আমাদের ক্ষেত্রে: awsElasticBlockStore) এবং সংযোগ পরামিতি উল্লেখ করুন। ম্যানিফেস্টে কোন পরামিতিগুলি তালিকাভুক্ত করা হয়েছে তা ভলিউমের প্রকারের উপর নির্ভর করে।

একই ভলিউম একাধিক পড পাত্রে একযোগে মাউন্ট করা যেতে পারে. এইভাবে, বিভিন্ন অ্যাপ্লিকেশন প্রক্রিয়া একই ডেটা অ্যাক্সেস করতে পারে।

এই সংযোগ পদ্ধতিটি খুব শুরুতে আবিষ্কৃত হয়েছিল, যখন কুবারনেটস তার শৈশবকালে ছিল এবং আজ পদ্ধতিটি পুরানো।

এটি ব্যবহার করার সময় বেশ কয়েকটি সমস্যা রয়েছে:

1. সমস্ত ভলিউম ম্যানুয়ালি তৈরি করতে হবে; কুবারনেটস আমাদের জন্য কিছু তৈরি করতে পারে না;
2. প্রতিটি ভলিউমের জন্য অ্যাক্সেস প্যারামিটারগুলি অনন্য, এবং সেগুলি ভলিউম ব্যবহার করে এমন সমস্ত পডের ম্যানিফেস্টে নির্দিষ্ট করা আবশ্যক;
3. স্টোরেজ সিস্টেম পরিবর্তন করতে (উদাহরণস্বরূপ, AWS থেকে Google ক্লাউডে যান), আপনাকে সমস্ত ম্যানিফেস্টে সেটিংস এবং মাউন্ট করা ভলিউমের ধরন পরিবর্তন করতে হবে।

এই সব খুব অসুবিধাজনক, তাই বাস্তবে এই পদ্ধতিটি শুধুমাত্র কিছু বিশেষ ধরনের ভলিউম সংযোগ করতে ব্যবহৃত হয়: configMap, secret, emptyDir, hostPath:

• configMap এবং secret হল পরিষেবার ভলিউম যা আপনাকে কন্টেইনারে থাকা Kubernetes ম্যানিফেস্ট থেকে ফাইলগুলির সাথে একটি ভলিউম তৈরি করতে দেয়।

• emptyDir হল একটি অস্থায়ী ভলিউম, শুধুমাত্র পডের জীবনকালের জন্য তৈরি করা হয়েছে। অস্থায়ী ডেটা পরীক্ষা বা সংরক্ষণের জন্য ব্যবহার করা সুবিধাজনক। যখন একটি পড মুছে ফেলা হয়, তখন emptyDir ভলিউমও মুছে ফেলা হয় এবং সমস্ত ডেটা হারিয়ে যায়।

• hostPath - আপনাকে /etc/kubernetes সহ অ্যাপ্লিকেশন সহ কন্টেইনারের ভিতরে যে সার্ভারে অ্যাপ্লিকেশন চলছে তার স্থানীয় ডিস্কে যেকোনো ডিরেক্টরি মাউন্ট করার অনুমতি দেয়। এটি একটি অনিরাপদ বৈশিষ্ট্য, তাই নিরাপত্তা নীতিগুলি সাধারণত এই ধরনের ভলিউম ব্যবহার নিষিদ্ধ করে৷ অন্যথায়, একজন আক্রমণকারীর অ্যাপ্লিকেশন তার কন্টেইনারের ভিতরে HTC Kubernetes ডিরেক্টরি মাউন্ট করতে এবং সমস্ত ক্লাস্টার শংসাপত্র চুরি করতে সক্ষম হবে৷ সাধারণত, hostPath ভলিউম শুধুমাত্র সিস্টেম অ্যাপ্লিকেশন দ্বারা ব্যবহার করার অনুমতি দেওয়া হয় যা kube-সিস্টেম নামস্থানে চলে।

স্টোরেজ সিস্টেম যা কুবারনেটস বাক্সের বাইরে কাজ করে ডকুমেন্টেশন দেওয়া হয়.

পদ্ধতি 2. SC/PVC/PV চুলার সাথে সংযোগ

একটি বিকল্প সংযোগ পদ্ধতি হল স্টোরেজ ক্লাস, PersistentVolumeClaim, PersistentVolume এর ধারণা।

স্টোরেজ ক্লাস ডেটা স্টোরেজ সিস্টেমে সংযোগ পরামিতি সঞ্চয় করে।

ক্রমাগত ভলিউম দাবি আবেদনের প্রয়োজনের প্রয়োজনীয়তা বর্ণনা করে।
স্থায়ী ভলিউম অ্যাক্সেস প্যারামিটার এবং ভলিউম স্থিতি সঞ্চয় করে।

ধারণাটির সারমর্ম: পড ম্যানিফেস্টে তারা PersistentVolumeClaim টাইপের একটি ভলিউম নির্দেশ করে এবং claimName প্যারামিটারে এই সত্তার নাম নির্দেশ করে।

PersistentVolumeClaim ম্যানিফেস্ট অ্যাপ্লিকেশনটির জন্য প্রয়োজনীয় ডেটার ভলিউমের প্রয়োজনীয়তা বর্ণনা করে। সহ:

• ডিস্কের আকার;
• অ্যাক্সেস পদ্ধতি: ReadWriteOnce বা ReadWriteMany;
• স্টোরেজ ক্লাসের লিঙ্ক - যে ডেটা স্টোরেজ সিস্টেমে আমরা ভলিউম তৈরি করতে চাই।

স্টোরেজ ক্লাস ম্যানিফেস্ট স্টোরেজ সিস্টেমের সাথে সংযোগের ধরন এবং পরামিতি সংরক্ষণ করে। কিউবেলেট এর নোডে ভলিউম মাউন্ট করার জন্য তাদের প্রয়োজন।

Persistent Volume manifests একটি নির্দিষ্ট ভলিউমের (ভলিউম আইডি, পাথ, ইত্যাদি) জন্য স্টোরেজ ক্লাস এবং অ্যাক্সেস প্যারামিটার নির্দেশ করে।

একটি PVC তৈরি করার সময়, Kubernetes কোন আকারের ভলিউম এবং কোন স্টোরেজ ক্লাস প্রয়োজন তা দেখে এবং একটি বিনামূল্যের Persistent Volume নির্বাচন করে।

যদি এই ধরনের PV পাওয়া না যায়, Kubernetes একটি বিশেষ প্রোগ্রাম চালু করতে পারে - Provisioner (এর নাম স্টোরেজ ক্লাসে নির্দেশিত)। এই প্রোগ্রামটি স্টোরেজ সিস্টেমের সাথে সংযোগ করে, প্রয়োজনীয় আকারের একটি ভলিউম তৈরি করে, একটি শনাক্তকারী গ্রহণ করে এবং Kubernetes ক্লাস্টারে একটি PersistentVolume ম্যানিফেস্ট তৈরি করে, যা PersistentVolumeClaim-এর সাথে যুক্ত।

এই সমস্ত বিমূর্ততা আপনাকে অ্যাপ্লিকেশন ম্যানিফেস্ট স্তর থেকে প্রশাসন স্তর পর্যন্ত অ্যাপ্লিকেশনটি কোন স্টোরেজ সিস্টেমের সাথে কাজ করছে সে সম্পর্কে তথ্য সরাতে দেয়৷

ডেটা স্টোরেজ সিস্টেমের সাথে সংযোগ করার জন্য সমস্ত পরামিতি স্টোরেজ ক্লাসে অবস্থিত, যার জন্য ক্লাস্টার প্রশাসক দায়ী। AWS থেকে Google ক্লাউডে যাওয়ার সময় আপনাকে যা করতে হবে তা হল অ্যাপ্লিকেশন ম্যানিফেস্টে স্টোরেজ ক্লাসের নাম পরিবর্তন করে PVC করা। Provisioner প্রোগ্রাম ব্যবহার করে স্বয়ংক্রিয়ভাবে ক্লাস্টারে ডেটা স্টোরেজের জন্য Persistance ভলিউম তৈরি করা হবে।

পদ্ধতি 3. কন্টেইনার স্টোরেজ ইন্টারফেস

বিভিন্ন স্টোরেজ সিস্টেমের সাথে ইন্টারঅ্যাক্ট করে এমন সমস্ত কোড কুবারনেটস কোরের অংশ। বাগ ফিক্সের রিলিজ বা নতুন কার্যকারিতা নতুন রিলিজের সাথে আবদ্ধ; কুবারনেটসের সমস্ত সমর্থিত সংস্করণের জন্য কোড পরিবর্তন করতে হবে। এই সব বজায় রাখা এবং নতুন কার্যকারিতা যোগ করা কঠিন.

সমস্যা সমাধানের জন্য, ক্লাউড ফাউন্ড্রি, কুবারনেটস, মেসোস এবং ডকারের ডেভেলপাররা কন্টেইনার স্টোরেজ ইন্টারফেস (সিএসআই) তৈরি করেছেন - একটি সাধারণ ইউনিফাইড ইন্টারফেস যা কন্টেইনার ম্যানেজমেন্ট সিস্টেমের মিথস্ক্রিয়া বর্ণনা করে এবং একটি বিশেষ ড্রাইভার (সিএসআই ড্রাইভার) যা একটি নির্দিষ্ট সাথে কাজ করে। সংরক্ষণ ব্যবস্থা. স্টোরেজ সিস্টেমের সাথে মিথস্ক্রিয়া করার জন্য সমস্ত কোড কুবারনেটস কোর থেকে একটি পৃথক সিস্টেমে সরানো হয়েছিল।

কন্টেইনার স্টোরেজ ইন্টারফেস ডকুমেন্টেশন.

সাধারণত, CSI ড্রাইভার দুটি উপাদান নিয়ে গঠিত: নোড প্লাগইন এবং কন্ট্রোলার প্লাগইন।

নোড প্লাগইন প্রতিটি নোডে চলে এবং ভলিউম মাউন্ট করা এবং তাদের উপর ক্রিয়াকলাপ সম্পাদন করার জন্য দায়ী। কন্ট্রোলার প্লাগইন স্টোরেজ সিস্টেমের সাথে ইন্টারঅ্যাক্ট করে: ভলিউম তৈরি করে বা মুছে দেয়, অ্যাক্সেসের অধিকার বরাদ্দ করে ইত্যাদি।

আপাতত, পুরানো ড্রাইভারগুলি Kubernetes কার্নেলে থাকে, কিন্তু সেগুলিকে আর ব্যবহার করার পরামর্শ দেওয়া হয় না এবং প্রত্যেককে বিশেষভাবে CSI ড্রাইভার ইনস্টল করার পরামর্শ দেওয়া হয় যে সিস্টেমের সাথে তারা কাজ করবে।

উদ্ভাবনটি তাদের ভয় দেখাতে পারে যারা ইতিমধ্যে স্টোরেজ ক্লাসের মাধ্যমে ডেটা স্টোরেজ সেট আপ করতে অভ্যস্ত, তবে বাস্তবে ভয়ানক কিছুই ঘটেনি। প্রোগ্রামারদের জন্য, আসলে কিছুই পরিবর্তন হয় না - তারা শুধুমাত্র স্টোরেজ ক্লাস নাম দিয়ে কাজ করেছে এবং তা করতে থাকবে। প্রশাসকদের জন্য, হেলম চার্ট ইনস্টলেশন যোগ করা হয়েছে এবং সেটিংসের কাঠামো পরিবর্তন করা হয়েছে। যদি আগে সেটিংস সরাসরি স্টোরেজ ক্লাসে প্রবেশ করানো হয়, এখন সেগুলি প্রথমে হেলম চার্টে এবং তারপর স্টোরেজ ক্লাসে সেট করতে হবে। আপনি যদি এটি দেখেন তবে খারাপ কিছু ঘটেনি।

CSI ড্রাইভার ব্যবহার করে Ceph স্টোরেজ সিস্টেম সংযোগে স্যুইচ করে আপনি যে সুবিধাগুলি পেতে পারেন তা দেখার জন্য আসুন একটি উদাহরণ নেওয়া যাক।

Ceph এর সাথে কাজ করার সময়, CSI প্লাগইন বিল্ট-ইন ড্রাইভারের চেয়ে স্টোরেজ সিস্টেমের সাথে কাজ করার জন্য আরও বিকল্প প্রদান করে।

1. ডায়নামিক ডিস্ক তৈরি। সাধারণত RBD ডিস্কগুলি শুধুমাত্র RWO মোডে ব্যবহার করা হয়, কিন্তু Ceph-এর জন্য CSI তাদের RWX মোডে ব্যবহার করার অনুমতি দেয়। বিভিন্ন নোডের বেশ কয়েকটি পড তাদের নোডগুলিতে একই RDB ডিস্ক মাউন্ট করতে পারে এবং সমান্তরালভাবে তাদের সাথে কাজ করতে পারে। ন্যায্য হতে, সবকিছু এত উজ্জ্বল নয় - এই ডিস্কটি শুধুমাত্র একটি ব্লক ডিভাইস হিসাবে সংযুক্ত করা যেতে পারে, যার মানে আপনাকে একাধিক অ্যাক্সেস মোডে এটির সাথে কাজ করার জন্য অ্যাপ্লিকেশনটিকে মানিয়ে নিতে হবে।
2. স্ন্যাপশট তৈরি করা হচ্ছে। একটি Kubernetes ক্লাস্টারে, আপনি একটি স্ন্যাপশট তৈরি করার প্রয়োজনীয়তার সাথে একটি ম্যানিফেস্ট তৈরি করতে পারেন। CSI প্লাগইন এটি দেখতে পাবে এবং ডিস্ক থেকে একটি স্ন্যাপশট নেবে। এটির উপর ভিত্তি করে, আপনি একটি ব্যাকআপ বা PersistentVolume এর একটি অনুলিপি তৈরি করতে পারেন।
3. ডিস্কের আকার বৃদ্ধি একটি Kubernetes ক্লাস্টারে স্টোরেজ এবং Persistent Volume-এ।
4. কোটা। Kubernetes-এ নির্মিত CephFS ড্রাইভারগুলি কোটা সমর্থন করে না, কিন্তু সাম্প্রতিক Ceph Nautilus সহ নতুন CSI প্লাগইন CephFS পার্টিশনে কোটা সক্রিয় করতে পারে।
5. মেট্রিকি সিএসআই প্লাগইন প্রমিথিউসকে বিভিন্ন ধরনের মেট্রিক্স প্রদান করতে পারে যে কোন ভলিউমগুলি সংযুক্ত আছে, কোন যোগাযোগ ঘটছে ইত্যাদি।
6. টপোলজি সচেতন। ক্লাস্টারটি ভৌগলিকভাবে কীভাবে বিতরণ করা হয় তা আপনাকে ম্যানিফেস্টে নির্দিষ্ট করতে দেয় এবং আমস্টারডামে অবস্থিত একটি স্টোরেজ সিস্টেমকে লন্ডনে চলমান পডের সাথে সংযুক্ত করা এড়াতে দেয়।

সিএসআই-এর মাধ্যমে একটি কুবারনেটস ক্লাস্টারের সাথে Ceph কীভাবে সংযোগ করবেন, দেখুন স্লার্ম সান্ধ্য বিদ্যালয়ের বক্তৃতার ব্যবহারিক অংশে. এছাড়াও আপনি সদস্যতা নিতে পারেন Ceph ভিডিও কোর্স, যা 15 অক্টোবর চালু হবে৷

নিবন্ধটির লেখক: সের্গেই বোন্ডারেভ, সাউথব্রিজে প্র্যাকটিস করছেন আর্কিটেক্ট, সার্টিফাইড কুবারনেটস অ্যাডমিনিস্ট্রেটর, কুবেস্প্রে ডেভেলপারদের একজন।

একটি ছোট্ট পোস্ট স্ক্রিপ্টাম বিজ্ঞাপনের জন্য নয়, সুবিধার জন্য...

পিএস সের্গেই বোন্ডারেভ দুটি নিবিড় কোর্সে নেতৃত্ব দেন: আপডেট করা হয়েছে কুবারনেটস বেস 28-30 সেপ্টেম্বর এবং অগ্রসর কুবারনেটস মেগা অক্টোবর 14-16।

উত্স: www.habr.com