LINSTOR স্টোরেজ এবং OpenNebula এর সাথে এর একীকরণ

এতদিন আগে, লিনবিটের ছেলেরা তাদের নতুন এসডিএস সমাধান উপস্থাপন করেছে - লিনস্টর। এটি প্রমাণিত প্রযুক্তির উপর ভিত্তি করে সম্পূর্ণ বিনামূল্যের স্টোরেজ: DRBD, LVM, ZFS। লিনস্টর সরলতা এবং ভাল-পরিকল্পিত আর্কিটেকচারকে একত্রিত করে, যা আপনাকে স্থিতিশীলতা এবং বেশ চিত্তাকর্ষক ফলাফল অর্জন করতে দেয়।

আজ আমি এটি সম্পর্কে আরও কিছু কথা বলতে চাই এবং দেখাতে চাই যে এটি linstor_un ব্যবহার করে OpenNebula-এর সাথে কতটা সহজে একীভূত করা যায় - একটি নতুন ড্রাইভার যা আমি এই উদ্দেশ্যে বিশেষভাবে তৈরি করেছি।

OpenNebula-এর সংমিশ্রণে Linstor আপনাকে একটি দ্রুত এবং নির্ভরযোগ্য ক্লাউড তৈরি করতে দেয় যা আপনার নিজস্ব অবকাঠামোতে সহজেই স্থাপন করা যেতে পারে।

লিনস্টর আর্কিটেকচার

Linstor একটি ফাইল সিস্টেম বা ব্লক স্টোরেজ নয়, Linstor হল একটি অর্কেস্ট্রেটর যা LVM বা ZFS-এ ভলিউম তৈরিকে স্বয়ংক্রিয় করতে এবং DRBD9 ব্যবহার করে তাদের প্রতিলিপি করার জন্য একটি বিমূর্ত স্তর প্রদান করে।

ব্রেকিং স্টেরিওটাইপস

কিন্তু অপেক্ষা করুন, ডিআরবিডি? - কেন এটি স্বয়ংক্রিয়ভাবে এবং এটি কীভাবে কাজ করতে পারে?

আসুন অতীতের কথা মনে করি যখন DRBD8 খুব জনপ্রিয় ছিল। এর আদর্শ ব্যবহারের অর্থ হল একটি বড় ব্লক ডিভাইস তৈরি করা এবং একই LVM ব্যবহার করে এটিকে অনেক ছোট টুকরো করা। এক ধরনের mdadm RAID-1 কিন্তু নেটওয়ার্ক প্রতিলিপি সহ।

এই পদ্ধতির ত্রুটিগুলি ছাড়া নয়, এবং তাই, DRBD9 এর আবির্ভাবের সাথে, স্টোরেজ নির্মাণের নীতিগুলি পরিবর্তিত হয়েছে, এখন প্রতিটি ভার্চুয়াল মেশিনের জন্য একটি পৃথক DRBD ডিভাইস তৈরি করা হয়েছে।

স্বাধীন ব্লক ডিভাইস পদ্ধতি ক্লাস্টারে স্থানের আরও ভাল ব্যবহারের অনুমতি দেয় এবং বেশ কয়েকটি অতিরিক্ত বৈশিষ্ট্য যুক্ত করে। উদাহরণস্বরূপ, এই জাতীয় প্রতিটি ডিভাইসের জন্য, আপনি প্রতিলিপিগুলির সংখ্যা, তাদের অবস্থান এবং পৃথক সেটিংস নির্ধারণ করতে পারেন। এগুলি তৈরি/মুছে ফেলা, স্ন্যাপশট নেওয়া, আকার পরিবর্তন করা, এনক্রিপশন সক্ষম করা এবং আরও অনেক কিছু করা সহজ। এটি লক্ষণীয় যে DRBD9 একটি কোরাম বজায় রাখে, যা বিভক্ত-মস্তিষ্কের পরিস্থিতি এড়ায়।

সম্পদ এবং ব্যাকএন্ড

একটি নতুন ব্লক ডিভাইস তৈরি করার সময়, Linstor ক্লাস্টারের বিভিন্ন নোডে প্রয়োজনীয় সংখ্যক প্রতিলিপি স্থাপন করে। আমরা এই ধরনের প্রতিটি প্রতিরূপকে DRBD সম্পদ বলব।

সম্পদ দুই ধরনের হয়:

• ডাটা রিসোর্স - LVM বা ZFS পুলের একটি নোডে অবস্থিত একটি DRBD ডিভাইসের প্রতিনিধিত্ব করে।
  এই মুহুর্তে বেশ কয়েকটি ব্যাকএন্ডের জন্য সমর্থন রয়েছে এবং তাদের সংখ্যা ক্রমাগত বাড়ছে। LVM, ThinLVM এবং ZFS-এর জন্য সমর্থন রয়েছে। শেষ দুটি আপনাকে স্ন্যাপশট তৈরি এবং ব্যবহার করার অনুমতি দেয়।
• ডিস্কবিহীন সম্পদ - এটি একটি DRBD ডিভাইস যা ব্যাকএন্ড ছাড়াই নোডে হোস্ট করা হয়, কিন্তু এটিকে একটি নিয়মিত ব্লক ডিভাইসের মতো বিবেচনা করার অনুমতি দিলে, সমস্ত রিড/রাইট অপারেশন ডাটা রিসোর্সে রিডাইরেক্ট করা হবে। ডিস্কলেস রিসোর্সের নিকটতম অ্যানালগ হল iSCSI LUN।

প্রতিটি DRBD রিসোর্সে 8টি পর্যন্ত রেপ্লিকা থাকতে পারে এবং তাদের মধ্যে শুধুমাত্র একটি ডিফল্টরূপে সক্রিয় হতে পারে - প্রাথমিক, বাকি সব হবে মাধ্যমিক এবং তাদের ব্যবহার অসম্ভব হবে যতক্ষণ না অন্তত একটি প্রাথমিক থাকে, অর্থাৎ, তারা কেবল নিজেদের মধ্যে ডেটা প্রতিলিপি করবে।

সিস্টেমে একটি DRBD ডিভাইস মাউন্ট করলে, এটি স্বয়ংক্রিয়ভাবে হয়ে যায় প্রাথমিক, এইভাবে একটি ডিস্কলেস রিসোর্স, ডিআরবিডি পরিভাষায়, প্রাথমিক হতে পারে।

তাহলে কেন আমরা Linstor প্রয়োজন?

সমস্ত সংস্থান-নিবিড় কাজগুলি কার্নেলের উপর অর্পণ করে, Linstor মূলত একটি নিয়মিত জাভা অ্যাপ্লিকেশন যা আপনাকে সহজেই DRBD সংস্থান তৈরি করতে স্বয়ংক্রিয় করতে দেয়।
একই সময়ে, তার দ্বারা তৈরি প্রতিটি সংস্থান হবে একটি স্বাধীন DRBD ক্লাস্টার যা নিয়ন্ত্রণ-প্লেন এবং অন্যান্য DRBD সংস্থানগুলির অবস্থা নির্বিশেষে স্বাধীনভাবে কাজ করে।

Linstor শুধুমাত্র দুটি উপাদান নিয়ে গঠিত:

• linstor-নিয়ন্ত্রক - প্রধান নিয়ামক, যা সংস্থান তৈরি এবং পরিচালনার জন্য একটি API প্রদান করে। এটি স্যাটেলাইটের সাথে যোগাযোগ করে, তাদের উপর ফাঁকা স্থান পরীক্ষা করে এবং নতুন সংস্থান তৈরি এবং মুছে ফেলার জন্য কাজ পাঠায়। একটি একক উদাহরণে চলে এবং একটি ডাটাবেস ব্যবহার করে যা হয় অভ্যন্তরীণ (H2) বা বহিরাগত (PostgreSQL, MySQL, MariaDB) হতে পারে
• linstor-উপগ্রহ - সমস্ত স্টোরেজ নোডগুলিতে ইনস্টল করা হয়েছে এবং কন্ট্রোলারকে খালি স্থান সম্পর্কে তথ্য সরবরাহ করে, এবং তাদের উপরে নতুন ভলিউম এবং DRBD ডিভাইসগুলি তৈরি এবং মুছে ফেলার জন্য কন্ট্রোলার থেকে প্রাপ্ত কাজগুলিও সম্পাদন করে৷

Linstor নিম্নলিখিত মূল ধারণাগুলির সাথে কাজ করে:

• নোড — একটি ফিজিক্যাল সার্ভার যেখানে DRBD রিসোর্স তৈরি ও ব্যবহার করা হবে।
• স্টোরেজ পুল - LVM বা ZFS পুল নোডে তৈরি করা হয়েছে যেখানে DRBD সম্পদ স্থাপন করা হবে। একটি ডিস্কবিহীন পুলও সম্ভব - এটি এমন একটি পুল যেখানে শুধুমাত্র ডিস্কবিহীন সম্পদ স্থাপন করা হবে।
• সম্পদ সংজ্ঞা - একটি সম্পদের সংজ্ঞা, আসলে এটি একটি প্রোটোটাইপ যা নাম এবং এর সমস্ত বৈশিষ্ট্য বর্ণনা করে।
• ভলিউম সংজ্ঞা - ভলিউম সংজ্ঞা। প্রতিটি সংস্থান বেশ কয়েকটি ভলিউম নিয়ে গঠিত হতে পারে, প্রতিটি ভলিউমের একটি আকার থাকতে হবে।
• সংস্থান - একটি ব্লক ডিভাইসের একটি উদাহরণ তৈরি করা হয়েছে, প্রতিটি সংস্থান অবশ্যই একটি নির্দিষ্ট নোডে এবং কিছু স্টোরেজ পুলে স্থাপন করতে হবে।

Linstor এর ইনস্টলেশন

আমি একটি সিস্টেম হিসাবে উবুন্টু ব্যবহার করার সুপারিশ, কারণ. তার জন্য বিদ্যমান রেডিমেড পিপিএ:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

অথবা ডেবিয়ান, যেখানে লিনস্টর অফিসিয়াল প্রক্সমক্স সংগ্রহস্থল থেকে ইনস্টল করা যেতে পারে:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

নিয়ামক

এখানে সবকিছু সহজ:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

স্টোরেজ নোড

লিনাক্স কার্নেল বর্তমানে একটি ইন-ট্রি কার্নেল মডিউল সহ পাঠানো হয় DRBD8, দুর্ভাগ্যবশত এটি আমাদের উপযুক্ত নয় এবং আমাদের ইনস্টল করতে হবে DRBD9:

apt-get install drbd-dkms

অনুশীলন দেখায়, বেশিরভাগ অসুবিধাগুলি সঠিকভাবে এই সত্যের সাথে উদ্ভূত হয় যে DRBD8 মডিউলটি সিস্টেমে লোড করা হয়েছে, DRBD9 নয়। ভাগ্যক্রমে, এটি চালানোর মাধ্যমে পরীক্ষা করা সহজ:

modprobe drbd
cat /proc/drbd

যদি আপনি দেখেন সংস্করণ: 9 - সব ঠিক থাকলে সংস্করণ: 8 - এর মানে কিছু ভুল হয়েছে এবং কারণ খুঁজে বের করার জন্য আপনাকে অতিরিক্ত পদক্ষেপ নিতে হবে।

এখন ইন্সটল করা যাক linstor-উপগ্রহ и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

একটি ক্লাস্টার তৈরি করুন

স্টোরেজ পুল এবং নোড

ব্যাকএন্ড হিসেবে আমরা নেব ThinLVM, কারণ এটি সবচেয়ে সহজ এবং স্ন্যাপশট সমর্থন করে।
ইনস্টল করুন lvm2, যদি আপনি ইতিমধ্যে এটি না করে থাকেন, এবং আসুন আমাদের সমস্ত স্টোরেজ নোডে একটি ThinLVM পুল তৈরি করি:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

সমস্ত পরবর্তী ক্রিয়া সরাসরি কন্ট্রোলারে সঞ্চালিত হতে পারে:

আমাদের নোড যোগ করা যাক:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

আসুন স্টোরেজ পুল তৈরি করি:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

এখন তৈরি করা পুলগুলি পরীক্ষা করা যাক:

linstor storage-pool list

যদি সবকিছু সঠিকভাবে করা হয়, তাহলে আমাদের এমন কিছু দেখতে হবে:

+------------------------------------------------ -------------------------------------------------- ----+ | স্টোরেজপুল | নোড | ড্রাইভার | পুলের নাম | ফ্রি ক্যাপাসিটি | মোট ক্ষমতা | স্ন্যাপশট সমর্থন করে | |------------------------------------------------ -------------------------------------------------- ----| | তথ্য | node1 | LVM_THIN | drbdpool/থিনপুল | 64 GiB | 64 GiB | সত্য | | তথ্য | node2 | LVM_THIN | drbdpool/থিনপুল | 64 GiB | 64 GiB | সত্য | | তথ্য | node3 | LVM_THIN | drbdpool/থিনপুল | 64 GiB | 64 GiB | সত্য | +------------------------------------------------ -------------------------------------------------- ----+

ডিআরবিডি সম্পদ

এখন আমাদের নতুন ডিআরবিডি রিসোর্স তৈরি করার চেষ্টা করা যাক:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

আসুন তৈরি সংস্থানগুলি পরীক্ষা করি:

linstor resource list 

+------------------------------------------------ -------------------------------------------------- ---+ | নোড | সম্পদ | স্টোরেজপুল | ভলিউমএনআর | মাইনরএনআর | ডিভাইসের নাম | বরাদ্দ | ব্যবহারে | রাজ্য | |------------------------------------------------ -------------------------------------------------- ---| | node1 | myres | তথ্য | 0 | 1084 | /dev/drbd1084 | 52 KiB | অব্যবহৃত | UpToDate | | node2 | myres | তথ্য | 0 | 1084 | /dev/drbd1084 | 52 KiB | অব্যবহৃত | UpToDate | +------------------------------------------------ -------------------------------------------------- ---+

দারুণ! - আমরা দেখি যে প্রথম দুটি নোডে সংস্থান তৈরি করা হয়েছিল, আমরা তৃতীয়টিতে একটি ডিস্কবিহীন সংস্থান তৈরি করার চেষ্টা করতে পারি:

linstor resource create --diskless node3 myres

নোডগুলিতে আপনি সর্বদা এই ডিভাইসটি হিসাবে পাবেন /dev/drbd1084 বা /dev/drbd/by-res/myres/0

এইভাবে Linstor কাজ করে, আপনি থেকে আরও তথ্য পেতে পারেন অফিসিয়াল ডকুমেন্টেশন.

এখন আমি ওপেননেবুলার সাথে এটিকে কীভাবে একীভূত করা যায় সে সম্পর্কে কথা বলব

OpenNebula সেট আপ করা হচ্ছে

আমি OpenNebula সেটআপ প্রক্রিয়ার খুব গভীরে যাব না, কারণ সমস্ত পদক্ষেপ বিস্তারিত আছে অফিসিয়াল ডকুমেন্টেশন, যা আমি আপনাকে উল্লেখ করার পরামর্শ দিচ্ছি, আমি শুধুমাত্র Linstor এর সাথে OpenNebula এর একীকরণ সম্পর্কে কথা বলব।

linstor_un

এই সমস্যা সমাধানের জন্য, আমি আমার নিজের ড্রাইভার - লিখেছি linstor_un, এটি বর্তমানে একটি প্লাগইন হিসাবে উপলব্ধ এবং আলাদাভাবে ইনস্টল করা আবশ্যক৷

সম্পূর্ণ ইনস্টলেশন ফ্রন্টএন্ড OpenNebula নোডগুলিতে সঞ্চালিত হয় এবং কম্পিউট নোডগুলিতে অতিরিক্ত কর্মের প্রয়োজন হয় না।

প্রথমত, আমাদের নিশ্চিত করতে হবে যে আমাদের আছে jq и linstor-ক্লায়েন্ট:

apt-get install jq linstor-client

টীম linstor node list নোডের একটি তালিকা প্রদর্শন করা উচিত। সমস্ত OpenNebula কম্পিউট নোড অবশ্যই Linstor ক্লাস্টারে যোগ করতে হবে।

প্লাগইনটি ডাউনলোড এবং ইনস্টল করুন:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

এখন আমাদের এটিকে OpenNebula কনফিগারেশনে যুক্ত করতে হবে, এর জন্য আমরা বর্ণিত সহজ ধাপগুলি অনুসরণ করি এখানে.

তারপর OpenNebula পুনরায় চালু করুন:

systemctl restart opennebula

এবং আমাদের ডেটাস্টোর, সিস্টেম যোগ করুন:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

এবং ইমেজ স্টোর:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• স্থিতিমাপ AUTO_PLACE OpenNebula-তে প্রতিটি নতুন ছবির জন্য তৈরি করা ডেটা প্রতিলিপির সংখ্যা প্রদর্শন করে।
• স্থিতিমাপ CLONE_MODE নতুন ভার্চুয়াল মেশিন তৈরি করার সময় চিত্রগুলি কীভাবে ক্লোন করা হবে তা নির্দেশ করে, snapshot - ছবিটির একটি স্ন্যাপশট তৈরি করবে এবং স্ন্যাপশট থেকে একটি ভার্চুয়াল মেশিন স্থাপন করবে, copy - প্রতিটি ভার্চুয়াল মেশিনের জন্য ছবির একটি সম্পূর্ণ অনুলিপি তৈরি করবে।
• В BRIDGE_LIST ইমেজ ক্লোনিং ক্রিয়াকলাপ সম্পাদন করতে ব্যবহৃত সমস্ত নোডগুলি নির্দিষ্ট করার পরামর্শ দেওয়া হয়।

সমর্থিত বিকল্পগুলির একটি সম্পূর্ণ তালিকার জন্য, দেখুন README প্রকল্প

এটি সেটআপ সম্পূর্ণ করে, এখন আপনি অফিসিয়াল থেকে কিছু যন্ত্রপাতি ডাউনলোড করতে পারেন ওপেননেবুলা মার্কেটপ্লেস এবং এটি থেকে ভার্চুয়াল মেশিন তৈরি করুন।

প্রকল্প লিঙ্ক:
https://github.com/OpenNebula/addon-linstor_un

উত্স: www.habr.com