LINSTOR საცავი და მისი ინტეგრაცია OpenNebula-სთან

ცოტა ხნის წინ, ბიჭებმა LINBIT-დან წარმოადგინეს თავიანთი ახალი SDS გადაწყვეტა - Linstor. ეს არის სრულიად უფასო საცავი, რომელიც დაფუძნებულია დადასტურებულ ტექნოლოგიებზე: DRBD, LVM, ZFS. Linstor აერთიანებს სიმარტივეს და კარგად შემუშავებულ არქიტექტურას, რაც საშუალებას გაძლევთ მიაღწიოთ სტაბილურობას და საკმაოდ შთამბეჭდავ შედეგებს.

დღეს მსურს ამაზე ცოტა უფრო დეტალურად ვისაუბრო და ვაჩვენო, რამდენად მარტივად შეიძლება მისი ინტეგრირება OpenNebula-სთან linstor_un-ის გამოყენებით - ახალი დრაივერი, რომელიც სპეციალურად ამ მიზნით შევიმუშავე.

Linstor OpenNebula-სთან ერთად საშუალებას გაძლევთ შექმნათ სწრაფი და საიმედო ღრუბელი, რომელიც ადვილად განლაგდება თქვენს საკუთარ ინფრასტრუქტურაში.

ლინსტორის არქიტექტურა

Linstor არ არის არც ფაილური სისტემა და არც ბლოკის შენახვა თავისთავად, Linstor არის ორკესტრი, რომელიც უზრუნველყოფს აბსტრაქციის ფენას, რომელიც საშუალებას გაძლევთ ავტომატიზირდეთ ტომების შექმნა LVM-ში ან ZFS-ში და გაიმეოროთ ისინი DRBD9-ის გამოყენებით.

სტერეოტიპების მსხვრევა

მაგრამ დაელოდე, DRBD? — რატომ უნდა მოხდეს მისი ავტომატიზაცია და როგორ მუშაობს იგი?

გავიხსენოთ წარსული, როდესაც DRBD8 ძალიან პოპულარული იყო. მისი სტანდარტული გამოყენება გულისხმობს ერთი დიდი ბლოკის მოწყობილობის შექმნას და მის მრავალ წვრილ ნაწილად დაჭრას, იგივე LVM-ის გამოყენებით. ერთგვარი mdadm RAID-1, მაგრამ რეპლიკაციით ქსელში.

ეს მიდგომა არ არის ნაკლოვანებების გარეშე და, შესაბამისად, DRBD9-ის მოსვლასთან ერთად შეიცვალა შენახვის დიზაინის პრინციპები; ახლა თითოეული ვირტუალური აპარატისთვის იქმნება ცალკე DRBD მოწყობილობა.

დამოუკიდებელი ბლოკის მოწყობილობებით მიდგომა საშუალებას იძლევა უკეთ გამოიყენოს სივრცე კლასტერში და ასევე ამატებს უამრავ დამატებით ფუნქციას. მაგალითად, თითოეული ასეთი მოწყობილობისთვის შეგიძლიათ განსაზღვროთ რეპლიკების რაოდენობა, მათი მდებარეობა და ინდივიდუალური პარამეტრები. მათი შექმნა/წაშლა მარტივია, ფოტოების გადაღება, ზომის შეცვლა, დაშიფვრის ჩართვა და მრავალი სხვა. აღსანიშნავია, რომ DRBD9 ასევე მხარს უჭერს კვორუმს, რაც საშუალებას გაძლევთ თავიდან აიცილოთ გაყოფილი ტვინის სიტუაციები.

რესურსები და ბექენდები

ახალი ბლოკის მოწყობილობის შექმნისას, ლინსტორი ათავსებს საჭირო რაოდენობის რეპლიკებს კლასტერის სხვადასხვა კვანძებზე. თითოეულ ასეთ რეპლიკას ჩვენ დავარქმევთ DRBD რესურსს.

არსებობს ორი სახის რესურსი:

• მონაცემთა რესურსი — არის DRBD მოწყობილობა, რომელიც მდებარეობს კვანძზე LVM ან ZFS აუზში.
  ამ დროისთვის არსებობს რამდენიმე ბექენდის მხარდაჭერა და მათი რიცხვი მუდმივად იზრდება. არსებობს მხარდაჭერა LVM, ThinLVM და ZFS. ბოლო ორი საშუალებას გაძლევთ შექმნათ და გამოიყენოთ სნეპშოტები.
• დისკის გარეშე რესურსი — არის DRBD მოწყობილობა, რომელიც მოთავსებულია კვანძზე ბექენდის გარეშე, მაგრამ საშუალებას აძლევს მას განიხილოს როგორც ჩვეულებრივი ბლოკის მოწყობილობა; წაკითხვის/ჩაწერის ყველა ოპერაცია გადამისამართდება მონაცემთა რესურსებზე. დისკის გარეშე რესურსების უახლოესი ანალოგი არის iSCSI LUN.

თითოეულ DRBD რესურსს შეიძლება ჰქონდეს 8-მდე რეპლიკა და მხოლოდ ერთი მათგანი შეიძლება იყოს ნაგულისხმევად აქტიური - პირველადი, ყველა დანარჩენი იქნება საშუალო და მათი გამოყენება შეუძლებელი იქნება მანამ, სანამ იქნება მინიმუმ ერთი ძირითადი, ანუ ისინი უბრალოდ იმეორებენ მონაცემებს ერთმანეთთან.

სისტემაში DRBD მოწყობილობის დაყენებით, ის ავტომატურად ხდება პირველადი, ამრიგად, დისკის გარეშე რესურსიც კი, DRBD ტერმინოლოგიით, შეიძლება იყოს ძირითადი.

რატომ გჭირდებათ ლინსტორი?

ყველა რესურსზე ინტენსიური ამოცანის ბირთვისთვის მინდობით, Linstor არსებითად არის ჩვეულებრივი Java აპლიკაცია, რომელიც საშუალებას გაძლევთ მარტივად მოაწყოთ DRBD რესურსების შექმნა.
უფრო მეტიც, მის მიერ შექმნილი თითოეული რესურსი იქნება დამოუკიდებელი DRBD კლასტერი, რომელიც მოქმედებს დამოუკიდებლად, მიუხედავად საკონტროლო თვითმფრინავისა და სხვა DRBD რესურსების მდგომარეობისა.

Linstor შედგება მხოლოდ ორი კომპონენტისგან:

• ლინსტორ-კონტროლერი - მთავარი კონტროლერი, რომელიც უზრუნველყოფს API-ს რესურსების შესაქმნელად და მართვისთვის. ის ასევე ურთიერთობს თანამგზავრებთან, ამოწმებს მათზე თავისუფალ ადგილს და აგზავნის დავალებებს ახალი რესურსების შესაქმნელად და წასაშლელად. ის მუშაობს ერთ ინსტანციაში და იყენებს მონაცემთა ბაზას, რომელიც შეიძლება იყოს შიდა (H2) ან გარე (PostgreSQL, MySQL, MariaDB)
• ლინსტორი-სატელიტი — დაინსტალირებულია ყველა შენახვის კვანძზე და აწვდის კონტროლერს ინფორმაციას თავისუფალი სივრცის შესახებ, ასევე ასრულებს კონტროლერისგან მიღებულ დავალებებს მათზე ახალი ტომების და DRBD მოწყობილობების შესაქმნელად და წაშლის მიზნით.

Linstor მუშაობს შემდეგი ძირითადი ცნებებით:

• Node — ფიზიკური სერვერი, რომელზეც შეიქმნება და გამოყენებული იქნება DRBD რესურსები.
• საცავის აუზი — LVM ან ZFS აუზი შექმნილი კვანძზე, რომელშიც განთავსდება DRBD რესურსები. ასევე შესაძლებელია დისკის გარეშე - ეს არის აუზი, რომელშიც განთავსდება მხოლოდ დისკის გარეშე რესურსები.
• რესურსის განმარტება - რესურსის განმარტება არსებითად არის პროტოტიპი, რომელიც აღწერს სახელს და მის ყველა თვისებას.
• მოცულობის განმარტება - მოცულობის განსაზღვრა. თითოეული რესურსი შეიძლება შედგებოდეს მრავალი ტომისგან, თითოეულ ტომს უნდა ჰქონდეს ზომა.
• რესურს — ბლოკის მოწყობილობის შექმნილი მაგალითი, თითოეული რესურსი უნდა განთავსდეს კონკრეტულ კვანძზე და ზოგიერთ საცავში.

ლინსტორის ინსტალაცია

გირჩევთ გამოიყენოთ Ubuntu, როგორც სისტემა, რადგან... არსებობს მისთვის მზად PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

ან Debian, სადაც Linstor შეიძლება დაინსტალირდეს Proxmox-ის ოფიციალური საცავიდან:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

Controller

აქ ყველაფერი მარტივია:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

შენახვის კვანძები

Linux-ის ბირთვი ამჟამად მიეწოდება ხის ბირთვის მოდულს DRBD8, სამწუხაროდ არ გვიწყობს და უნდა დავაყენოთ DRBD9:

apt-get install drbd-dkms

როგორც პრაქტიკა გვიჩვენებს, სირთულეების უმეტესობა წარმოიქმნება ზუსტად იმის გამო, რომ DRBD8 მოდული იტვირთება სისტემაში და არა DRBD9. საბედნიეროდ, ამის შემოწმება მარტივია გაშვებით:

modprobe drbd
cat /proc/drbd

Თუ ხედავ ვერსია: 9 - ეს ნიშნავს, რომ ყველაფერი კარგადაა, თუ ვერსია: 8 - ეს ნიშნავს, რომ რაღაც არასწორედ მოხდა და თქვენ უნდა გადადგათ დამატებითი ნაბიჯები მიზეზების გასარკვევად.

ახლა მოდით დავაყენოთ ლინსტორ-სატელიტი и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

შექმენით კლასტერი

შენახვის აუზები და კვანძები

როგორც backend ჩვენ მივიღებთ ThinLVM, იმიტომ ეს არის უმარტივესი და მხარს უჭერს სნეპშოტებს.
უცნობია lvm2, თუ ეს ჯერ არ გაგიკეთებიათ, მოდით შევქმნათ ThinLVM აუზი ყველა ჩვენს შესანახ კვანძზე:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

ყველა შემდგომი მოქმედება შეიძლება შესრულდეს პირდაპირ კონტროლერზე:

მოდით დავამატოთ ჩვენი კვანძები:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

მოდით შევქმნათ შენახვის აუზები:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

ახლა შევამოწმოთ შექმნილი აუზები:

linstor storage-pool list

თუ ყველაფერი სწორად გაკეთდა, მაშინ უნდა დავინახოთ მსგავსი რამ:

+----------------------------------------------- ------------------------------------------------ ----+ | StoragePool | კვანძი | მძღოლი | აუზის სახელი | თავისუფალი ტევადობა | მთლიანი სიმძლავრე | მხარდაჭერაSnapshots | |----------------------------------------------- ------------------------------------------------ ---| | მონაცემები | კვანძი1 | LVM_THIN | drbdpool/thinpool | 64 გიბაიტი | 64 გიბაიტი | მართალია | | მონაცემები | კვანძი2 | LVM_THIN | drbdpool/thinpool | 64 გიბაიტი | 64 გიბაიტი | მართალია | | მონაცემები | კვანძი3 | LVM_THIN | drbdpool/thinpool | 64 გიბაიტი | 64 გიბაიტი | მართალია | +----------------------------------------------- ------------------------------------------------ ----+

DRBD რესურსები

ახლა შევეცადოთ შევქმნათ ჩვენი ახალი DRBD რესურსი:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

შევამოწმოთ შექმნილი რესურსები:

linstor resource list 

+----------------------------------------------- ------------------------------------------------ ---+ | კვანძი | რესურსი | StoragePool | მოცულობა Nr | მცირე Nr | მოწყობილობის სახელი | გამოყოფილი | InUse | სახელმწიფო | |----------------------------------------------- ------------------------------------------------ --| | კვანძი1 | myres | მონაცემები | 0 | 1084 | /dev/drbd1084 | 52 KiB | გამოუყენებელი | განახლებული | | კვანძი2 | myres | მონაცემები | 0 | 1084 | /dev/drbd1084 | 52 KiB | გამოუყენებელი | განახლებული | +----------------------------------------------- ------------------------------------------------ ---+

დიდი! — ჩვენ ვხედავთ, რომ რესურსი შეიქმნა პირველ ორ კვანძზე, ასევე შეგვიძლია ვცადოთ დისკის გარეშე რესურსის შექმნა მესამეზე:

linstor resource create --diskless node3 myres

კვანძებზე ყოველთვის იპოვით ამ მოწყობილობას როგორც /dev/drbd1084 ან /dev/drbd/by-res/myres/0

ასე მუშაობს Linstor, საიდანაც შეგიძლიათ მიიღოთ მეტი ინფორმაცია ოფიციალური დოკუმენტაცია.

ახლა მე გეტყვით, როგორ გავაერთიანოთ იგი OpenNebula-სთან

OpenNebula-ს დაყენება

მე არ ჩავუღრმავდები OpenNebula-ს დაყენების პროცესს, რადგან... ყველა ნაბიჯი დეტალურად არის აღწერილი ოფიციალური დოკუმენტაცია, რომელსაც გირჩევთ დაუკავშირდეთ, მხოლოდ OpenNebula-ს Linstor-თან ინტეგრაციის შესახებ გეტყვით.

linstor_un

ამ პრობლემის გადასაჭრელად მე დავწერე ჩემი საკუთარი დრაივერი - linstor_un, ის ამჟამად ხელმისაწვდომია როგორც დანამატი და ცალკე უნდა იყოს დაინსტალირებული.

მთელი ინსტალაცია ხორციელდება წინა OpenNebula კვანძებზე და არ საჭიროებს დამატებით მოქმედებებს გამოთვლით კვანძებზე.

უპირველეს ყოვლისა, ჩვენ უნდა დავრწმუნდეთ, რომ გვაქვს jq и ლინსტორ-კლიენტი:

apt-get install jq linstor-client

გუნდი linstor node list უნდა აჩვენოს კვანძების სია. ყველა OpenNebula გამოთვლითი კვანძი უნდა დაემატოს Linstor კლასტერს.

ჩამოტვირთეთ და დააინსტალირეთ დანამატი:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

ახლა ჩვენ უნდა დავამატოთ ის OpenNebula კონფიგურაციაში, ამისათვის მივყვებით აღწერილ მარტივ ნაბიჯებს აქ.

შემდეგ გადატვირთეთ OpenNebula:

systemctl restart opennebula

და დაამატეთ ჩვენი მონაცემთა მაღაზიები, სისტემა:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

და სურათების მაღაზია:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• პარამეტრის AUTO_PLACE აჩვენებს მონაცემთა რეპლიკების რაოდენობას, რომლებიც შეიქმნება OpenNebula-ში ყოველი ახალი სურათისთვის.
• პარამეტრის CLONE_MODE ზუსტად მიუთითებს, თუ როგორ მოხდება სურათების კლონირება ახალი ვირტუალური მანქანების შექმნისას, snapshot - შექმნის სურათის სნეპშოტს და განათავსებს ვირტუალურ მანქანას სნეპშოტიდან, copy — გააკეთებს სურათის სრულ ასლს თითოეული ვირტუალური მანქანისთვის.
• В BRIDGE_LIST რეკომენდებულია ყველა კვანძის მითითება, რომელიც გამოყენებული იქნება გამოსახულების კლონირების ოპერაციების შესასრულებლად.

მხარდაჭერილი პარამეტრების სრული ჩამონათვალისთვის იხ README პროექტი.

ეს დაასრულებს ინსტალაციას, ახლა შეგიძლიათ ჩამოტვირთოთ ზოგიერთი მოწყობილობა ოფიციალურიდან OpenNebula Marketplace და მისგან ვირტუალური მანქანების შექმნა.

პროექტის ლინკი:
https://github.com/OpenNebula/addon-linstor_un

წყარო: www.habr.com