ការផ្ទុក LINSTOR និងការរួមបញ្ចូលរបស់វាជាមួយ OpenNebula

មិនយូរប៉ុន្មានបុរសមកពី LINBIT បានបង្ហាញដំណោះស្រាយ SDS ថ្មីរបស់ពួកគេ - Linstor ។ នេះគឺជាទំហំផ្ទុកឥតគិតថ្លៃទាំងស្រុងដោយផ្អែកលើបច្ចេកវិទ្យាដែលបានបញ្ជាក់៖ DRBD, LVM, ZFS ។ Linstor រួមបញ្ចូលគ្នានូវភាពសាមញ្ញ និងស្ថាបត្យកម្មដែលបានរចនាយ៉ាងល្អ ដែលអនុញ្ញាតឱ្យអ្នកសម្រេចបាននូវស្ថេរភាព និងលទ្ធផលគួរឱ្យចាប់អារម្មណ៍។

ថ្ងៃនេះខ្ញុំចង់និយាយអំពីវាឱ្យកាន់តែលម្អិតបន្តិច ហើយបង្ហាញពីរបៀបដែលវាអាចត្រូវបានរួមបញ្ចូលជាមួយ OpenNebula យ៉ាងងាយស្រួលដោយប្រើ linstor_un ដែលជាកម្មវិធីបញ្ជាថ្មីដែលខ្ញុំបានបង្កើតជាពិសេសសម្រាប់គោលបំណងនេះ។

Linstor រួមបញ្ចូលគ្នាជាមួយ OpenNebula អនុញ្ញាតឱ្យអ្នកបង្កើតពពកដែលមានល្បឿនលឿន និងអាចទុកចិត្តបាន ដែលអាចដាក់ពង្រាយយ៉ាងងាយស្រួលនៅលើហេដ្ឋារចនាសម្ព័ន្ធផ្ទាល់ខ្លួនរបស់អ្នក។

ស្ថាបត្យកម្ម Linstor

Linstor មិនមែនជាប្រព័ន្ធឯកសារ ឬប្លុកការផ្ទុកក្នុងមួយសេទេ Linstor គឺជាវង់ភ្លេងដែលផ្តល់ស្រទាប់អរូបីដែលអនុញ្ញាតឱ្យអ្នកធ្វើស្វ័យប្រវត្តិកម្មនៃការបង្កើតភាគនៅក្នុង LVM ឬ ZFS ហើយចម្លងពួកវាដោយប្រើ DRBD9 ។

ការបំបែកគំរូ

ប៉ុន្តែរង់ចាំ, DRBD? - ហេតុអ្វីបានជាវាស្វ័យប្រវត្តិ ហើយតើវាអាចដំណើរការដោយរបៀបណា?

ចូរយើងចងចាំអតីតកាលនៅពេលដែល DRBD8 មានប្រជាប្រិយភាពខ្លាំង។ ការប្រើប្រាស់ស្តង់ដាររបស់វាពាក់ព័ន្ធនឹងការបង្កើតឧបករណ៍ប្លុកធំមួយ ហើយកាត់វាជាបំណែកតូចៗជាច្រើន ដោយប្រើ LVM ដូចគ្នា។ ប្រភេទនៃ mdadm RAID-1 ប៉ុន្តែជាមួយនឹងការចម្លងតាមបណ្តាញ។

វិធីសាស្រ្តនេះមិនមែនដោយគ្មានគុណវិបត្តិរបស់វាទេ ដូច្នេះហើយ ជាមួយនឹងការមកដល់នៃ DRBD9 គោលការណ៍នៃការរចនាកន្លែងផ្ទុកបានផ្លាស់ប្តូរ ហើយឥឡូវនេះឧបករណ៍ DRBD ដាច់ដោយឡែកមួយត្រូវបានបង្កើតឡើងសម្រាប់ម៉ាស៊ីននិម្មិតនីមួយៗ។

វិធីសាស្រ្តជាមួយឧបករណ៍ប្លុកឯករាជ្យអនុញ្ញាតឱ្យមានការប្រើប្រាស់កាន់តែប្រសើរឡើងនៃកន្លែងនៅក្នុងចង្កោម ហើយថែមទាំងបន្ថែមមុខងារបន្ថែមមួយចំនួនទៀត។ ឧទាហរណ៍ សម្រាប់ឧបករណ៍បែបនេះនីមួយៗ អ្នកអាចកំណត់ចំនួននៃការចម្លង ទីតាំង និងការកំណត់បុគ្គល។ ពួកវាងាយស្រួលក្នុងការបង្កើត/លុប ថតរូប ប្តូរទំហំ បើកការអ៊ិនគ្រីប និងច្រើនទៀត។ វាគួរឱ្យកត់សម្គាល់ថា DRBD9 ក៏គាំទ្រកូរ៉ុមផងដែរ ដែលអនុញ្ញាតឱ្យអ្នកជៀសវាងស្ថានភាពខួរក្បាល។

ធនធាន និងផ្នែកខាងក្រោយ

នៅពេលបង្កើតឧបករណ៍ប្លុកថ្មី Linstor ដាក់ចំនួននៃការចម្លងដែលត្រូវការនៅលើថ្នាំងផ្សេងៗគ្នានៅក្នុងចង្កោម។ យើង​នឹង​ហៅ​ការ​ចម្លង​នីមួយៗ​ថា​ជា​ធនធាន DRBD ។

ធនធានមានពីរប្រភេទ៖

• ធនធានទិន្នន័យ - គឺជាឧបករណ៍ DRBD ដែលមានទីតាំងនៅលើថ្នាំងក្នុងអាង LVM ឬ ZFS ។
  នៅពេលនេះ មានការគាំទ្រសម្រាប់ backend ជាច្រើន ហើយចំនួនរបស់ពួកគេកំពុងកើនឡើងឥតឈប់ឈរ។ មានការគាំទ្រសម្រាប់ LVM, ThinLVM និង ZFS ។ ពីរចុងក្រោយអនុញ្ញាតឱ្យអ្នកបង្កើត និងប្រើរូបថត។
• ធនធានគ្មានថាស — គឺជាឧបករណ៍ DRBD ដែលដាក់នៅលើថ្នាំងដោយគ្មាន backend ប៉ុន្តែអនុញ្ញាតឱ្យវាត្រូវបានចាត់ទុកជាឧបករណ៍ទប់ស្កាត់ធម្មតា ប្រតិបត្តិការអាន/សរសេរទាំងអស់នឹងត្រូវបានបញ្ជូនបន្តទៅកាន់ធនធានទិន្នន័យ។ analogue ជិតបំផុតទៅនឹងធនធានដែលគ្មានថាសគឺ iSCSI LUN ។

ធនធាន DRBD នីមួយៗអាចមានការចម្លងរហូតដល់ 8 ហើយមានតែមួយក្នុងចំណោមពួកវាអាចសកម្មតាមលំនាំដើម - បឋមសិក្សាអ្នកផ្សេងទៀតនឹងត្រូវបាន អនុវិទ្យាល័យ ហើយការប្រើប្រាស់របស់ពួកគេនឹងមិនអាចទៅរួចនោះទេ ដរាបណាមានយ៉ាងហោចណាស់មួយ Primary ពោលគឺពួកគេនឹងចម្លងទិន្នន័យរវាងខ្លួនពួកគេយ៉ាងសាមញ្ញ។

តាមរយៈការដំឡើងឧបករណ៍ DRBD ទៅក្នុងប្រព័ន្ធ វានឹងក្លាយជាដោយស្វ័យប្រវត្តិ បឋមសិក្សាដូច្នេះសូម្បីតែធនធាន Diskless នៅក្នុងវាក្យស័ព្ទ DRBD អាចជាបឋម។

ដូច្នេះហេតុអ្វីបានជាអ្នកត្រូវការ Linstor?

ដោយការប្រគល់ភារកិច្ចដែលពឹងផ្អែកធនធានទាំងអស់ទៅខឺណែល Linstor គឺជាកម្មវិធី Java ធម្មតាដែលអនុញ្ញាតឱ្យអ្នកងាយស្រួលបង្កើតធនធាន DRBD ដោយស្វ័យប្រវត្តិ។
លើសពីនេះទៅទៀត ធនធាននីមួយៗដែលបង្កើតឡើងដោយគាត់នឹងក្លាយជាចង្កោម DRBD ឯករាជ្យដែលដំណើរការដោយឯករាជ្យដោយមិនគិតពីស្ថានភាពនៃយន្តហោះគ្រប់គ្រង និងធនធាន DRBD ផ្សេងទៀត។

Linstor មានធាតុផ្សំតែពីរប៉ុណ្ណោះ៖

• ឧបករណ៍បញ្ជា Linstor - ឧបករណ៍បញ្ជាសំខាន់ដែលផ្តល់ API សម្រាប់បង្កើត និងគ្រប់គ្រងធនធាន។ វាក៏ទាក់ទងជាមួយផ្កាយរណប ពិនិត្យមើលទំហំទំនេរនៅលើពួកវា និងបញ្ជូនភារកិច្ចដើម្បីបង្កើត និងលុបធនធានថ្មី។ វាដំណើរការក្នុងឧទាហរណ៍តែមួយ ហើយប្រើមូលដ្ឋានទិន្នន័យ ដែលអាចជាខាងក្នុង (H2) ឬខាងក្រៅ (PostgreSQL, MySQL, MariaDB)
• លីនស្ទ័រ - ផ្កាយរណប - បានដំឡើងនៅលើថ្នាំងផ្ទុកទាំងអស់ និងផ្តល់ឱ្យឧបករណ៍បញ្ជានូវព័ត៌មានអំពីទំហំទំនេរ ហើយថែមទាំងអនុវត្តកិច្ចការដែលទទួលបានពីឧបករណ៍បញ្ជាដើម្បីបង្កើត និងលុបភាគថ្មី និងឧបករណ៍ DRBD នៅពីលើពួកវា។

Linstor ដំណើរការជាមួយគោលគំនិតសំខាន់ៗដូចខាងក្រោមៈ

• ថ្នាំង - ម៉ាស៊ីនមេរាងកាយដែលធនធាន DRBD នឹងត្រូវបានបង្កើត និងប្រើប្រាស់។
• អាងស្តុកទុក - អាង LVM ឬ ZFS ត្រូវបានបង្កើតឡើងនៅលើថ្នាំងដែលធនធាន DRBD នឹងមានទីតាំងនៅ។ អាងដែលមិនមានថាសក៏អាចធ្វើទៅបានដែរ - នេះគឺជាអាងដែលមានតែធនធានដែលគ្មានថាសប៉ុណ្ណោះនឹងមានទីតាំងនៅ។
• និយមន័យធនធាន - និយមន័យនៃធនធានគឺជាគំរូដើមដែលពិពណ៌នាអំពីឈ្មោះ និងលក្ខណៈសម្បត្តិទាំងអស់របស់វា។
• និយមន័យកម្រិតសំឡេង - និយមន័យកម្រិតសំឡេង។ ធនធាននីមួយៗអាចមានបរិមាណច្រើន បរិមាណនីមួយៗត្រូវតែមានទំហំ។
• ធនធាន - ឧទាហរណ៍ដែលបានបង្កើតនៃឧបករណ៍ទប់ស្កាត់ ធនធាននីមួយៗត្រូវតែដាក់នៅលើថ្នាំងជាក់លាក់មួយ និងនៅក្នុងអាងស្តុកទុកមួយចំនួន។

ការដំឡើង Linstor

ខ្ញុំសូមណែនាំឱ្យប្រើអ៊ូប៊ុនទូជាប្រព័ន្ធ ព្រោះ... មានសម្រាប់នាង PPA រួចរាល់:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

ឬ Debian ដែល Linstor អាចត្រូវបានដំឡើងពីឃ្លាំងផ្លូវការសម្រាប់ Proxmox៖

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

ឧបករណ៍បញ្ជា

អ្វីគ្រប់យ៉ាងគឺសាមញ្ញនៅទីនេះ៖

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

ថ្នាំងផ្ទុក

ខឺណែលលីនុចបច្ចុប្បន្នដឹកជញ្ជូនជាមួយម៉ូឌុលខឺណែលក្នុងមែកធាង DRBD8ជាអកុសលវាមិនសមនឹងយើងទេ ហើយយើងត្រូវការដំឡើង DRBD9:

apt-get install drbd-dkms

ដូចដែលការអនុវត្តបង្ហាញ ការលំបាកភាគច្រើនកើតឡើងយ៉ាងជាក់លាក់ ដោយសារតែម៉ូឌុល DRBD8 ត្រូវបានផ្ទុកទៅក្នុងប្រព័ន្ធ មិនមែន DRBD9 ទេ។ ជាសំណាងល្អ វាងាយស្រួលក្នុងការត្រួតពិនិត្យដោយដំណើរការ៖

modprobe drbd
cat /proc/drbd

ប្រសិនបើអ្នកឃើញ កំណែ៖ ០.០.៤ - វាមានន័យថាអ្វីគ្រប់យ៉ាងគឺល្អប្រសិនបើ កំណែ៖ ០.០.៤ - វាមានន័យថាមានអ្វីមួយខុសប្រក្រតី ហើយអ្នកត្រូវចាត់វិធានការបន្ថែម ដើម្បីស្វែងរកមូលហេតុ។

ឥឡូវតោះដំឡើង លីនស្ទ័រ - ផ្កាយរណប и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

បង្កើតចង្កោម

អាងស្តុកទឹក និងថ្នាំង

ក្នុងនាមជា backend យើងនឹងយក ThinLVM, ដោយសារតែ វាសាមញ្ញបំផុត និងគាំទ្រការថតរូប។
កំណត់ lvm2ប្រសិនបើអ្នកមិនទាន់បានធ្វើវាទេ សូមបង្កើតបណ្តុំ ThinLVM នៅលើឧបករណ៍ផ្ទុករបស់យើងទាំងអស់គ្នា៖

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

សកម្មភាពបន្ថែមទៀតទាំងអស់អាចត្រូវបានអនុវត្តដោយផ្ទាល់នៅលើឧបករណ៍បញ្ជា៖

តោះបន្ថែមថ្នាំងរបស់យើង៖

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

តោះបង្កើតកន្លែងស្តុកទុក៖

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

ឥឡូវនេះសូមពិនិត្យមើលអាងដែលបានបង្កើត:

linstor storage-pool list

ប្រសិនបើអ្វីៗគ្រប់យ៉ាងត្រូវបានធ្វើបានត្រឹមត្រូវនោះ យើងគួរតែឃើញអ្វីមួយដូចជា៖

+------------------------------------------------ ---------------------------------------------------------------- -+ | StoragePool | ថ្នាំង | អ្នកបើកបរ | PoolName | FreeCapacity | សមត្ថភាពសរុប | គាំទ្ររូបភាព | |---------------------------------------------------- ---------------------------------------------------- ---| | ទិន្នន័យ | node1 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | ពិត | | ទិន្នន័យ | node2 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | ពិត | | ទិន្នន័យ | node3 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | ពិត | +------------------------------------------------ ---------------------------------------------------------------- ----+

ធនធាន DRBD

ឥឡូវនេះសូមព្យាយាមបង្កើតធនធាន DRBD ថ្មីរបស់យើង៖

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

តោះពិនិត្យមើលធនធានដែលបានបង្កើត៖

linstor resource list 

+------------------------------------------------ ---------------------------------------------------------------- ----+ | ថ្នាំង | ធនធាន | StoragePool | VolumeNr | MinorNr | ឈ្មោះឧបករណ៍ | បែងចែក | ការប្រើប្រាស់ | រដ្ឋ | |---------------------------------------------------- ---------------------------------------------------- --| | node1 | មីរ៉េស | ទិន្នន័យ | 0 | ១០៨៤ | /dev/drbd1084 | 1084 គីឡូបៃ | មិនបានប្រើ | UpToDate | | node52 | មីរ៉េស | ទិន្នន័យ | 2 | ១០៨៤ | /dev/drbd0 | 1084 គីឡូបៃ | មិនប្រើ | UpToDate | +------------------------------------------------ ---------------------------------------------------------------- ----+

អស្ចារ្យ! - យើងឃើញថាធនធានត្រូវបានបង្កើតនៅលើថ្នាំងពីរដំបូង យើងក៏អាចព្យាយាមបង្កើតធនធានដែលគ្មានថាសនៅលើទីបី៖

linstor resource create --diskless node3 myres

នៅលើថ្នាំងអ្នកនឹងតែងតែរកឃើញឧបករណ៍នេះជា /dev/drbd1084 ឬ /dev/drbd/by-res/myres/0

នេះជារបៀបដែល Linstor ធ្វើការ អ្នកអាចទទួលបានព័ត៌មានបន្ថែមពី ឯកសារផ្លូវការ.

ឥឡូវនេះខ្ញុំនឹងប្រាប់អ្នកពីរបៀបបញ្ចូលវាជាមួយ OpenNebula

ការដំឡើង OpenNebula

ខ្ញុំនឹងមិនចូលជ្រៅទៅក្នុងដំណើរការដំឡើង OpenNebula ទេ ព្រោះ... ជំហានទាំងអស់ត្រូវបានពិពណ៌នាលម្អិតនៅក្នុង ឯកសារផ្លូវការដែលខ្ញុំណែនាំអ្នកឱ្យទាក់ទង ខ្ញុំនឹងប្រាប់អ្នកអំពីការរួមបញ្ចូល OpenNebula ជាមួយ Linstor ប៉ុណ្ណោះ។

linstor_un

ដើម្បីដោះស្រាយបញ្ហានេះ ខ្ញុំបានសរសេរកម្មវិធីបញ្ជាផ្ទាល់ខ្លួនរបស់ខ្ញុំ - linstor_unបច្ចុប្បន្ននេះវាអាចប្រើបានជាកម្មវិធីជំនួយ ហើយត្រូវតែដំឡើងដោយឡែកពីគ្នា។

ការដំឡើងទាំងមូលត្រូវបានអនុវត្តនៅលើថ្នាំង OpenNebula ផ្នែកខាងមុខ ហើយមិនត្រូវការសកម្មភាពបន្ថែមលើថ្នាំងកុំព្យូទ័រទេ។

ជាដំបូងយើងត្រូវធ្វើឱ្យប្រាកដថាយើងមាន jq и linstor-អតិថិជន:

apt-get install jq linstor-client

ក្រុមការងារ linstor node list គួរតែបង្ហាញបញ្ជីថ្នាំង។ ថ្នាំងគណនា OpenNebula ទាំងអស់ត្រូវតែបញ្ចូលទៅក្នុងចង្កោម Linstor ។

ទាញយក និងដំឡើងកម្មវិធីជំនួយ៖

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

ឥឡូវនេះយើងត្រូវបន្ថែមវាទៅការកំណត់រចនាសម្ព័ន្ធ OpenNebula ដើម្បីធ្វើដូច្នេះយើងធ្វើតាមជំហានសាមញ្ញដែលបានពិពណ៌នា នៅទីនេះ.

បន្ទាប់មកចាប់ផ្តើម OpenNebula ឡើងវិញ៖

systemctl restart opennebula

ហើយបន្ថែមឃ្លាំងទិន្នន័យរបស់យើង ប្រព័ន្ធ៖

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

និងហាងលក់រូបភាព៖

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• ប៉ារ៉ាម៉ែត្រ AUTO_PLACE បង្ហាញចំនួននៃការចម្លងទិន្នន័យដែលនឹងត្រូវបានបង្កើតសម្រាប់រូបភាពថ្មីនីមួយៗនៅក្នុង OpenNebula ។
• ប៉ារ៉ាម៉ែត្រ CLONE_MODE បង្ហាញពីរបៀបដែលរូបភាពនឹងត្រូវបានក្លូននៅពេលបង្កើតម៉ាស៊ីននិម្មិតថ្មី snapshot - នឹងបង្កើតរូបថតមួយសន្លឹកនៃរូបភាព និងដាក់ឱ្យប្រើប្រាស់ម៉ាស៊ីននិម្មិតពីរូបថត។ copy — នឹងធ្វើច្បាប់ចម្លងពេញលេញនៃរូបភាពសម្រាប់ម៉ាស៊ីននិម្មិតនីមួយៗ។
• В BRIDGE_LIST វាត្រូវបានផ្ដល់អនុសាសន៍ឱ្យបញ្ជាក់ថ្នាំងទាំងអស់ដែលនឹងត្រូវបានប្រើដើម្បីអនុវត្តប្រតិបត្តិការក្លូនរូបភាព។

សម្រាប់បញ្ជីពេញលេញនៃប៉ារ៉ាម៉ែត្រដែលបានគាំទ្រ សូមមើល README គម្រោង។

វាបញ្ចប់ការដំឡើង ឥឡូវនេះអ្នកអាចទាញយកឧបករណ៍មួយចំនួនពីផ្លូវការ ទីផ្សារ OpenNebula និងបង្កើតម៉ាស៊ីននិម្មិតពីវា។

តំណភ្ជាប់គម្រោង៖
https://github.com/OpenNebula/addon-linstor_un

ប្រភព: www.habr.com