LINSTOR स्टोरेज आणि त्याचे OpenNebula सह एकत्रीकरण

काही काळापूर्वी, LINBIT मधील मुलांनी त्यांचे नवीन SDS समाधान - Linstor सादर केले. हे सिद्ध तंत्रज्ञानावर आधारित पूर्णपणे विनामूल्य स्टोरेज आहे: DRBD, LVM, ZFS. लिन्स्टोर साधेपणा आणि चांगल्या प्रकारे डिझाइन केलेले आर्किटेक्चर एकत्र करते, जे आपल्याला स्थिरता आणि जोरदार प्रभावी परिणाम प्राप्त करण्यास अनुमती देते.

आज मी याबद्दल थोडे अधिक तपशीलवार बोलू इच्छितो आणि linstor_un वापरून ते OpenNebula सह किती सहजतेने एकत्रित केले जाऊ शकते हे दर्शवू इच्छितो - एक नवीन ड्रायव्हर जो मी विशेषतः यासाठी विकसित केला आहे.

OpenNebula च्या संयोजनात Linstor तुम्हाला एक जलद आणि विश्वासार्ह क्लाउड तयार करण्यास अनुमती देते जे तुमच्या स्वतःच्या पायाभूत सुविधांवर सहजपणे तैनात केले जाऊ शकते.

लिनस्टर आर्किटेक्चर

Linstor ही फाईल सिस्टीम किंवा ब्लॉक स्टोरेज नाही, Linstor एक ऑर्केस्ट्रेटर आहे जो एक अॅब्स्ट्रॅक्शन लेयर प्रदान करतो जो तुम्हाला LVM किंवा ZFS मध्ये व्हॉल्यूम तयार करण्यास आणि DRBD9 वापरून त्यांची प्रतिकृती स्वयंचलित करण्यास अनुमती देतो.

स्टिरियोटाइप तोडणे

पण थांबा, DRBD? - ते स्वयंचलित का आणि ते कसे कार्य करू शकते?

चला भूतकाळाची आठवण करूया, जेव्हा DRBD8 खूप लोकप्रिय होते. त्याच्या मानक वापरामध्ये एक मोठे ब्लॉक उपकरण तयार करणे आणि त्याच LVM वापरून त्याचे अनेक लहान तुकडे करणे समाविष्ट आहे. एक प्रकारचा mdadm RAID-1 परंतु नेटवर्कवर प्रतिकृतीसह.

हा दृष्टिकोन त्याच्या कमतरतांशिवाय नाही आणि म्हणूनच, DRBD9 च्या आगमनाने, स्टोरेज डिझाइनची तत्त्वे बदलली आहेत; आता प्रत्येक आभासी मशीनसाठी स्वतंत्र DRBD डिव्हाइस तयार केले आहे.

स्वतंत्र ब्लॉक उपकरणांसह दृष्टीकोन क्लस्टरमधील जागेचा अधिक चांगला वापर करण्यास अनुमती देतो आणि अनेक अतिरिक्त वैशिष्ट्ये देखील जोडतो. उदाहरणार्थ, अशा प्रत्येक डिव्हाइससाठी आपण प्रतिकृतींची संख्या, त्यांचे स्थान आणि वैयक्तिक सेटिंग्ज निर्धारित करू शकता. ते तयार/हटवणे, स्नॅपशॉट घेणे, आकार बदलणे, एनक्रिप्शन सक्षम करणे आणि बरेच काही करणे सोपे आहे. हे लक्षात घेण्यासारखे आहे की DRBD9 देखील कोरमला समर्थन देते, ज्यामुळे तुम्हाला विभाजित-मेंदूची परिस्थिती टाळता येते.

संसाधने आणि बॅकएंड

नवीन ब्लॉक उपकरण तयार करताना, Linstor क्लस्टरमधील वेगवेगळ्या नोड्सवर आवश्यक प्रतिकृतींची संख्या ठेवते. आम्ही अशा प्रत्येक प्रतिकृतीला DRBD संसाधन म्हणू.

दोन प्रकारची संसाधने आहेत:

• डेटा संसाधन — हे LVM किंवा ZFS पूलमधील नोडवर स्थित DRBD साधन आहे.
  याक्षणी अनेक बॅकएंडसाठी समर्थन आहे आणि त्यांची संख्या सतत वाढत आहे. LVM, ThinLVM आणि ZFS साठी समर्थन आहे. शेवटचे दोन तुम्हाला स्नॅपशॉट तयार करण्याची आणि वापरण्याची परवानगी देतात.
• डिस्कलेस संसाधन — हे बॅकएंडशिवाय नोडवर ठेवलेले DRBD साधन आहे, परंतु ते नियमित ब्लॉक साधन म्हणून हाताळले जाण्याची परवानगी देते; सर्व रीड/राइट ऑपरेशन्स डेटा संसाधनांकडे पुनर्निर्देशित केले जातील. डिस्कलेस संसाधनांचे सर्वात जवळचे अॅनालॉग iSCSI LUN आहे.

प्रत्येक DRBD संसाधनामध्ये 8 प्रतिकृती असू शकतात आणि त्यापैकी फक्त एकच डीफॉल्टनुसार सक्रिय असू शकते - प्राथमिक, इतर प्रत्येकजण असेल माध्यमिक आणि जोपर्यंत किमान एक प्राथमिक आहे तोपर्यंत त्यांचा वापर अशक्य होईल, म्हणजेच ते फक्त आपापसात डेटाची प्रतिकृती तयार करतील.

सिस्टममध्ये DRBD डिव्हाइस स्थापित केल्याने, ते आपोआप होते प्राथमिक, अशा प्रकारे DRBD टर्मिनोलॉजीमध्ये डिस्कलेस संसाधन देखील प्राथमिक असू शकते.

मग तुम्हाला लिनस्टोरची गरज का आहे?

सर्व संसाधन-केंद्रित कार्ये कर्नलवर सोपवून, Linstor मूलत: एक नियमित Java ऍप्लिकेशन आहे जो तुम्हाला DRBD संसाधनांची निर्मिती सहजपणे स्वयंचलित करण्यास अनुमती देतो.
शिवाय, त्याने तयार केलेले प्रत्येक संसाधन हे स्वतंत्र DRBD क्लस्टर असेल जे नियंत्रण-विमान आणि इतर DRBD संसाधनांची स्थिती विचारात न घेता स्वतंत्रपणे कार्य करते.

Linstor मध्ये फक्त दोन घटक असतात:

• Linstor-नियंत्रक - मुख्य नियंत्रक, जो संसाधने तयार करण्यासाठी आणि व्यवस्थापित करण्यासाठी API प्रदान करतो. हे उपग्रहांशी संवाद साधते, त्यांच्यावरील मोकळी जागा तपासते आणि नवीन संसाधने तयार करण्यासाठी आणि हटवण्यासाठी कार्ये पाठवते. हे एकाच प्रसंगात चालते आणि डेटाबेस वापरते, जे अंतर्गत (H2) किंवा बाह्य (PostgreSQL, MySQL, MariaDB) असू शकते.
• Linstor-उपग्रह — सर्व स्टोरेज नोड्सवर इन्स्टॉल केलेले आहे आणि कंट्रोलरला मोकळ्या जागेबद्दल माहिती पुरवते, तसेच कंट्रोलरकडून नवीन व्हॉल्यूम आणि DRBD डिव्‍हाइस तयार करणे आणि हटवण्‍याची कार्ये देखील करते.

Linstor खालील प्रमुख संकल्पनांसह कार्य करते:

• नोड — एक भौतिक सर्व्हर ज्यावर DRBD संसाधने तयार आणि वापरली जातील.
• स्टोरेज पूल — LVM किंवा ZFS पूल नोडवर तयार केला आहे ज्यामध्ये DRBD संसाधने स्थित असतील. डिस्कलेस पूल देखील शक्य आहे - हा एक पूल आहे ज्यामध्ये फक्त डिस्कलेस संसाधने असतील.
• संसाधन व्याख्या — संसाधनाची व्याख्या मूलत: एक प्रोटोटाइप आहे जी नाव आणि त्याच्या सर्व गुणधर्मांचे वर्णन करते.
• खंड व्याख्या - खंड व्याख्या. प्रत्येक संसाधनामध्ये अनेक खंड असू शकतात, प्रत्येक व्हॉल्यूमचा आकार असणे आवश्यक आहे.
• संसाधन — ब्लॉक साधनाचे तयार केलेले उदाहरण, प्रत्येक संसाधन विशिष्ट नोडवर आणि काही स्टोरेज पूलमध्ये ठेवले पाहिजे.

Linstor स्थापना

मी प्रणाली म्हणून उबंटू वापरण्याची शिफारस करतो, कारण... तिच्यासाठी अस्तित्वात आहे तयार पीपीए:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

किंवा डेबियन, जेथे प्रॉक्समॉक्सच्या अधिकृत भांडारातून Linstor स्थापित केले जाऊ शकते:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

नियंत्रक

येथे सर्व काही सोपे आहे:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

स्टोरेज नोड्स

लिनक्स कर्नल सध्या इन-ट्री कर्नल मॉड्यूलसह ​​पाठवले जाते DRBD8, दुर्दैवाने ते आम्हाला अनुरूप नाही आणि आम्हाला स्थापित करणे आवश्यक आहे DRBD9:

apt-get install drbd-dkms

सराव दाखवल्याप्रमाणे, बहुतेक अडचणी तंतोतंत उद्भवतात कारण DRBD8 मॉड्यूल सिस्टममध्ये लोड केले जाते, आणि DRBD9 नाही. सुदैवाने, हे चालवून तपासणे सोपे आहे:

modprobe drbd
cat /proc/drbd

बघितले तर आवृत्ती: 9 - याचा अर्थ सर्वकाही ठीक आहे तर आवृत्ती: 8 - याचा अर्थ काहीतरी चूक झाली आहे आणि कारणे शोधण्यासाठी तुम्हाला अतिरिक्त पावले उचलण्याची आवश्यकता आहे.

आता इन्स्टॉल करू linstor-उपग्रह и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

क्लस्टर तयार करा

स्टोरेज पूल आणि नोड्स

बॅकएंड म्हणून आम्ही घेऊ ThinLVM, कारण हे सर्वात सोपे आहे आणि स्नॅपशॉटला समर्थन देते.
सेट lvm2, जर तुम्ही आधीच असे केले नसेल, तर आमच्या सर्व स्टोरेज नोड्सवर एक ThinLVM पूल तयार करूया:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

पुढील सर्व क्रिया थेट कंट्रोलरवर केल्या जाऊ शकतात:

चला आमचे नोड्स जोडूया:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

चला स्टोरेज पूल तयार करूया:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

आता तयार केलेले पूल तपासूया:

linstor storage-pool list

जर सर्वकाही योग्यरित्या केले गेले असेल, तर आपण असे काहीतरी पहावे:

+---------------------------------------------------------------- -------------------------------------------------- ----+ | स्टोरेजपूल | नोड | चालक | पूलनाव | मुक्त क्षमता | एकूण क्षमता | स्नॅपशॉटचे समर्थन करते | |------------------------------------------------ ------------------------------------------------------------------ ---| | डेटा | node1 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | खरे | | डेटा | node2 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | खरे | | डेटा | node3 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | खरे | +---------------------------------------------------------------- -------------------------------------------------- ----+

DRBD संसाधने

आता आमचे नवीन DRBD संसाधन तयार करण्याचा प्रयत्न करूया:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

चला तयार केलेली संसाधने तपासूया:

linstor resource list 

+---------------------------------------------------------------- -------------------------------------------------- ---+ | नोड | संसाधन | स्टोरेजपूल | व्हॉल्यूमNr | MinorNr | डिव्हाइसनाव | वाटप केले | InUse | राज्य | |------------------------------------------------ ------------------------------------------------------------------ --| | node1 | myres | डेटा | 0 | 1084 | /dev/drbd1084 | 52 KiB | न वापरलेले | UpToDate | | node2 | myres | डेटा | 0 | 1084 | /dev/drbd1084 | 52 KiB | न वापरलेले | UpToDate | +---------------------------------------------------------------- -------------------------------------------------- ---+

छान! - आम्ही पाहतो की पहिल्या दोन नोड्सवर संसाधन तयार केले गेले होते, आम्ही तिसऱ्यावर डिस्कलेस संसाधन तयार करण्याचा प्रयत्न करू शकतो:

linstor resource create --diskless node3 myres

नोड्सवर तुम्हाला हे डिव्हाइस नेहमी असे आढळेल /dev/drbd1084 किंवा /dev/drbd/by-res/myres/0

Linstor हे कसे कार्य करते, आपण अधिक माहिती मिळवू शकता अधिकृत दस्तऐवजीकरण.

आता मी तुम्हाला ते OpenNebula सह कसे समाकलित करायचे ते सांगेन

OpenNebula सेट करत आहे

मी OpenNebula सेटअप प्रक्रियेत जास्त खोल जाणार नाही, कारण... सर्व चरणांचे तपशीलवार वर्णन केले आहे अधिकृत दस्तऐवजीकरण, मी तुम्हाला संपर्क साधण्याची शिफारस करतो, मी तुम्हाला फक्त Linstor सह OpenNebula च्या एकत्रीकरणाबद्दल सांगेन.

linstor_un

या समस्येचे निराकरण करण्यासाठी, मी माझा स्वतःचा ड्रायव्हर लिहिला - linstor_un, हे सध्या प्लगइन म्हणून उपलब्ध आहे आणि स्वतंत्रपणे स्थापित करणे आवश्यक आहे.

संपूर्ण स्थापना फ्रंटएंड ओपननेबुला नोड्सवर चालते आणि गणना नोड्सवर अतिरिक्त क्रियांची आवश्यकता नसते.

सर्व प्रथम, आपण याची खात्री करणे आवश्यक आहे jq и linstor-क्लायंट:

apt-get install jq linstor-client

संघ linstor node list नोड्सची सूची प्रदर्शित करावी. सर्व OpenNebula कंप्यूट नोड्स Linstor क्लस्टरमध्ये जोडणे आवश्यक आहे.

प्लगइन डाउनलोड आणि स्थापित करा:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

आता आपल्याला ते ओपननेबुला कॉन्फिगरेशनमध्ये जोडण्याची आवश्यकता आहे, हे करण्यासाठी आम्ही वर्णन केलेल्या सोप्या चरणांचे अनुसरण करतो येथे.

मग OpenNebula रीस्टार्ट करा:

systemctl restart opennebula

आणि आमचे डेटास्टोअर, सिस्टम जोडा:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

आणि प्रतिमा स्टोअर:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• पॅरामीटर AUTO_PLACE OpenNebula मधील प्रत्येक नवीन प्रतिमेसाठी तयार केल्या जाणाऱ्या डेटा प्रतिकृतींची संख्या प्रदर्शित करते.
• पॅरामीटर CLONE_MODE नवीन व्हर्च्युअल मशीन तयार करताना प्रतिमा कशा क्लोन केल्या जातील हे दर्शवते, snapshot — प्रतिमेचा स्नॅपशॉट तयार करेल आणि स्नॅपशॉटमधून व्हर्च्युअल मशीन तैनात करेल, copy — प्रत्येक आभासी मशीनसाठी प्रतिमेची संपूर्ण प्रत तयार करेल.
• В BRIDGE_LIST इमेज क्लोनिंग ऑपरेशन्स करण्यासाठी वापरले जाणारे सर्व नोड्स निर्दिष्ट करण्याची शिफारस केली जाते.

समर्थित पॅरामीटर्सच्या संपूर्ण सूचीसाठी, पहा मला वाचा प्रकल्प

हे सेटअप पूर्ण करते, आता तुम्ही अधिकृत कडून काही उपकरण डाउनलोड करू शकता ओपननेबुला मार्केटप्लेस आणि त्यातून आभासी मशीन तयार करा.

प्रकल्प दुवा:
https://github.com/OpenNebula/addon-linstor_un

स्त्रोत: www.habr.com