LINSTOR भंडारण और OpenNebula के साथ इसका एकीकरण

अभी कुछ समय पहले, LINBIT के लोगों ने अपना नया SDS समाधान - Linstor प्रस्तुत किया था। यह सिद्ध प्रौद्योगिकियों पर आधारित पूरी तरह से निःशुल्क भंडारण है: डीआरबीडी, एलवीएम, जेडएफएस। लिनस्टोर सादगी और अच्छी तरह से डिज़ाइन की गई वास्तुकला को जोड़ती है, जो आपको स्थिरता और काफी प्रभावशाली परिणाम प्राप्त करने की अनुमति देती है।

आज मैं इसके बारे में थोड़ा और विस्तार से बात करना चाहता हूं और दिखाना चाहता हूं कि इसे linstor_un का उपयोग करके ओपननेबुला के साथ कितनी आसानी से एकीकृत किया जा सकता है - एक नया ड्राइवर जिसे मैंने विशेष रूप से इस उद्देश्य के लिए विकसित किया है।

ओपननेबुला के साथ संयोजन में लिनस्टोर आपको एक तेज़ और विश्वसनीय क्लाउड बनाने की अनुमति देता है जिसे आसानी से आपके बुनियादी ढांचे पर तैनात किया जा सकता है।

लिनस्टोर वास्तुकला

Linstor न तो एक फाइल सिस्टम है और न ही ब्लॉक स्टोरेज है, Linstor एक ऑर्केस्ट्रेटर है जो एक अमूर्त परत प्रदान करता है जो आपको LVM या ZFS में वॉल्यूम के निर्माण को स्वचालित करने और DRBD9 का उपयोग करके उन्हें दोहराने की अनुमति देता है।

टूटती हुई रूढ़ियाँ

लेकिन रुकिए, डीआरबीडी? - इसे स्वचालित क्यों करें और यह कैसे काम कर सकता है?

आइए अतीत को याद करें, जब DRBD8 बहुत लोकप्रिय था। इसके मानक उपयोग में एक बड़ा ब्लॉक डिवाइस बनाना और उसी एलवीएम का उपयोग करके इसे कई छोटे टुकड़ों में काटना शामिल है। एक प्रकार का mdadm RAID-1 लेकिन नेटवर्क पर प्रतिकृति के साथ।

यह दृष्टिकोण अपनी कमियों के बिना नहीं है, और इसलिए, DRBD9 के आगमन के साथ, भंडारण डिजाइन के सिद्धांत बदल गए हैं; अब प्रत्येक वर्चुअल मशीन के लिए एक अलग DRBD डिवाइस बनाया गया है।

स्वतंत्र ब्लॉक उपकरणों के साथ दृष्टिकोण क्लस्टर में स्थान के बेहतर उपयोग की अनुमति देता है, और कई अतिरिक्त सुविधाएँ भी जोड़ता है। उदाहरण के लिए, ऐसे प्रत्येक उपकरण के लिए आप प्रतिकृतियों की संख्या, उनका स्थान और व्यक्तिगत सेटिंग्स निर्धारित कर सकते हैं। इन्हें बनाना/हटाना, स्नैपशॉट लेना, आकार बदलना, एन्क्रिप्शन सक्षम करना और बहुत कुछ करना आसान है। यह ध्यान देने योग्य है कि DRBD9 कोरम का भी समर्थन करता है, जो आपको विभाजित-मस्तिष्क स्थितियों से बचने की अनुमति देता है।

संसाधन और बैकएंड

एक नया ब्लॉक डिवाइस बनाते समय, लिनस्टोर क्लस्टर में विभिन्न नोड्स पर आवश्यक संख्या में प्रतिकृतियां रखता है। हम ऐसी प्रत्येक प्रतिकृति को डीआरबीडी संसाधन कहेंगे।

संसाधन दो प्रकार के होते हैं:

• डेटा संसाधन — एक DRBD डिवाइस है जो LVM या ZFS पूल में एक नोड पर स्थित होता है।
  फिलहाल कई बैकएंड के लिए समर्थन उपलब्ध है और उनकी संख्या लगातार बढ़ रही है। इसमें LVM, ThinLVM और ZFS के लिए सपोर्ट मौजूद है। अंतिम दो आपको स्नैपशॉट बनाने और उपयोग करने की अनुमति देते हैं।
• डिस्क रहित संसाधन - एक डीआरबीडी डिवाइस है जिसे बिना बैकएंड के नोड पर रखा गया है, लेकिन इसे एक नियमित ब्लॉक डिवाइस के रूप में माना जा सकता है; सभी पढ़ने/लिखने के संचालन को डेटा संसाधनों पर पुनर्निर्देशित किया जाएगा। डिस्क रहित संसाधनों का निकटतम एनालॉग iSCSI LUN है।

प्रत्येक डीआरबीडी संसाधन में अधिकतम 8 प्रतिकृतियां हो सकती हैं, और उनमें से केवल एक ही डिफ़ॉल्ट रूप से सक्रिय हो सकता है - प्राथमिक, बाकी सब होंगे माध्यमिक और उनका उपयोग तब तक असंभव होगा जब तक कि कम से कम एक प्राथमिक है, यानी, वे बस अपने बीच डेटा को दोहराएंगे।

सिस्टम में DRBD डिवाइस स्थापित करने से यह स्वचालित रूप से बन जाता है प्राथमिक, इस प्रकार डीआरबीडी शब्दावली में एक डिस्क रहित संसाधन भी प्राथमिक हो सकता है।

तो आपको लिनस्टोर की आवश्यकता क्यों है?

सभी संसाधन-गहन कार्यों को कर्नेल को सौंपकर, लिनस्टोर अनिवार्य रूप से एक नियमित जावा एप्लिकेशन है जो आपको डीआरबीडी संसाधनों के निर्माण को आसानी से स्वचालित करने की अनुमति देता है।
इसके अलावा, उनके द्वारा बनाया गया प्रत्येक संसाधन एक स्वतंत्र डीआरबीडी क्लस्टर होगा जो नियंत्रण-विमान और अन्य डीआरबीडी संसाधनों की स्थिति की परवाह किए बिना स्वतंत्र रूप से संचालित होता है।

लिनस्टोर में केवल दो घटक होते हैं:

• लिनस्टोर-नियंत्रक - मुख्य नियंत्रक, जो संसाधन बनाने और प्रबंधित करने के लिए एक एपीआई प्रदान करता है। यह उपग्रहों के साथ भी संचार करता है, उन पर खाली स्थान की जाँच करता है, और नए संसाधन बनाने और हटाने के लिए कार्य भेजता है। यह एक ही उदाहरण में चलता है और एक डेटाबेस का उपयोग करता है, जो या तो आंतरिक (H2) या बाहरी (PostgreSQL, MySQL, MariaDB) हो सकता है।
• लिनस्टोर-उपग्रह - सभी स्टोरेज नोड्स पर स्थापित और नियंत्रक को खाली स्थान के बारे में जानकारी प्रदान करता है, और उनके शीर्ष पर नए वॉल्यूम और डीआरबीडी डिवाइस बनाने और हटाने के लिए नियंत्रक से प्राप्त कार्य भी करता है।

लिनस्टोर निम्नलिखित प्रमुख अवधारणाओं के साथ काम करता है:

• आसंधि - एक भौतिक सर्वर जिस पर डीआरबीडी संसाधन बनाए और उपयोग किए जाएंगे।
• भंडारण पूल - एलवीएम या जेडएफएस पूल उस नोड पर बनाया गया है जिसमें डीआरबीडी संसाधन स्थित होंगे। एक डिस्क रहित पूल भी संभव है - यह एक ऐसा पूल है जिसमें केवल डिस्क रहित संसाधन स्थित होंगे।
• संसाधन परिभाषा - किसी संसाधन की परिभाषा मूलतः एक प्रोटोटाइप है जो नाम और उसके सभी गुणों का वर्णन करता है।
• वॉल्यूम परिभाषा - वॉल्यूम परिभाषा. प्रत्येक संसाधन में कई खंड शामिल हो सकते हैं, प्रत्येक खंड का एक आकार होना चाहिए।
• संसाधन - ब्लॉक डिवाइस का एक निर्मित उदाहरण, प्रत्येक संसाधन को एक विशिष्ट नोड और कुछ स्टोरेज पूल में रखा जाना चाहिए।

लिनस्टोर स्थापना

मैं एक सिस्टम के रूप में उबंटू का उपयोग करने की सलाह देता हूं, क्योंकि... उसके लिए मौजूद है तैयार पीपीए:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

या डेबियन, जहां लिनस्टोर को प्रोक्समॉक्स के आधिकारिक भंडार से स्थापित किया जा सकता है:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

नियंत्रक

सबकुछ यहां आसान है:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

भंडारण नोड्स

लिनक्स कर्नेल वर्तमान में इन-ट्री कर्नेल मॉड्यूल के साथ आता है DRBD8, दुर्भाग्य से यह हमारे अनुकूल नहीं है और हमें इसे स्थापित करने की आवश्यकता है DRBD9:

apt-get install drbd-dkms

जैसा कि अभ्यास से पता चलता है, अधिकांश कठिनाइयाँ ठीक से उत्पन्न होती हैं क्योंकि DRBD8 मॉड्यूल सिस्टम में लोड होता है, न कि DRBD9। सौभाग्य से, इसे चलाकर जांचना आसान है:

modprobe drbd
cat /proc/drbd

अगर आप देखें संस्करण: 9 - इसका मतलब है कि सब कुछ ठीक है संस्करण: 8 - इसका मतलब है कि कुछ गलत हुआ है और कारणों का पता लगाने के लिए आपको अतिरिक्त कदम उठाने की जरूरत है।

अब इंस्टॉल करते हैं linstor-उपग्रह и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

एक क्लस्टर बनाएं

भंडारण पूल और नोड्स

बैकएंड के रूप में हम लेंगे थिनएलवीएम, क्योंकि यह सबसे सरल है और स्नैपशॉट का समर्थन करता है।
स्थित एलवीएम2, यदि आपने पहले से ऐसा नहीं किया है, तो आइए अपने सभी स्टोरेज नोड्स पर एक ThinLVM पूल बनाएं:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

आगे की सभी कार्रवाइयां सीधे नियंत्रक पर की जा सकती हैं:

आइए अपने नोड्स जोड़ें:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

आइए भंडारण पूल बनाएं:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

आइए अब बनाए गए पूलों की जाँच करें:

linstor storage-pool list

यदि सब कुछ सही ढंग से किया गया है, तो हमें कुछ इस तरह देखना चाहिए:

+---------------------------------------------------------------- -------------------------------------------------- ----+ | स्टोरेजपूल | नोड | ड्राइवर | पूल का नाम | मुफ़्तक्षमता | कुलक्षमता | स्नैपशॉट्स का समर्थन करता है | |------------------------------------------------ - ------------------------------------------------- - ---| | डेटा | नोड1 | LVM_THIN | डीआरबीडीपूल/थिनपूल | 64 जीबी | 64 जीबी | सच | | डेटा | नोड2 | LVM_THIN | डीआरबीडीपूल/थिनपूल | 64 जीबी | 64 जीबी | सच | | डेटा | नोड3 | LVM_THIN | डीआरबीडीपूल/थिनपूल | 64 जीबी | 64 जीबी | सच | +---------------------------------------------------------------- -------------------------------------------------- ----+

डीआरबीडी संसाधन

आइए अब अपना नया DRBD संसाधन बनाने का प्रयास करें:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

आइए निर्मित संसाधनों की जाँच करें:

linstor resource list 

+---------------------------------------------------------------- -------------------------------------------------- ---+ | नोड | संसाधन | स्टोरेजपूल | वॉल्यूमNr | माइनरएनआर | डिवाइस का नाम | आवंटित | उपयोग में | राज्य | |------------------------------------------------ - ------------------------------------------------- - --| | नोड1 | मायरेस | डेटा | 0 | 1084 | /dev/drbd1084 | 52 किबी | अप्रयुक्त | अद्यतन तिथि | | नोड2 | मायरेस | डेटा | 0 | 1084 | /dev/drbd1084 | 52 किबी | अप्रयुक्त | अद्यतन तिथि | +---------------------------------------------------------------- -------------------------------------------------- ---+

महान! - हम देखते हैं कि संसाधन पहले दो नोड्स पर बनाया गया था, हम तीसरे पर एक डिस्क रहित संसाधन बनाने का भी प्रयास कर सकते हैं:

linstor resource create --diskless node3 myres

नोड्स पर आपको यह डिवाइस हमेशा इस रूप में मिलेगी /dev/drbd1084 या /dev/drbd/by-res/myres/0

लिनस्टोर इस प्रकार काम करता है, आप अधिक जानकारी यहां से प्राप्त कर सकते हैं आधिकारिक दस्तावेज.

अब मैं आपको बताऊंगा कि इसे OpenNebula के साथ कैसे एकीकृत किया जाए

ओपननेबुला की स्थापना

मैं OpenNebula सेटअप प्रक्रिया में बहुत गहराई तक नहीं जाऊंगा, क्योंकि... सभी चरणों का विस्तार से वर्णन किया गया है आधिकारिक दस्तावेज, जिससे मैं आपको संपर्क करने की सलाह देता हूं, मैं आपको केवल लिनस्टोर के साथ ओपननेबुला के एकीकरण के बारे में बताऊंगा।

linstor_un

इस समस्या को हल करने के लिए, मैंने अपने ड्राइवर को लिखा - linstor_un, यह वर्तमान में एक प्लगइन के रूप में उपलब्ध है और इसे अलग से इंस्टॉल किया जाना चाहिए।

संपूर्ण इंस्टॉलेशन फ्रंटएंड ओपननेबुला नोड्स पर किया जाता है और कंप्यूट नोड्स पर अतिरिक्त क्रियाओं की आवश्यकता नहीं होती है।

सबसे पहले, हमें यह सुनिश्चित करना होगा कि हमारे पास है jq и linstor-ग्राहक:

apt-get install jq linstor-client

टीम linstor node list नोड्स की एक सूची प्रदर्शित करनी चाहिए। सभी OpenNebula कंप्यूट नोड्स को Linstor क्लस्टर में जोड़ा जाना चाहिए।

प्लगइन डाउनलोड और इंस्टॉल करें:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

अब हमें इसे OpenNebula कॉन्फ़िगरेशन में जोड़ने की आवश्यकता है, ऐसा करने के लिए हम वर्णित सरल चरणों का पालन करते हैं यहां.

फिर OpenNebula पुनः आरंभ करें:

systemctl restart opennebula

और हमारे डेटास्टोर, सिस्टम को जोड़ें:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

और छवि भंडार:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• प्राचल AUTO_PLACE OpenNebula में प्रत्येक नई छवि के लिए बनाए जाने वाले डेटा प्रतिकृतियों की संख्या प्रदर्शित करता है।
• प्राचल CLONE_MODE यह बताता है कि नई वर्चुअल मशीनें बनाते समय छवियों को कैसे क्लोन किया जाएगा, snapshot - छवि का एक स्नैपशॉट बनाएगा और स्नैपशॉट से एक वर्चुअल मशीन तैनात करेगा, copy - प्रत्येक वर्चुअल मशीन के लिए छवि की एक पूरी प्रतिलिपि बनायेगा।
• В BRIDGE_LIST उन सभी नोड्स को निर्दिष्ट करने की अनुशंसा की जाती है जिनका उपयोग छवि क्लोनिंग ऑपरेशन करने के लिए किया जाएगा।

समर्थित मापदंडों की पूरी सूची के लिए देखें README परियोजना।

यह सेटअप पूरा हो गया है, अब आप आधिकारिक से कुछ उपकरण डाउनलोड कर सकते हैं ओपननेबुला मार्केटप्लेस और इससे वर्चुअल मशीनें बनाएं।

प्रोजेक्ट लिंक:
https://github.com/OpenNebula/addon-linstor_un

स्रोत: www.habr.com