🥇LINSTOR-i salvestus ja selle integreerimine OpenNebulaga

Hiljuti esitles LINBIT oma uut SDS-lahendust — Linstor. See on täiesti avatud salvestuslahendus, mis põhineb usaldusväärsetel tehnoloogiatel: DRBD, LVM, ZFS. Linstor ühendab endas lihtsuse ja hästi läbi mõeldud arhitektuuri, mis tagab stabiilsuse ja muljetavaldavad tulemused.

Täna tahaksin rääkida sellest natuke lähemalt ning näidata, kui lihtne on seda integreerida OpenNebulaga, kasutades linstor_un — uut draiverit, mille olen spetsiaalselt selle eesmärgi jaoks välja töötanud.

Linstor koos OpenNebulaga võimaldab luua kiire ja usaldusväärse pilve, mida saab hõlpsasti juurutada oma infrastruktuuris.

Linstor arhitektuur

Linstor ei ole iseenesest ei failisüsteem ega plokksalvestus, Linstor on orkestrator, mis pakub abstraktsioonikihi, mis võimaldab automatiseerida mahute loomist LVM-is või ZFS-is ning replitseerimist DRBD9 abil.

Murdame stereotüüpe

Aga oot, DRBD? — Miks seda automatiseerida ja kuidas see üldse töötab?

Kohustame mõtteid ajas tagasi, mil DRBD8 oli laialdaselt populaarne. Selle tavapärane kasutamine tähendas ühe suure plokiseadmestiku loomist ja selle jagamist paljudeks väiksemateks tükkideks, kasutades sama LVM-i. Midagi sarnast mdadm RAID-1, kuid võrgu replikatsiooniga.

See lähenemine ei ole vaba puudustest, seega DRBD9 saabudes muutusid salvestusprintsiibid. Nüüd luuakse iga virtuaalmasina jaoks eraldi DRBD-seade.

Iseseisvate plokiseadmete lähenemine võimaldab paremini kasutada ruumi klastris ja lisab mitmeid uusi võimalusi. Näiteks igas sellises seadmes saab määrata replikate arvu, nende asukoha ja individuaalsed seadistused. Need on kergesti loodavad/keeled sõlmida, snäpshotide tegema, mõõtmeid muutma, krüpteerimist aktiveerima ja palju muud. Tuleb märkida, et DRBD9 toetab ka kvoorumit, mis aitab vältida split-brain olukordi.

Resursid ja tagaplaanid

Uue plokiseadmestiku loomisel paigutab Linstor vajalikud koopiad klastris erinevatele node'idele. Iga sellist koopiat nimetame DRBD-resurssiks.

Resursid on kahte tüüpi:

Andme-resurss — on DRBD-seade, mis on paigutatud LVM või ZFS basseinile.
Praegu toetatakse mitmeid taustu ja nende arv kasvab pidevalt. Toetatakse LVM-i, ThinLVM-i ja ZFS-i. Viimased kaks võimaldavad luua ja kasutada snapshotsid.
Diskless-ressurss — on DRBD-seade, mis on paigutatud sõlme ilma taustata, kuid võimaldab seda käsitleda nagu tavalist plokkseadet, kõik lugemis-/kirjutamistegevused suunatakse andme-ressurssidele. Kõige sarnasem diskless-ressurssidele on iSCSI LUN.

Iga DRBD-ressursil võib olla kuni 8 replikati, ja ainult üks neist võib vaikimisi olla aktiivne — Primary, kõik teised on Secondary ja nende kasutamine on võimatu, kuni vähemalt üks on Primary, st nad lihtsalt replikeerivad andmeid omavahel.

Kui DRBD-seade süsteemi monteerida, muutub see automaatselt Primary, seega isegi Diskless-ressurss, DRBD terminoloogias, võib olla Primary.

Miks on vaja Linstor?

Usaldades kõik ressursinõudlikud ülesanded tuumale, esindab Linstor põhimõtteliselt tavalist Java rakendust, mis võimaldab lihtsalt automatiseerida DRBD-ressursside loomist.
Iga loodud ressurss on iseseisev DRBD-klaster, mis töötab iseseisvalt, sõltumata control-plane ja ülejäänud DRBD-resursside seisundist.

Linstor koosneb vaid kahest komponendist:

Linstor-controller — Peamine kontroller, mis pakub API-t ressursside loomise ja haldamise jaoks. See suhtub ka satelliitidesse, kontrollides nende vabade kohtade olemasolu, ja saadab ülesandeid uute ressursside loomiseks ja eemaldamiseks. Käivitatakse ühes eksemplaris ja kasutab andmebaasi, mis võib olla kas sisemine (H2) või väline (PostgreSQL, MySQL, MariaDB).
Linstor-satellite — Paigaldatakse kõikidele storage-node'idele ja edastab kontrollerile teavet vabade kohtade kohta ning täidab ülesandeid, mis on saadud kontrollerilt, uute mahutite ja DRBD-seadmete loomiseks ja eemaldamiseks.

Linstor opereerib järgmiste võtmekontseptsioonidega:

Sõlm — füüsiline server, millel luuakse ja kasutatakse DRBD-ressursse.
Storage Pool — LVM või ZFS bassein, mis on loodud sõlmes, kus asuvad DRBD-ressursid. Samuti on võimalik diskless-bassein — see on bassein, milles asuvad ainult diskless-ressursid.
Ressurssi määratlemine — Ressurssi määratlemine, see on põhimõtteliselt prototüüp, mis kirjeldab nime ja kõiki selle omadusi.
Mahu määratlemine — Mahu määratlemine. Iga ressurss võib koosneda mitmest mahust, igal mahul peab olema suurus.
Ressurss — Loodud plokk-seadmestiku nähtav eksemplar, iga ressurss peab olema määratud kindlale sõlmele ja mingisse salvestusala.

Linstori seadistamine

Süsteemina soovitan kasutada Ubuntu't, kuna selle jaoks on olemas valmis PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

Või Debian, kus Linstori saab installida Proxmoxi ametlikust hoidlast:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

Kontroller

Siin on kõik lihtne:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

Salvestuse sõlmed

Praegu tarnitakse Linuxi tuumas in-tree moodulit DRBD8, kahjuks ei sobi see meile ja peame installima DRBD9:

apt-get install drbd-dkms

Kogemus näitab, et enamik raskusi tekib seetõttu, et süsteemis on laaditud DRBD8 moodul, mitte DRBD9. Õnneks on seda lihtne kontrollida, täites:

modprobe drbd
cat /proc/drbd

Kui näete versioon: 9 — tähendab, et kõik on korras, kui versioon: 8 — see tähendab, et midagi läks valesti ja peate tegema täiendavaid samme, et põhjuseid välja selgitada.

Nüüd installime linstor-satellite ja drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

Klastri loomine

Ladustamisreservid ja sõlmed

Tagaruumina võtame ThinLVM, kuna see on kõige lihtsam ja toetab snapshots.
Installige lvm2, kui te veel pole seda teinud, loome nüüd ThinLVM rezervi kõikidesse meie ladustamisnõladesse:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

Kõiki edasisi samme saab teha otse kontrolleris:

Lisame meie sõlmed:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

Loome ladustamisreservid:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

Nüüd kontrollime loodud reservide olemasolu:

linstor storage-pool list

Kui kõik on õigesti tehtud, peaksime nägema midagi sellist:

+-------------------------------------------------------------------------------------------------------+
| StoragePool | Node  | Driver   | PoolName          | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------------|
| data        | node1 | LVM_THIN | drbdpool\/thinpool |       64 GiB |        64 GiB | true              |
| data        | node2 | LVM_THIN | drbdpool\/thinpool |       64 GiB |        64 GiB | true              |
| data        | node3 | LVM_THIN | drbdpool\/thinpool |       64 GiB |        64 GiB | true              |
+-------------------------------------------------------------------------------------------------------+

DRBD-ressursid

Nüüd proovime luua meie uue DRBD-ressursi:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

Kontrollime loodud ressursse:

linstor resource list

+------------------------------------------------------------------------------------------------------+
| Node  | Resource | StoragePool | VolumeNr | MinorNr | DeviceName    | Allocated  | InUse  |    State |
|------------------------------------------------------------------------------------------------------|
| node1 | myres    | data        | 0        | 1084    | \/dev\/drbd1084 | 52 KiB     | Unused | UpToDate |
| node2 | myres    | data        | 0        | 1084    | \/dev\/drbd1084 | 52 KiB     | Unused | UpToDate |
+------------------------------------------------------------------------------------------------------+

Suurepärane! — näeme, et ressurss on loodud esimeses kahe nodi, saame proovida luua diskless-ressursi kolmandale:

linstor resource create --diskless node3 myres

Node'idel leiate alati selle seadme nagu /dev/drbd1084 või /dev/drbd/by-res/myres/0

Nii töötab Linstor, lisainformatsiooni leiate ametlikus dokumentatsioonis.

Nüüd räägin, kuidas seda OpenNebulaga integreerida

OpenNebula seadistamine

Ma ei süvene sügavale OpenNebula seadistusprotsessi, kuna kõik sammud on üksikasjalikult kirjeldatud ametlikus dokumentatsioonis, mille poole soovitan teil pöörduda, räägin ainult OpenNebula integreerimisest Linstoriga.

linstor_un

Selle ülesande lahendamiseks olen kirjutanud oma draiveri — linstor_un, mis on praegu saadaval pluginana ja peab olema eraldi installitud.

Kogu installatsioon toimub OpenNebula frontend-node’idel ja ei nõua täiendavaid toiminguid compute-node'ide peal.

Esiteks peame veenduma, et me omame jq ja linstor-client:

apt-get install jq linstor-client

Meeskond linstor node list peaks kuvama loendi nodest. Kõik OpenNebula compute-node'id peavad olema Linstor'i klastrisse lisatud.

Laadigem alla ja installime plugina:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

Nüüd peame selle lisama OpenNebula konfi, selleks täidame mõned lihtsad sammud, mis on kirjeldatud siit.

Pärast seda taaskäivitame OpenNebula:

systemctl restart opennebula

Ja lisame meie andmehoidlad, süsteemne:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

Ja piltide hoidla:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

Parameeter AUTO_PLACE näitab andmekoopia arvu, mis luuakse iga uue pildi jaoks OpenNebulas.
Parameeter CLONE_MODE näitab, kuidas täpselt kloonitakse pildid, kui luuakse uusi virtuaalmasinaid, snapshot — loob pildist snapshots ja käivitab virtuaalmasina snapshotist, copy — loob iga virtuaalmasina jaoks täieliku koopia pildist.
V BRIDGE_LIST soovitav on näidata kõiki node'e, mida kasutatakse piltide kopeerimise toimingute jaoks.

Täielik toetatud parameetrite nimekiri on antud README projekti.

Sellega seadistamine lõpeb, nüüd saab ametlikust OpenNebula Marketplace'ist laadida mingit appliance'i ja sellest virtuaalmasinaid luua.

Projekti link:
https://github.com/OpenNebula/addon-linstor_un

Allikas: habr.com