LINSTORi salvestus ja selle integreerimine OpenNebulaga

Hiljuti esitles LINBIT oma uut SDS-lahendust – Linstor. See on täielikult avatud salvestus, mille aluseks on usaldusväärsed tehnoloogiad: DRBD, LVM, ZFS. Linstor ühendab endas lihtsuse ja hästi läbimõeldud arhitektuuri, mis võimaldab saavutada stabiilsust ja piisavalt muljetavaldavaid tulemusi.

Täna sooviksin rääkida sellest täpsemalt ja näidata, kui lihtne on seda integreerida OpenNebulaga, kasutades linstor_un – uut draiverit, mille olen spetsiaalselt selleks välja töötanud.

Linstor koos OpenNebulaga võimaldab luua kiire ja usaldusväärse pilve, mille saab probleemselt seadistada oma infrastruktuurile.

Linstori arhitektuur

Linstor ei ole iseenesest ei failisüsteem ega plokisalvestus, Linstor on orkestrator, mis pakub abstraktsioonikihti, mis võimaldab automatiseerida LVM või ZFS mahtude loomist ja nende replikatsiooni DRBD9 abil.

Murdame stereotüüpe

Aga oot, DRBD? — Miks seda automatiseerida ja kuidas see üldse toimib?

Mäletagem minevikku, kui DRBD8 oli väga populaarne. Selle standardne kasutamine tähendas ühe suure plokiseadme loomist ja selle jagamist paljude väikeste tükkideks LVM abil. Justkui mdadm RAID-1, aga replikatsiooniga üle võrgu.

Selline lähenemine ei ole ilma puudusteta ning seetõttu on DRBD9 saabumisega salvestuse ehitamise printsiibid muutunud; nüüd luuakse iga virtuaali jaoks eraldi DRBD-seade.

Iseseisvate plokiseadmete lähenemine võimaldab paremini ära kasutada ruumi klastris ja lisab mitmeid täiendavaid võimalusi. Näiteks saab iga sellise seadme jaoks määrata replikate arvu, nende asukoha ja individuaalsed seaded. Neid on lihtne luua/kustutada, teha hetkefotosid, muuta suurust, sisse lülitada krüpteerimine ja palju muud. Tõsiselt tuleb märkida, et DRBD9 toetab ka kvoorumit, mis aitab vältida split-brain olukordi.

Ressursid ja tagaplaanid

Uue plokiseadme loomisel paigutab Linstor vajaliku arvu repliikaid klastris asuvatele erinevatele sõlmedele. Iga sellist replikat nimetame DRBD-ressursiks.

Resursse on kahte tüüpi:

• Andme-ressurss — esindavad DRBD-seadet, mis asub sõlmes LVM-i või ZFS-i puus.
  Praegu on toetatud mitmeid taustu ja nende arv kasvab pidevalt. Toetatakse LVM-i, ThinLVM-i ja ZFS-i. Viimased kaks võimaldavad luua ja kasutada snapshot'e.
• Diskless-ressurss — on DRBD-seade, mis on paigutatud sõlmele ilma taustata, kuid võimaldab sellega ennekuulmatult tegeleda, nagu tavalise plokkseadmestikuga, kõik lugemise/kirjutamise toimingud suunatakse data-ressurssidele. Kõige lähem analoog diskless-ressurssidele on iSCSI LUN.

Igal DRBD-ressursil võib olla kuni 8 koopiat, ja ainult üks neist võib olla vaikimisi aktiivne — Primary, kõik teised on Secondary ja nende kasutamine on võimatu, kuni on vähemalt üks Primary, st nad lihtsalt replitseerivad andmeid omavahel.

Kui mountida DRBD-seade süsteemi, siis see automaatselt muutub Primary, seega võib isegi Diskless-ressurss, DRBD-i terminoloogias, olla Primary.

Miks on Linstor vajalik?

Usaldades kõik ressursienergiatootmise ülesanded kärku, esindab Linstor põhimõtteliselt tavalist Java-rakendust, mis võimaldab hõlpsasti automatiseerida DRBD-ressursside loomist.
Kuid iga loodud ressurss on sõltumatu DRBD-klaster, mis töötab iseseisvalt, hoolimata control-plane'i ja teiste DRBD-ressursside olekust.

Linstor koosneb kahest komponendist:

• Linstor-controller — Peamine kontroller, mis pakub API-d ressursside loomiseks ja haldamiseks. Ta suhtleb ka satelliitidega, kontrollides vaba ruumi neis ja edastab ülesandeid uute ressursside loomise ja kustutamise jaoks. Käivitatakse ühes eksemplaris ja kasutab andmebaasi, mis võib olla kas sisemine (H2) või väline (PostgreSQL, MySQL, MariaDB)
• Linstor-satellite — Paigaldatakse kõikidele storage-sõlmedele ja annab kontrollerile teavet vaba ruumi kohta ning täidab kontrollerilt saadud ülesandeid uute mahtude ja DRBD-seadmete loomise ja kustutamise jaoks nende peal.

Linstor tegutseb järgmiste põhikontseptsioonide järgi:

• Node — füüsiline server, kus luuakse ja kasutatakse DRBD-ressursse.
• Säilitustorn — LVM või ZFS bassein, mis on loodud sõlmes, kus asuvad DRBD-ressursid. Samuti on võimalik diskless-bassein — see on bassein, kus asuvad ainult diskless-ressursid.
• Resource Definition — Ressursi määratlemine, see on põhimõtteliselt prototüüp, mis kirjeldab nime ja kõiki selle omadusi.
• Mahtude määratlemine — Mahu määratlemine. Iga ressursi koostises võib olla mitu mahtu, igal mahul peab olema oma suurus.
• Ressurss — Loodud blokkseadmestiku eksemplar, igal ressursil peab olema kindel sõlmed ja ta peab olema mõnes storage pool'is.

Linstori seadistamine

Süsteemi soovitan kasutada Ubuntu, kuna sellele on olemas valmis PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

Või Debian, kus Linstori saab installida Proxmoxi ametlikust varahoidlast:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

Kontroller

Siin on kõik lihtne:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

Storage nodid

Praegu tarnitakse Linuxi tuumas in-tree tuuma moodul DRBD8, kahjuks ei sobi see meile ja peame installima DRBD9:

apt-get install drbd-dkms

Praktika näitab, et enamik raskusi tekib just seetõttu, et süsteemis on laaditud DRBD8 moodul, mitte DRBD9. Õnneks on seda lihtne kontrollida, käivitades:

modprobe drbd
cat /proc/drbd

Kui näete version: 9 — siis on kõik korras, kui version: 8 — siis on midagi valesti läinud ja peate tegema täiendavaid samme põhjuse väljaselgitamiseks.

Nüüd installime linstor-satellite ja drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

Klasteri loomine

Storage pools ja nodid

Tagasi võetava alusena valime ThinLVM, kuna see on kõige lihtsam ja toetab snapshots.
Installige lvm2, kui te veel seda ei tee, ja loome ThinLVM pool'i kõigil meie storage nodidel:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

Kõiki edasisi toiminguid saab teha kontrollimise korral:

Lisa meie nodid:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

Loome storage pools:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

Nüüd kontrollime loodud puule:

linstor storage-pool list

Kui kõik on õigesti tehtud, peaksime nägema midagi sellist:

+-------------------------------------------------------------------------------------------------------+
| StoragePool | Node  | Driver   | PoolName          | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------------|
| data        | node1 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
| data        | node2 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
| data        | node3 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
+-------------------------------------------------------------------------------------------------------+

DRBD-resurse

Nüüd proovime luua meie uut DRBD-resurssi:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

Kontrollime loodud ressursse:

linstor resource list 

+------------------------------------------------------------------------------------------------------+
| Node  | Resource | StoragePool | VolumeNr | MinorNr | DeviceName    | Allocated  | InUse  |    State |
|------------------------------------------------------------------------------------------------------|
| node1 | myres    | data        | 0        | 1084    | /dev/drbd1084 | 52 KiB     | Unused | UpToDate |
| node2 | myres    | data        | 0        | 1084    | /dev/drbd1084 | 52 KiB     | Unused | UpToDate |
+------------------------------------------------------------------------------------------------------+

Suurepärane! — näeme, et ressurss on loodud esimestel kahel sõlmel, võime proovida luua diskless-resurssi kolmandal:

linstor resource create --diskless node3 myres

Sõlmedes leiate alati selle seadme nimega /dev/drbd1084 või /dev/drbd/by-res/myres/0

Nii toimib Linstor, rohkem teavet leiate ametlikust dokumentatsioonist.

Nüüd räägin, kuidas seda integreerida OpenNebulaga

OpenNebula seadistamine

Ma ei süvene sügavale OpenNebula seadistamise protsessi, kuna kõik sammud on detailselt kirjeldatud ametlikust dokumentatsioonist, millele soovitan teil viidata; räägin ainult OpenNebula integreerimisest Linstoriga.

linstor_un

Selle ülesande lahendamiseks kirjutasin oma draiveri — linstor_un, hetkel on see saadaval plugina kujul ja peab olema eraldi installitud.

Kogu installatsioon toimub OpenNebula frontend sõlmedes ega nõua täiendavaid toiminguid compute sõlmedes.

Esiteks peame veenduma, et meil on jq ja linstor-client:

apt-get install jq linstor-client

Meeskond linstor node list peaks väljastama sõlmede loendi. Kõik OpenNebula compute sõlmed peavad olema Linstor klastrisse lisatud.

Laadime alla ja installime plugina:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

Nüüd peame selle OpenNebula konfiguratsiooni lisama, selleks järgime lihtsaid samme, mis on kirjeldatud siin.

Peale seda taaskäivitage OpenNebula:

systemctl restart opennebula

Ja lisame meie datastoorid, süsteemse:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

Ja piltide salvestamine:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• Parameeter AUTO_PLACE näitab, kui palju data-replikate luuakse iga uue pildi jaoks OpenNebulas.
• Parameeter CLONE_MODE näitab, kuidas täpselt pilte kloonitakse uute virtuaalmasinate loomisel, snapshot — loob pildist snapshot'i ja käivitab virtuaalmasina sellest snapshot'ist, kopeerida — loob iga virtuaalmasina jaoks pildi täieliku koopia.
• Uues BRIDGE_LIST soovitatakse määrata kõik noodid, mida kasutatakse piltide kloonimise operatsioonide teostamiseks.

Toetatud parameetrite täielik nimekiri on toodud näiteks, mis kuvatakse armatuurlaudade peal koos Prometheuse päringutega, mis täidavad armatuure. projekti.

Sellega on seadistamine lõpetatud, nüüd saab laadida ametlikust OpenNebula Marketplace mõnda appliance'i ja luua sellest virtuaalmasinaid.

Projekti link:
https://github.com/OpenNebula/addon-linstor_un

Allikas: habr.com