LINSTOR skladište i njegova integracija s OpenNebula

LINSTOR skladište i njegova integracija s OpenNebula

Nedavno su momci iz LINBIT-a predstavili svoje novo SDS rešenje — Linstor. Ovo je potpuno slobodno skladište koje koristi proverenih tehnologija: DRBD, LVM, ZFS. Linstor kombinuje jednostavnost i dobro dizajniranu arhitekturu, što omogućava postizanje stabilnosti i prilično zadovoljavajućih rezultata.

Danas bih želeo da govorim o tome malo detaljnije i pokažem koliko lako može da se integriše sa OpenNebula koristeći linstor_un — novi drajver koji sam razvio posebno za ovu svrhu.

Linstor, u kombinaciji sa OpenNebula, omogućava izgradnju brzog i pouzdano oblaka, koji se može bez problema postaviti na sopstvenoj infrastrukturi.

Arhitektura Linstor

Linstor nije ni fajl sistem ni blok skladište sam po sebi; Linstor je orkestrator koji pruža sloj apstrakcije koji omogućava automatizaciju kreiranja volumena u LVM-u ili ZFS-u i repliciranje istih pomoću DRBD9.

Razbijamo stereotipe

Ali, čekajte, DRBD? — Zašto ga automatizovati i kako to može da funkcioniše?

Setimo se prošlosti, kada je DRBD8 bio veoma popularan. Njegova standardna upotreba podrazumevala je kreiranje jednog velikog blok uređaja i deljenje na mnogo malih komada, uz pomoć istog LVM-a. Neki tip mdadm RAID-1, ali sa replikacijom preko mreže.

Ovakav pristup nije bio bez mana, pa su sa dolaskom DRBD9 principi izgradnje skladišta promenjeni; sada se za svaku virtuelnu mašinu kreira poseban DRBD uređaj.

Pristup sa nezavisnim blok uređajima omogućava bolje korišćenje prostora u klasteru, kao i dodaje niz dodatnih mogućnosti. Na primer, za svaki takav uređaj možete odrediti broj replika, njihovu lokaciju i individualne postavke. Lako ih je kreirati/brisati, praviti snimke, menjati veličinu, omogućiti enkripciju i mnogo više. Treba napomenuti da DRBD9 takođe podržava kvorum, koji omogućava izbegavanje situacija sa split-brain.

Resursi i bekendi

Kada se kreira novi blok uređaj, Linstor postavlja potrebnu količinu replika na različitim nodama u klasteru. Svaku takvu replikaciju ćemo zvati DRBD resurs.

Resursi dolaze u dve vrste:

  • Data resurs — predstavljaju DRBD uređaj smešten na nodu u LVM ili ZFS bazenu.
    Trenutno postoji podrška za nekoliko backend-a, a njihov broj se neprekidno povećava. Podržani su LVM, ThinLVM i ZFS. Poslednja dva omogućavaju kreiranje i korišćenje snimaka.
  • Diskless-resurs — predstavlja DRBD uređaj smešten na čvoru bez backend-a, ali omogućava rukovanje kao sa običnim blok uređajem; sve operacije čitanja/rezanja će biti preusmerene na data-resurse. Najbliži analog diskless-resursima je iSCSI LUN.

Svaki DRBD resurs može imati do 8 replika, a samo jedan od njih može biti aktivan prema zadatim postavkama — Primarni, svi ostali će biti Sekundarni i njihovo korišćenje neće biti moguće dok postoji barem jedan Primarni, što znači da će samo replikovati podatke između sebe.

Mountovanjem DRBD uređaja u sistem, automatski postaje Primarni, što znači da čak i Diskless-resurs, u terminologiji DRBD, može biti Primarni.

Pa zašto je Linstor potreban?

Oslanjajući se na sve resursno zahtevan zadatak jezgra, Linstor u suštini predstavlja uobičajenu Java aplikaciju koja omogućava jednostavnu automatizaciju kreiranja DRBD resursa.
Pritom, svaki resurs koji on kreira biće nezavistan DRBD klaster koji funkcioniše samostalno, bez obzira na stanje kontrolne ravni i ostale DRBD resurse.

Linstor se sastoji od samo dva komponente:

  • Linstor-controller — Glavni kontroler koji pruža API za kreiranje i upravljanje resursima. Takođe komunicira sa satelitima, proverava slobodan prostor na njima i šalje zadatke za kreiranje i brisanje novih resursa. Pokreće se u jedinstvenom egzemplaru i koristi bazu podataka koja može biti ili unutrašnja (H2) ili spoljašnja (PostgreSQL, MySQL, MariaDB)
  • Linstor-satellite — Instalira se na sve storage-čvorove i pruža kontroleru informacije o slobodnom prostoru, a takođe izvršava zadatke dobijene od kontrolera za kreiranje i brisanje novih volumena i DRBD uređaja na njima.

Linstor se oslanja na sledeće ključne pojmove:

  • Node — fizički server na kojem će se kreirati i koristiti DRBD resursi.
  • Storage Pool — LVM ili ZFS pool, kreiran na čvoru u kojem će biti smešteni DRBD resursi. Takođe je moguć diskless-pool — to je pool u kojem će biti smešteni samo diskless-resursi.
  • Definicija resursa — Definicija resursa, to je zapravo prototip koji opisuje ime i sve njegove osobine.
  • Definicija volumena — Definicija volumena. Svaki resurs može se sastojati od više volumena, svaki volumen mora imati veličinu.
  • Resurs — Kreirani primjerak blok uređaja, svaki resurs mora biti smešten na određenoj čvoru i u nekom storage poolu.

Instalacija Linstor-a

Kao sistem preporučujem korišćenje Ubuntu-a, jer za njega postoji gotov PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

Ili Debian, gde se Linstor može instalirati iz zvaničnog repozitorijuma za Proxmox:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

Kontroler

Ovde je sve jednostavno:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

Storage čvorovi

Trenutno u Linux jezgru dolazi in-tree modul jezgra DRBD8, nažalost, on nam ne odgovara i potrebno je instalirati DRBD9:

apt-get install drbd-dkms

Kao što praksa pokazuje, većina poteškoća javlja se upravo zbog toga što je u sistemu učitan modul DRBD8, a ne DRBD9. Na sreću, lako se može proveriti izvršavanjem:

modprobe drbd
cat /proc/drbd

Ako vidite verzija: 9 — sve je u redu, ako verzija: 8 — to znači da nešto nije u redu i potrebno je preduzeti dodatne akcije da biste otkrili uzroke.

Sada instalirajmo linstor-satellite i drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

Kreiranje klastera

Storage pool-ovi i čvorovi

Kao backend uzmoremo ThinLVM, jer je najjednostavniji i podržava snimke.
Instalirajte lvm2, ako to još niste učinili, i hajde da kreiramo ThinLVM pool na svim našim storage čvorovima:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

Sve daljnje radnje mogu se izvoditi direktno na kontroleru:

Dodajmo naše čvorove:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

Kreirajmo storage pool-ove:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

Sada ćemo proveriti kreirane poole:

linstor storage-pool list

Ako je sve izvršeno ispravno, trebalo bi da vidimo nešto poput:

+-------------------------------------------------------------------------------------------------------+
| StoragePool | Node  | Driver   | PoolName          | FreeCapacity | TotalCapacity | SupportsSnapshots |
|-------------------------------------------------------------------------------------------------------|
| data        | node1 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
| data        | node2 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
| data        | node3 | LVM_THIN | drbdpool/thinpool |       64 GiB |        64 GiB | true              |
+-------------------------------------------------------------------------------------------------------+

DRBD resursi

Sada pokušajmo da kreiramo naš novi DRBD resurs:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

Proverimo kreirane resurse:

linstor resource list 

+------------------------------------------------------------------------------------------------------+
| Node  | Resource | StoragePool | VolumeNr | MinorNr | DeviceName    | Allocated  | InUse  |    State |
|------------------------------------------------------------------------------------------------------|
| node1 | myres    | data        | 0        | 1084    | /dev/drbd1084 | 52 KiB     | Unused | UpToDate |
| node2 | myres    | data        | 0        | 1084    | /dev/drbd1084 | 52 KiB     | Unused | UpToDate |
+------------------------------------------------------------------------------------------------------+

Odlično! — vidimo da je resurs kreiran na prva dva noda, takođe možemo pokušati da kreiramo diskless resurs na trećem:

linstor resource create --diskless node3 myres

Na nodovima ćete uvek naći ovaj uređaj kao /dev/drbd1084 ili /dev/drbd/by-res/myres/0

Ovako radi Linstor, možete dobiti više informacija iz službenoj dokumentaciji.

Sada ću govoriti o tome kako ga integrisati sa OpenNebula

Konfiguracija OpenNebula

Neću se previše zadržavati na procesu konfiguracije OpenNebula, jer su svi koraci detaljno opisani u službenoj dokumentaciji, na koju vam preporučujem da se obratite, reći ću samo nešto o integraciji OpenNebula sa Linstorom.

linstor_un

Za rešavanje ovog zadatka napisao sam vlastiti drajver — linstor_un, trenutno je dostupan kao plugin i treba ga instalirati odvojeno.

Cela instalacija se vrši na frontend OpenNebula nodovima i ne zahteva dodatne radnje na compute nodovima.

Prvo moramo da se uverimo da imamo jq i linstor-client:

apt-get install jq linstor-client

Tim linstor node list trebalo bi da prikazuje listu nodova. Svi compute nodovi OpenNebula treba da budu dodati u Linstor klaster.

Preuzmite i instalirajte plugin:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

Sada trebamo da ga dodamo u konfiguraciju OpenNebula, radi toga slijedimo jednostavne korake opisane ovde.

Nakon toga ćemo ponovo pokrenuti OpenNebula:

systemctl restart opennebula

I dodamo naše datastores, sistemsko:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

I skladište slika:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

  • Parametar AUTO_PLACE prikazuje broj data-replikata koji će biti kreirani za svaku novu sliku u OpenNebuli.
  • Parametar CLONE_MODE ukazuje na to kako će slike biti klonirane prilikom kreiranja novih virtualnih mašina, snapshot — stvarat će snapshot slike i iz snappshota pokretati virtualnu mašinu, copy — pravit će potpunu kopiju slike za svaku virtualnu mašinu.
  • U BRIDGE_LIST preporučuje se da navedete sve nodove koji će se koristiti za izvođenje operacija kloniranja slika.

Kompletan spisak podržanih parametara je prikazan u README projekta.

Ovdje je konfiguracija završena, sada možemo učitati neki uređaj iz zvaničnog OpenNebula Marketplace i kreirati virtualne mašine iz njega.

Link na projekat:
https://github.com/OpenNebula/addon-linstor_un

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster