🥇Ceph iSCSI kaudu — või suuskadel lamades hammock’is

Kas meie seas (cephide kasutajad) on kedagi, kes ei armasta «professionaalset ekstreemsust»?

Vaevalt — vastasel juhul ei teeks me selle äärmiselt huvitava ja lõbusa tootega trikke.

Paljud neist, kes on tegelenud Cephi haldamisega, on kohanud ühte mitte väga levinud (või pigem väga harva levinud) juhtumit — ühendada Ceph iSCSI või FC kaudu. Miks? Näiteks selleks, et esitada pilt Cephist mõnel muul mitte virtualiseeritud Windowsi või Solaris serverile. Või virtualiseeritud, kuid hüdrogeeneraatore kaudu, mis ei toeta Cephi — ja neid on nagu me teame, palju. Näiteks? Näiteks HyperV või ESXi, mida aktiivselt kasutatakse. Ja kui tekib vajadus esitada pilt Cephist külgurile, muutub see tõeliselt põnevaks ülesandeks.

Nii et, on olemas:

juba toimiv Cephi klaster
juba olemasolev pilt, mis tuleb esitada iSCSI kaudu
Tumblri nimi mypool, pildi nimi myimage

Alustame?

Esiteks, kui räägime FC-st või iSCSI-st, siis meil tekivad sellised üksused nagu initsiaator (initiator) ja sihtkoht (target). Sihtkoht on tegelikult server, initsiaator — klient. Meie ülesanne on võimalikult väikeste tööjõukuludega esitada Cephi pilt initsiaatorile. See tähendab, et peame seadistama sihtkoha. Kuid kus, millisel arvutil?

Küllaga, Cephi klastris on vähemalt üks komponent, mille IP-aadress on fikseeritud ja millel on konfigureeritud üks Cephi kõige olulisemaid komponente, ja see komponent — monitor. Seega, installime monitorile iSCSI sihtkoha (ja initsiaatori, vähemalt testimiseks). Olen seda teinud CentOS-is, kuid mis tahes teise jaotuse puhul sobib lahendus samuti — piisab, kui installida pakette sellisel viisil, mis on teie jaotusele sobiv.

# yum -y install iscsi-initiator-utils targetcli

Mis on installitavate pakettide eesmärk?

targetcli — utiliit Linuxi tuumaga SCSI sihtkoha haldamiseks
iscsi-initiator-utils — pakett utiliitidega, mida kasutatakse samuti tuumaga iSCSI initsiaatori haldamiseks

Cephi pildi esitlemiseks initsiaatori kaudu on kaks arenguvõimalust — kasutada userspace'i tagumise osa või ühendada pilt plokiahnustena, mis on operatsioonisüsteemile nähtavad ja eksporditud iSCSI kaudu. Me läheme teist teed — userspace'i tagumine osa on praegu 'eksperimentaalne' ja tootmis kasutuseks ei ole see veel valmis. Lisaks on sellega seotud probleemid, millest saab palju rääkida ja (oi õudust!) arutada.

Kui kasutame mingisugust stabiilset jaotust pika toe tsükliga, siis meie tuum on mingi väga vana versioon. Näiteks CentOS7-is on see 3.10.*, CentOS8-s on see 4.19. Meie huvi on tuum, millel on vähemalt 5.3 (või pigem 5.4) ja uuem. Miks? Sest vaikimisi on Cephis piltidel palju valikuvõimalusi, mis ei ühti vanade tuumadega. See tähendab, et me peame oma jaotusele uue tuuma repo üles seadma (näiteks CentOS jaoks elrepo), installima uue tuuma ja taaskäivitama süsteemi, et töötada uue tuumaga:

Ühendume eksperimendiks valitud monitoriga
Lisa elrepo replika vastavalt juhistele — elrepo.org/tiki/tiki-index.php
Installime tuuma: yum -y —enablerepo=elrepo-kernel install kernel-ml
Taaskäivitame monitoriserveri (meil on ju kolm monitori, eks?)

Ühendame pildi plokiahnuna

# rbd kaart mypool/myimage /dev/rbd0

Jäänud on vaid seadistada sihtkoht. Selles näites seadistan sihtkoha nn demo-režiimis — ilma autentimiseta, nähtav ja kõigile kergesti ligipääsetav. Tootmis keskkonnas soovite tõenäoliselt seadistada autentimised — kuid see jääb tänase päeva veidi välja jätta just lõbusaks harjutuseks.

Loome tagumise osa nimega disk1, mis on seotud failiga /dev/rbd/mypool/myimage. Määratud fail on automaatselt loodud demoniga udev sümboolne link /dev/rbd0-le. Kasutame just sümboolset linki, kuna seadme rbd nimi võib varieeruda Cephi piltide hostimise järjekorra tõttu.

Loome tagumise osa:

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

Loome iSCSI sihtkoha:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

Ühendame tagumise osa LUN-ina sihtkohtadega:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

Seadistame sihtkoha demo-režiimiks:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set > attribute demo_mode_write_protect=0 # targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set > attribute generate_node_acls=1 # targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set > attribute cache_dynamic_acls=1

Salvesta seadistus:

# targetcli saveconfig

Kontrollime sihtkoha olemasolu:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260 127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

Ühendame sihtkoha:

# iscsiadm -m node --login Logimine [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (mitu) Logimine [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] õnnestus.

Kui olete kõik õigesti teinud, ilmub serverisse uus ketas, mis näeb välja nagu SCSI seade, kuid tegelikult on see Cephist pärit pilt, millele juurdepääs toimub iSCSI sihtkoha kaudu. Probleemide vältimiseks, on parem eemaldada ühendatud ketas ja leitud sihtkoht lokalisest initsiatorist:

# iscsiadm -m node --logout # iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

Kõik, mis jäi — on seadistada konfiguratsioon nii, et pilt ühendataks automaatselt ja sihtkoht koosseisust väljas käivitub. Sihtkoha käivitamine koosneb kahest sammust — RBD ühendamine ja sihtkoha enda käivitamine.

Esmaltame esmaltam RBD-piltide automaatse ühendamise seadistamine hostiga. Seda tehakse ridade lisamise kaudu faili /etc/ceph/rbdmap:

# cat /etc/ceph/rbdmap # RbdDevice Parameters mypool/myimage id=admin # systemctl enable rbdmap

Kuna sihtkoha seadistamine on veidi keerulisem — peame kirjutama systemd üksuse, mis taastab seadistuse:

# cat /usr/lib/systemd/system/scsi-target.service [Unit] Kirjeldus=Käivitab iSCSI sihtmärgi

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install]
Tahab=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

Lõplik test — taaskäivitame meie monitore (mis on nüüd iSCSI-sihtkoht). Tuleb märkida, et kui me ei oleks algaja andmebaasi puhastanud käsuga iscsiadm -n discoverydb -o delete … võime saada server, mis ei käivitu või mille käivitamine kestab kaua.

Mis jääb üle?

Seadistage algaja serveris, kuhu soovime sihtkoha suunata.

Kuidas tagada meie sihtkoha talitlushäire vastupidavus?

Saame sarnaselt seadistada sihtkohad teistel monitooridel ja luua multipath (vmware mõistab seda ja töötab isegi, Hyper-V ei mõista — seal on vajalikud SCSI lukustused). Kuna Cephi klient ei kasuta tuumast vahemälu, on see täiesti töötav lahendus. Või teine variant — luua klastritektsioon kolmest komponendist — eraldatud IP-aadressid sihtkoht ja teenused rbdmap ja scsi-target ning juhtida seda ressursi klasterdamise tööriistade kaudu (kes ütles pacemaker?)

Käesoleva lõppu

Kuidas aru saada, et see artikkel on natuke naljakas — aga ma püüdsin "kiirelt ja näidete kaudu" käsitleda samaaegselt mitmeid üsna populaarseid teemasid — iSCSI sihtkoht, mis ei pea tingimata eksportima Ceph pilte — vaid näiteks eksportima LVM mahtu, alused iSCSI algajaga töötamisel (kuidas skaneerida sihtkohta, kuidas sihtkohta ühendada, lahti ühendada, kustutada sihtkoha teave andmebaasist), oma systemd üksuse kirjutamine ja mõned muud

Loodan, et isegi kui te ei korda seda eksperimenti täielikult, leiate vähemalt midagi sellest artiklist kasulikku.

Allikas: habr.com

Ceph läbi iSCSI – või suuskadel lamades kiige peal

Käesoleva lõppu