🥇Ceph iSCSI kaudu — või suusatades hammocks

Kas meie seas (cephide kasutajad) on kedagi, kes ei armasta "professionaalset ekstreemi"?

Tõenäoliselt mitte — muidu me ei tegeleks selle erakordselt huvitava ja lõbusa tootega.

Paljud neist, kes on tegelenud Cephi haldamisega, on kokku puutunud ühe mitte kuigi sagedase (pigem isegi väga harva esineva) kuid mõnikord nõutud juhtumiga — Cephi ühendamine iSCSI või FC kaudu. Miks? No näiteks, et edastada pilt Cephist veel virtualiseerimata Windowsi või Solaris serverisse. Või virtualiseeritud serverisse, kuid hyperviisoriga, mis Cephi ei toeta — neid on, nagu me teame, piisavalt. Näiteks? No näiteks HyperV või ESXi, mida aktiivselt kasutatakse. Ja kui tekib ülesanne edastada pilt Cephist külgmisse masinasse, muutub see üsna huvitavaks ülesandeks.

Nii, antud on:

juba töötav Cephi klaster
juba olemasolev pilt, mille tuleb edastada iSCSI kaudu
Pula nimi mypool, pildi nimi myimage

Alustame?

Esiteks, kui me räägime FC-st või iSCSI-st, siis on meil sellised mõisted nagu algataja (initiator) ja sihtkoht (target). Target on tegelikult server, initiator — klient. Meie ülesanne on minimaalse tööjõukulu korral edastada Cephi pilt algatajale. See tähendab, et peame seadistama targeti. Kuid kus, millises arvutis?

Õnneks on Cephi klastris meil vähemalt üks komponent, mille IP-aadress on fikseeritud ja millel on konfigureeritud üks Cephi kõige olulisemaid komponente, ja see komponent on monitor. Seetõttu installime monitorile iSCSI targeti (ja algataja vähemalt testide jaoks). Ma tegin seda CentOS-is, kuid iga teise distributsiooni jaoks sobib lahendus samuti — piisab, kui installida paketid viisil, mis on teie distributsioonile vastuvõetav.

# yum -y install iscsi-initiator-utils targetcli

Mis on installitavate pakettide eesmärk?

targetcli — utiliit Linuxi tuumasse integreeritud SCSI-targeti haldamiseks
iscsi-initiator-utils — pakett utiliite, mida kasutatakse samuti Linuxi tuumasse integreeritud iSCSI algataja haldamiseks

iSCSI kaudu pildi esitamiseks algatajaga on kaks võimalust: kasutada kasutusruumi taustaprogrammi sihti või ühendada pilt blokiseadmeks, mis on operatsioonisüsteemile nähtav ja eksportida see iSCSI kaudu. Me valime teise variandi – kasutusruumi taustaprogramm on veel «eksperimentaalses» seisundis ja tootmiseks veidi ebamugav. Lisaks on sellega mitmeid takistusi, millest saab palju rääkida ning (oh õudust!) vaidleda.

Kui kasutame stabiilset ja pikka aega toetatud distributsiooni, siis on meil tuum mingisuguse iidse versiooniga. Näiteks CentOS7 puhul on see 3.10.*, CentOS8 puhul 4.19. Meid huvitab vähemalt 5.3 (ja tõenäoliselt 5.4) või uuem tuum. Miks? Sest vaikimisi on Ceph'i piltidel aktiivsed valikute komplektid, mis ei ühildu vanade tuumadega. See tähendab, et peame lisama oma distributsioonile uue tuuma reposi (näiteks CentOS jaoks elrepo), installima uue tuuma ja taaskäivitama süsteemi, et töötada uue tuumaga:

Ühendume valitud katse monitoriga
Ühendame elrepo reposid juhendi järgi — elrepo.org/tiki/tiki-index.php
Installeerime tuuma: yum -y --enablerepo=elrepo-kernel install kernel-ml
Taaskäivitame monitoriga serveri (meil on ju kolm monitori, eks?)

Ühendame pildi blokiseadmeks

# rbd kaart mypool/myimage /dev/rbd0

Jääb vaid sihtmärki konfigureerida. Selles näites konfigureerin sihtmärgi nn demo-režiimis — autentimiseta, nähtav ja kõigile kergesti ligipääsetav. Tootmiskeskkonnas sooviksite tõenäoliselt konfigureerida autentimise — aga see on täna veidi off-topic lõbusate katsete kontekstis.

Loome tausta nimega disk1, mis on seotud failiga /dev/rbd/mypool/myimage. Antud fail on automaatselt loodud demon udev sümboolne link /dev/rbd0. Kasutame just sümboolset linki, kuna rbd-seadmise nimi võib muutuda sõltuvalt Ceph piltide ühendamise järjekorrast hostiga.

Loome tausta:

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

Loome iSCSI sihtmärgi:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

Ühendame tausta LUN-ina sihtmärgiga:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

Seadistame sihtmärgi demo-režiimiks:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/set > attribute demo_mode_write_protect=0 # targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/set > attribute generate_node_acls=1 # targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/set > attribute cache_dynamic_acls=1

Salvesta konfigureerimine:

# targetcli saveconfig

Kontrollime sihtmärgi olemasolu:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260 127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

Ühendame sihtmärgi:

# iscsiadm -m node --login Siss sisse [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (mitmed) Sisse logimine [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] õnnestus.

Kui olete kõik õigesti teinud, siis ilmub serverisse uus ketas, mis näeb välja nagu SCSI-seade, aga tegelikult on see Ceph'i pilt, millele pääseb ligi iSCSI sihtpunkti kaudu. Probleemide vältimiseks laadimisel on parem eemaldada ühendatud ketas ja avastatud sihtpunkt kohalikult algatajatelt:

# iscsiadm -m node --logout # iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

Küsimus on nüüd konfiguratsiooni püsivuses, et pilt ühenduks automaatselt ja pärast ühendamist sihtpunkt käivituks. Sihtpunkti käivitamine koosneb kahest sammust — RBD ühendamisest ja sihtpunkti tegelikust käivitamisest.

Esmalt konfigureerime RBD piltide automaatse ühendamise hostiga. Seda tehakse, lisades read faili /etc/ceph/rbdmap:

# cat /etc/ceph/rbdmap # RbdDevice Parameters mypool/myimage id=admin # systemctl enable rbdmap

Sihtpunkti konfiguratsiooni taastamine on veidi keerulisem — peame kirjutama systemd unit'i, mis taastab konfiguratsiooni:

# cat /usr/lib/systemd/system/scsi-target.service [Unit] Description=Käivita iSCSI sihtpunkt

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install]
WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

Lõplik test — taaskäivitame veel kord meie monitori (mis on nüüd iSCSI sihtpunkt). Tuleb märkida, et kui me ei oleks algataja andmebaasi käsuga iscsiadm -n discoverydb -o delete … võinud saada mittelaadiva või pika laadimisega serveri.

Mis on jäänud?

Konfigureerida algataja sellele serverile, kuhu soovime sihtpunkti edastada.

Kuidas tagada meie sihtpunkti talitlushäirete tõttu vastupidavus?

Saame sarnaselt konfigureerida sihtpunkte teistel monitoridel ja korraldada multipath'i (vmware mõistab seda ja töötab, Hyper-V ei mõista — seal on vajalikud SCSI lukud). Kuna Ceph'i klient ei kasuta tuumal töötamisel vahemälusid, siis on see täiesti toimiv. Või teine variant — luua kolmest komponendist klastriteenus — eraldatud IP-aadressid sihtpunkt ja teenused rbdmap ja scsi-target, ning hallata seda ressurssi klastritehaldusvahendiga (kes ütles pacemaker?)

Lõpetuseks

Kuidas aru saada, et see artikkel on natuke naljakas — aga ma püüdsin "kiiresti ja näidete kaudu" käsitleda samaaegselt mitut üsna populaarset teemat — iSCSI sihtpunkt, mis ei pea tingimata eksportima Ceph'i pilte — vaid näiteks eksportima LVM mahtusid, iSCSI algataja töötamise alused (kuidas sihtpunkti skaneerida, sihtpunktiga ühendada, lahti ühendada, kustutada kirje sihtpunktist andmebaasis), oma unit'i kirjutamine systemd jaoks ja mõned muud asjad.

Loodan, et isegi kui te ei kavatse kogu seda katset täielikult korrata, on sellest artiklist vähemalt mõned asjad teile kasulikud.

Allikas: habr.com

Ceph läbi iSCSI — kas suuskadel istudes või hängelliselt

Lõpetuseks