Klastri salvestus väikeste veebi klastri jaoks drbd+ocfs2 baasil

Mille kohta me räägime:
Kuidas kiiresti seadistada ühine salvestus kahe serveri jaoks drbd+ocfs2 lahenduste baasil.

Kellele see on kasulik:
Juhend on kasulik süsteemiadministraatoritele ja kõigile, kes valivad salvestuslahenduse rakendamist või soovivad lahendust proovida.

Millistest lahendustest me loobusime ja miks

Sageli seisame silmitsi olukorraga, kus peame seadistama väikese veebi klastri ühise salvestuse, mis tagab hea lugemise ja kirjutamise jõudluse. Oleme proovinud erinevaid ühise salvestuse rakendusi, kuid vähe mis suudab meid rahuldada mitmete näitajate osas. Nüüd räägime, miks.

• Glusterfs ei rahuldanud meid lugemise ja kirjutamise jõudlusega, tekkisid probleemid suure hulga failide samaaegse lugemisega, samuti oli kõrge koormus CPU-le. Failide lugemise probleemi oleks saanud lahendada, pöördudes otse brick'ide poole, kuid see ei ole alati rakendatav ja on üldiselt vale.

• Ceph ei meeldinud meile liialt keerulise ülesehituse tõttu, mis võib olla kahjulik 2-4 projekti korral, serveritega, eriti kui projekti haldab hiljem keegi teine. Samuti on tõsised jõudluse piirangud, mis sunnivad looma eraldi salvestusklastreid, nagu ka glusterfsi korral.

• Ühe nfs serveri kasutamine ühise salvestuse rakendamiseks tekitab küsimusi ärikatkestustaluvuse osas.

• s3 - suurepärane ja populaarne lahendus teatud ülesannete jaoks, kuid see ei ole ka failisüsteem, mis kitsendab rakenduse valdkonda.

• lsyncd. Kui oleme juba rääkinud "mitte-failisüsteemidest", siis tasub vaadata ka sellele populaarsele lahendusele. Esiteks, see ei sobi kahepoolseks vahetuseks (kui tõeliselt tahate, siis saab), kuid see ei tööta ka stabiilselt suure hulga failide korral. Lisaboonuseks on, et see on ühepõhine. Põhjus on programmi arhitektuuris: see kasutab inotify objekti töö jälgimiseks, mida seotakse käivitamisel ja uuesti skaneerimisel. Ülekandevahendina kasutatakse rsync'i.

Juhend: kuidas seadistada ühine salvestus drbd+ocfs2 baasil

Üheks meie jaoks mugavaks lahenduseks osutus kombinatsioon ocfs2+drbd. Nüüd räägime, kuidas kiiresti seadistada ühine salvestusruum kahe jaoks serverid andmete lahenduste alusel. Aga kõigepealt natuke komponente:

DRBD — Linuxi standardsed salvestussüsteem, mis võimaldab replikeerida andmeid serverite vahel plokkidena. Peamine rakendus on kõrge saadavuse salvestuste loomine.

OCFS2 — failisüsteem, mis toetab sama salvestuse jagatud kasutamist mitme süsteemi vahel. Sisaldub Linuxi tarnes ja koosneb tuumamoodulist ja userspace tööriistadest failisüsteemi haldamiseks. OCFS2-d saab kasutada mitte ainult DRBD peal, vaid ka mitmeühendusega iSCSI peal. Meie näites kasutame DRBD-d.

Kõiki toiminguid teostatakse ubuntu server 18.04 minimaalsetes seadistustes.

Samm 1. Seame DRBD-d:

Failis /etc/drbd.d/drbd0.res kirjeldame meie virtuaalset plokkseadet /dev/drbd0:

resource drbd0 {
    syncer { rate 1000M; }
    net {
        allow-two-primaries;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
    }
    startup { become-primary-on both; }
    on drbd1 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.192:7789;
}
    on drbd2 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.193:7789;
}
}

meta-disk internal — sama plokkseade kasutatakse metainformatsiooni salvestamiseks
device /dev/drbd0 — kasutame /dev/drbd0 kui teed DRBD-le.
disk /dev/vdb1 — kasutame /dev/vdb1
syncer { rate 1000M; } — kasutame gigabiti kanali läbilaskvust
allow-two-primaries — oluline valik, mis lubab muutuste vastuvõtmist kahel peamisel serveril
after-sb-0pri, after-sb-1pri, after-sb-2pri — valikud, mis määravad sõlme tegevused splitbrain'i tuvastamise korral. Lisainfot leiate dokumentatsioonist.
become-primary-on both — seab mõlemad sõlmed peamiseks.

Meie puhul on meil kaks täpselt identset virtuaalmasinat, millel on eraldatud virtuaalne 10 gigabiti ühenduse võime.

Meie näites on klastris kahe sõlme võrgunimed drbd1 ja drbd2. Õige töö tagamiseks tuleb /etc/hosts failis siduda nimed ja IP-aadressid.

10.10.10.192 drbd1
10.10.10.193 drbd2

Samm 2. Seame sõlmed:

Mõlemal serveril rakendame:

drbdadm create-md drbd0

modprobe drbd
drbdadm up drbd0
cat /proc/drbd

Saame järgmise:

Saame alustada sünkroniseerimist. Esimesel sõlmel tuleb teha:

drbdadm primary --force drbd0

Kontrollime olekut:

cat /proc/drbd

Suurepärane, sünkroniseerimine on alanud. Ootame lõpetamist ja näeme pilti:

Samm 3. Käivitame sünkroonimise teisel node'il:

drbdadm primary --force drbd0

Saame järgmise:

Nüüd saame kirjutada drbd-sse kahest serverist.

Samm 4. ocfs2 installimine ja seadistamine.

Kasutame piisavalt triviaalset konfiguratsiooni:

cluster:
     node_count = 2
     name = ocfs2cluster

node:
     number = 1
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.192
     name = drbd1

node:
     number = 2
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.193
     name = drbd2

See tuleb salvestada /etc/ocfs2/cluster.conf mõlemal node'il.

Loome FSi drbd0-l mis tahes node'il:

mkfs.ocfs2 -L "testVol" /dev/drbd0

Siin loome FS-i testVol-i sildiga drbd0-l, kasutades vaikeseadeid.

Failis /etc/default/o2cb tuleb seada (nagu meie konfiguratsioonifailis)

O2CB_ENABLED=true 
O2CB_BOOTCLUSTER=ocfs2cluster 

ja teostada igas node'is:

o2cb register-cluster ocfs2cluster

Seejärel lülitame sisse ja lisame käivitamise automaatsetesse teenustesse kõik vajalikud unit'id:

systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

Osa sellest käivitatakse juba seadistamise käigus.

Samm 5. Lisame mount-punktid fstab'i mõlemal node'il:

/dev/drbd0 /media/shared ocfs2 defaults,noauto,heartbeat=local 0 0

Kataloog /media/shared peab olema eelnevalt loodud.

Siin kasutame valikuid noauto, mis tähendab, et FS ei monteerita käivitamisel (eelistan mountida võrgu FS-id systemd kaudu) ja heartbeat=local, mis tähendab, et igas node'is on heartbeat teenus. On olemas ka global heartbeat, mis sobib rohkem suurtele klasteritele.

Seejärel saab monteerida /media/shared ja kontrollida sisu sünkroniseerimist.

Valmis! Tulemuseks on enam-vähem rikkevastupidav salvestuslahendus, millel on võimalus skaleerida ja korralik jõudlus.

Allikas: habr.com