Kada podataka postane više nego što jedan disk može primiti, pravo je vreme da razmislimo o RAID-u. U detinjstvu sam često čuo od starijih: "jednog dana će RAID otići u prošlost, objekti za skladištenje će preplaviti svet, a ti čak ne znaš šta je CEPH," - pa je prvo što sam uradio u svom samostalnom životu bilo da stvorim svoj klaster. Cilj eksperimenta bio je upoznati se sa unutrašnjom strukturom ceph-a i razumeti okvire njegove primene. Koliko je opravdana primena ceph-a u srednjem biznisu, a koliko u malom? Nakon nekoliko godina korišćenja i nekoliko nepovratnih gubitaka podataka, došlo je razumevanje suptilnosti, da nije sve tako jednostavno. Karakteristike CEPH-a stvaraju prepreke njegovom širokom širenju, i zbog njih su eksperimenti zapeli. U nastavku se opisuje svaki pređeni korak, dobijeni rezultati i zaključci. Ako znali ljudi podele iskustva i razjasne neka pitanja - bio bih zahvalan.
Napomena: komentatori su ukazali na ozbiljne greške u nekim pretpostavkama, što zahteva preispitivanje celog članka.
Strategija CEPH
CEPH klaster spaja proizvoljan broj K diskova proizvoljne veličine i čuva podatke na njima, duplirajući svaku jedinicu (4 MB po defaultu) određeni broj N puta.
Razmotrite najjednostavniji slučaj sa dva identična diska. Iz njih se može ili formirati RAID 1, ili klaster sa N=2 — rezultat će biti isti. Ako su diskovi tri, i različitih veličina, lako je formirati klaster sa N=2: deo podataka će biti na diskovima 1 i 2, deo na 1 i 3, a deo na 2 i 3, dok to sa RAID-om nije moguće (možete formirati takav RAID, ali bi to bilo iskrivljeno). Ako je diskova još više, moguće je kreirati RAID 5, dok CEPH ima analog — erasure_code, koji se protivi ranijim konceptima programera, pa se zato ne razmatra. RAID 5 podrazumeva da se ima mali broj diskova, i da su svi u dobrom stanju. Kada jedan otkaže, ostali treba da izdrže do trenutka kada se disk zameni i podaci na njega vrate. CEPH, s druge strane, pri N>=3, podstiče korišćenje starih diskova, posebno ako se nekoliko dobrih diskova koristi za čuvanje jedne kopije podataka, dok preostale dve do tri kopije čuvaju na velikom broju starih diskova, što garantuje sigurnost informacija, jer dok su novi diskovi operativni — nema problema, a ako jedan od njih otkaže, istovremeni otkaz tri diska starija od pet godina, poželjno iz različitih servera — izuzetno je malo verovatno.
U raspodjeli kopija postoji suptilnost. Podrazumijeva se da se podaci dijele na veći broj (~po 100 na disk) grupa raspodjele PG, pri čemu se svaka od njih duplicira na nekim diskovima. Pretpostavimo, K=6, N=2, tada pri kvaru bilo koja dva diska, podaci se garantovano gube, jer po teoriji vjerovatnoće, naći će se barem jedna PG koja će biti smještena upravo na ta dva diska. Gubitak jedne grupe čini sve podatke u skupu nedostupnima. Ako pak diskove podijelimo u tri para i dozvolimo pohranu podataka samo na diskovima unutar jednog para, takva raspodjela također je otporna na kvar jednog bilo kojeg diska, dok pri kvaru dva vjerovatnoća gubitka podataka nije 100%, već samo 3/15, a čak i pri kvaru tri diska — samo 12/20. Odatle, entropija u raspodjeli podataka ne doprinosi otpornosti na greške. Također, primjećujemo da za fajl server slobodna operativna memorija značajno povećava brzinu odziva. Što više memorije u svakom čvoru i što više memorije u svim čvorovima — biće brže. To je nesumnjiva prednost klastera u odnosu na pojedinačni server i, još više, hardverski NAS, gdje je ugrađen vrlo mali obim memorije.
Iz toga slijedi da je CEPH dobar način da sa minimalnim ulaganjima od zastarjelog hardvera stvorite pouzdan sustav za pohranu podataka na desetine TB sa mogućnošću skaliranja (ovdje, naravno, potrebna su ulaganja, ali mala u odnosu na komercijalne SANS-ove).
Implementacija klastera
Za eksperiment uzmimo otpisano računalo Intel DQ57TM + Intel core i3 540 + 16 GB RAM-a. Četiri diska od 2 TB organizovaćemo u sličnost RAID10, nakon uspješnog ispitivanja dodajemo drugi čvor i još toliko disкова.
Instaliramo Linux. Od distribucije se zahteva mogućnost prilagođavanja i stabilnost. Debian i Suse ispunjavaju te zahteve. Suse ima fleksibilniji instalater koji omogućava isključivanje bilo kojeg paketa; nažalost, nisam mogao da shvatim koje se mogu izbaciti bez oštećenja sistema. Instaliramo Debian putem debootstrap buster. Opcija min-base instalira nefunkcionalan sistem koji nema drajvere. Razlika u veličini u odnosu na punu verziju nije toliko velika da bi se time opterećivali. Pošto se rad vrši na fizičkoj mašini, želimo da pravimo snimke, kao na virtuelnim mašinama. Tu mogućnost pruža ili LVM ili btrfs (ili xfs, ili zfs - razlika nije velika). LVM nije snažna strana kada su u pitanju snimci. Instaliramo btrfs. I boot loader - u MBR. Nema smisla zagađivati disk 50 MB particijom sa FAT-om, kada to može da stane u 1 MB područje tabele particija i celokupni prostor da se dodeli za sistem. Zauzima 700 MB na disku. Koliko je osnovna instalacija SUSE - nisam zapamtila, čini mi se oko 1.1 ili 1.4 GB.
Instaliramo CEPH. Ignorišemo verziju 12 u repozitorijumu debian i povezujemo se direktno sa sajta 15.2.3. Pratimo uputstva iz odeljka "instaliramo CEPH ručno" uz sledeće napomene:
- Pre povezivanja repozitorijuma potrebno je instalirati gnupg wget ca-certificates
- Nakon povezivanja repozitorijuma, ali pre instalacije klastera propuštena je instalacija paketa: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
- U trenutku instalacije CEPH iz nepoznatih razloga pokušaće da se instalira lvm2. U principu, nije mi žao, ali instalacija se završava greškom, pa se CEPH takođe ne instalira.
Pomogla je ova zakrpa:
cat <> /var/lib/dpkg/status Package: lvm2 Status: install ok installed Priority: important Section: admin Installed-Size: 0 Maintainer: Debian Adduser Developers Architecture: all Multi-Arch: foreign Version: 113.118 Description: No-install EOF
Pregled klastera
ceph-osd — odgovoran je za pohranu podataka na disku. Za svaki disk pokreće se mrežna usluga koja prihvaća i izvršava zahtjeve za čitanje ili pisanje objekata. Na disku se kreiraju dva particiona. Jedan od njih sadrži informacije o klasteru, broju diska, te ključeve za klaster. Ove informacije, kapaciteta 1KB, kreiraju se jednom prilikom dodavanja diska i nikad više nisam primijetio da se mijenjaju. Na drugom particiju nema datotečnog sistema i pohranjuju se binarni podaci CEPH-a. Automatska instalacija u prethodnim verzijama kreirala je xfs particiju veličine 100MB za sistemske informacije. Konvertovao sam disk u MBR i dodijelio samo 16MB — usluga se ne žali. Mislim da bi bez problema xfs mogla biti zamijenjena i sa ext. Ovaj particion se montira u /var/lib/…, gdje usluga čita informacije o OSD-u, kao i pronalazi vezu na blok uređaj gdje se pohranjuju binarni podaci. Teoretski, moguće je odmah smjestiti pomoćne u /var/lib/…, a disk u cijelosti dodijeliti za podatke. Prilikom kreiranja OSD-a putem ceph-deploy automatski se stvara pravilo za montiranje particije u /var/lib/…, kao i dodjeljuju se prava korisniku ceph za čitanje potrebnog blok uređaja. Prilikom ručne instalacije to je potrebno učiniti samostalno, u dokumentaciji o tome nije navedeno. Također je poželjno navesti parametar osd memory target, kako bi fizička memorija bila dovoljna.
ceph-mds. Na niskom nivou CEPH je objektno skladište. Mogućnost blokovnog skladišta svodi se na pohranu svakog bloka od 4MB u obliku objekta. Na istom principu funkcionira i datotečno skladište. Kreiraju se dva bazena: jedan za metapodatke, drugi — za podatke. Oni se objedinjuju u datotečni sistem. U tom trenutku se kreira neka vrsta zapisa, pa ako se obriše datotečni sistem, ali zadrže oba bazena, neće biti moguće obnoviti ga. Postoji procedura za vađenje datoteka po blokovima, nisam testirao. Za pristup datotečnom sistemu odgovorna je usluga ceph-mds. Za svaki datotečni sistem potreban je poseban primjerak usluge. Postoji opcija „indeks“, koja omogućava kreiranje sličnosti nekoliko datotečnih sistema u jednom — također nije testirano.
ceph-mon — ova usluga čuva mapu klastera. Uključuje informacije o svim OSD, algoritmu raspodjele PG u OSD-i i, što je najvažnije, informacije o svim objektima (detalji ovog mehanizma su mi nejasni: postoji katalog /var/lib/ceph/mon/…/store.db, u kojem se nalazi veliki fajl — 26MB, a u klasteru 105K objekata, što daje nešto više od 256 bajta po objektu. Mislim da monitor čuva spisak svih objekata i PG-a u kojima se nalaze). Oštećenje ovog kataloga dovodi do gubitka svih podataka u klasteru. Odavde se može zaključiti da CRUSH pokazuje kako su PG raspoređeni po OSD-u, dok su objekti organizovani po PG-ima — centralizovano se čuvaju unutar baze podataka, koliko god se programeri trudili da izbjegnu ovu terminologiju. Kao posljedicu, prvo, ne možemo instalirati sistem na USB u RO režimu, jer se u bazi podataka konstantno upisuje, potreban je dodatni disk za te (vjerovatno ne više od 1 GB); drugo, potrebno je imati kopiju ove baze u stvarnom vremenu. Ako ima više monitora, tada je otpornost na greške automatski osigurana, ali u našem slučaju postoji samo jedan monitor, u najboljem slučaju dva. Postoji teorijska procedura za oporavak monitora na osnovu podataka OSD, tri puta sam je koristio iz raznih razloga, i nijednom nije bilo poruka o grešci, ni podataka. Nažalost, ovaj mehanizam ne funkcioniše. Ili koristimo minijaturnu particiju na OSD-u i pravimo RAID za skladištenje baze podataka, što će sigurno loše uticati na performanse, ili izdvajamo barem dva pouzdana fizička nosača, poželjno USB, da ne zauzimamo portove.
rados-gw — izlaže objektno skladište putem S3 protokola i sličnih. Stvara brojne pulseve, ne znam zašto. Nije se puno eksperimentisalo.
ceph-mgr — prilikom instalacije ove usluge pokreće se nekoliko modula. Jedan od njih je neisključivi autoscale. Teži da održi ispravan broj PG/OSD. Ako želite ručno upravljati odnosom, možete zabraniti skaliranje za svaki pul, ali u tom slučaju se modul ruši zbog dijeljenja sa 0, i status klastera postaje ERROR. Modul je napisan u Pythonu, a ako se u njemu zakomentariše potrebna linija, to dovodi do njegovog isključivanja. Detalje se ne sjećam.
Lista korišćenih izvora:
Spiskovi skripti:
Instalacija sistema putem debootstrap
blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/
chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat < /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat <> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6
apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6Kreiranje klastera
apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon
echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat < /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF
ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status
# dashboard
apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1Dodavanje OSD (dio)
apt install ceph-osd
osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02 block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnumSažetak
Glavna marketinška prednost CEPH-a je CRUSH – algoritam za izračunavanje lokacije podataka. Monitori distribuiraju ovaj algoritam klijentima, nakon čega klijenti direktno traže potrebni čvor i potrebni OSD. CRUSH osigurava odsustvo centralizacije. To je mala datoteka koju možete čak i odštampati i okačiti na zid. Praksa je pokazala da CRUSH nije iscrpna mapa. Ukoliko se monitore uništi i ponovo kreira, čuvajući sve OSD-e i CRUSH, to nije dovoljno za obnavljanje klastera. Iz toga se zaključuje da svaka monitor čuva određene metapodatke o celom klasteru. Mali obim tih metapodataka ne nameće ograničenja na veličinu klastera, ali zahteva obezbeđenje njihove sigurnosti, što isključuje uštedu prostora na disku instaliranjem sistema na fleš memoriju i isključuje klastere sa manje od tri čvora. Agresivna politika razvijača prema opcionim funkcijama. Daleko od minimalizma. Dokumentacija je na nivou: „Za ono što postoji, već hvala, ali vrlo, vrlo oskudno.“ Mogućnost interakcije sa servisima na niskom nivou je predviđena, ali dokumentacija se površno bavi ovom temom, pa je verovatnije „ne“ nego „da“. Praktično nikakve šanse za obnavljanje podataka iz vanredne situacije.
Opcije za dalji rad: odustati od CEPH-a i koristiti običan više-diskovni btrfs (ili xfs, zfs), saznati nove informacije o CEPH-u koje će omogućiti njegovo korišćenje u navedenim uslovima, pokušati da napišete vlastito skladište kao unapređenje veština.
Izvor: habr.com
