Iskustvo rada s CEPH-om

Kada podataka postane više nego što jedan disk može primiti, pravo je vrijeme za razmišljanje o RAID-u. U svom djetinjstvu često sam slušao od starijih: "jednog dana RAID će otići u prošlost, objektni spremnici će preplaviti svijet, a ti nećeš ni znati što je CEPH", stoga je prvotno u mojoj samostalnoj karijeri bilo stvaranje vlastitog klastera. Cilj eksperimenata bio je upoznati se s unutarnjom strukturom cepha i razumjeti granice njegove primjene. Koliko je opravdano uvođenje cepha u srednje poduzeće, a koliko u mala? Nakon nekoliko godina eksploatacije i nekoliko nepovratnih gubitaka podataka, stekao sam razumijevanje nijansi i shvatio da nije sve tako jednostavno. Karakteristike CEPH-a stvaraju prepreke njegovoj širokoj primjeni, te su zbog njih eksperimenti zapeli u slijepoj ulici. U nastavku slijedi opis svih poduzetih koraka, ostvareni rezultati i doneseni zaključci. Ako iskusni dijele svoja iskustva i pojasne neke trenutke – bit ću zahvalan.

Napomena: komentatori su istaknuli ozbiljne greške u nekim pretpostavkama, što zahtijeva preispitivanje cijelog članka.

CEPH strategija

CEPH klaster unosi proizvoljan broj K diskova proizvoljne veličine i pohranjuje podatke na njih, duplicirajući svaki komadić (4 MB prema zadanom) određeni broj N puta.

Razmotrit ćemo najjednostavniji slučaj s dva identična diska. Od njih se može ili sastaviti RAID 1, ili klaster s N=2 — rezultat će biti isti. Ako su diskovi tri, a različitih su veličina, lako je stvoriti klaster s N=2: dio podataka bit će na diskovima 1 i 2, dio — na 1 i 3, a dio — na 2 i 3, dok RAID to ne može (takav RAID se može stvoriti, ali to bi bilo izvan okvira). Ako je diskova još više, moguće je stvoriti RAID 5, a CEPH ima analogiju — erasure_code, koja se protivi ranim konceptima programera, te se stoga ne razmatra. RAID 5 pretpostavlja da je dostupno malo diskova, i da su svi u dobrom stanju. U slučaju kvara jednog, ostali bi trebali izdržati dok se ne zamijeni disk i ne obnovi podatak na njega. CEPH, s N>=3, potiče korištenje starih diskova, posebno ako se drži nekoliko dobrih diskova za pohranu jedne kopije podataka, a preostale dvije do tri kopije pohranjuju na velik broj starih diskova, tada će informacije biti sačuvane, jer dok su novi diskovi živi — nema problema, a ako se jedan od njih pokvari, istovremeni kvar triju diskova starijih od pet godina, po mogućstvu iz različitih servera — događaj je izuzetno malo vjerojatan.

U raspodjeli kopija postoji suptilnost. Po zadanim postavkama, podaci se dijele na veći broj (~ po 100 na disk) grupa raspodjele PG, od kojih se svaka duplicira na određenim diskovima. Recimo, K=6, N=2, tada će, u slučaju kvara bilo koja dva diska, podaci biti izgubljeni, jer po teoriji vjerojatnosti, pronaći će se barem jedna PG koja će se nalaziti upravo na ta dva diska. Gubitak jedne grupe čini sve podatke u poolu nedostupnim. Ako se diski podijele u tri para i omogući pohrana podataka samo na diskovima unutar jednog para, tada je takva raspodjela također otporna na kvar bilo kojeg diska, no u slučaju kvara dva, vjerojatnost gubitka podataka nije 100%, nego samo 3/15, a čak i u slučaju kvara tri diska — samo 12/20. Odatle, entropija u raspodjeli podataka ne doprinosi otpornosti na kvarove. Također, primijetimo da za datotečni poslužitelj slobodna radna memorija znatno povećava brzinu odziva. Što je više memorije u svakom čvorištu i što je više memorije u svim čvorištima — to će brže biti. To je nesumnjiva prednost klastera u odnosu na samostalni poslužitelj i, što je još važnije, hardverski NAS, koji integrira vrlo mali volumen memorije.

Odatle slijedi da je CEPH dobar način s minimalnim ulaganjima iz zastarjelog hardvera stvoriti pouzdan sustav pohrane podataka od desetaka TB s mogućnošću skaliranja (ovdje će, naravno, biti potrebni troškovi, ali mali u usporedbi s komercijalnim SAN-ovima).

Implementacija klastera

Za eksperiment ćemo uzeti otpisano računalo Intel DQ57TM + Intel core i3 540 + 16 GB RAM-a. Četiri diska od 2 TB organizirat ćemo u sličnost RAID10, nakon uspješnog ispitivanja dodati ćemo drugi čvor i još toliko diska.

Instaliramo Linux. Od distribucije se zahtijeva mogućnost prilagodbe i stabilnost. Debian i Suse zadovoljavaju te zahtjeve. Suse ima fleksibilniju instalaciju koja omogućava isključivanje bilo kojeg paketa; nažalost, nisam mogao shvatiti koje se mogu izostaviti bez štete za sustav. Instaliramo Debian putem debootstrap buster. Opcija min-base postavlja nefunkcionalni sustav kojem nedostaju drajveri. Razlika u veličini u usporedbi s punom verzijom nije tako velika da bi se time opterećivali. Budući da se rad vodi na fizičkom stroju, želim raditi snimke, kao na virtualcima. Takvu mogućnost pruža ili LVM ili btrfs (ili xfs, ili zfs - razlika nije velika). U LVM-u snimke nisu jaka točka. Postavljamo btrfs. A boot loader - u MBR. Nema smisla zagađivati disk s 50 MB particijom FAT, kada ga možemo istisnuti u 1 MB područje tablice particija i sav prostor dodijeliti sustavu. Zauzelo je 700 MB na disku. Koliko je osnovna instalacija SUSE-a - ne sjećam se, čini se, oko 1.1 ili 1.4 GB.

Instaliramo CEPH. Ignoriramo verziju 12 u repozitoriju debian i povezujući se ravno s web stranice 15.2.3. Slijedimo upute iz odjeljka "instaliramo CEPH ručno" s sljedećim iznimkama:

  • Prije povezivanja repozitorija potrebno je instalirati gnupg wget ca-certificates
  • Nakon što je repozitorij povezan, ali prije instalacije klastera, preskočena je instalacija paketa: apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
  • Tijekom instalacije CEPH iz nejasnih razloga pokušava se instalirati lvm2. U načelu, nije mi žao, ali instalacija završava greškom, tako da se CEPH također neće instalirati.

    Pomogla je ova zakrpa:

    cat <> /var/lib/dpkg/status
    Package: lvm2
    Status: install ok installed
    Priority: important
    Section: admin
    Installed-Size: 0
    Maintainer: Debian Adduser Developers 
    Architecture: all
    Multi-Arch: foreign
    Version: 113.118
    Description: No-install
    EOF
    

Pregled klastera

ceph-osd — odgovoran je za pohranu podataka na disku. Za svaki disk pokreće se mrežna usluga koja prihvaća i izvršava zahtjeve za čitanjem ili pisanjem objekata. Na disku se stvaraju dva particiona. Jedan od njih sadrži informacije o klasteru, broj diska, kao i ključeve za klaster. Ove informacije veličine 1KB kreiraju se jednom pri dodavanju diska i nisu se više mijenjale. Na drugom particionu nema datotečnog sustava, a pohranjuju se binarni podaci CEPH-a. Automatska instalacija u prijašnjim verzijama stvorila je xfs particiju veličine 100MB za servisne informacije. Konvertirao sam disk u MBR i dodijelio samo 16MB — usluga se ne žali. Mislim da bi se xfs bez problema mogla zamijeniti i s ext. Ovaj particion montira se u /var/lib/…, gdje usluga čita informacije o OSD-u, a također pronalazi referencu na blok uređaj gdje se pohranjuju binarni podaci. Teoretski, odmah se može smjestiti pomoćni u /var/lib/…, a cijeli disk se može dodijeliti za podatke. Pri stvaranju OSD-a putem ceph-deploy automatski se stvara pravilo za montiranje particiona u /var/lib/…, a također se dodjeljuju prava korisniku ceph za čitanje potrebnog blok uređaja. Pri ručnoj instalaciji potrebno je to učiniti samostalno, u dokumentaciji se ne spominje. Također, poželjno je odrediti parametar osd memory target kako bi fizička memorija bila dovoljna.

ceph-mds. Na niskoj razini CEPH — objektno pohranjivanje. Mogućnost blokovnog pohranjivanja svodi se na pohranu svakog bloka od 4MB kao objekta. Na isti način funkcionira i pohranjivanje datoteka. Stvaraju se dva bazena: jedan za metapodatke, drugi — za podatke. Oni se kombiniraju u datotečni sustav. U tom trenutku se stvara neka vrsta zapisa, stoga ako se izbrše datotečni sustav, ali se oba bazena zadrže, ne može se obnoviti. Postoji procedura za vađenje datoteka po blokovima, nije testirano. Za pristup datotečnom sustavu zadužena je usluga ceph-mds. Za svaki datotečni sustav potreban je zaseban primjerak usluge. Postoji opcija „indeks“, koja omogućava stvaranje sličnosti nekoliko datotečnih sustava unutar jednog — također nije testirano.

ceph-mon — ova usluga pohranjuje kartu klastera. Ona uključuje informacije o svim OSD-ima, algoritmu raspodjele PG u OSD-ima i, najvažnije, informacije o svim objektima (detalji ovog mehanizma nisu mi jasni: postoji katalog /var/lib/ceph/mon/.../store.db, u njemu se nalazi velika datoteka — 26MB, a u klasteru je 105K objekata, ispada nešto više od 256 bajtova po objektu. Mislim da monitor pohranjuje popis svih objekata i PG-a u kojima se nalaze). Oštećenje ovog kataloga dovodi do gubitka svih podataka u klasteru. Stoga je zaključeno da CRUSH pokazuje kako su PG-ovi raspoređeni po OSD-ima, dok se podaci o objektima po PG-ima centralizirano pohranjuju unutar baze podataka, bez obzira koliko se developeri trudili izbjeći ovu frazu. Kao posljedica, prvo, ne možemo instalirati sustav na USB uređaj u RO modu, jer se u bazu podataka neprekidno zapisuje, potreban je dodatni disk za ovo (vjerojatno ne više od 1 GB), drugo, u stvarnom vremenu je potrebno imati kopiju ove baze. Ako ima više monitora, tada se otpornost na greške automatski osigurava, ali u našem slučaju imamo samo jedan monitor, maksimalno — dva. Postoji teorijska procedura za oporavak monitora na osnovi podataka OSD, nekoliko puta sam se na to oslanjao iz raznih razloga i tri puta nisam dobio nikakve poruke o greškama, kao ni podatke. Nažalost, ovaj mehanizam ne radi. Ili koristimo minijaturnu particiju na OSD-u i skupljamo RAID za pohranu baze podataka, što će zasigurno loše utjecati na performanse, ili izdvajamo barem dva pouzdana fizička nosača, poželjno USB, kako ne bismo zauzimali porte.

rados-gw — izvozi objektnu pohranu putem S3 protokola i sličnih. Stvara brojne pool-ove, nejasno zašto. Nije eksperimentirao previše.

ceph-mgr — pri instalaciji ove usluge pokreće se nekoliko modula. Jedan od njih je neisključiv autoscale. Cilj mu je održati pravilan broj PG/OSD. Ako želite ručno upravljati omjerom, možete zabraniti skaliranje za svaki pool, ali u tom slučaju modul se sruši zbog dijeljenja s 0 i status klastera postaje ERROR. Modul je napisan na Pythonu i ako se u njemu zakomentira određena linija, to dovodi do njegovog isključivanja. Detalje mi se ne da prisjećati.

Popis korištenih izvora:

Instalacija CEPH
Oporavak pri potpunom otkazu monitora

Listing skripti:

Instalacija sustava putem debootstrap

blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/

chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d '"' -f 2`
cat < /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat <> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers 
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install

Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers 
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF

exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

Kreiranje klastera

apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon

echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat < /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF

ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status

# dashboard

apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1

Dodavanje OSD (dio)

apt install ceph-osd

osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02 block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnum

Sažetak

Glavna marketinška prednost CEPH-a je CRUSH — algoritam za izračunavanje lokacije podataka. Monitori prenose ovaj algoritam klijentima, nakon čega klijenti izravno traže potrebni čvor i potrebni OSD. CRUSH osigurava odsustvo centralizacije. To je mala datoteka koju možete čak i isprintati i objesiti na zid. Praksa je pokazala da CRUSH nije iscrpna karta. Ako uništite i ponovo kreirate monitore, zadržavajući sve OSD i CRUSH, to nije dovoljno za obnovu klastera. Stoga se može zaključiti da se na svakom monitoru pohranjuje neka metapodatak o cijelom klasteru. Neznatan volumen tih metapodataka ne nameće ograničenja na veličinu klastera, ali zahtijeva osiguranje njihove sigurnosti, što isključuje uštedu na disku instaliranjem sustava na USB i isključuje klastere s manje od tri čvora. Agresivna politika programera u vezi s opcionalnim značajkama. Udaljeno je od minimalizma. Dokumentacija na razini: «za ono što postoji — već hvala, ali vrlo, vrlo oskudno». Mogućnost interakcije sa servisima na niskoj razini je predviđena, ali dokumentacija previše površno pokriva ovu temu, stoga je vjerojatnije da ne nego da. Gotovo nikakve šanse za obnovu podataka iz vanredne situacije.

Opcije daljnjih koraka: odustati od CEPH-a i koristiti običan višediskovni btrfs (ili xfs, zfs), saznati nove informacije o CEPH-u koje će omogućiti njegovo korištenje u navedenim uvjetima, pokušati kao unapređenje napredovati pisanjem vlastite pohrane.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster