Nije ti dRook

S obzirom na sve veću popularnost Rook-a, želim razgovarati o njegovim izazovima i problemima koji vas čekaju na tom putu.

O meni: Iskustvo upravljanja cephom od verzije hammer, osnivač zajednice t.me/ceph_ru na Telegramu.

Da ne bih bio neosnovan, referirat ću se na odobrene Hubron (sudeći po ocjenama) postove o problemima s cephom. Sa većinom problema u tim postovima se također susreo. Linkovi na korišteni materijal nalaze se na kraju posta.

U postu o Rook-u ne spominjemo ceph bez razloga — Rook je u suštini ceph umotan u Kubernetes, što znači da nasljeđuje sve njegove probleme. Od problema s cephom i započinjemo.

Pojednostavljenje upravljanja klasterom

Jedna od prednosti Rook-a je jednostavnost upravljanja cephom putem Kubernetesa.

Međutim, ceph sadrži više od 1000 parametara za postavljanje, dok putem Rook-a možemo uređivati samo manji dio od njih.

Primjer na Luminous
> ceph daemon mon.a config show | wc -l
1401

Rook se pozicionira kao zgodan način instalacije i ažuriranja cepha
Nemamo problema s instalacijom ceph-a bez Rook-a — Ansible playbook se piše za 30 minuta, ali s ažuriranjem imamo mnoštvo problema.

Citat iz Krokovog posta

Primjer: neispravno funkcioniranje crush tunables nakon ažuriranja s hummer na jewel

> ceph osd crush show-tunables
{
…
«straw_calc_version»: 1,
«allowed_bucket_algs»: 22,
«profile»: «unknown»,
«optimal_tunables»: 0,
…
}

Ali čak i unutar manjih verzija postoje problemi.

Primjer: Ažuriranje 12.2.6 dovodi klaster u stanje health err i uvjetno pokvaren PG
ceph.com/releases/v12-2-8-released

Ne ažurirati, čekati i testirati? Ali koristimo Rook i radi jednostavnijih ažuriranja, između ostalog.

Složenost disaster recovery klastera u Rook-u

Primjer: OSD pada dajući greške sam sebi. Sumnjate da je problem u jednom od parametara u konfiguraciji, želite promijeniti konfiguraciju za određenog demona, ali ne možete, jer imate Kubernetes i DaemonSet.

Nema alternative. ceph tell osd.Num injectargs ne radi — OSD je na podu.

Složenost debagiranja

Za određene postavke i testove performansi potrebno je povezati se izravno na socket osd demona. U slučaju Rook-a, prvo morate pronaći odgovarajući kontejner, zatim ući u njega, otkriti da ne postoji alat za debagiranje te se jako razočarati.

Složenost postupnog podizanja OSD-a

Primjer: OSD pada zbog OOM-a, započinje rebalance, a zatim padaju sljedeći.

Rješenje: Podignite OSD jedan po jedan, čekajući da se potpuno uključi u klaster, a zatim podignite sljedeće. (Više u izvješću Ceph. Anatomija katastrofe).

U slučaju baremetal instalacije, to se jednostavno radi ručno, dok u slučaju Rook-a i jednog OSD-a po čvoru nema velikih problema; problemi s postupnim podizanjem će se pojaviti ako OSD > 1 po čvoru.

Naravno, oni su riješivi, ali nosimo Rook za pojednostavljenje, a dobivamo kompliciranje.

Složenost postavljanja limita za ceph demone.

Za baremetal instalaciju ceph-a lako je izračunati potrebne resurse za klaster — formule i istraživanja postoje. Prilikom korištenja slabih CPU-a, ipak ćete morati provesti niz testova performansi, saznati što je Numa, ali to je još uvijek jednostavnije nego u Rook-u.

U slučaju Rook-a, osim limita memorije koji se mogu izračunati, postavlja se pitanje postavljanja limita CPU-a.

I ovdje ćete se morati potruditi s testovima performansi. U slučaju smanjenja limita dobit ćete spor klaster, dok ćete prilikom postavljanja unlimited dobiti aktivnu upotrebu CPU-a tijekom rebalansa, što će loše utjecati na vaše aplikacije u Kubernetesu.

Problemi s mrežnim povezivanjem v1.

Za ceph se preporučuje korištenje 2x10gb mreže. Jedna za klijentski promet, druga za administrativne potrebe cepha (rebalans). Ako živite s ceph-om na baremetalu, ovo razdvajanje se lako postavlja; ako koristite Rook, razdvajanje prema mrežama će vam uzrokovati probleme, budući da daleko nije svaka konfiguracija klastera omogućava podnošenje dviju različitih mreža u pod.

Problemi s mrežnim povezivanjem v2.

Ako se odlučite ne razdvajati mreže, tada će tijekom rebalansa ceph promet blokirati cijelu vezu, a vaše aplikacije u Kubernetesu će usporiti ili pasti. Možete smanjiti brzinu rebalansa ceph-a, ali tada uz duži rebalans dobit ćete povećan rizik od ispadanja drugog čvora iz klastera zbog diskova ili OOM, a tamo već postoji garancija da će klaster biti samo za čitanje.

Dugi rebalans — duga usporavanja aplikacija.

Citati iz posta Ceph. Anatomija katastrofe.

Performanse testnog klastera:

Operacija pisanja veličine 4 KByte traje 1 ms, performansa 1000 operacija/sekund u 1 toku.

Operacija veličine 4 MByte (veličina objekta) traje 22 ms, performansa 45 operacija/sekund.

Dakle, kada jedan od tri domena otkaže, klaster neko vreme funkcioniše u degradiranom stanju, a polovina vrućih objekata raspoređuje se po različitim verzijama, polovina operacija pisanja će početi sa prinudnim obnavljanjem.

Prinudno obnavljanje vreme se procenjuje otprilike – operacije pisanja u degradirani objekat.

Prvo čitamo 4 MB za 22 ms, pišemo 22 ms, a zatim za 1 ms pišemo 4 KB stvarnih podataka. Ukupno 45 ms za jednu operaciju pisanja u degradirani objekat na SSD-u, kada je nominalna performansa bila 1 ms – pad performansi od 45 puta.

Što je veći procenat degradiranih objekata, sve je strašnije.

Dakle, brzina rebalance-a od suštinske je važnosti za ispravan rad klastera.

Specifične postavke servera za ceph

Ceph može zahtevati specifično podešavanje hosta.

Primer: sysctl podešavanja i Jumbo Frame, neka od ovih podešavanja mogu negativno uticati na vaš payload.

Prava potreba za Rook-om ostaje pod pitanjem

Ako ste u oblaku, imate skladište od vašeg provajdera, što je mnogo praktičnije.

Ako ste na svojim serverima, upravljanje cephom će biti praktičnije bez kubernetes-a.

Da li iznajmljujete servere kod nekog low cost hostinga? Tada vas čeka mnogo zabave sa mrežom, njenim kašnjenjima i propusnošću, što očigledno negativno utiče na ceph.

Ukratko: Implementacija kubernetes-a i implementacija skladišta su različiti zadaci sa različitim ulaznim podacima i različitim rešenjima — mešati ih, znači praviti potencijalno opasan trade-off u korist jednog ili drugog. Povezivanje ovih rešenja biće vrlo teško čak i u fazi projektovanja, a postoji još i period eksploatacije.

Lista korišćene literature:

Post #1 A vi govorite Ceph… da li je on zaista dobar?
Post #2 Ceph. Anatomija katastrofe

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster