S obzirom na sve veću popularnost Rook-a, želim razgovarati o njegovim izazovima i problemima koji vas čekaju na tom putu.
O meni: Iskustvo upravljanja cephom od verzije hammer, osnivač zajednice na Telegramu.
Da ne bih bio neosnovan, referirat ću se na odobrene Hubron (sudeći po ocjenama) postove o problemima s cephom. Sa većinom problema u tim postovima se također susreo. Linkovi na korišteni materijal nalaze se na kraju posta.
U postu o Rook-u ne spominjemo ceph bez razloga — Rook je u suštini ceph umotan u Kubernetes, što znači da nasljeđuje sve njegove probleme. Od problema s cephom i započinjemo.
Pojednostavljenje upravljanja klasterom
Jedna od prednosti Rook-a je jednostavnost upravljanja cephom putem Kubernetesa.
Međutim, ceph sadrži više od 1000 parametara za postavljanje, dok putem Rook-a možemo uređivati samo manji dio od njih.
Primjer na Luminous
> ceph daemon mon.a config show | wc -l
1401
Rook se pozicionira kao zgodan način instalacije i ažuriranja cepha
Nemamo problema s instalacijom ceph-a bez Rook-a — Ansible playbook se piše za 30 minuta, ali s ažuriranjem imamo mnoštvo problema.
Citat iz Krokovog posta
Primjer: neispravno funkcioniranje crush tunables nakon ažuriranja s hummer na jewel
> ceph osd crush show-tunables
{
…
«straw_calc_version»: 1,
«allowed_bucket_algs»: 22,
«profile»: «unknown»,
«optimal_tunables»: 0,
…
}
Ali čak i unutar manjih verzija postoje problemi.
Primjer: Ažuriranje 12.2.6 dovodi klaster u stanje health err i uvjetno pokvaren PG
Ne ažurirati, čekati i testirati? Ali koristimo Rook i radi jednostavnijih ažuriranja, između ostalog.
Složenost disaster recovery klastera u Rook-u
Primjer: OSD pada dajući greške sam sebi. Sumnjate da je problem u jednom od parametara u konfiguraciji, želite promijeniti konfiguraciju za određenog demona, ali ne možete, jer imate Kubernetes i DaemonSet.
Nema alternative. ceph tell osd.Num injectargs ne radi — OSD je na podu.
Složenost debagiranja
Za određene postavke i testove performansi potrebno je povezati se izravno na socket osd demona. U slučaju Rook-a, prvo morate pronaći odgovarajući kontejner, zatim ući u njega, otkriti da ne postoji alat za debagiranje te se jako razočarati.
Složenost postupnog podizanja OSD-a
Primjer: OSD pada zbog OOM-a, započinje rebalance, a zatim padaju sljedeći.
Rješenje: Podignite OSD jedan po jedan, čekajući da se potpuno uključi u klaster, a zatim podignite sljedeće. (Više u izvješću Ceph. Anatomija katastrofe).
U slučaju baremetal instalacije, to se jednostavno radi ručno, dok u slučaju Rook-a i jednog OSD-a po čvoru nema velikih problema; problemi s postupnim podizanjem će se pojaviti ako OSD > 1 po čvoru.
Naravno, oni su riješivi, ali nosimo Rook za pojednostavljenje, a dobivamo kompliciranje.
Složenost postavljanja limita za ceph demone.
Za baremetal instalaciju ceph-a lako je izračunati potrebne resurse za klaster — formule i istraživanja postoje. Prilikom korištenja slabih CPU-a, ipak ćete morati provesti niz testova performansi, saznati što je Numa, ali to je još uvijek jednostavnije nego u Rook-u.
U slučaju Rook-a, osim limita memorije koji se mogu izračunati, postavlja se pitanje postavljanja limita CPU-a.
I ovdje ćete se morati potruditi s testovima performansi. U slučaju smanjenja limita dobit ćete spor klaster, dok ćete prilikom postavljanja unlimited dobiti aktivnu upotrebu CPU-a tijekom rebalansa, što će loše utjecati na vaše aplikacije u Kubernetesu.
Problemi s mrežnim povezivanjem v1.
Za ceph se preporučuje korištenje 2x10gb mreže. Jedna za klijentski promet, druga za administrativne potrebe cepha (rebalans). Ako živite s ceph-om na baremetalu, ovo razdvajanje se lako postavlja; ako koristite Rook, razdvajanje prema mrežama će vam uzrokovati probleme, budući da daleko nije svaka konfiguracija klastera omogućava podnošenje dviju različitih mreža u pod.
Problemi s mrežnim povezivanjem v2.
Ako se odlučite ne razdvajati mreže, tada će tijekom rebalansa ceph promet blokirati cijelu vezu, a vaše aplikacije u Kubernetesu će usporiti ili pasti. Možete smanjiti brzinu rebalansa ceph-a, ali tada uz duži rebalans dobit ćete povećan rizik od ispadanja drugog čvora iz klastera zbog diskova ili OOM, a tamo već postoji garancija da će klaster biti samo za čitanje.
Dugi rebalans — duga usporavanja aplikacija.
Citati iz posta Ceph. Anatomija katastrofe.
Performanse testnog klastera:
Operacija pisanja veličine 4 KByte traje 1 ms, performansa 1000 operacija/sekund u 1 toku.
Operacija veličine 4 MByte (veličina objekta) traje 22 ms, performansa 45 operacija/sekund.
Dakle, kada jedan od tri domena otkaže, klaster neko vreme funkcioniše u degradiranom stanju, a polovina vrućih objekata raspoređuje se po različitim verzijama, polovina operacija pisanja će početi sa prinudnim obnavljanjem.
Prinudno obnavljanje vreme se procenjuje otprilike – operacije pisanja u degradirani objekat.
Prvo čitamo 4 MB za 22 ms, pišemo 22 ms, a zatim za 1 ms pišemo 4 KB stvarnih podataka. Ukupno 45 ms za jednu operaciju pisanja u degradirani objekat na SSD-u, kada je nominalna performansa bila 1 ms – pad performansi od 45 puta.
Što je veći procenat degradiranih objekata, sve je strašnije.
Dakle, brzina rebalance-a od suštinske je važnosti za ispravan rad klastera.
Specifične postavke servera za ceph
Ceph može zahtevati specifično podešavanje hosta.
Primer: sysctl podešavanja i Jumbo Frame, neka od ovih podešavanja mogu negativno uticati na vaš payload.
Prava potreba za Rook-om ostaje pod pitanjem
Ako ste u oblaku, imate skladište od vašeg provajdera, što je mnogo praktičnije.
Ako ste na svojim serverima, upravljanje cephom će biti praktičnije bez kubernetes-a.
Da li iznajmljujete servere kod nekog low cost hostinga? Tada vas čeka mnogo zabave sa mrežom, njenim kašnjenjima i propusnošću, što očigledno negativno utiče na ceph.
Ukratko: Implementacija kubernetes-a i implementacija skladišta su različiti zadaci sa različitim ulaznim podacima i različitim rešenjima — mešati ih, znači praviti potencijalno opasan trade-off u korist jednog ili drugog. Povezivanje ovih rešenja biće vrlo teško čak i u fazi projektovanja, a postoji još i period eksploatacije.
Lista korišćene literature:
A vi govorite Ceph… da li je on zaista dobar?
Ceph. Anatomija katastrofe
Izvor: habr.com
