S obzirom na rastuću popularnost Rook-a, želim govoriti o njegovim zamkama i problemima koji vas čekaju na ovom putu.
O sebi: Iskustvo u administraciji Ceph od verzije hammer, osnivač zajednice. na Telegramu.
Da ne bih bio neosnovan, oslanjaću se na objavljene Hubram (sudeći po rejtingu) postove o problemima sa Ceph-om. Sa većinom problema u ovim postovima sam se takođe suočio. Linkovi na korišćeni materijal su na kraju posta.
U postu o Rook-u pominjemo Ceph ne bez razloga — Rook je u suštini Ceph obavijen u Kubernetes, što znači da nasleđuje sve njegove probleme. Sa problema Ceph počinjemo.
Pojednostavljenje upravljanja klasterom
Jedna od prednosti Rook-a je jednostavno upravljanje Ceph-om kroz Kubernetes.
Međutim, Ceph sadrži više od 1000 parametara za podešavanje, dok kroz Rook možemo menjati samo manji deo od njih.
Primer na Luminous
> ceph daemon mon.a config show | wc -l
1401
Rook se pozicionira kao jednostavan način za instalaciju i ažuriranje Ceph-a.
Sa instalacijom Ceph-a bez Rook-a nema problema — ansible playbook se piše za 30 minuta, ali sa ažuriranjem ima mnogo problema.
Citat iz posta Krok
Primer: nepravilno funkcionisanje crush tunables nakon ažuriranja sa hummer na jewel.
> ceph osd crush show-tunables
{
…
«straw_calc_version»: 1,
«allowed_bucket_algs»: 22,
«profile»: «unknown»,
«optimal_tunables»: 0,
…
}
Ali čak i unutar malih verzija postoje problemi.
Primer: ažuriranje 12.2.6 dovodi klaster u stanje health err i uslovno oštećen PG.
Ne ažurirati, čekati i testirati? Ali izgledalo bi da koristimo Rook radi praktičnosti ažuriranja, između ostalog.
Složenost oporavka klastera u Rook-u
Primer: OSD pada ostavljajući greške iza sebe. Sumnjate da je problem u jednom od parametara u konfiguraciji, želite da promenite konfiguraciju za konkretni demona, ali ne možete, jer koristite Kubernetes i DaemonSet.
Alternativa ne postoji. ceph tell osd.Num injectargs ne radi — OSD je izvan funkcije.
Složenost debugovanja
Za neka podešavanja i testove performansi potrebno je direktno se povezati sa socket-om osd demona. U slučaju Rook-a, prvo morate pronaći odgovarajući kontejner, zatim ući u njega, otkriti nedostajući debug alat i biti vrlo razočarani.
Složenost sekvencijalnog podizanja OSD-a
Primer: OSD pada zbog OOM-a, počinje rebalance, a nakon toga padaju sledeći.
Rešenje: Pokrenite OSD jedan po jedan, čekajući da se potpuno uključi u klaster pre nego što pokrenete sledeći. (Više informacija u izveštaju Ceph. Anatomija katastrofe).
U slučaju baremetal instalacije to se radi jednostavno ručno, dok kod Rook-a i jedne OSD na nodu problema nema, ali problemi sa uzastopnim pokretanjem javljaju se kada je OSD > 1 na nodu.
Naravno, oni su rešivi, ali mi to koristimo Rook da bismo pojednostavili, a dobijamo komplikaciju.
Teškoće u određivanju limita za ceph demone.
Za baremetal instalaciju ceph-a lako se može izračunati potrebna količina resursa za klaster – postoje formule i istraživanja. Kada koristite slabe procesore, moraćete da uradite niz testova performansi kako biste shvatili šta je Numa, ali to je svejedno lakše nego sa Rook-om.
U slučaju Rook-a, pored limita memorije, postoji pitanje određivanja limita CPU-a.
I tu ćete morati da se pomučite sa testovima performansi. Ako su limiti postavljeni prenisko, dobićete spor klaster, a ako su neograničeni, dobićete aktivno korišćenje CPU-a tokom rebalance-a, što će negativno uticati na vaše aplikacije u kubernetesu.
Problemi sa mrežnom interakcijom v1.
Za ceph se preporučuje korišćenje 2x10gb mreže. Jedna za klijentski saobraćaj, druga za servisne potrebe ceph-a (rebalance). Ako koristite ceph na baremetal, to razdvajanje se lako podešava, dok u Rook-u može izazvati probleme jer nije svaka konfiguracija klastera spremna da podrži pod dve različite mreže.
Problemi sa mrežnom interakcijom v2.
Ako se odlučite da ne razdvajate mreže, tokom rebalance-a ceph saobraćaj će saturirati ceo kanal i vaše aplikacije u kubernetesu će usporiti ili će se srušiti. Možete smanjiti brzinu rebalance-a ceph, ali time dugotrajnim rebalance-om povećavate rizik od ispadanja druge node iz klastera zbog diskova ili OOM-a, a tada više nema garancije na read-only stanje klastera.
Dugotrajni rebalance — dugi zastoji aplikacija.
Citata iz posta Ceph. Anatomija katastrofe.
Performanse testnog klastera:
Operacija pisanja veličine 4 Kb traje 1 ms, performanse 1000 operacija/sekundu u 1 potoku.
Operacija veličine 4 Mb (veličina objekta) traje 22 ms, performanse 45 operacija/sekundu.
Dakle, kada jedan od tri domena ne uspije, klaster će neko vrijeme biti u degradiranom stanju, a polovina vrućih objekata će se rasporediti po različitim verzijama, što znači da će polovina operacija zapisivanja početi s prisilnim oporavkom.
Vrijeme prisilnog oporavka procjenjujemo otprilike — operacije zapisivanja u degradirani objekt.
Prvo čitamo 4 MB za 22 ms, pišemo 22 ms, a zatim 1 ms pišemo 4 KB stvarnih podataka. Ukupno, 45 ms za jednu operaciju pisanja u degradirani objekt na SSD-u, dok je standardna performansa bila 1 ms — pad performansi od 45 puta.
Što je veći postotak degradiranih objekata, to je situacija sve gora.
Ispostavlja se da je brzina rebalanseranja kritično važna za ispravno funkcioniranje klastera.
Specifična podešavanja servera za ceph
ceph može zahtijevati specifično podešavanje hosta.
Primjer: podešavanja sysctl i JumboFrame, neka od ovih podešavanja mogu negativno utjecati na vaš payload.
Prava potreba za Rookom ostaje pod pitanjem
Ako ste u oblaku, imate skladište od svog cloud providera, što je mnogo praktičnije.
Ako ste na svojim serverima, upravljanje ceph-om će biti lakše bez kubernetes-a.
Iznajmljujete servere kod nekog low cost hostinga? Onda vas čeka mnogo zabave sa mrežom, njenim kašnjenjem i propusnošću, što očito negativno utječe na ceph.
Ukratko: Implementacija kubernetes-a i implementacija skladišta su različiti zadaci sa različitim polaznim tačkama i različitim rješenjima — miješanje njih može dovesti do opasnog trade-off-a na račun jednog ili drugog. Uskladiti ova rješenja će biti vrlo teško čak i u fazi projektovanja, a tu je još i period eksploatacije.
Spisak korištene literature:
A vi govorite Ceph… da li je doista tako dobar?
Ceph. Anatomija katastrofe
Izvor: habr.com
