An koneksyon avèk popilarite a ap grandi nan Rook, mwen ta renmen pale sou enkonvenyans li yo ak pwoblèm ki ap tann ou sou wout la.
Sou mwen: Eksperyans nan administrasyon ceph soti nan vèsyon mato, fondatè kominote a nan telegram.
Pou pa san fondman, mwen pral refere a pòs Habr aksepte (jije dapre evalyasyon an) sou pwoblèm ak ceph. Mwen te rankontre tou pi fò nan pwoblèm yo nan pòs sa yo. Lyen ki mennen nan materyèl yo itilize yo nan fen pòs la.
Nan pòs la sou Rook, nou mansyone ceph pou yon rezon - Rook se esansyèlman ceph vlope nan kubernetes, ki vle di li eritye tout pwoblèm li yo. Ann kòmanse ak pwoblèm ceph.
Senplifye jesyon gwoup la
Youn nan avantaj ki genyen nan Rook se fasilite nan jere ceph nan kuberentes.
Sepandan, ceph gen plis pase 1000 paramèt pou konfigirasyon, pandan y ap an menm tan an, atravè rook nou ka sèlman edite yon minorite nan yo.
Egzanp sou Luminous
> ceph daemon mon.a konfigirasyon montre | wc -l
1401
Rook pozisyone kòm yon fason pratik pou enstale ak mete ajou ceph
Pa gen pwoblèm ak enstale ceph san Rook - ansible playbook ekri nan 30 minit, men gen anpil pwoblèm ak ajou.
Quote soti nan pòs Krok la
Egzanp: kraze tunables pa travay kòrèkteman apre yo fin mete ajou soti nan hummer a bijou
> ceph osd kraze montre-tunables
{
...
"straw_calc_version": 1,
"allowed_bucket_algs": 22,
"profile": "enkoni",
"optimal_tunables": 0,
...
}
Men, menm nan vèsyon minè gen pwoblèm.
Egzanp: Mizajou 12.2.6 pote gwoup la nan eta sante erè ak kondisyonèl kase PG
Pa mete ajou, tann ak teste? Men, nou sanble yo sèvi ak Rook pou konvenyans nan mizajou, pami lòt bagay.
Konpleksite gwoup rekiperasyon dezas nan Rook
Egzanp: OSD tonbe ak yon gratèl nan erè nan pye li. Ou sispèk ke pwoblèm nan se nan youn nan paramèt yo nan konfigirasyon an, ou vle chanje konfigirasyon an pou yon demon espesifik, men ou pa kapab paske ou gen kubernetes ak DaemonSet.
Pa gen okenn altènatif. ceph di osd.Num injectargs pa travay - OSD a bay manti.
Difikilte pou debogaj
Gen kèk konfigirasyon ak tès pèfòmans mande pou konekte dirèkteman nan priz osd demon an. Nan ka Rook, ou premye bezwen jwenn veso a vle, Lè sa a, antre nan li, jwenn zouti ki manke pou debug epi yo dwe fache anpil.
Difikilte pou ogmante OSD sekans
Egzanp: OSD tonbe nan OOM, re-balans kòmanse, apre sa yo tonbe.
Solisyon: Leve OSD la youn nan yon tan, rete tann jiskaske li konplètman enkli nan gwoup la epi ogmante sa kap vini yo. (Plis detay nan rapò Ceph la. Anatomi yon katastwòf).
Nan ka yon enstalasyon baremetal, sa fèt tou senpleman alamen; nan ka a nan Rook ak yon sèl OSD pou chak ne, pa gen okenn pwoblèm patikilye; pwoblèm ak leve lòt ap parèt si OSD > 1 pou chak ne.
Natirèlman, yo ka rezoud, men nou itilize Rook senplifye bagay sa yo, men jwenn plis konpleksite.
Difikilte pou chwazi limit pou demon ceph
Pou yon enstalasyon baremetal nan ceph, li se byen fasil pou kalkile resous ki nesesè pou yon gwoup - gen fòmil ak rechèch ki disponib. Si w ap itilize yon CPU fèb, w ap toujou oblije fè kèk tès pèfòmans pou chèche konnen ki sa Numa ye, men li toujou pi fasil pase Rook.
Nan ka Rook, anplis de limit memwa ki ka kalkile, ou gen kesyon pou mete yon limit CPU.
Ak isit la ou pral oblije travay di ak tès pèfòmans. Si ou bese limit yo, ou pral jwenn yon grap dousman; si ou mete unlim, w ap jwenn itilizasyon CPU aktif pandan re-balanse, ki pral gen yon move efè sou aplikasyon ou yo nan kubernetes.
Pwoblèm rezo v1
Pou ceph li rekòmande pou itilize yon rezo 2x10GB. Youn pou trafik kliyan, lòt la pou bezwen sèvis ceph (rebalance). Si w ap viv ak ceph sou baremetal, Lè sa a, divizyon sa a fasil konfigirasyon, si w ap viv ak Rook, Lè sa a, divizyon an pa rezo ap lakòz ou pwoblèm, akòz lefèt ke se pa tout konfigirasyon gwoup ki pèmèt ou manje de rezo diferan nan gous la. .
Pwoblèm rezo v2
Si ou refize separe rezo yo, Lè sa a, lè re-balanse, trafik ceph pral bouche tout chanèl la ak aplikasyon ou yo nan kubernetes pral ralanti oswa aksidan. Ou ka diminye vitès la nan rebalansman ceph, men Lè sa a, akòz rebalansman an long ou jwenn yon risk ogmante pou dezyèm ne tonbe soti nan gwoup la atravè disk oswa OOM, epi gen deja yon lekti garanti sèlman pou gwoup la.
Long rebalance - tan aplikasyon lag
Quote soti nan pòs Ceph la. Anatomi nan yon dezas.
Pèfòmans gwoup tès la:
Yon operasyon ekri nan gwosè 4 KB pran 1 ms, pèfòmans se 1000 operasyon / segonn nan 1 fil.
Yon operasyon nan 4 MB (gwosè objè) pran 22 ms, pèfòmans se 45 operasyon / segonn.
Kontinwe, lè yon domèn sou twa echwe, gwoup la nan yon eta degrade pou kèk tan, ak mwatye nan objè yo cho yo distribye atravè diferan vèsyon, Lè sa a, mwatye nan operasyon yo ekri ap kòmanse ak yon rekiperasyon fòse.
Nou kalkile tan an rekiperasyon fòse apeprè - ekri operasyon nan yon objè degrade.
Premye nou li 4 MB nan 22 ms, ekri 22 ms, epi answit nan 1 ms nou ekri 4 KB done aktyèl yo. Yon total de 45 ms pou chak operasyon ekri nan yon objè degrade sou yon SSD, lè pèfòmans estanda a te 1 ms - yon gout 45-pliye nan pèfòmans.
Plis pousantaj objè ki degrade nou genyen, se pi mal tout bagay ap vin.
Li sanble ke vitès la nan rebalancing se kritik pou operasyon ki kòrèk la nan grap la.
Anviwònman sèvè espesifik pou ceph
ceph ka mande akor espesifik lame.
Egzanp: paramèt sysctl ak menm JumboFrame a, kèk nan paramèt sa yo ka afekte chaj ou a yon fason negatif.
Bezwen reyèl pou Rook rete an kesyon
Si ou nan nwaj la ou gen depo nan men founisè nwaj ou a, ki se pi plis pratik.
Si ou se sou pwòp serveurs ou, Lè sa a, jere ceph ap pi pratik san kubernetes.
Èske ou lwe serveurs de kèk hébergement faible coût? Lè sa a, ou pral gen anpil plezi ak rezo a, reta li yo ak Pleasant, ki klèman afekte ceph.
Total: Aplike kuberentes ak mete ann aplikasyon depo yo se travay diferan ak diferan entrées ak opsyon solisyon diferan - melanje yo vle di fè yon echanj posib danjere pou dedomajman pou youn oswa lòt la. Li pral trè difisil konbine solisyon sa yo menm nan etap nan konsepsyon, epi gen toujou yon peryòd de operasyon.
Lis literati itilize:
Men ou di Ceph... èske li bon vre?
Ceph. Anatomi nan yon dezas
Sous: www.habr.com