Níl ár lámha le haghaidh boredom: athbhunú an bhraisle Rook i K8s

Táimid dúradh cheana, conas/cén fáth a dtaitníonn Rook linn: simplíonn sé go mór oibriú le stóráil i gcnuasaigh Kubernetes. Mar sin féin, tagann deacrachtaí áirithe leis an simplíocht seo. Tá súil againn go gcabhróidh an t-ábhar nua linn na castachtaí sin a thuiscint níos fearr sula dtagann siad chun solais.

Chun é a dhéanamh níos suimiúla é a léamh, cuirimis tús leis iarmhairtí fadhb hipitéiseach i mbraisle.

"Tá gach rud caillte!"

Samhlaigh go ndearna tú Rook a chumrú agus a sheoladh uair amháin i do bhraisle K8s, go raibh sé sásta leat lena chuid oibre, ach ag am éigin "iontach" tarlaíonn an méid seo a leanas:

• Ní féidir le pods nua íomhánna RBD a shuiteáil ó Ceph.
• Is maith le foirne lsblk и df ná rith ar nóid Kubernetes. Ciallaíonn sé seo go huathoibríoch: “tá rud éigin mícheart” leis na híomhánna RBD atá suite ar na nóid. Ní féidir liom iad a léamh, rud a thugann le fios nach bhfuil na monatóirí ar fáil...
• Sea, níl aon mhonatóirí oibre sa bhraisle. Thairis sin, níl fiú pods le pods OSD nó MGR.

Cathain a seoladh an pod? rook-ceph-operator? Ní chomh fada ó shin a imscaradh é. Cén fáth? Chinn Rook-operator braisle nua a dhéanamh... Conas is féidir linn oibriú an bhraisle agus na sonraí atá ann a athbhunú anois?

Ar dtús, déanaimis bealach níos faide, suimiúil trí imscrúdú tuisceanach a dhéanamh ar “taobh istigh” Rook agus athchóiriú céim ar chéim ar a chuid comhpháirteanna. Ar ndóigh, tá bealach ceart níos giorra: úsáid a bhaint as cúltacaí. Mar is eol duit, roinntear na riarthóirí i dhá chineál: iad siúd nach ndéanann cúltacaí, agus iad siúd a dhéanann iad cheana féin ... Ach níos mó faoi seo tar éis an imscrúdaithe.

Cleachtadh beag, nó bealach fada

Breathnaímis thart agus cuirimis na monatóirí ar ais

Mar sin, déanaimis féachaint ar an liosta de na ConfigMap: tá na cinn atá riachtanach le haghaidh áirithinte rook-ceph-config и rook-config-override. Léirítear iad ar imscaradh rathúil an bhraisle.

NB: I leaganacha nua, tar éis glacadh leo an PR seo, Níl ConfigMaps ina tháscaire ar an rath a bhí ar imscaradh braisle a thuilleadh.

Chun gníomhartha breise a dhéanamh, teastaíonn atosú crua uainn de na freastalaithe go léir a bhfuil íomhánna RBD gléasta acu (ls /dev/rbd*). Ní mór é a dhéanamh trí sysrq (nó “ar scór” chuig an ionad sonraí). Is éard is cúis leis an gceanglas seo ná an tasc a bhaineann le RBDanna gléasta a dhíshuiteáil, nach n-oibreoidh atosú caighdeánach ina leith (déanfaidh sé iarracht gan rath iad a dhíshuiteáil de ghnáth).

Tosaíonn an amharclann le hanger, agus tosaíonn an bhraisle Ceph le monatóirí. Breathnaímid orthu.

Feistíonn Rook na haonáin seo a leanas sa phod monatóireachta:

Volumes:
 rook-ceph-config:
   Type:      ConfigMap (a volume populated by a ConfigMap)
   Name:      rook-ceph-config
 rook-ceph-mons-keyring:
   Type:        Secret (a volume populated by a Secret)
   SecretName:  rook-ceph-mons-keyring
 rook-ceph-log:
   Type:          HostPath (bare host directory volume)
   Path:          /var/lib/rook/kube-rook/log
 ceph-daemon-data:
   Type:          HostPath (bare host directory volume)
   Path:          /var/lib/rook/mon-a/data
Mounts:
  /etc/ceph from rook-ceph-config (ro)
  /etc/ceph/keyring-store/ from rook-ceph-mons-keyring (ro)
  /var/lib/ceph/mon/ceph-a from ceph-daemon-data (rw)
  /var/log/ceph from rook-ceph-log (rw)

A ligean ar a fheiceáil cad atá rúnda rook-ceph-mons-keyring:

kind: Secret
data:
 keyring: LongBase64EncodedString=

Déanaimid díchódú agus faighimid fáinne eochair rialta le cearta don riarthóir agus do mhonatóirí:

[mon.]
       key = AQAhT19dlUz0LhBBINv5M5G4YyBswyU43RsLxA==
       caps mon = "allow *"
[client.admin]
       key = AQAhT19d9MMEMRGG+wxIwDqWO1aZiZGcGlSMKp==
       caps mds = "allow *"
       caps mon = "allow *"
       caps osd = "allow *"
       caps mgr = "allow *"

Cuimhnímis. Anois féachaimis ar an bhfáinne eochair faoi rún rook-ceph-admin-keyring:

kind: Secret
data:
 keyring: anotherBase64EncodedString=

Cad atá ann?

[client.admin]
       key = AQAhT19d9MMEMRGG+wxIwDqWO1aZiZGcGlSMKp==
       caps mds = "allow *"
       caps mon = "allow *"
       caps osd = "allow *"
       caps mgr = "allow *"

Mar an gcéanna. A ligean ar a fheiceáil níos mó... Anseo, mar shampla, tá rún rook-ceph-mgr-a-keyring:

[mgr.a]
       key = AQBZR19dbVeaIhBBXFYyxGyusGf8x1bNQunuew==
       caps mon = "allow *"
       caps mds = "allow *"
       caps osd = "allow *"

Tá cúpla rún eile le fáil againn sa ConfigMap rook-ceph-mon:

kind: Secret
data:
 admin-secret: AQAhT19d9MMEMRGG+wxIwDqWO1aZiZGcGlSMKp==
 cluster-name: a3ViZS1yb29r
 fsid: ZmZiYjliZDMtODRkOS00ZDk1LTczNTItYWY4MzZhOGJkNDJhCg==
 mon-secret: AQAhT19dlUz0LhBBINv5M5G4YyBswyU43RsLxA==

Agus is é seo an liosta tosaigh le eochairfháinní, as a dtagann na rúin go léir a thuairiscítear thuas.

Mar is eol (féach dataDirHostPath в doiciméadú), Stórálann Rook sonraí den sórt sin in dhá áit. Dá bhrí sin, a ligean ar dul go dtí na nóid chun breathnú ar na heochracha atá suite sna heolairí atá suite i pods le monatóirí agus OSDs. Chun seo a dhéanamh, feicimid ar na nóid /var/lib/rook/mon-a/data/keyring agus feicfimid:

# cat /var/lib/rook/mon-a/data/keyring
[mon.]
       key = AXAbS19d8NNUXOBB+XyYwXqXI1asIzGcGlzMGg==
       caps mon = "allow *"

Go tobann anseo iompaigh an rún amach a bheith difriúil - ní cosúil le ConfigMap's.

Cad mar gheall ar an eochairfháinne admin? Tá sé againn freisin:

# cat /var/lib/rook/kube-rook/client.admin.keyring
[client.admin]
       key = AXAbR19d8GGSMUBN+FyYwEqGI1aZizGcJlHMLgx= 
       caps mds = "allow *"
       caps mon = "allow *"
       caps osd = "allow *"
       caps mgr = "allow *"

Seo an áit a luíonn an fhadhb. Tharla glitch de shaghas éigin: rinneadh an bhraisle a athchruthú... ach i ndáiríre ní raibh.

Éiríonn sé soiléir go bhfuil keyrings nua-ghinte a stóráil i rúin, agus tá siad aon ónár sean-chnuasach. Sin é an fáth:

• tóg an fáinne eochair as an monatóir as an gcomhad /var/lib/rook/mon-a/data/keyring (nó ó chúltaca);
• athraigh an fáinne eochair faoi rún rook-ceph-mons-keyring;
• cláraigh an fáinne eochrach ón riarthóir agus ón monatóireacht i ConfigMap rook-ceph-mon;
• bain rialaitheoirí pod le monatóirí.

Ní bheidh an miracle fada le teacht: beidh na monatóirí le feiceáil agus ag tosú. Déan deifir, tá tús curtha!

A ligean ar ais ar an OSD

A ligean ar dul go pod rook-operator: dúshlán ceph mon dump léiríonn go bhfuil gach monatóir i bhfeidhm, agus ceph -s - go bhfuil siad i gcóram. Mar sin féin, má fhéachann tú ar an gcrann OSD (ceph osd tree), feicfimid rud éigin aisteach ann: thosaigh OSDs le feiceáil, ach tá siad folamh. Tharlaíonn sé go raibh gá iad a chur ar ais ar bhealach éigin freisin. Ach cén chaoi?

Idir an dá linn, tá na cinn a bhfuil an oiread sin de dhíth orainn sna ConfigMaps anois rook-ceph-config и rook-config-override, chomh maith le go leor ConfigMaps eile le hainmneacha cosúil le rook-ceph-osd-$nodename-config. Breathnaímid orthu:

kind: ConfigMap
data:
 osd-dirs: '{"/mnt/osd1":16,"/mnt/osd2":18}'

Tá gach rud mícheart, tá gach rud measctha suas!

Déanaimis na pods oibreora a scála go nialas, scrios na pods Imlonnaithe ginte ón OSD agus socróimid na ConfigMaps seo. Ach cá háit é a fháil? ceart Léarscáil OSD de réir nód?

• Déanaimis iarracht tochailt isteach sna heolairí arís /mnt/osd[1-2] ag na snaidhmeanna - le súil go mbeimid in ann teacht ar rud éigin ansin.
• Sa chatalóg /mnt/osd1 tá 2 fhochomhadlann ann: osd0 и osd16. Is é an ceann deireanach go díreach an t-aitheantas atá léirithe i ConfigMap (16)?
• Déanaimis na méideanna a sheiceáil agus é sin a fheiceáil osd0 a lán níos mó osd16.

Tagann muid ar an tátal go bhfuil osd0 - is é seo an OSD riachtanach, a léiríodh mar /mnt/osd1 i ConfigMap (tar éis an tsaoil, úsáidimid eolaire bunaithe osd.)

Céim ar chéim déanaimid seiceáil ar gach nóid agus cuirimid ConfigMaps in eagar. Tar éis na treoracha go léir, is féidir leat an t-oibreoir pod Rook a sheoladh agus a logs a léamh. Agus tá gach rud mar gheall orthu iontach:

• Is oibreoir braisle mé;
• Fuair ​​​​mé dioscaí ar na nóid;
• Fuair ​​​​mé na monatóirí;
• d’éirigh na monatóirí ina gcairde, i.e. déanta córam;
• Seolaim imscaradh OSD...

Rachaimid isteach sa phod oibreora Rook arís agus seiceáil ar bheocht an bhraisle... sea, bhíomar beagán mícheart leis na conclúidí faoi na hainmneacha OSD ar roinnt nóid! Fadhb ar bith: cheartaigh muid na ConfigMaps arís, bhaineamar na heolairí neamhriachtanacha de na OSDanna nua agus thángamar ar an staid a rabhthas ag súil leis le fada HEALTH_OK!

Déanaimis na híomhánna sa linn a sheiceáil:

# rbd ls -p kube
pvc-9cfa2a98-b878-437e-8d57-acb26c7118fb
pvc-9fcc4308-0343-434c-a65f-9fd181ab103e
pvc-a6466fea-bded-4ac7-8935-7c347cff0d43
pvc-b284d098-f0fc-420c-8ef1-7d60e330af67
pvc-b6d02124-143d-4ce3-810f-3326cfa180ae
pvc-c0800871-0749-40ab-8545-b900b83eeee9
pvc-c274dbe9-1566-4a33-bada-aabeb4c76c32
…

Tá gach rud i bhfeidhm - déantar an braisle a shábháil!

Tá mé leisciúil agus déan cúltacaí, nó bealach tapa

Má tá cúltacaí déanta do Rook, éiríonn an nós imeachta aisghabhála i bhfad níos simplí agus gearrtar síos go dtí an méid seo a leanas:

1. Scálaimid an t-oibreoir Rook imscaradh go nialas;
2. Bainimid gach imscaradh ach amháin an t-oibreoir Rook;
3. Déanaimid gach rún agus ConfigMaps a athshlánú ón gcúltaca;
4. Athchóiriú a dhéanamh ar ábhar na n-eolaire /var/lib/rook/mon-* ar nóid ;
5. Déanaimid an CRD a aischur (má chaill tú go tobann). CephCluster, CephFilesystem, CephBlockPool, CephNFS, CephObjectStore;
6. Déanaimis an t-oibreoir Rook imlonnaithe a laghdú go 1.

Leideanna Úsáideacha

Déan cúltacaí!

Agus chun cásanna a sheachaint nuair is gá duit a chur ar ais uathu:

1. Roimh obair ar scála mór leis an mbraisle, a bhaineann le freastalaithe a atosú, déan an t-oibreoir Rook a scála go nialas ionas nach ndéanann sé rudaí gan ghá.
2. Chuig na monatóirí roimh ré cuir nódAffinity.
3. Tabhair aird ar an réamh amanna ama a shocrú ROOK_MON_HEALTHCHECK_INTERVAL и ROOK_MON_OUT_TIMEOUT.

In ionad a thabhairt i gcrích

Ní fiú a mhaíomh go ndéanann Rook, toisc gur “ciseal” breise é (sa scéim fhoriomlán stórála in Kubernetes) a shimpliú go mór agus go gcuireann sé castachtaí nua agus fadhbanna féideartha sa bhonneagar. Is é an t-aon rud atá fágtha le déanamh ná rogha chothrom, eolasach a dhéanamh idir na rioscaí seo, ar thaobh amháin, agus na buntáistí a bhaineann leis an gcinneadh i do chás ar leith, ar an taobh eile.

Dála an scéil, le déanaí sa doiciméadú Rook cuireadh alt “Glac braisle Rook Ceph atá ann cheana féin i mbraisle nua Kubernetes”. Déanann sé cur síos níos mionsonraithe ar cad is gá a dhéanamh chun na sonraí atá ann faoi láthair a aistriú chuig braisle nua Kubernetes nó chun oibriú braisle a thit amach ar chúis amháin nó ar chúis eile a athchóiriú.

PS

Léigh freisin ar ár mblag:

• «Rook nó nach Rook, is é sin an cheist";
• «Rook - stóras sonraí “féinseirbhíse” do Kubernetes";
• «Longhorn, stóráil dáilte do K8s ó Rancher, aistrithe go CNCF'.
• «Stóráil leanúnach a chruthú le soláthar i Kubernetes bunaithe ar Ceph'.

Foinse: will.com