🥇 Fautuaga & togafiti mo le galulue faatasi ma Ceph i galuega pisi

O le faʻaaogaina o le Ceph e pei o le teuina o fesoʻotaʻiga i galuega faatino ma avega eseese, atonu tatou te feagai ma galuega eseese e foliga mai e le faigofie pe faʻatauvaʻa i le tepa muamua. Faataitaiga:

femalaga'iga o fa'amaumauga mai le Ceph tuai i le fou fa'atasi ai ma se vaega o le fa'aogaina o 'au'aunaga muamua i le fuifui fou;
fofo i le faʻafitauli o le tuʻufaʻatasia o avanoa tisiki i Ceph.

O le feagai ai ma ia faʻafitauli, matou te feagai ma le manaʻoga e aveese saʻo le OSD e aunoa ma le leiloa o faʻamatalaga, lea e sili ona taua pe a feagai ma le tele o faʻamaumauga. O le a talanoaina lenei mea i le mataupu.

O metotia o loʻo faʻamatalaina i lalo e talafeagai mo soʻo se kopi o Ceph. E le gata i lea, o le mea moni e mafai e Ceph ona teuina se aofaiga tele o faʻamaumauga o le a amanaia: e puipuia ai le leiloa o faʻamaumauga ma isi faʻafitauli, o nisi gaioiga o le a "vaelua" i le tele o isi.

Fa'atomuaga e uiga i le OSD

Talu ai o le lua o fua e tolu o loʻo talanoaina e faʻamaoni i le OSD (Mea Teuina Daemon), aʻo leʻi faʻafefe i le vaega faʻatino - faʻapuupuu e uiga i le mea o loʻo i ai i Ceph ma pe aisea e taua tele ai.

Muamua lava, e tatau ona fai mai o le vaega atoa o le Ceph e aofia ai le tele o OSD. O le tele o loʻo i ai, o le sili atu foi lea o le tele o faʻamaumauga e leai se totogi i Ceph. E faigofie ona malamalama mai iinei galuega autu OSD: O lo'o teuina fa'amaumauga a le Ceph i luga o faila faila o nodes fuifui uma ma maua ai feso'ota'iga avanoa i ai (mo le faitau, tusitusi, ma isi talosaga).

I le tulaga lava e tasi, o fa'asologa o fa'asologa e fa'atulagaina e ala i le kopiina o mea i le va o OSD eseese. Ma o iinei e mafai ona e feagai ma faafitauli eseese, o fofo o le a talanoaina i lalo.

Mataupu Nu.1. Aveese saogalemu le OSD mai le Ceph cluster e aunoa ma le leiloa o faʻamatalaga

O le manaʻoga e aveese le OSD atonu e mafua mai i le aveeseina o le server mai le fuifui - mo se faʻataʻitaʻiga, e sui i se isi server - o le mea lea na tupu ia i matou, ma mafua ai le tusiaina o lenei tusiga. O le mea lea, o le sini autu o le faʻaogaina o le aveese uma o OSD ma mons i luga o se server tuʻuina atu ina ia mafai ona taofi.

Mo le faʻaogaina ma le aloese mai se tulaga lea, aʻo faʻatinoina poloaiga, matou te faia se mea sese i le faʻaalia o le OSD manaʻomia, matou te setiina se isi fesuiaiga, o le tau o le numera o le OSD e tapeina. Tatou valaau ia te ia ${ID} - iinei ma lalo, o sea fesuiaiga e sui ai le numera o le OSD o loʻo matou galulue ai.

Se'i o tatou va'ai i le tulaga a'o le'i amata galuega:

root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF
-1       0.46857 root default
-3       0.15619      host hv-1
-5       0.15619      host hv-2
 1   ssd 0.15619      osd.1     up     1.00000  1.00000
-7       0.15619      host hv-3
 2   ssd 0.15619      osd.2     up     1.00000  1.00000

Ina ia amata le aveeseina o le OSD, e mana'omia lou fa'agasolo malie reweight i luga i le zero. O le auala lea e fa'aitiitia ai le aofa'i o fa'amaumauga i le OSD e ala i le fa'apaleniina i isi OSD. Ina ia faia lenei mea, fa'atonu tulafono nei:

ceph osd reweight osd.${ID} 0.98
ceph osd reweight osd.${ID} 0.88
ceph osd reweight osd.${ID} 0.78

... ma faapena ai lava seia oo i le zero.

E mana'omia le paleni leleiina ia aua nei leiloa faamatalaga. E moni lava lenei mea pe afai o le OSD o loʻo i ai le tele o faʻamaumauga. Ina ia mautinoa pe a uma ona faʻatinoina poloaiga reweight na lelei mea uma, e mafai ona e faʻamaeʻaina ceph -s po'o se isi fa'amalama fa'amalama fa'amau ceph -w ina ia mafai ona matauina suiga i le taimi moni.

A oʻo ina "gaogao" le OSD, e mafai ona e faʻaauau le gaioiga masani e aveese ai. Ina ia faia lenei mea, faʻafeiloaʻi le OSD manaʻomia i le setete down:

ceph osd down osd.${ID}

Tatou “toso” le OSD mai le fuifui:

ceph osd out osd.${ID}

Sei o tatou taofi le auaunaga OSD ma aveese lona vaeluaga ile FS:

systemctl stop ceph-osd@${ID}
umount /var/lib/ceph/osd/ceph-${ID}

Aveese le OSD mai CRUSH faafanua:

ceph osd crush remove osd.${ID}

Se'i tatou tape le tagata fa'aoga OSD:

ceph auth del osd.${ID}

Ma le mea mulimuli, seʻi o tatou aveese le OSD lava ia:

ceph osd rm osd.${ID}

mataʻi: Afai o loʻo e faʻaaogaina le Ceph Luminous version poʻo le maualuga, ona mafai lea ona faʻaititia le laasaga o le OSD i luga i ni tulafono se lua:

ceph osd out osd.${ID}
ceph osd purge osd.${ID}

Afai, a maeʻa laasaga o loʻo faʻamatalaina i luga, e te faʻatautaia le poloaiga ceph osd tree, ona tatau lea ona manino i luga o le 'auʻaunaga lea na faia ai le galuega e le o toe iai ni OSD na faʻatino ai galuega o loʻo i luga:

root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT  TYPE NAME     STATUS REWEIGHT PRI-AFF
-1       0.46857      root default
-3       0.15619      host hv-1
-5       0.15619      host hv-2
-7       0.15619      host hv-3
 2   ssd 0.15619      osd.2    up     1.00000  1.00000

I luga o le ala, ia maitauina o le setete o le fuifui Ceph o le a alu i HEALTH_WARN, ma o le a tatou vaʻaia foʻi le faʻaitiitia o le numera o OSDs ma le aofaʻi o avanoa avanoa.

O loʻo mulimuli mai o le a faʻamatalaina laasaga o le a manaʻomia pe afai e te manaʻo e taofi atoa le server ma, e tusa ai, aveese mai Ceph. I lenei tulaga, e taua le manatua o lena mea A'o le'i tapuni le 'au'aunaga, e tatau ona e aveese uma OSD i luga o lenei server.

Afai e le toe i ai ni OSD o totoe i luga o lenei 'auʻaunaga, a maeʻa ona aveese, e tatau ona e faʻateʻaina le server mai le faʻafanua OSD. hv-2e ala i le faʻatinoina o le poloaiga lenei:

ceph osd crush rm hv-2

Aveese mon mai le server hv-2e ala i le faʻatonuina o le faʻatonuga i lalo i luga o se isi server (ie i lenei tulaga, on hv-1):

ceph-deploy mon destroy hv-2

A maeʻa lenei mea, e mafai ona e taofia le 'auʻaunaga ma amata gaioiga mulimuli ane (toe faʻaaogaina, ma isi).

Mataupu Nu.2. Tufatufaina o avanoa tisiki i se fuifui Ceph ua uma ona faia

O le a ou amataina le tala lona lua i se faatomuaga e uiga i le PG (Vaega Fa'atulagaina). O le matafaioi autu a le PG i Ceph o le faʻapipiʻiina lea o mea Ceph ma faʻapipiʻi atili i le OSD. Ole fua fa'atatau e mafai ona e fa'atatauina le aofa'i ole PG o lo'o iai vaega talafeagai Ceph pepa aloaia. O lenei mataupu o loʻo talanoaina foi iina ma faʻataʻitaʻiga faʻapitoa.

O lea: o se tasi o faʻafitauli masani pe a faʻaaogaina Ceph o le numera le paleni o OSD ma PG i le va o vaitaele i Ceph.

Muamua, ona o lenei mea, e ono tulaʻi mai se tulaga pe a tele naua PG o loʻo faʻamaonia i totonu o se tamaʻi vaitaele, o le mea moni o se faʻaogaina le talafeagai o le vaʻavaʻa i totonu o le fuifui. Lona lua, i le faʻataʻitaʻiga o loʻo i ai se faʻafitauli sili atu ona ogaoga: faʻamaumauga o loʻo tafe i se tasi o OSD. E a'afia ai le fuifui muamua o le suiga i le setete HEALTH_WARN, ae te'i ane HEALTH_ERR. O le mafuaʻaga o lenei mea o Ceph, pe a faʻatusatusa le aofaʻi o faʻamaumauga (e mafai ona e mauaina e MAX AVAIL i le galuega faatino ceph df mo vaita'ele ta'itasi) e fa'atatau i le aofa'i o fa'amaumauga o lo'o maua ile OSD. Afai e le lava le avanoa i le itiiti ifo ma le tasi le OSD, e le toe mafai ona tusia se isi fa'amaumauga se'i vagana ua fa'asoa fa'asoa fa'amaumauga i OSD uma.

E taua le faamaninoina o nei faafitauli e tele lava ina fa'ai'uga i le fa'asologa o fa'aputuga o fa'aputuga Ceph. O se tasi o meafaigaluega e mafai ona e faʻaaogaina o le Ceph PGCalc. Faatasi ai ma lana fesoasoani, o le aofaʻi manaʻomia o le PG e manino le fuafuaina. Ae ui i lea, e mafai foi ona e faʻaaogaina i se tulaga o loʻo faʻapipiʻi ai le Ceph uma configured sese. E taua le faʻamalamalamaina iinei o se vaega o le galuega faʻapipiʻi o le a sili atu ona e manaʻomia le faʻaititia o le numera o PGs, ma e le o maua lenei vaega i lomiga tuai o Ceph (naʻo faʻaalia i le lomiga. Nautilus).

O lea, seʻi o tatou mafaufau i le ata lenei: o le fuifui e iai se tulaga HEALTH_WARN ona o se tasi o le OSD ua leai se avanoa. O lenei mea o le a faʻaalia e se mea sese HEALTH_WARN: 1 near full osd. Lalo o se algorithm mo le alu ese mai lenei tulaga.

Muamua, e tatau ona e tufatufa faʻamatalaga avanoa i le va o OSD o totoe. Ua uma ona matou faia se gaioiga talitutusa i le tulaga muamua, pe a matou "faʻamama" le node - ma na o le pau lava le eseesega o le taimi nei o le a manaʻomia ona tatou faʻaititia teisi. reweight. Mo se faʻataʻitaʻiga, e oʻo atu i le 0.95:

ceph osd reweight osd.${ID} 0.95

O lenei mea e faʻasaʻoloto ai le avanoa o le disk i le OSD ma faʻasaʻo le mea sese ile ceph health. Ae ui i lea, e pei ona uma ona taʻua, o lenei faʻafitauli e masani lava ona tupu ona o le le saʻo o le faʻatulagaina o Ceph i le amataga: e taua tele le toe faʻaleleia ina ia le faʻaalia i le lumanaʻi.

I la matou tulaga faapitoa, na oʻo uma lava i:

maualuga tele le tau replication_count i se tasi o vaita'ele,
tele PG i le tasi vaitaele ae itiiti tele i le isi.

Tatou fa'aoga le calculator ua uma ona ta'ua. O loʻo faʻaalia manino ai mea e tatau ona tuʻuina ma, i le mataupu faavae, e leai se mea faigata. I le faʻatulagaina o tapulaʻa manaʻomia, matou te maua fautuaga nei:

mataʻi: Afai o loʻo e faʻatutuina se fuifui Ceph mai le sasa, o le isi aoga aoga a le calculator o le faʻatupuina o faʻatonuga o le a faia ai vaitaele mai le sasa ma faʻamaufaʻailoga ua faʻamaonia i le laulau.

O le koluma mulimuli e fesoasoani ia te oe e folau ai - Faitauga PG Fautuaina. I la matou tulaga, o le lona lua e aoga foi, lea o loʻo faʻaalia ai le faʻasologa o faʻasologa, talu ai na matou filifili e sui le faʻateleina faʻateleina.

O lea la, muamua e te manaʻomia le suia o le faʻasologa o faʻasologa - e tatau ona faia muamua, talu ai e ala i le faʻaitiitia o le faʻateleina, o le a tatou faʻasaʻoloto le avanoa vaʻa. A'o fa'atinoina le fa'atonuga, o le a e maitauina o le a fa'atupula'ia le avanoa va'aia:

ceph osd pool $pool_name set $replication_size

Ma a maeʻa, matou te suia le tau faʻatatau pg_num и pgp_num e pei ona taʻua i lalo:

ceph osd pool set $pool_name pg_num $pg_number
ceph osd pool set $pool_name pgp_num $pg_number

tāua: e tatau ona tatou suia le numera o PG i se faasologa faʻasolosolo i vaitaʻele taʻitasi ma aua le suia tulaga taua i isi vaitaele seia mou atu lapataiga "Fa'aleaogaina fa'amaumauga" и "n-numera o pgs ua fa'aleagaina".

E mafai foi ona e siaki na sologa lelei mea uma i le faʻaaogaina o galuega faʻatonu ceph health detail и ceph -s.

Mataupu Nu.3. Si'itia se masini masini mai LVM i Ceph RBD

I se tulaga e faʻaogaina ai e se poloketi masini faʻapipiʻi faʻapipiʻi i luga o sapalai uʻamea mautotogi, e masani ona tulaʻi mai le faʻafitauli o le teuina o mea sese. E matua manaʻomia foʻi le lava o le avanoa i totonu o lenei teuina ... O le isi tulaga masani: o loʻo i ai se masini komepiuta ma le teuina i le lotoifale i luga o le 'auʻaunaga ma e te manaʻomia le faʻalauteleina o le disk, ae e leai se mea e alu i ai, aua e leai se mea. avanoa tisiki avanoa i luga o le server.

O le faʻafitauli e mafai ona foia i auala eseese - mo se faʻataʻitaʻiga, e ala i le faimalaga i se isi server (pe a iai) poʻo le faʻaopoopoina o tisiki fou i le server. Ae e le o taimi uma e mafai ai ona faia lenei mea, o lea o le faimalaga mai LVM i Ceph e mafai ona avea ma se fofo sili ona lelei i lenei faʻafitauli. E ala i le filifilia o lenei filifiliga, matou te faʻafaigofieina foi le faʻagasologa o femalagaiga i le va o sapalai, talu ai o le a le manaʻomia le faʻanofoina o le faleoloa mai le tasi hypervisor i le isi. Pau lava le pu'e e tatau ona e taofi le VM a'o fa'atino le galuega.

O le fua lea e aumai mai tala mai lenei blog, o faatonuga ia na tofotofoina i le faatinoga. E ui o lea, o loʻo faʻamatalaina foi iina le auala o le faimalaga saoloto, peitaʻi, i lo matou tulaga e leʻi manaʻomia, o lea matou te leʻi siakiina ai. Afai e taua tele lenei mea mo lau poloketi, matou te fiafia e faʻalogo e uiga i taunuuga i faʻamatalaga.

Sei o tatou agai atu i le vaega faatino. I le faʻataʻitaʻiga matou te faʻaaogaina virsh ma, e tusa ai, libvirt. Muamua, ia mautinoa o le vaitaele Ceph lea o le a ave i ai faʻamatalaga e fesoʻotaʻi i le libvirt:

virsh pool-dumpxml $ceph_pool

O le faʻamatalaga o le vaitaele e tatau ona aofia ai faʻamatalaga fesoʻotaʻiga i Ceph faʻatasi ai ma faʻamatalaga faʻatagaina.

O le isi laasaga o le LVM image ua liua i Ceph RBD. Ole taimi ole fa'atinoga e fa'atatau ile tele ole ata:

qemu-img convert -p -O rbd /dev/main/$vm_image_name rbd:$ceph_pool/$vm_image_name

A maeʻa le liua, o le a tumau se ata LVM, lea o le a aoga pe afai e le manuia le VM i le RBD ma e tatau ona e toe faʻafoʻi suiga. E le gata i lea, ina ia mafai ona vave toe faʻafoʻi suiga, seʻi o tatou faia se faʻamaumauga o le faila faʻatulagaina o masini komepiuta:

virsh dumpxml $vm_name > $vm_name.xml
cp $vm_name.xml $vm_name_backup.xml

... ma fa'asa'o le ulua'i (vm_name.xml). Sei o tatou suʻe se poloka ma se faʻamatalaga o le disk (amata i le laina <disk type='file' device='disk'> ma faaiu i </disk>) ma fa'aititia i le fomu nei:

<disk type='network' device='disk'>
<driver name='qemu'/>
<auth username='libvirt'>
  <secret type='ceph' uuid='sec-ret-uu-id'/>
 </auth>
<source protocol='rbd' name='$ceph_pool/$vm_image_name>
  <host name='10.0.0.1' port='6789'/>
  <host name='10.0.0.2' port='6789'/>
</source>
<target dev='vda' bus='virtio'/> 
<alias name='virtio-disk0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>

Se'i tatou va'ai i nisi fa'amatalaga:

I le protocol source o le tuatusi i le teuina i totonu o le Ceph RBD o loʻo faʻaalia (o le tuatusi lea o loʻo faʻaalia ai le igoa o le vaitaele Ceph ma le ata RBD, lea na fuafuaina i le laasaga muamua).
I le poloka secret ua faailoa mai le ituaiga ceph, faʻapea foʻi ma le UUID o le mealilo e faʻafesoʻotaʻi ai. E mafai ona maua lona uuid i le faʻaaogaina o le poloaiga virsh secret-list.
I le poloka host o loʻo faʻaalia tuatusi i Ceph monitors.

A maeʻa ona faʻasaʻo le faila faʻapipiʻi ma faʻamaeʻaina le LVM i le RBD liliu mai, e mafai ona e faʻaogaina le faila fetuutuunaiga faʻaleleia ma amata le masini masini:

virsh define $vm_name.xml
virsh start $vm_name

Ua oʻo i le taimi e siaki ai na amata saʻo le masini komepiuta: e mafai ona e iloa, mo se faʻataʻitaʻiga, e ala i le faʻafesoʻotaʻi i ai e ala i le SSH poʻo le ala virsh.

Afai o loʻo galue saʻo le masini masini ma e te leʻi mauaina nisi faʻafitauli, ona mafai lea ona e tapeina le ata LVM e le o toe faʻaaogaina:

lvremove main/$vm_image_name

iʻuga

Na matou faʻafeiloaʻi uma mataupu faʻamatalaina i le faʻatinoga - matou te faʻamoemoe o le a fesoasoani faatonuga i isi pule e foia faʻafitauli tutusa. Afai ei ai ni au faʻamatalaga poʻo isi tala tutusa mai lou poto masani i le faʻaaogaina o Ceph, matou te fiafia e vaʻai i latou i faʻamatalaga!

SALA

Faitau foi i la matou blog:

puna: www.habr.com

Fautuaga & togafiti mo le galulue faatasi ma Ceph i galuega pisi