Re sebelisa Ceph joalo ka polokelo ea marang-rang mererong e nang le meroalo e fapaneng, re kanna ra kopana le mesebetsi e fapaneng eo qalong e sa bonahaleng e le bonolo kapa e sa reng letho. Ka mohlala:
- ho falla ha data ho tloha ho Ceph ea khale ho ea ho e ncha ka tšebeliso e fokolang ea li-server tse fetileng sehlopheng se secha;
- tharollo bothateng ba kabo ea sebaka sa disk ho Ceph.
Ho sebetsana le mathata a joalo, re tobane le tlhokahalo ea ho tlosa OSD ka nepo ntle le ho lahleheloa ke data, e leng ea bohlokoa haholo ha u sebetsana le lintlha tse ngata. Sena se tla tšohloa sehloohong sena.
Mekhoa e hlalositsoeng ka tlase e bohlokoa bakeng sa mofuta ofe kapa ofe oa Ceph. Ho phaella moo, taba ea hore Ceph e ka boloka boitsebiso bo bongata e tla nkoa: ho thibela tahlehelo ea data le mathata a mang, liketso tse ling li tla "aroha" ho tse ling tse 'maloa.
Ketapele mabapi le OSD
Kaha lipepepe tse peli ho tse tharo tse tšohliloeng li nehetsoe ho OSD (), pele o kenella karolong e sebetsang - ka bokhutšoane mabapi le hore na ke eng ho Ceph le hore na ke hobane'ng ha e le ea bohlokoa.
Pele ho tsohle, ho lokela ho boleloa hore sehlopha sohle sa Ceph se na le li-OSD tse ngata. Ha li ntse li le ngata, palo ea mahala ea data ho Ceph. Ho bonolo ho utloisisa ho tloha mona mosebetsi oa mantlha oa OSD: E boloka data ea ntho ea Ceph ho litsamaiso tsa lifaele tsa li-cluster node tsohle mme e fana ka phihlello ea marang-rang ho eona (bakeng sa ho bala, ho ngola, le likopo tse ling).
Boemong bo ts'oanang, litekanyetso tsa ho pheta-pheta li behiloe ka ho kopitsa lintho lipakeng tsa li-OSD tse fapaneng. 'Me mona u ka kopana le mathata a sa tšoaneng, tharollo e tla tšohloa ka tlase.
Nyeoe ea 1. Tlosa OSD ka mokhoa o sireletsehileng ho sehlopha sa Ceph ntle le ho lahleheloa ke data
Tlhokahalo ea ho tlosa OSD e ka bakoa ke ho tlosa seva ho tloha sehlopheng - mohlala, ho e nkela sebaka ka seva se seng - e leng se ileng sa re etsahalla, ho hlahisa ho ngoloa ha sehlooho sena. Kahoo, sepheo sa mantlha sa ho qhekella ke ho ntša li-OSD tsohle le li-mons ho seva e fanoeng e le hore e ka emisoa.
Bakeng sa boiketlo le ho qoba boemo boo, ha re ntse re phethahatsa litaelo, re etsa phoso ka ho bontša OSD e hlokahalang, re tla beha phapang e fapaneng, eo boleng ba eona e tla ba palo ea OSD e tla hlakoloa. Ha re mo bitseng ${ID} - mona le ka tlase, phetoho e joalo e nkela palo ea OSD eo re sebetsang ka eona sebaka.
Ha re shebeng boemo pele re qala mosebetsi:
root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.46857 root default
-3 0.15619 host hv-1
-5 0.15619 host hv-2
1 ssd 0.15619 osd.1 up 1.00000 1.00000
-7 0.15619 host hv-3
2 ssd 0.15619 osd.2 up 1.00000 1.00000
Ho qala ho tlosa OSD, o tla hloka ho sebetsa hantle reweight ho eona ho fihlela ho zero. Ka tsela ena re fokotsa palo ea data ho OSD ka ho e leka-lekanya ho li-OSD tse ling. Ho etsa sena, tsamaisa litaelo tse latelang:
ceph osd reweight osd.${ID} 0.98
ceph osd reweight osd.${ID} 0.88
ceph osd reweight osd.${ID} 0.78... joalo-joalo ho fihlela zero.
Ho hlokahala ho leka-lekanya hantlee le hore u se ke ua lahleheloa ke data. Sena ke 'nete haholo haeba OSD e na le palo e kholo ea data. Ho etsa bonnete ba hore ka mor'a ho phethahatsa litaelo reweight tsohle li tsamaile hantle, u ka li phetha ceph -s kapa ka fensetere e fapaneng ea terminal ceph -w molemong oa ho bona liphetoho ka nako ea nnete.
Ha OSD e "feletsoe", u ka tsoela pele ka ts'ebetso e tloaelehileng ea ho e tlosa. Ho etsa sena, fetisetsa OSD e lakatsehang mmusong down:
ceph osd down osd.${ID}Ha re "huleng" OSD ho tsoa sehlopheng:
ceph osd out osd.${ID}Ha re emiseng tšebeletso ea OSD 'me re theole karohano ea eona ho FS:
systemctl stop ceph-osd@${ID}
umount /var/lib/ceph/osd/ceph-${ID}Tlosa OSD ho :
ceph osd crush remove osd.${ID}Ha re hlakole mosebelisi oa OSD:
ceph auth del osd.${ID}Qetellong, ha re tloseng OSD ka boeona:
ceph osd rm osd.${ID}mantsoe: Haeba u sebelisa mofuta oa Ceph Luminous kapa ho feta, mehato e kaholimo ea ho tlosa OSD e ka fokotsoa hore e be litaelo tse peli:
ceph osd out osd.${ID}
ceph osd purge osd.${ID}
Haeba, ka mor'a ho qeta mehato e hlalositsoeng ka holimo, u tsamaisa taelo ceph osd tree, joale ho lokela ho hlaka hore ho seva moo mosebetsi o neng o etsoa ha ho sa na li-OSD tseo mesebetsi e ka holimo e entsoeng ho tsona:
root@hv-1 ~ # ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 0.46857 root default
-3 0.15619 host hv-1
-5 0.15619 host hv-2
-7 0.15619 host hv-3
2 ssd 0.15619 osd.2 up 1.00000 1.00000
Tseleng, hlokomela hore boemo ba sehlopha sa Ceph se tla ea ho HEALTH_WARN, 'me re tla boela re bone ho fokotseha ha palo ea OSD le palo ea sebaka sa disk se fumanehang.
Lintlha tse latelang li tla hlalosa mehato e tla hlokoa haeba u batla ho emisa seva ka ho feletseng 'me, ka hona, ue tlose ho Ceph. Tabeng ena, ke habohlokoa ho hopola seo Pele o koala seva, o tlameha ho tlosa li-OSD tsohle ho seva sena.
Haeba ho se ho se na li-OSD tse setseng ho seva sena, ka mor'a hore u li tlose, u lokela ho qhelela seva ka thōko ho 'mapa oa OSD. hv-2ka ho tsamaisa taelo e latelang:
ceph osd crush rm hv-2
Tlosa mon ho tsoa ho seva hv-2ka ho tsamaisa taelo e ka tlase ho seva se seng (ke hore, tabeng ena, on hv-1):
ceph-deploy mon destroy hv-2Kamora sena, o ka emisa seva mme o qale liketso tse latelang (ho e sebelisa hape, joalo-joalo).
Nyeoe ea 2. Kabo ea sebaka sa disk sehlopheng se seng se entsoe sa Ceph
Ke tla qala pale ea bobeli ka selelekela sa PG (). Karolo ea mantlha ea PG ho Ceph ke ho kopanya lintho tsa Ceph le ho li pheta hape ho OSD. Foromo eo ka eona u ka balang palo e hlokahalang ea PG e ho Ceph litokomane. Taba ena e boetse e tšohloa moo ka mehlala e tobileng.
Kahoo: e 'ngoe ea mathata a tloaelehileng ha u sebelisa Ceph ke palo e sa leka-lekaneng ea OSD le PG lipakeng tsa matamo a Ceph.
Taba ea pele, ka lebaka la sena, boemo bo ka hlaha ha li-PG tse ngata haholo li hlalosoa ka letamong le lenyane, e leng tšebeliso e sa utloahaleng ea sebaka sa disk sehlopheng. Taba ea bobeli, ts'ebetsong ho na le bothata bo tebileng le ho feta: ho tlala ha data ho e 'ngoe ea li-OSD. Sena se kenyelletsa phetoho ea pele ea sehlopha ho ea mmusong HEALTH_WARN, eaba HEALTH_ERR. Lebaka la sena ke hore Ceph, ha o bala palo e fumanehang ea data (o ka e fumana ka MAX AVAIL tlhahisong ea taelo ceph df bakeng sa letamo ka leng ka thoko) e ipapisitse le palo ea data e fumanehang ho OSD. Haeba ho se na sebaka se lekaneng bonyane ho OSD e le 'ngoe, ha ho na data e ka ngoloang ho fihlela data e ajoa ka nepo har'a li-OSD tsohle.
Ke habohlokoa ho hlokomela hore bothata bona li khethoa haholo sethaleng sa tlhophiso ea lihlopha tsa Ceph. E 'ngoe ea lisebelisoa tseo u ka li sebelisang ke . Ka thuso ea eona, palo e hlokahalang ea PG e baloa ka ho hlaka. Leha ho le joalo, o ka boela oa e sebelisa maemong ao sehlopha sa Ceph se e hlophisitsoeng hampe. Ho bohlokoa ho hlakisa mona hore e le karolo ea mosebetsi oa ho lokisa o tla hloka ho fokotsa palo ea li-PGs, mme karolo ena ha e fumanehe liphetolelong tsa khale tsa Ceph (e hlahile feela ka mofuta. ).
Kahoo, a re nahaneng ka setšoantšo se latelang: sehlopha se na le boemo HEALTH_WARN ka lebaka la e 'ngoe ea OSD e felloang ke sebaka. Sena se tla bontšoa ka phoso HEALTH_WARN: 1 near full osd. Ka tlase ke algorithm ea ho tsoa boemong bona.
Pele ho tsohle, o hloka ho tsamaisa lintlha tse fumanehang lipakeng tsa li-OSD tse setseng. Re se re entse ts'ebetso e ts'oanang le nyeoeng ea pele, ha re "hlakola" node - ka phapang feela eo joale re tla hloka ho e fokotsa hanyane. reweight. Ka mohlala, ho fihlela ho 0.95:
ceph osd reweight osd.${ID} 0.95Sena se lokolla sebaka sa disk ho OSD mme se lokisa phoso ho ceph health. Leha ho le joalo, joalokaha ho se ho boletsoe, bothata bona bo bakoa haholo-holo ka lebaka la tlhophiso e fosahetseng ea Ceph ka mekhahlelo ea pele: ho bohlokoa haholo ho etsa phetoho e le hore e se ke ea hlaha nakong e tlang.
Tabeng ea rona, tsohle li theohetse ho:
- boleng bo phahameng haholo
replication_countho e 'ngoe ea matamo. - PG e ngata haholo letamong le le leng mme e nyane haholo ho enngwe.
Ha re sebeliseng khalekhuleita e seng e boletsoe. E bontša ka ho hlaka se lokelang ho kenngoa 'me, ha e le hantle, ha ho letho le rarahaneng. Ha re beha li-parameter tse hlokahalang, re fumana litlhahiso tse latelang:
mantsoe: Haeba u theha sehlopha sa Ceph ho tloha qalong, ts'ebetso e 'ngoe ea bohlokoa ea calculator ke ho hlahisa litaelo tse tla etsa matamo ho tloha qalong ka li-parameter tse boletsoeng tafoleng.
Karolo ea ho qetela e u thusa ho tsamaea - Tlhahiso ea PG Palo. Tabeng ea rona, ea bobeli e boetse e na le thuso, moo parameter ea ho pheta-pheta e bontšitsoeng, kaha re nkile qeto ea ho fetola mokhoa oa ho pheta-pheta.
Kahoo, pele o hloka ho fetola liparamente tsa ho pheta-pheta - sena se bohlokoa ho etsa pele, kaha ka ho fokotsa bongata, re tla lokolla sebaka sa disk. Ha taelo e ntse e phetha, u tla hlokomela hore sebaka se fumanehang sa disk se tla eketseha:
ceph osd pool $pool_name set $replication_size
'Me ka mor'a hore e phethoe, re fetola litekanyetso tsa parameter pg_num и pgp_num ka tsela e latelang:
ceph osd pool set $pool_name pg_num $pg_number
ceph osd pool set $pool_name pgp_num $pg_numberea bohlokoa: re tlameha ho fetola palo ea li-PG ka tatellano letamong le leng le le leng mme re se ke ra fetola boleng ba matamo a mang ho fihlela litemoso li nyamela. "Degraded data redundancy" и "n-palo ea pgs e senyehile".
U ka boela ua hlahloba hore ntho e 'ngoe le e' ngoe e tsamaile hantle u sebelisa liphetho tsa taelo ceph health detail и ceph -s.
Nyeoe ea 3. Ho tsamaisa mochini o sebetsang ho tloha LVM ho ea Ceph RBD
Boemong boo morero o sebelisang mechine ea sebele e kentsoeng ho li-server tsa tšepe tse hiriloeng, hangata ho hlaha taba ea polokelo e sa mamellehang. Hape ke ntho e lakatsehang haholo hore ho na le sebaka se lekaneng sebakeng sena sa polokelo ... Boemo bo bong bo tloaelehileng: ho na le mochine o tloaelehileng o nang le sebaka sa polokelo ea sebaka ho seva mme o hloka ho atolosa disk, empa ha ho na moo u ka eang teng, hobane ha ho na sebaka sa mahala sa disk se setseng ho seva.
Bothata bo ka rarolloa ka litsela tse fapaneng - ka mohlala, ka ho fallela ho seva se seng (haeba ho na le e 'ngoe) kapa ho eketsa li-disk tse ncha ho seva. Empa ha se kamehla ho ka khonehang ho etsa sena, kahoo ho falla ho tloha LVM ho ea Ceph e ka ba tharollo e ntle bothateng bona. Ka ho khetha khetho ena, re boetse re nolofatsa mokhoa o tsoelang pele oa ho falla pakeng tsa li-server, kaha ho ke ke ha hlokahala hore u tsamaise polokelo ea lehae ho tloha ho hypervisor e 'ngoe ho ea ho e' ngoe. Ho ts'oaroa feela ke hore o tla tlameha ho emisa VM ha mosebetsi o ntse o tsoela pele.
Recipe e latelang e nkiloe ho , tseo litaelo tsa tsona li lekiloeng ka liketso. Ebile, mokhoa oa ho falla ntle le mathata o boetse o hlalosoa moo, leha ho le joalo, molemong oa rōna e ne e mpa e sa hlokahale, kahoo ha rea ka ra e hlahloba. Haeba sena se bohlokoa bakeng sa morero oa hau, re tla thabela ho utloa ka liphetho ho maikutlo.
Ha re feteleng karolong e sebetsang. Mohlala oo re sebelisang virsh le, ho latela, libvirt. Taba ea pele, etsa bonnete ba hore letamo la Ceph leo data le tla fallisetsoa ho lona le hokahane le libvirt:
virsh pool-dumpxml $ceph_poolTlhaloso ea letamo e tlameha ho ba le data ea khokahanyo ho Ceph e nang le data ea tumello.
Mohato o latelang ke hore setšoantšo sa LVM se fetoleloa ho Ceph RBD. Nako ea ts'ebetso e itšetlehile haholo ka boholo ba setšoantšo:
qemu-img convert -p -O rbd /dev/main/$vm_image_name rbd:$ceph_pool/$vm_image_nameKa mor'a phetoho, setšoantšo sa LVM se tla sala, se tla ba molemo haeba ho fallela VM ho ea RBD ho hlōleha 'me u tlameha ho khutlisa liphetoho. Hape, ho khona ho khutlisa liphetoho kapele, ha re etseng bekapo ea faele ea tlhophiso ea mochini:
virsh dumpxml $vm_name > $vm_name.xml
cp $vm_name.xml $vm_name_backup.xml
... ebe u hlophisa ea mantlha (vm_name.xml). Ha re fumane block e nang le tlhaloso ea disk (e qala ka mohala <disk type='file' device='disk'> mme e qetella ka </disk>) ebe o e fokotsa ka mokhoa o latelang:
<disk type='network' device='disk'>
<driver name='qemu'/>
<auth username='libvirt'>
<secret type='ceph' uuid='sec-ret-uu-id'/>
</auth>
<source protocol='rbd' name='$ceph_pool/$vm_image_name>
<host name='10.0.0.1' port='6789'/>
<host name='10.0.0.2' port='6789'/>
</source>
<target dev='vda' bus='virtio'/>
<alias name='virtio-disk0'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>Ha re shebe lintlha tse ling:
- Ho protocol
sourceaterese ea polokelo ho Ceph RBD e bontšitsoe (ena ke aterese e bontšang lebitso la letamo la Ceph le setšoantšo sa RBD, se neng se khethiloe sethaleng sa pele). - Sebakeng
secretmofuta o bontšitsoeceph, hammoho le UUID ea lekunutu la ho hokela ho eona. Uuid ea eona e ka fumanoa ho sebelisoa taelovirsh secret-list. - Sebakeng
hostliaterese ho li-monitor tsa Ceph li bontšitsoe.
Kamora ho hlophisa faele ea tlhophiso le ho tlatsa phetoho ea LVM ho RBD, o ka sebelisa faele ea tlhophiso e fetotsoeng ebe o qala mochini o sebetsang:
virsh define $vm_name.xml
virsh start $vm_name
Ke nako ea ho hlahloba hore na mochini oa sebele o qalile ka nepo: o ka tseba, ka mohlala, ka ho hokela ho eona ka SSH kapa ka tsela. virsh.
Haeba mochini o sebetsang o sebetsa ka nepo mme ha o so fumane mathata a mang, o ka hlakola setšoantšo sa LVM se seng se sa sebelisoe:
lvremove main/$vm_image_namefihlela qeto e
Re kopane le linyeoe tsohle tse hlalositsoeng ts'ebetsong - re tšepa hore litaelo li tla thusa batsamaisi ba bang ho rarolla mathata a tšoanang. Haeba u na le maikutlo kapa lipale tse ling tse tšoanang ho tsoa phihlelong ea hau u sebelisa Ceph, re tla thabela ho li bona maikutlong!
PES
Bala hape ho blog ea rona:
- «";
- «";
- «";
- «".
Source: www.habr.com