CEPH valik. Osa 1
Meil oli viis riiulit, kĂŒmme optilist lĂŒlitit, konfigureeritud BGP, paarkĂŒmmend SSD-d ja hulk SAS-kettaid erinevates vĂ€rvides ja suurustes, lisaks proxmox ja soov panna kogu staatika oma S3 salvestusse. See ei olnud tingimata vajalik virtualiseerimise jaoks, kuid kuna ma alustasin avatud allika kasutamist, siis tasub oma kirega lĂ”puni minna. Ainus, mis mind murelikuks tegi, oli BGP. Maailmas pole kedagi rohkem abitus ja vastutustundetu kui sisemine marsruutimine BGP kaudu. Ja ma teadsin, et varsti saame sellesse sĂŒveneda.

Ălesanne oli lihtne â CEPH oli olemas, kuid ei töötanud vĂ€ga hĂ€sti. Oli vaja teha «hĂ€sti».
Minule jÀÀnud klaster oli heterogeenne, kĂ€sitsi seadistatud ja praktiliselt mitte hÀÀlestatud. See koosnes kahest erinevast nodest, kus ĂŒksĂŒhine vĂ”rk tĂ€itis nii klastrivĂ”rgu kui ka avaliku vĂ”rgu rolli. Nodedes oli neli tĂŒĂŒpi kettaid â kaks tĂŒĂŒpi SSD-sid, mis olid jagatud kaheks eraldi paigutusreegliks, ja kaks tĂŒĂŒpi HDD-d erinevates suurustes, mis kuulusid kolmandasse gruppi. Erinevate suurustega seotud probleem lahendati OSD-de erinevate kaaludega.
Seadistus jagati kaheks osaks â operatsioonisĂŒsteemi hÀÀlestamine ja CEPH-i hÀÀlestamine ja selle seadistused.
OS-i tÀiustamine
VÔrk
Kohutav latentsus mĂ”jutas nii kirjutamise kui ka tasakaalustamise protsessi. Kirjutamise ajal â sest klient ei saa tagasisidet edukast kirjutamisest enne, kui andmete koopiad teistes paigutusgruppides ei kinnita edu. Kuna meie CRUSH kaardil oli replikate jaotamise reeglid ĂŒhe replikaga hosti kohta, siis kasutati vĂ”rku alati.
SeetĂ”ttu otsustasin kĂ”igepealt veidi seadistada olemasolevat vĂ”rku, samal ajal pĂŒĂŒdes veenda, et kolida eraldatud vĂ”rkude peale.
Alustasin vÔrkaartide seadistamisest. Alustasin jÀrjekordade hÀÀlestamisest:
mida nÀgin:
ethtool -l ens1f1
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1
root@ceph01:~# ethtool -g ens1f1
Ring parameters for ens1f1:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 256
RX Mini: 0
RX Jumbo: 0
TX: 256
root@ceph01:~# ethtool -l ens1f1
Channel parameters for ens1f1:
Pre-set maximums:
RX: 0
TX: 0
Other: 1
Combined: 63
Current hardware settings:
RX: 0
TX: 0
Other: 1
Combined: 1On nÀha, et praegused parameetrid jÀÀvad kaugele maksimaalsest. Suurendasin:
root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63Tuginev suurepÀrasele artiklile
suurendasin saatmise jÀrjekorra pikkust txqueuelen alates 1000 kuni 10 000
root@ceph01:~#ip link set ens1f0 txqueuelen 10000Nii et jÀrgides ceph'i dokumentatsiooni
suurendasin MTU kuni 9000.
root@ceph01:~#ip link set dev ens1f0 mtu 9000Lisatud /etc/network/interfaces, et kĂ”ik ĂŒlaltoodud laaditaks kĂ€ivitamisel
cat /etc/network/interfaces
root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback
auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000
auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000PÀrast seda, jÀrgides sama artiklit, hakkasin pÔhjalikult seadistama tuuma 4.15. Arvestades, et sÔlmedel on 128G RAM, sain mingi konfiguratsioonifaili jaoks sysctl
cat /etc/sysctl.d/50-ceph.conf
net.core.rmem_max = 56623104
# Maksimaalne andmete vastuvĂ”tu puhver suurus kĂ”ikide ĂŒhenduste jaoks 54M
net.core.wmem_max = 56623104
# Maksimaalne andmete edastamise puhver suurus kĂ”ikide ĂŒhenduste jaoks 54M
net.core.rmem_default = 56623104
# Vaikimisi andmete vastuvĂ”tu puhvri suurus kĂ”ikide ĂŒhenduste jaoks. 54M
net.core.wmem_default = 56623104
# Vaikimisi andmete edastamise puhvri suurus kĂ”ikide ĂŒhenduste jaoks 54M
# iga soketi kohta
net.ipv4.tcp_rmem = 4096 87380 56623104
# Vektorne (minimaalselt, vaikimisi, maksimaalselt) muutuja failis tcp_rmem
# sisaldab 3 tÀisarvu, mis mÀÀravad TCP sokettide vastuvÔtu puhvri suuruse.
# Miinimum: igal TCP soketil on Ôigus kasutada seda mÀlu oma loomise hetkel.
# Selle puhvri kasutamise vÔimalus on garanteeritud isegi, kui saavutatakse
# piirangute tÔke (mugav mÀlurÔhk).
# Vaikimisi minimaalne puhvri suurus on 8 Kb (8192).
# Vaikimisi vÀÀrtus: puhvermÀlu lubatud suurus TCP soketi edastamiseks.
# See vÀÀrtus rakendatakse alternatiivina
# parameetrile /proc/sys/net/core/rmem_default, mida kasutavad teised protokollid.
# Vaikimisi kasutatava puhvri suurus on tavaliselt (vaikimisi)
# 87830 baiti. See mÀÀrab akna suuruse 65535 koos
# vaikimisi tcp_adv_win_scale ja tcp_app_win = 0,
# mÔnevÔrra vÀiksem, kui tavaliselt mÀÀratud tcp_app_win.
# Maksimum: maksimaalne puhvri suurus, mis vÔib automaatselt
# jaotatud TCP soketile vastuvĂ”ttu. See vÀÀrtus ei tĂŒhista maksimumi,
# mis on mÀÀratud failis /proc/sys/net/core/rmem_max. Statistilise
# mÀlu eraldamise puhul SO_RCVBUF selle parameetri puhul ei oma tÀhtsust.
net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000
# Maksimaalne avatud soketite arv, mis ootavad ĂŒhendusi.
net.ipv4.tcp_timestamps=1
# Lubab ajatempli (timestamps) kasutamise vastavalt RFC 1323.
net.ipv4.tcp_sack=1
# Lubab TCP protokolli pakkumiste valikuliste kinnituste kasutamise
net.core.netdev_max_backlog=5000 (vaikimisi 1000)
# maksimaalne paketihulk töötlemiseks reas, kui
# liides saab pakette kiiremini, kui kernel suudab neid töödelda.
net.ipv4.tcp_max_tw_buckets=262144
# Maksimaalne sokettide arv, mis ĂŒheaegselt on TIME-WAIT seisundis.
# Kui see piir ĂŒletatakse, hĂ€vitatakse "ĂŒlemÀÀrane" soket ja kirjutatakse
# teade sĂŒsteemilogisse.
net.ipv4.tcp_tw_reuse=1
# Lubame TIME-WAIT sokettide korduvkasutamise,
# kui protokoll peab seda ohutuks.
net.core.optmem_max=4194304
# Suurendame maksimaalset ĂŒldist puhverdusruumi
# mÔÔdetakse lehekĂŒlgede ĂŒhikutes (4096 baiti)
net.ipv4.tcp_low_latency=1
# Lubab TCP/IP stÀkile eelistada madalat latentsust
# ĂŒle suure lĂ€bilaskevĂ”ime.
net.ipv4.tcp_adv_win_scale=1
# See muutuja mÔjutab mÀlu arvestust soketi puhvris,
# mis on eraldatud TCP akna suuruse ja rakenduse puhvri jaoks.
# Kui tcp_adv_win_scale vÀÀrtus on negatiivne, siis arvutatakse suurus
# jÀrgmiselt:
# Bytes - bytes2 astmes -tcp_adv_win_scale
# Kus bytes on akna suurus baitides. Kui tcp_adv_win_scale on
# positiivne, siis mÀÀratakse suurus jÀrgmiselt:
# Bytes - bytes2 astmes tcp_adv_win_scale
# Muutuja omab tÀisarvu. Vaikimisi vÀÀrtus on 2,
# st rakenduse puhvri jaoks reserveeritakse Œ osa mahust,
# mida mÀÀrab tcp_rmem muutuja.
net.ipv4.tcp_slow_start_after_idle=0
# aeglase kÀivitamise taaskÀivitamise mehhanism, mis lÀhtestab akna vÀÀrtuse
# koormuse, kui ĂŒhendust ei ole kasutatud mÀÀratud aja jooksul.
# Parandage serveris SSR, et parandada pikaajaliste ĂŒhenduste töövĂ”imet.
net.ipv4.tcp_no_metrics_save=1
#Ărge salvestage TCP ĂŒhenduse mÔÔtmistulemusi vahemĂ€esse, kui see sulgub.
net.ipv4.tcp_syncookies=0
# Keela syncookie mehhanismi saatmine
net.ipv4.tcp_ecn=0
# Explicit Congestion Notification (Selge Ăksikasjalik Teadaanne)
# TCP ĂŒhendustes. Kasutadab, et teavitada ummikust
# sihtkoha hostis vÔi vÔrgus. VÔib kasutada teatamiseks
# saatjale hostile vajaduse kohta vÀhendada pakettide saatmist
# kindla ruuteri vĂ”i tulemĂŒĂŒri kaudu.
net.ipv4.conf.all.send_redirects=0
# keelab ICMP Redirecti saatmise ⊠teistele hostidele. See valik peab olema
# lubatud, kui host toimib marsruuterina mistahes kujul.
# Meil ei ole marsruutimist.
net.ipv4.ip_forward=0
#Seega, vÀljumise suunamine on keelatud. Me ei ole vÀrav, dockerid masinatel ei ole tÔusnud,
# seda ei ole meil vaja.
net.ipv4.icmp_echo_ignore_broadcasts=1
#Me ei vasta ICMP ECHO pÀringutele, mis saadetakse laiendatud pakettide kaudu
net.ipv4.tcp_fin_timeout=10
# mÀÀrab aja, kuivÔrd soket jÀÀb olekusse FIN-WAIT-2 pÀrast selle
# sulgemist kohaliku osapoolelt. Vaikimisi 60
net.core.netdev_budget=600 # (vaikimisi 300)
# Kui tarkvara katkestuste tÀitmine ei toimu piisavalt pikalt,
# siis vĂ”ib sissetuleva andmevoo kiirus ĂŒletada tuuma vĂ”imalusi
# puhvrist tĂŒhjendada. Selle tulemusena NIC puhvried ĂŒletatakse ja traffic kaob.
# MÔnikord on vajalik suurendada SoftIRQs
# (tarkvara katkestuste) töö kestust CPU-l. Selle eest vastutab netdev_budget.
# Vaikimisi vÀÀrtus on 300. Parameeter sundib SoftIRQ protsessi
# 300 paketti NIC-st töötlema, enne kui ta CPU vabastab.
net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# kui klient ja server toetavad TFO-d, millest teavitavad
# erilise lipuga TCP pakendis. Meie puhul on see platseebo, lihtsalt
# nĂ€eb kena vĂ€lja)Aluster network oli eraldatud eraldi 10Gbps vĂ”rgu liidestel eraldi lapikusse vĂ”rku. Igal masinal olid paigaldatud kahekordsed vĂ”rkaartid mellanox 10/25 Gbps, ĂŒhendatud kahe eraldi 10Gbps lĂŒlitiga. Agregeerimine toimus OSPF kaudu, kuna LACP-ga sidumine nĂ€itas kummalisel kombel maksimaalset lĂ€bilaskevĂ”imet 16 Gbps, samas kui OSPF suudab tĂ€ielikult Ă€ra kasutada mĂ”lema kĂŒmne iga masina kohta. Edasi plaanisime kasutada ROCE neid melanoxe, et vĂ€hendada latentsust. Kuidas me selle vĂ”rguosa seadistasime:
- Kuna masinatel on vĂ€lised IP-d BGP-s, siis vajame me tarkvara â ( tĂ€psemalt artikli kirjutamise ajal oli see ) juba paigaldatud.
- Kokku oli masinatel kaks vĂ”rku, igaĂŒhel kaks liidest â kokku 4 porti. Ăks vĂ”rkaart kahe pordiga vaatas tehasesse ja sellel oli seadistatud BGP, teine â kahe pordiga vaatas kahe erineva lĂŒliti poole ja sellele oli mÀÀratud OSPF
Rohkem OSPF seadistamisest: Peamine ĂŒlesanne on kaks linki kokku tuua ja omada vea taluvust.
kaks vĂ”rgu liidest on seadistatud kahes lihtsas lapikus vĂ”rgus â 10.10.10.0/24 ja 10.10.20.0/24
1: ens1f0: mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0
2: ens1f1: mtu 9000 qdisc mq state UP group default qlen 1000
inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1kuidas masinad ĂŒksteist nĂ€evad.
DISK
JĂ€rgmise sammuna otsustasin optimeerida ketaste tööd. SSD-de puhul vahetasin planitaja noop, HDD-de jaoks â deadline. Ăldiselt toimib NOOP printsiibi jĂ€rgi âkellel on esimene kĂ”nd, sellel on ka kingadâ, mis inglise keeles kĂ”lab kui âFIFO (First In, First Out)â. Taotlused jĂ€rgnevad jĂ€rjekorras nende saabumise jĂ€rgi. DEADLINE on rohkem suunatud lugemisele, lisaks protsess jĂ€rjekorrast saab praktiliselt monopolset juurdepÀÀsu kettale operatsiooni hetkel. Meie sĂŒsteemile sobib see suurepĂ€raselt â iga ketta puhul töötab ainult ĂŒks protsess â OSD daemon.
(Need, kes soovivad sukelduda sisendi ja vÀljundi plaaneerijasse, saavad selle kohta lugeda siit:
Eelistavad lugeda vene keeles: )
Linuxi hÀÀlestamise soovitustes soovitatakse samuti suurendada nr_request
nr_requests
nr_requests vÀÀrtus mÀÀrab I/O pĂ€ringute koguse, mis vaheldub enne, kui I/O planeerija saadab / saab andmeid blokeerimisseadmele. Kui kasutate RAID kaarti / blokeerimisseadet, mis suudab kĂ€sitleda suuremat jĂ€rjekorda kui I/O planeerija on seadistatud, vĂ”ib nr_requests vÀÀrtuse tĂ”stmine aidata parandada tootlikkust ja vĂ€hendada serverikoormust, kui serveris toimub suur I/O. Kui kasutate planeerijana Deadline'i vĂ”i CFQ-d, soovitatakse nr_requests vÀÀrtust seada 2 korda jĂ€rjekorra sĂŒgavuse vÀÀrtusele.
KUID! CEPH arendajad veenvad meid, et nende prioriteetsĂŒsteem töötab paremini.

WBThrottle ja / vÔi nr_requests
WBThrottle ja / vÔi nr_requests
Failihaldus kasutab kirjutamiseks puhverdatud sisendi / vĂ€ljundi toiminguid; see toob kaasa rida eeliseid, kui failihaldusprotokoll asub kiiruselt kiiremal kandjal. Kliendi pĂ€ringud saavad teate, niipea kui andmed on logisse kirjutatud, ja seejĂ€rel kustutatakse need pĂ”hifailide kettale hiljem, kasutades Linuxi standardfunktsioone. See vĂ”imaldab OSD ketastele pakkuda kirjutamise latentsust, mis sarnaneb SSD-dega vĂ€ikeste partii kirjutamiste korral. Selline viivitatud kirjutamine vĂ”imaldab sĂŒdamikule ĂŒmber korraldada kettale suunatud sisendi / vĂ€ljundi pĂ€ringud, lootuses kas neid kokku liita vĂ”i vĂ”imaldada olemasolevatel kettapeadel valida mĂ”ni optimaalsem tee oma plaatide peal. LĂ”ppkokkuvĂ”ttes saate igast kettast pisut rohkem sisendi / vĂ€ljundi operatsioone vĂ€lja pigistada, kui seda oleks vĂ”imalik otse vĂ”i sĂŒnkroonselt operatsioonide teostamisel.
Kuid esineb teatud probleem, kui Cephi klastrisse saabuvate kirjade maht ĂŒletab kĂ”igi aluseks olevate ketaste vĂ”imekuse. Sellisel juhul vĂ”ib kettale kirjutamise ootele jÀÀvate sisendi / vĂ€ljundi operatsioonide koguarv kontrollimatult kasvada, mille tulemuseks on sisendi / vĂ€ljundi ootejĂ€rjekord, mis tĂ€idab kogu ketta ja Cephi jĂ€rjekorra. LugemistootmisnĂ”udmised mĂ”jutavad eriti halvasti, kuna nad jÀÀvad kinni kirjutamispĂ€ringute vahele, mis vĂ”ivad vajada mitmeid sekundeid pĂ”hikettale kirjutamiseks.
Ceph'il on probleemide lahendamiseks on sisseehitatud failisalvestusse mehhanism, mida nimetatakse WBThrottle, mis reguleerib kirjutamise ootejĂ€rjekorra ĂŒldmahtu. See on loodud selleks, et piirata kirjutamise operations, mis vĂ”ivad jĂ€rjekorda talletuda ja alustada vabastamisprotsessi varem, kui see kohaselt juhtuks. Kahjuks nĂ€itavad testid, et vaikimisi seadistused ei pruugi ikka veel vĂ€hendada mĂ”ju lugemisoperatsioonide latentsusele. Reguleerimine vĂ”ib muuta kĂ€itumist, vĂ€hendades kirjutamisjĂ€rjekorra ĂŒldpikkusi ja tehes selle mĂ”ju vĂ€iksemaks. Siiski on tegemist kompromissiga: kui vĂ€hendate kogu maksimaalset ootejĂ€rjekorda lubatud kirjutisi, vĂ”ite vĂ€hendada tuumade vĂ”imalust maksimeerida oma tĂ”husust SA-de haldamiseks. MĂ”elge natuke, mis on teile teie konkreetse rakenduse ja töökoormuse kontekstis olulisem ja reguleerige seda vastavalt.
Kirjutamise ootejĂ€rjekorra sĂŒgavuse haldamiseks saate kas vĂ€hendada ĂŒldiselt maksimaalset ootel olnud sisendi/vĂ€ljundi operatsioonide arvu, kasutades WBThrottle seadeid, vĂ”i vĂ€hendada maksimaalset arvu, mis on ootel oma tuuma blokeerimisel. MĂ”lemad vĂ”ivad tĂ”husalt hallata sama kĂ€itumist ja teie eelistused juhtivad selle seadistuse rakendamist.
Tuleb mĂ€rkida, et Ceph'i olemasolev operatsioonide prioriteetsĂŒsteem on efektiivsem lĂŒhematele taotlustele diskitasandil. Kui vĂ€hendate selle diskiga seonduvat ĂŒldist jĂ€rjekorda, liigub selle pĂ”hikoht Cephis ĂŒles, kus tal on suurem kontroll, milline prioriteet sisendi/vĂ€ljundi operatsioonil on. Vaatame jĂ€rgmisi nĂ€iteid:
echo 8 > /sys/block/sda/queue/nr_requestsĂLDINE
Ja veel mÔned tuuma seadistused, mis aitavad teie masinat sujuvaks ja sametiseks muuta ning vÀlja pigistada veel natuke jÔudlust riistvarast.
cat /etc/sysctl.d/60-ceph2.conf
kernel.pid_max = 4194303
# Iga on igas masinas 25 ketast, seega arvutasime, et protsesse on palju
kernel.threads-max=2097152
# LÔime palju lÔime, muidugi.
vm.max_map_count=524288
# Suurendasime protsessi mÀlukaartide arvu.
# Nagu tuleneb tuumamuutujate dokumentatsioonist
# MÀlukaardi alad kasutatakse mÀlestuse haldamise kÔnede kÔrvalmÔjuna
# malloc, otseselt koos mmap, mprotect ja madvise, samuti raamatukogude laadimisel.
fs.aio-max-nr=50000000
# HÀÀlestame sisend-vÀljundi parameetreid
# Linuxi tuum pakub asĂŒnkroonse mitteblokeeriva sisend-vĂ€ljundi (AIO) funktsiooni,
# mis vÔimaldab protsessil algatada mitu sisend-vÀljunditegevust
# samal ajal, ootamata ĂŒhegi lĂ”petamist.
# See aitab suurendada rakenduste jÔudlust,
# mis vĂ”ivad töötlemise ja sisend-vĂ€ljundi ĂŒle kattuda.
# Aio-max-nr parameeter mÀÀrab maksimaalse lubatud
# samasuguseid pÀringute arvu.
vm.min_free_kbytes=1048576
# minimaalne vaba mÀlu suurus, mida tuleb sÀilitada.
# Seadistatud 1GB, mida on tĂ€iesti piisavalt operatsioonisĂŒsteemi tööks,
# ja aitab vĂ€ltida OOM Killer'it OSD protsesside jaoks. Kuigi mĂ€lu on kĂŒllaga,
# on varu kotis vÀÀrt.
vm.swappiness=10
# Ătleme, et kasutame vahetust, kui vabastatud mĂ€lu on 10%.
# Masinatel, kus on 128G mÀlu, tÀhendab 10% 12 gigabaiti. Rohkem kui piisavalt tööks.
# Tavaline parameeter 60% sundis sĂŒsteemi aeglustuma, minnes vahetusse,
# kui vaba mÀlu on veel palju
vm.vfs_cache_pressure=1000
# Suurendame tavalisest 100. Sundime tuuma aktiivsemalt vabastama
# kasutamata mĂ€lu lehekĂŒljed vahemĂ€lust.
vm.zone_reclaim_mode=0
# Lubab kehtestada rohkem vÔi vÀhem agressiivseid lÀhenemisviise
# mÀlu taaskasutamiseks, kui piirkonnas mÀlu otsa saab.
# Kui see on seatud nulliks, siis piirkonna taaskasutamist ei toimu.
# Failiserverite vÔi koormuste jaoks
# on kasulik, et nende andmed on vahemÀlus, zone_reclaim_mode
# vĂ”iks vĂ€lja lĂŒlitada, kuna vahemĂ€lu mĂ”ju,
# on tÔenÀoliselt olulisem kui andmete asukoht.
vm.dirty_ratio=20
# Protsent RAM-ist, mida saab mÀÀrata "mustadele" lehekĂŒlgedele
# Arvutati umbkaudse arvestuse pÔhjal:
# SĂŒsteemis on 128 gigabaiti mĂ€lu.
# Umbes 20 SSD-kettast, mille seadetes CEPH on mÀÀratud
# varuma 3G RAM-i vahemÀluks.
# Umbes 40 HDD-kettast, mille puhul see parameeter on 1G
# 20% 128-st on 25.6 gigabaiti. Kogu, maksimaalse mÀlu kasutamise korral,
# jÀÀb sĂŒsteemi 2.4G mĂ€lu. Mis peaks kestma ja ootama
# ratsavÀe tamburite kÔlapid, see tÀhendab DevOps'i tulekut, kes kÔik parandab.
vm.dirty_background_ratio=3
# protsent sĂŒsteemi mĂ€lust, mida vĂ”ib tĂ€ita "mustade" lehtedega enne,
# kui taustaprotsessid pdflush/flush/kdmflush kirjutavad nad kettale
fs.file-max=524288
# Noh, meil on tÔenÀoliselt avatud faile palju rohkem, kui vaikevÀÀrtuselt nÀidatud. Sukeldumine CEPH-i
Seaded, millele soovin sĂŒvitsi minna:
cat /etc/ceph/ceph.conf
osd:
journal_aio: true # Kolm parameetrit, mis hÔlmavad
journal_block_align: true # otse i/o
journal_dio: true # ajakirja jaoks
journal_max_write_bytes: 1073714824 # Venitame veidi maksimaalset suurust
# ĂŒhekordse kirjutamise operatsiooni ajakirjas
journal_max_write_entries: 10000 # Ja samaaegsete kirjutamiste arv
journal_queue_max_bytes: 10485760000
journal_queue_max_ops: 50000
rocksdb_separate_wal_dir: true # Otsustasime teha eraldi wal
# Isegi proovisime selle jaoks eraldi
# NVMe
bluestore_block_db_create: true # Noh, ja ajakirja jaoks eraldi seade
bluestore_block_db_size: '5368709120 #5G'
bluestore_block_wal_create: true
bluestore_block_wal_size: '1073741824 #1G'
bluestore_cache_size_hdd: '3221225472 # 3G'
# suur RAM maht vÔimaldab
# salvestada piisavalt suuri andmeid
bluestore_cache_size_ssd: '9663676416 # 9G'
keyring: /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap: '1073741824 #1G'
osd_disk_thread_ioprio_class: idle
osd_disk_thread_ioprio_priority: 7
osd_disk_threads: 2 # on ĂŒhe ketta demooni lĂ”ngade arv
osd_failsafe_full_ratio: 0.95
osd_heartbeat_grace: 5
osd_heartbeat_interval: 3
osd_map_dedup: true
osd_max_backfills: 2 # samaaegsete tĂ€itmisoperatsioonide arv ĂŒhes OSD-s.
osd_max_write_size: 256
osd_mon_heartbeat_interval: 5
osd_op_threads: 16
osd_op_num_threads_per_shard: 1
osd_op_num_threads_per_shard_hdd: 2
osd_op_num_threads_per_shard_ssd: 2
osd_pool_default_min_size: 1 # NisujÔudluse eripÀrad. VÀga kiiresti sai
osd_pool_default_size: 2 # ruumi puudus, kuna ajutine
# lahendus oli vÀhendada andmete
# koopia arvu
osd_recovery_delay_start: 10.000000
osd_recovery_max_active: 2
osd_recovery_max_chunk: 1048576
osd_recovery_max_single_start: 3
osd_recovery_op_priority: 1
osd_recovery_priority: 1 # parameeter, mida reguleerime vajadusel
osd_recovery_sleep: 2
osd_scrub_chunk_max: 4MĂ”ned parameetrid, mida testiti QA-s versioonis 12.2.12, puuduvad versioonis ceph 12.2.2, nĂ€iteks osd_recovery_threads. SeetĂ”ttu plaaniti uuendada tootmisversioon 12.2.12. Praktika nĂ€itas versioonide 12.2.2 ja 12.2.12 ĂŒhilduvust ĂŒhes klastri, mis vĂ”imaldab teha rolling update.
Testiklastri
Muidugi oli testimiseks vajalik omada sama versiooni nagu tootmisversioonis, kuid minu töö alguse hetkeks klastriga oli hoidlas ainult uuem versioon. Vaadates, et minor versiooni erinevus ei olnud kuigi suur,1393 configide read vastandina 1436 (uuemas versioonis), otsustasime alustada uuema versiooniga (nii vÔi naa on uuendamine vajalik, ei ole mÔtet vanaga jÀtkata)
Ainus asi, mida pĂŒĂŒdsime jĂ€tta vanasse versiooni, oli pakett ceph-deploy, sest osa utiliite (ja osa töötajaid) oli laskunud selle sĂŒntaksi alla. Uus versioon erines mĂ€rgatavalt, kuid klastrite tööd see kuidagi ei mĂ”jutanud, ja see jĂ€eti vanemaks versiooniks 1.5.39
Kuna komandor ceph-disk ĂŒtleb selgelt, et see on deprecated ja palun kasutage, austatud, komandot ceph-volume â alustasime OSD loomist just selle komandoga, raiskamata aega aegunud versioonile.
Plaani kohaselt â luua peegel kahe SSD ketta vahel, kuhu paigutame OSD pĂ€evikud, mis omakorda asuvad spindle SAS ketastel. Nii kaitseme andmeid ketta rikete korral.
Klastri loomine sai aluseks dokumentatsioonile
cat /etc/ceph/ceph.conf
root@ceph01-qa:~# cat /etc/ceph/ceph.conf # eelne ettevalmistatud konfi
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # aadress on muudetud, loomulikult ))
rgw_dns_name = s3-qa.mycompany.ru # ja see aadress on muutunud
rgw_host = s3-qa.mycompany.ru # ja see ka
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # rohkem kui kolm sada plaanigruppi
# kettale ei julgenud
# kuigi parameeter sÔltub loomulikult partii
# nende suurustest ja OSD arvust. Omada vÀhe, kuid terveid PG
# ei ole samuti parim valik - tasakaalustamine kannatab
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # praegu SSD kettade jaoks on nende
# ajakirja jaoks sama seade mis OSD
# otsustasime, et 5% kettast (mis iseenesest on 1.2Tb)
# peaks olema tÀiesti piisav, ja korreleerub parameetriga
# bluestore_block_db_size, pluss varieeruvus suurte
# plaanigruppide jaoks
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true# ŃĐŸĐ·ĐŽĐ°Đ”ĐŒ ĐŒĐŸĐœĐžŃĐŸŃŃ
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# ĐłĐ”ĐœĐ”ŃĐžŃŃĐ”ĐŒ ĐșĐ»ŃŃĐž ĐŽĐ»Ń Đ°ŃŃĐ”ĐœŃĐžŃĐžĐșаŃОО ĐœĐŸĐŽ ĐČ ĐșлаŃŃĐ”ŃĐ”
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# ĐŃĐŸ Đ”ŃлО ĐżĐŸŃŃŃŃĐœĐŸ. ĐŃлО Ń ĐœĐ°Ń ĐœĐ”ŃĐșĐŸĐ»ŃĐșĐŸ ĐŒĐ°ŃĐžĐœ ĐŽĐŸŃŃŃĐżĐœŃ - ŃĐ”, ĐșĐŸŃĐŸŃŃĐ” ĐŸĐżĐžŃĐ°ĐœŃ ĐČ ĐșĐŸĐœŃОгД ĐČ ŃĐ”ĐșŃОО
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# ĐŒĐŸĐ¶ĐœĐŸ запŃŃŃĐžŃŃ ŃŃĐž ĐŽĐČĐ” ĐșĐŸĐŒĐ°ĐœĐŽŃ ĐČ ĐČОЎД ĐŸĐŽĐœĐŸĐč
root@ceph01-qa:~#ceph-deploy mon create-initial
# ĐĐŸĐ»ĐŸĐ¶ĐžĐŒ ĐșĐ»ŃŃĐž ĐČ ŃĐșĐ°Đ·Đ°ĐœĐœŃĐ” ĐČ ĐșĐŸĐœŃОгД ĐŒĐ”ŃŃа
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# ŃĐŸĐ·ĐŽĐ°ĐŽĐžĐŒ ĐșĐ»ŃŃ ĐŽĐ»Ń ŃĐżŃаĐČĐ»Đ”ĐœĐžŃ ĐșлаŃŃĐ”ŃĐŸĐŒ
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# Đž ĐŒĐ”ĐœĐ”ĐŽĐ¶Đ”Ń, ĐżĐ»Đ°ĐłĐžĐœĐ°ĐŒĐž ŃĐżŃаĐČĐ»ŃŃŃ
root@ceph01-qa:~#ceph-deploy mgr create ceph01-qEsimene probleem, millega ma selle versiooni ceph-deploy puhul kokku puutusin versiooniga 12.2.12, oli viga OSD loomise katsetes db-ga tarkvara RAID-is.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid ei suutnud tuvastada PARTUUID-d seadmele: /dev/md1TÔepoolest, blkid ei nÀidanud PARTUUID-d, pidin partitsioonid kÀsitsi looma:
root@ceph01-qa:~#parted /dev/md0 mklabel GPT
# partitsioone tuleb palju,
# ilma GPT-d ei saa neid luua
# partitsiooni suuruse mÀÀrasime konfis eespool = bluestore_block_db_size: '5368709120 #5G'
# Mul on 20 ketast OSD jaoks, kÀsitsi partitsioonide loomine on vaevalt
# seega tegin tsĂŒkli
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; doneTundub, et kÔik on valmis, proovime taas OSD-d luua ja saame jÀrgmise vea (mis, muide, toimumise osas ei esinenud):
OSD loomisel bluestore tĂŒĂŒpi ilma WAL-i teed nĂ€itamata, kuid db-iga.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid parsitav uuid
stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) avamine andis: (22) Keelatud argument
stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db lisa blokeerimisseade(/var/lib/ceph/osd/ceph-0//block.wal) tagastas: (22) Keelatud argument
stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs ebaÔnnestus, (22) Keelatud argument
stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs ebaÔnnestus veaga (22) Keelatud argument
stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1 ** VIGA: tĂŒhja objektide poe loomine aadressil /var/lib/ceph/osd/ceph-0/: (22) Keelatud argumentSiiski, kui samas peeglis (vĂ”i mĂ”nes teises kohas, vastavalt valikule) luua veel ĂŒks partitsioon WAL-i jaoks ja see OSD loomisel mĂ€rkida, siis kĂ”ik lĂ€heb sujuvalt (vĂ€lja arvatud eraldi WAL-i ilmumine, mida te vĂ”ib-olla ei soovinud).
Aga kuna plaanis oli WAL-i viia NVMe-le, siis osutus see praktikaks kasulikuks.
root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2Loomine monitore, haldurite ja OSD-d. NĂŒĂŒd tahaks neid erinevatesse gruppidesse paigutada, et plaanides oleks erinevat tĂŒĂŒpi ketas â kiired pujad SSD-l ja suured, kuid aeglased SAS-plaadid.
Arvasime, et serverites on 20 ketast, esimesed kĂŒmme on ĂŒks tĂŒĂŒp, teine kĂŒmme - teine.
Esialgne, vaikekaart nÀeb vÀlja selline:
ceph osd tree
root@ceph01-q:~# ceph osd tree
ID KLASS KAAL TĂŒĂŒp NIMI STAATUS ĂMBERKAAL PRI-AFF
-1 14.54799 juur vaike
-3 9.09200 host ceph01-q
0 ssd 1.00000 osd.0 ĂŒles 1.00000 1.00000
1 ssd 1.00000 osd.1 ĂŒles 1.00000 1.00000
2 ssd 1.00000 osd.2 ĂŒles 1.00000 1.00000
3 ssd 1.00000 osd.3 ĂŒles 1.00000 1.00000
4 hdd 1.00000 osd.4 ĂŒles 1.00000 1.00000
5 hdd 0.27299 osd.5 ĂŒles 1.00000 1.00000
6 hdd 0.27299 osd.6 ĂŒles 1.00000 1.00000
7 hdd 0.27299 osd.7 ĂŒles 1.00000 1.00000
8 hdd 0.27299 osd.8 ĂŒles 1.00000 1.00000
9 hdd 0.27299 osd.9 ĂŒles 1.00000 1.00000
10 hdd 0.27299 osd.10 ĂŒles 1.00000 1.00000
11 hdd 0.27299 osd.11 ĂŒles 1.00000 1.00000
12 hdd 0.27299 osd.12 ĂŒles 1.00000 1.00000
13 hdd 0.27299 osd.13 ĂŒles 1.00000 1.00000
14 hdd 0.27299 osd.14 ĂŒles 1.00000 1.00000
15 hdd 0.27299 osd.15 ĂŒles 1.00000 1.00000
16 hdd 0.27299 osd.16 ĂŒles 1.00000 1.00000
17 hdd 0.27299 osd.17 ĂŒles 1.00000 1.00000
18 hdd 0.27299 osd.18 ĂŒles 1.00000 1.00000
19 hdd 0.27299 osd.19 ĂŒles 1.00000 1.00000
-5 5.45599 host ceph02-q
20 ssd 0.27299 osd.20 ĂŒles 1.00000 1.00000
21 ssd 0.27299 osd.21 ĂŒles 1.00000 1.00000
22 ssd 0.27299 osd.22 ĂŒles 1.00000 1.00000
23 ssd 0.27299 osd.23 ĂŒles 1.00000 1.00000
24 hdd 0.27299 osd.24 ĂŒles 1.00000 1.00000
25 hdd 0.27299 osd.25 ĂŒles 1.00000 1.00000
26 hdd 0.27299 osd.26 ĂŒles 1.00000 1.00000
27 hdd 0.27299 osd.27 ĂŒles 1.00000 1.00000
28 hdd 0.27299 osd.28 ĂŒles 1.00000 1.00000
29 hdd 0.27299 osd.29 ĂŒles 1.00000 1.00000
30 hdd 0.27299 osd.30 ĂŒles 1.00000 1.00000
31 hdd 0.27299 osd.31 ĂŒles 1.00000 1.00000
32 hdd 0.27299 osd.32 ĂŒles 1.00000 1.00000
33 hdd 0.27299 osd.33 ĂŒles 1.00000 1.00000
34 hdd 0.27299 osd.34 ĂŒles 1.00000 1.00000
35 hdd 0.27299 osd.35 ĂŒles 1.00000 1.00000
36 hdd 0.27299 osd.36 ĂŒles 1.00000 1.00000
37 hdd 0.27299 osd.37 ĂŒles 1.00000 1.00000
38 hdd 0.27299 osd.38 ĂŒles 1.00000 1.00000
39 hdd 0.27299 osd.39 ĂŒles 1.00000 1.00000
-7 6.08690 host ceph03-q
40 ssd 0.27299 osd.40 ĂŒles 1.00000 1.00000
41 ssd 0.27299 osd.41 ĂŒles 1.00000 1.00000
42 ssd 0.27299 osd.42 ĂŒles 1.00000 1.00000
43 ssd 0.27299 osd.43 ĂŒles 1.00000 1.00000
44 hdd 0.27299 osd.44 ĂŒles 1.00000 1.00000
45 hdd 0.27299 osd.45 ĂŒles 1.00000 1.00000
46 hdd 0.27299 osd.46 ĂŒles 1.00000 1.00000
47 hdd 0.27299 osd.47 ĂŒles 1.00000 1.00000
48 hdd 0.27299 osd.48 ĂŒles 1.00000 1.00000
49 hdd 0.27299 osd.49 ĂŒles 1.00000 1.00000
50 hdd 0.27299 osd.50 ĂŒles 1.00000 1.00000
51 hdd 0.27299 osd.51 ĂŒles 1.00000 1.00000
52 hdd 0.27299 osd.52 ĂŒles 1.00000 1.00000
53 hdd 0.27299 osd.53 ĂŒles 1.00000 1.00000
54 hdd 0.27299 osd.54 ĂŒles 1.00000 1.00000
55 hdd 0.27299 osd.55 ĂŒles 1.00000 1.00000
56 hdd 0.27299 osd.56 ĂŒles 1.00000 1.00000
57 hdd 0.27299 osd.57 ĂŒles 1.00000 1.00000
58 hdd 0.27299 osd.58 ĂŒles 1.00000 1.00000
59 hdd 0.89999 osd.59 ĂŒles 1.00000 1.00000
Loome oma virtuaalsed rackid ja serverid, koos mustade kardinate ja muu:
root@ceph01-q:~#ceph osd crush add-bucket rack01 root #loome uue juure
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #loome uue hosti
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #liigutasime serveri teise racki
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # Lisame OSD serverisse
# Kui see on vale ja loomine, siis saab kustutada
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01Probleemid, millega me silmitsi seisime töökeskkonnas klaster, kui ĂŒritasime luua uusi hoste ja liigutada neid olemasolevasse racki â kĂ€sk ceph osd crush move ceph01-host root=rack01 jÀÀb seisma ja monitorid hakkasid ĂŒksikult kokku kukkuma. KĂ€skluse katkestamine lihtsalt CTRL+C viib klastrit tagasi elu maailma.
Otsing nÀitas sellist probleemi:
Lahendus oli crushmap'i auk ja selle konfiguratsiooni eemaldamine rule replicated_ruleset
root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #Dumpime kaardi toorelt
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #tÔlgime loetavasse
root@ceph01-prod:~#vim crushmap.txt #redigeerime, eemaldades reegli replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #kompileerime tagasi
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #laadime klastrisseHoiatus: see operatsioon vĂ”ib pĂ”hjustada placement group'i ĂŒmberkorraldamist OSD'ide vahel. Meil juhtus see, kuid vĂ€ga vĂ€ikeses mahus.
Ja veidrus, millega me testiklastris kokku puutusime, oli see, et pÀrast serveri taaskÀivitamist unustasid OSD'd, et nad olid uutesse serveritesse ja rack'idesse liigutatud, ning naasid algse vaikeseade juurde.
KokkuvÔttes, koostades lÔppskeemi, kus loodi eraldi root SSD-diskide jaoks ja eraldi spindeldiskide jaoks, jaotati kÔik OSD'd rack'idesse ning lihtsalt eemaldati vaikeseade. PÀrast taaskÀivitamist jÀid OSD'd oma kohtadele.
Hiljem dokumentatsioonist kaevates leidsime parameetri, mis vastutab selle kÀitumise eest. RÀÀgime sellest teises osas.
Kuidas me tegime erinevaid rĂŒhmi, mis pĂ”hinevad ketaste tĂŒĂŒpidel.
Esiteks tegime kaks root'i - SSD-diskide ja HDD-diskide jaoks.
root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root rootKuna fĂŒĂŒsiliselt asuvad serverid erinevates rack'ides - mugavuse huvides lĂ”ime rack'id ja panime nendesse serverid.
# ĐĄŃĐŸĐčĐșĐž:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
# ĐĄĐ”ŃĐČĐ”Ńа
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q hostja jagasime kettad nende tĂŒĂŒpide pĂ”hjal erinevatesse serveritesse.
root@ceph01-q:~# Kettad 0 kuni 3 on SSD, asuvad ceph01-q, paneme need serverisse
root@ceph01-q:~# ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# sarnane teiste serveritega.Jagades kettad ssd-root'i ja hdd-root'i, jĂ€tsime root-default'i tĂŒhjaks, seega saame selle kustutada.
root-ceph01-q:~#ceph osd crush remove defaultJÀrgmise sammuna peame looma jaotamisreeglid, mille seome loodud basseinidega - reeglite puhul nÀitame, millisesse root'i saame meie basseini andmed panna ja replikatsiooni unikaalsuse taset - nÀiteks replikad peavad olema erinevates serverites, vÔi erinevates rack'ides (isegi erinevates root'ides, kui meil on selline jaotamine).
Enne tĂŒĂŒbi valimist on parem tutvuda dokumentatsiooniga:
root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# NĂ€itasime kahte reeglit, mille puhul andmed replikatakse
root-ceph01-q:~# hostide vahel - see tÀhendab, et replika peab olema teises hostis,
root-ceph01-q:~# isegi kui nad on samas rack'is.
root-ceph01-q:~# TootmisreĆŸiimis, kui see on vĂ”imalik, oleks parem jagada hostid
root-ceph01-q:~# rack'ide vahel ja mÀÀrata replikate jaotamine rack'idesse:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstnLoome ja loome basseine, kus soovime tulevikus hoida oma virtualiseerimise ketta pilte â PROXMOX:
root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num} {pgp_num}
root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024
root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024Ja ĂŒtleme nendele basseinidele, milliseid paigutamise reegleid jĂ€rgida.
root-ceph01-q:~#ceph osd crush rule ls # vaatame reeglite nimekirja
root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id # valime vajaliku ID
root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2
Paigutusgruppide arvu valimisel tuleb lĂ€heneda ettevaatlikult, omades varasemat arusaamist oma klastri kohta â kui palju OSD-sid seal enamasti on, milline on andmete maht (protsent kogumahtust) basseinis ja kui palju andmeid kokku on.
Kokku on soovitatav mitte ĂŒletada 300 paigutusgruppi ketta kohta, ja vĂ€ikeste paigutusgruppidega on lihtsam tasakaalu saavutada â seega, kui kogu teie bassein hĂ”lmab 10 Tb ja sellel on 10 PG â siis teraaibi plaatide (pg) ĂŒmberparkimine on keeruline â liivakottide vĂ€ikeste teradega ĂŒmber vedamine on lihtsam ja sujuvam.
Aga tuleb meeles pidada, et mida rohkem on PG-e, seda rohkem ressursse kulub nende asukoha arvutamiseks â algavad mĂ€lu- ja CPU pĂ”lemised.
Umbes arusaamine vÔib , mille on esitanud CEPH-i dokumentatsiooni arendajad.
Materjalide loetelu:
Allikas: habr.com
