Ceph — od „na kolenke“ po „production“

Výber CEPH. Časť 1

Mali sme päť rackov, desať optických prepínačov, nastavený BGP, pár desiatok SSD a hromadu SAS diskov všetkých farieb a veľkostí, a tiež proxmox a túžbu umiestniť všetku statiku do vlastného S3 úložiska. Nešlo o to, že by to všetko bolo potrebné pre virtualizáciu, ale ak už som začal používať opensource — tak pokračuj v svojom nadšení až do konca. Jediná vec, ktorá ma znepokojovala, bol BGP. Na svete nie je nikto bezmocnejší, nezodpovednejší a nemorálnejší ako vnútorné smerovanie cez BGP. A vedel som, že čoskoro sa do toho ponoríme.

Ceph — od „na kolenke“ po „production“

Úloha bola banálna — mal som CEPH, ktorý nefungoval veľmi dobre. Treba to urobiť "dobré".
Klaster, ktorý mi bol priradený, bol heterogénny, nastavený na rýchlo a prakticky nenaladený. Skladal sa z dvoch skupín rôznych uzlov, s jednou spoločnou sieťou plniacou úlohu ako clustera, tak aj verejnej siete. Uzly boli naplnené štyrmi typmi diskov — dva typy SSD, zostavené do dvoch oddelených pravidiel umiestnenia, a dva typy HDD rôznych veľkostí, zostavené do tretej skupiny. Problém s rôznymi veľkosťami bol vyriešený rôznymi váhami OSD.

Samotné nastavenie sme rozdelili na dve časti — ladenie operačného systému a ladění samotného CEPH a jeho nastavení.

Vylepšenie OS

Sieť

Vysoká latencia sa prejavila pri zápise aj pri vyvážení. Pri zápise — pretože klient nedostane odpoveď o úspešnom zápise, pokiaľ repliky údajov v iných grupách umiestnenia nepotvrdia úspech. Keďže pravidlá rozdelenia replik v CRUSH mape sme mali po jednej replike na host, sieť sa používala vždy.

Preto som sa najprv rozhodol trochu upraviť aktuálnu sieť, pričom som sa snažil presvedčiť na prechod na oddelené siete.

Najprv som skontroloval nastavenia sieťových kariet. Začal som s nastavením frontov:

čo bolo:

ethtool -l ens1f1

root@ceph01:~# ethtool -l ens1f1
Parametre kanála pre ens1f1:
Prednastavené maximá:
RX:     0
TX:     0
Iné:      1
Spolu:     63
Aktuálne hardvérové nastavenia:
RX:     0
TX:     0
Iné:      1
Spolu:     1
root@ceph01:~# ethtool -g ens1f1
Parametre prsteňa pre ens1f1:
Prednastavené maximá:
RX:     4096
RX Mini:    0
RX Jumbo:   0
TX:     4096
Aktuálne hardvérové nastavenia:
RX:     256
RX Mini:    0
RX Jumbo:   0
TX:     256
root@ceph01:~# ethtool -l ens1f1
Parametre kanála pre ens1f1:
Prednastavené maximá:
RX:     0
TX:     0
Iné:      1
Spolu:     63
Aktuálne hardvérové nastavenia:
RX:     0
TX:     0
Iné:      1
Spolu:     1

Je zrejmé, že aktuálne parametre sú ďaleko od maximálnych. Zvýšil som:

root@ceph01:~#ethtool -G ens1f0 rx 4096
root@ceph01:~#ethtool -G ens1f0 tx 4096
root@ceph01:~#ethtool -L ens1f0 combined 63

Vedený skvelým článkom

https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data/

som zvýšil dĺžku frontu odosielania txqueuelen od 1000 do 10 000

root@ceph01:~#ip link set ens1f0 txqueuelen 10000

A podľa dokumentácie samotného ceph

https://ceph.com/geen-categorie/ceph-loves-jumbo-frames/

som zvýšil MTU na 9000.

root@ceph01:~#ip link set dev ens1f0 mtu 9000

Pridal som do /etc/network/interfaces, aby sa všetko vyššie uvedené načítalo pri štarte

cat /etc/network/interfaces

root@ceph01:~# cat /etc/network/interfaces
auto lo
iface lo inet loopback

auto ens1f0
iface ens1f0 inet manual
post-up /sbin/ethtool -G ens1f0 rx 4096
post-up /sbin/ethtool -G ens1f0 tx 4096
post-up /sbin/ethtool -L ens1f0 combined 63
post-up /sbin/ip link set ens1f0 txqueuelen 10000
mtu 9000

auto ens1f1
iface ens1f1 inet manual
post-up /sbin/ethtool -G ens1f1 rx 4096
post-up /sbin/ethtool -G ens1f1 tx 4096
post-up /sbin/ethtool -L ens1f1 combined 63
post-up /sbin/ip link set ens1f1 txqueuelen 10000
mtu 9000

Potom som podľa toho istého článku začal premyslene nastavovať parametre jadra 4.15. Keďže na nodoch je 128G RAM, vznikol akýsi konfiguračný súbor pre sysctl

cat /etc/sysctl.d/50-ceph.conf

net.core.rmem_max = 56623104  
# Maximálna veľkosť prijímacieho dátového buffera pre všetky spojenia  54M

net.core.wmem_max = 56623104
# Maximálna veľkosť odosielacieho dátového buffera pre všetky spojenia 54M

net.core.rmem_default = 56623104
# Veľkosť prijímacieho dátového buffera podľa predvoleného nastavenia pre všetky spojenia. 54M

net.core.wmem_default = 56623104
# Veľkosť odosielacieho dátového buffera podľa predvoleného nastavenia pre všetky spojenia 54M  
# pre každý socket

net.ipv4.tcp_rmem = 4096 87380 56623104
# Vektorová (minimum, predvolené, maximum) premenná v súbore tcp_rmem
# obsahuje 3 celé čísla, určujúce veľkosť prijímacieho buffera TCP sockets.
# Minimum: každý TCP socket má právo používať túto pamäť
# v momente jeho vytvorenia. Možnosť používania takého buffera
# je garantovaná aj pri dosiahnutí prahu obmedzenia (mierny tlak na pamäť).
# Veľkosť minimálneho buffera podľa predvoleného nastavenia je 8 KB (8192).
# Predvolené nastavenie: množstvo pamäte povolené pre buffer
# odosielacieho socketu TCP podľa predvoleného nastavenia. Toto nastavenie sa aplikuje namiesto
# parametra /proc/sys/net/core/rmem_default, ktorý používajú iné protokoly.
# Predvolené použité nastavenie buffera je zvyčajne (podľa predvoleného nastavenia)
# 87830 bajtov. To určuje veľkosť okna 65535 s
# predvolenou hodnotou tcp_adv_win_scale a tcp_app_win = 0,
# mierne menšia, než určuje prijaté predvolené nastavenie tcp_app_win.
# Maximum: maximálna veľkosť buffera, ktorý môže byť automaticky
# pridelený na prijímanie pre TCP socket. Toto nastavenie neodstraňuje maximum,
# stanovené v súbore /proc/sys/net/core/rmem_max. Pri „statickom“
# pridelovaní pamäte pomocou SO_RCVBUF tento parameter nemá význam.

net.ipv4.tcp_wmem = 4096 65536 56623104
net.core.somaxconn = 5000    
# Maximálny počet otvorených socketov čakajúcich na spojenia.

net.ipv4.tcp_timestamps=1
# Umožňuje používanie časových pečiatok (timestamps), v súlade s RFC 1323.

net.ipv4.tcp_sack=1
# Povoliť výberové potvrdzovanie protokolu TCP

net.core.netdev_max_backlog=5000 (predvolené 1000)
# maximálny počet paketov v rade na spracovanie, ak
# rozhranie prijíma pakety rýchlejšie, než ich jadro dokáže spracovať.

net.ipv4.tcp_max_tw_buckets=262144
# Maximálny počet socketov nachádzajúcich sa v stave TIME-WAIT súčasne.
# Pri prekročení tohto prahu bude „zbytočný“ socket zničený a zapíše
# sa správa do systémového denníka.

net.ipv4.tcp_tw_reuse=1
# Povolenie opätovného použitia TIME-WAIT socketov v prípadoch,
# ak protokol považuje za bezpečné.

net.core.optmem_max=4194304
# Zvýšiť maximálny celkový pamäťový buffer ALLOCATABLE
# meria sa v jednotkách strán (4096 bajtov)

net.ipv4.tcp_low_latency=1
# Umožňuje TCP/IP zásobníku uprednostniť nízku latenciu
# pred vyššou priepustnosťou.

net.ipv4.tcp_adv_win_scale=1
# Táto premenná ovplyvňuje výpočet objemu pamäte v buffere socketu,
# vyčleneného pod veľkosť TCP okna a pod buffer aplikácie.
# Ak je hodnota tcp_adv_win_scale záporná, pre výpočet veľkosti
# sa používa nasledovný výraz:
# Bytes - bytes2 na stupnici -tcp_adv_win_scale
# Kde bytes – je veľkosť okna v bajtoch. Ak je hodnota tcp_adv_win_scale
# kladná, pre určenie veľkosti sa používa nasledovný výraz:
# Bytes - bytes2 na stupnici tcp_adv_win_scale
# Premenná prijíma celé číslo. Predvoľba je 2,
# t.j. pod buffer aplikácie sa uvoľňuje ¼ časť objemu, určovaného premennou
# tcp_rmem.

net.ipv4.tcp_slow_start_after_idle=0
# Mechanizmus opätovného spustenia pomalého štartu, ktorý resetuje hodnotu okna
# preťaženia, ak spojenie nebolo použité naznačený čas.
# Lepšie vypnúť SSR na serveri, aby sa zlepšila výkonnosť
# dlhodobých spojení.

net.ipv4.tcp_no_metrics_save=1
# Neukladať výsledky merania TCP spojenia do cache pri jeho zatvorení.

net.ipv4.tcp_syncookies=0
# Vypnúť mechanizmus odosielania syncookie

net.ipv4.tcp_ecn=0
# Explicit Congestion Notification (Výslovné Upozornenie na Preťaženie) v
# TCP spojeniach. Používa sa na upozornenie na vznik „zásahu“
# na ceste k určenému hostiteľovi alebo sieti. Môže sa použiť na upozornenie
# hostiteľa-odosielateľa, aby znížil rýchlosť odosielania paketov cez
# konkrétny smerovač alebo firewall.

net.ipv4.conf.all.send_redirects=0
# vypína vydávanie ICMP Redirect … iným hostiteľom. Táto voľba musí byť
# povinne zapnutá, ak hostiteľ pôsobí ako smerovač akéhokoľvek druhu.
# Nemáme žiadne smerovanie.

net.ipv4.ip_forward=0
# Vlastne zakázanie forwarding. Nie sme brána, docker na strojoch nie je spustený,
# nepotrebujeme to.

net.ipv4.icmp_echo_ignore_broadcasts=1
# Neodpovedáme na ICMP ECHO požiadavky, prenášané širokopásmovými paketmi

net.ipv4.tcp_fin_timeout=10
# určuje čas uchovávania socketu v stave FIN-WAIT-2 po jeho
# uzavretí lokálnou stranou. Predvolené 60

net.core.netdev_budget=600 # (predvolené 300)
# Ak programové prerušenia neprebiehajú dostatočne dlho,
# rýchlosť príjmu údajov môže prekročiť schopnosť jadra
# vyprázdniť buffer. Výsledkom bude preplnenie bufferov NIC a straty dát.
# Niekedy môže byť potrebné zvýšiť dĺžku behu SoftIRQs
# (programových prerušeniach) s CPU. Za to je zodpovedný netdev_budget.
# Predvoľba 300. Parameter prinúti proces SoftIRQ prevziať
# 300 paketov z NIC predtým, než uvoľní CPU

net.ipv4.tcp_fastopen=3
# TFO TCP Fast Open
# ak aj klient, aj server majú podporu TFO, o ktorej informujú prostredníctvom
# špeciálnej vlajky v TCP pakete. V našom prípade je to placebo, len
# to vyzerá pekne)

Sluster sieť bola vyčlenená na samostatných 10Gbps sieťových rozhraniach do samostatnej ploché siete. Na každom stroji boli nainštalované sieťové dvojportové karty mellanox 10/25 Gbps, zapojené do dvoch samostatných 10Gbps prepínačov. Agregácia bola vykonaná pomocou OSPF, keďže bonding s lacp z nejakého dôvodu vykazoval maximálnu celkovú priepustnosť iba 16 Gbps, zatiaľ čo ospf úspešne využíval plne obidve desiatky na každom stroji. V ďalších plánoch bolo využiť ROCE na týchto mellanoxoch, aby sa znížila latencia. Ako sme nastavovali túto časť siete:

  1. Keďže samotné stroje majú externé IP adresy na BGP, potrebujeme softvér — (presnejšie v čase písania článku to bolo frr=6.0-1 ) už nainštalované.
  2. Na strojoch boli celkovo dve sieťové karty s dvoma rozhraniami — dokopy 4 porty. Jedna sieťová karta s dvoma portami bola orientovaná na fabriku a na nej bol nastavený BGP, druhá — s dvoma portami bola napojená na dva rôzne prepínače a na ňu bol nasmerovaný OSPF

Podrobnejšie o nastavení OSPF: Hlavná úloha — agregovať dva linky a mať ochranu proti chybám.
dve sieťové rozhrania sú nastavené v dvoch jednoduchých plochých sieťach — 10.10.10.0/24 a 10.10.20.0/24

1: ens1f0:  mtu 9000 qdisc mq state UP group default qlen 1000
    inet 10.10.10.2/24 brd 10.10.10.255 scope global ens1f0

2: ens1f1:  mtu 9000 qdisc mq state UP group default qlen 1000
    inet 10.10.20.2/24 brd 10.10.20.255 scope global ens1f1

po ktorých si stroje navzájom vidia.

DISK

Ďalším krokom bolo optimalizovať prácu diskov. Pre SSD som zmenil plánovač na noop, pre HDD — deadline. V skratke — NOOP funguje na princípe "kto prvý vstal, toho a topánky", čo v angličtine znie ako "FIFO (First In, First Out)". Žiadosti sa radia do frontu podľa ich príchodu. DEADLINE je viac zameraný na čítanie, navyše proces z frontu má prakticky monopolný prístup k disku v momente operácie. Pre náš systém to výborne vyhovuje — veď s každým diskom pracuje iba jeden proces — OSD daemon.
(Tí, ktorí chcú hlboko zanoriť do plánovača vstupno-výstupných operácií, si o tom môžu prečítať tu:
http://www.admin-magazine.com/HPC/Articles/Linux-I-O-Schedulers

Preferujúci čítať v ruštine: https://www.opennet.ru/base/sys/linux_shedulers.txt.html)

V odporúčaniach na ladenie Linuxu sa tiež odporúča zvýšiť nr_request

nr_requests
Hodnota nr_requests určuje množstvo I/O požiadaviek, ktoré sa ukladajú do vyrovnávacej pamäte predtým, ako plánovač I/O odošle alebo prijme údaje na blokové zariadenie. Ak používate RAID kartu alebo blokové zariadenie, ktoré dokáže spracovať väčšiu frontu, ako je nastavený plánovač I/O, zvýšenie hodnoty nr_requests môže pomôcť zlepšiť výkon a znížiť záťaž servera, keď dochádza k veľkému množstvu I/O operácií na serveri. Ak používate Deadline alebo CFQ ako plánovač, odporúča sa nastaviť hodnotu nr_requests na 2-násobok hodnoty hĺbky fronty.

ALE! Samotní občania vývojári CEPH nás presviedčajú, že ich prioritný systém funguje lepšie.

Ceph — od „na kolenke“ po „production“

WBThrottle a/alebo nr_requests

WBThrottle a/alebo nr_requests
Súborové úložisko využíva na zápis vyrovnávacie operácie vstupu/výstupu; to prináša celú radu výhod, ak je žurnál súborového úložiska na rýchlejšom médiu. Klientske požiadavky dostávajú oznámenia, akonáhle sú údaje zapísané do žurnálu, a následne sú odoslané na samotný disk údajov neskôr pomocou štandardnej funkčnosti Linuxu. To umožňuje OSD magnetickým diskom poskytovať zápisovú latenciu, ktorá je podobná SSD pri zápisoch malými balíkmi. Táto oneskorená zápisová operácia tiež umožňuje jadrám preusporiadať požiadavky na operácie vstupu/výstupu na disk v nádeji, že ich zlučujú alebo umožnia existujúcim hlavam disku vybrať optimálnejšiu cestu nad svojimi platňami. Konečný efekt spočíva v tom, že môžete dosiahnuť o niečo viac operácií vstupu/výstupu z každého disku, ako by to bolo možné pri priamych alebo synchronných operáciách vstupu/výstupu.

Avšak, vzniká určitý problém, ak objem prichádzajúcich zápisov do tohto klastera Ceph predbehne všetky možnosti základných diskov. V takom scenári môže celkový počet čakajúcich operácií vstupu/výstupu na zápis na disk nekontrolovateľne rásť, čo môže viesť k preplneniu celej fronty operácií vstupu/výstupu a Ceph. Požiadavky na čítanie majú obzvlášť negatívny dopad, pretože uviaznu medzi zápisovými požiadavkami, ktoré môžu vyžadovať niekoľko sekúnd na odoslanie na primárny disk.

Na zvládnutie tohto problému má Ceph zabudovaný mechanizmus odloženého zápisu s názvom WBThrottle. Je navrhnutý na obmedzenie celkového objemu operácií vstupu/výstupu odloženého zápisu, ktoré môžu byť za sebou a začínať proces vyprázdnenia skôr, než by sa to stalo prirodzene, zapnutím samotným jadrom. Žiaľ, testovanie ukazuje, že predvolené hodnoty stále nemusia znižovať existujúce správanie na úroveň, ktorá by mohla znížiť takéto účinky na latenciu čítacích operácií. Úprava môže toto správanie zmeniť a znížiť celkové dĺžky zápisových front a urobiť možným nie silné takéto na vplyv. Existuje však určitý kompromis: znižovaním celkového maximálneho počtu povolených zápisov do fronty môžete znížiť schopnosť samotného jadra maximalizovať svoju efektívnosť radenia príslušných požiadaviek. Je dobré sa zamyslieť, čo je pre vás dôležitejšie pre váš konkrétny prípady použitia, pracovné zaťaženia a prispôsobiť to podľa týchto potrieb.

Aby ste spravovali hĺbku takejto fronty odloženého zápisu, môžete buď znížiť celkový maximálny počet neuskutočnených operácií vstupu/výstupu použitím nastavení WBThrottle, alebo znížiť maximálnu hodnotu pre neuskutočnené operácie na úrovni bloku vášho jadra. Obe možnosti môžu účinne spravovať rovnaké správanie a hlavne vaše preferencie budú určiť implementáciu tohto nastavenia.
Rovnako je dôležité poznamenať, že existujúci systém priorít operácií v Ceph je efektívnejší pre kratšie požiadavky na disku. Skrátením celkovej fronty k danému disku sa hlavné umiestnenie v fronte presúva do Ceph, kde má väčšiu kontrolu nad tým, akú prioritu má operácia vstupu/výstupu. Pozrime sa na nasledujúci príklad:

echo 8 > /sys/block/sda/queue/nr_requests

http://onreader.mdl.ru/MasteringCeph/content/Ch09.html#030202

VŠEOBECNÉ

A niekoľko ďalších nastavení jadra, ktoré pomôžu spraviť vašu mašinu hladkou a jemnou, aby ste vytiahli ešte trochu výkonu z hardvéru.

cat /etc/sysctl.d/60-ceph2.conf

 kernel.pid_max = 4194303
# Diskov na každom stroji je po 25, preto sme počítali, že procesov bude veľa
kernel.threads-max=2097152
# Treadov, samozrejme, tiež.
vm.max_map_count=524288
# Zvýšili sme počet oblastí mapy pamäte procesu.
# Ako je uvedené v dokumentácii k jadrovým premenným
# Oblasti mapy pamäte sa používajú ako vedľajší účinok volania
# malloc, priamo cez mmap, mprotect a madvise, ako aj pri načítavaní
# zdieľaných knižníc.
fs.aio-max-nr=50000000
# Vyladíme parametre input-output
# Jadro Linuxu poskytuje funkciu asynchrónneho neblokujúceho vstupu-výstupu (AIO),
# ktorá umožňuje procesu iniciovať niekoľko operácií vstupu-výstupu
# súčasne, bez čakania na dokončenie niektorej z nich.
# To pomáha zvýšiť výkon aplikácií,
# ktoré môžu prekryť spracovanie a vstup-výstup.
# Parameter aio-max-nr určuje maximálny počet povolených
# súbežných požiadaviek.
vm.min_free_kbytes=1048576
# minimálna veľkosť voľnej pamäte, ktorú je potrebné udržiavať.
# Nastavené na 1Gb, čo je úplne dostatočné na fungovanie operačného systému,
# a umožňuje vyhnúť sa OOM Killer pre procesy OSD. Aj keď pamäte je dosť,
# ako u hlupáka papierikov, ale rezervy nikomu neuškodia
vm.swappiness=10
# Hovoríme, aby sa používal swap, ak zostalo voľných 10% pamäte.
# Na strojoch s 128G RAM, a 10% to je 12 Gigov. Viac než dostatočne na prácu.
# Štandardný parameter 60% spôsoboval spomalenie systému, zasahujúc do swapu,
# keď je ešte veľa voľnej pamäte
vm.vfs_cache_pressure=1000
# Zvyšujeme zo štandardných 100. Nútime jadro aktívnejšie uvoľňovať
# nepoužívané stránky pamäte z cache.
vm.zone_reclaim_mode=0
# Umožňuje nastaviť viac alebo menej agresívne prístupy k
# obnovovaniu pamäte, keď v zóne končí pamäť.
# Ak je nastavený na nulu, nedochádza k obnovovaniu zóny.
# Pre súborové servery alebo pracovné zaťaženia
# je výhodné, ak sú ich dáta cacheované, zone_reclaim_mode
# nechať vypnuté, pretože efekt cacheovania,
# pravdepodobne bude dôležitejší než umiestnenie dát.
vm.dirty_ratio=20
# Percento operačnej pamäte, ktoré môžeme vyčleniť na "špinavé" stránky
# Vypočítali sme z približného odhadu:
# V systéme je 128 gigabajtov pamäte.
# Približne 20 SSD diskov, u ktorých sú v nastaveniach CEPH uvedené
# vyčleniť na cache 3G RAM.
# Približne 40 HDD diskov, pre ktoré je tento parameter rovný 1G
# 20% z 128 je 25.6 gigabajtov. V prípade maximálnej utilizácie pamäte,
# pre systém zostane 2.4G pamäte. Čo by mu malo stačiť, aby prežil a počkal
# na zvuk kopýt jazdectva - teda príchod DevOps, ktorý všetko opraví.
vm.dirty_background_ratio=3
# percento systémovej pamäte, ktoré môžeme zaplniť špinavými stránkami, kým
# pozadové procesy pdflush/flush/kdmflush ich zapíšu na disk
fs.file-max=524288
# No a otvorených súborov máme pravdepodobne podstatne viac, než je uvedené ako predvolené. 

Ponorenie do CEPH

Nastavenia, na ktorých by sme sa chceli podrobnejšie zamerať:

cat /etc/ceph/ceph.conf

osd:
    journal_aio: true               # Tri parametre, ktoré zahrňujú 
    journal_block_align: true       # priame i/o
    journal_dio: true               # do denníka
    journal_max_write_bytes: 1073714824 # Trochu rozšírime maximálnu veľkosť
                                        # operácie zapisovania do denníka
    journal_max_write_entries: 10000    # A počet súčasných záznamov
    journal_queue_max_bytes: 10485760000 
    journal_queue_max_ops: 50000
    rocksdb_separate_wal_dir: true      # Rozhodli sme sa robiť samostatný wal
                                        # Dokonca sme sa pokúsili vyrobiť pre to miesto
                                        # NVMe
    bluestore_block_db_create: true     # A pre denník samostatné zariadenie
    bluestore_block_db_size: '5368709120 #5G'
    bluestore_block_wal_create: true
    bluestore_block_wal_size: '1073741824   #1G' 
    bluestore_cache_size_hdd: '3221225472   # 3G' 
                                            # veľký objem pamäte umožňuje 
                                            # uchovávať dosť veľké objemy
    bluestore_cache_size_ssd: '9663676416   # 9G' 

    keyring: /var/lib/ceph/osd/ceph-$id/keyring
    osd_client_message_size_cap: '1073741824 #1G'
    osd_disk_thread_ioprio_class: idle
    osd_disk_thread_ioprio_priority: 7
    osd_disk_threads: 2 # počet vlákien démona na jeden disk
    osd_failsafe_full_ratio: 0.95
    osd_heartbeat_grace: 5
    osd_heartbeat_interval: 3
    osd_map_dedup: true
    osd_max_backfills: 2 # počet súčasných operácií vyplňovania na jeden OSD.
    osd_max_write_size: 256
    osd_mon_heartbeat_interval: 5
    osd_op_threads: 16
    osd_op_num_threads_per_shard: 1
    osd_op_num_threads_per_shard_hdd: 2
    osd_op_num_threads_per_shard_ssd: 2
    osd_pool_default_min_size: 1     # Osobitosti chamtivosti. Veľmi rýchlo sa stalo
    osd_pool_default_size: 2         # nedostatok miesta, pretože dočasné
                                     # riešenie prijalo zníženie počtu 
                                     # replikovaných údajov
    osd_recovery_delay_start: 10.000000
    osd_recovery_max_active: 2
    osd_recovery_max_chunk: 1048576
    osd_recovery_max_single_start: 3
    osd_recovery_op_priority: 1
    osd_recovery_priority: 1            # parameter upravujeme podľa potreby za chodu
    osd_recovery_sleep: 2
    osd_scrub_chunk_max: 4

Niektoré parametre, ktoré boli testované na QA na verzii 12.2.12, chýbajú v verzii ceph 12.2.2, napríklad osd_recovery_threads. Preto bolo v pláne zahrnúť aktualizáciu na produkte na 12.2.12. Prax ukázala kompatibilitu v jednom klastri verzií 12.2.2 a 12.2.12, čo umožňuje vykonať rolling update.

Testovací klaster

Samozrejme, na testovanie bolo potrebné mať tú istú verziu ako na produkcii, ale v čase, keď som začal pracovať s klastrom, bola v repozitári len novšia verzia. Po preskúmaní, že rozdiely v minornej verzii nie sú veľké,1393 riadky v konfiguráciách oproti 1436 v novej verzii, sme sa rozhodli začať testovať novú (aj tak sa musíme aktualizovať, načo ísť na starom šrote)

Jediné, čo sme sa snažili udržať zo starej verzie, bola verzia balíka ceph-deploy, pretože časť utilít (a časť zamestnancov) bola prispôsobená jej syntaxi. Nová verzia bola dosť odlišná, ale nijako to neovplyvnilo fungovanie samotného klastru, a tak ju nechali vo verzii 1.5.39

Keďže tím ceph-disk jasne hovorí, že je deprecated a odporúča používať tím ceph-volume — začali sme vytvárať OSD týmto príkazom, neplytvajúc časom na zastarané.

Plán bol taký — vytvoriť zrkadlo z dvoch SSD diskov, na ktorých umiestnime denníky OSD, ktoré sa zas nachádzajú na rotujúcich SAS. Takto sa poistíme proti problémom s dátami pri páde disku s denníkom.

Klastre sme začali vytvárať podľa dokumentácie

cat /etc/ceph/ceph.conf

root@ceph01-qa:~# cat /etc/ceph/ceph.conf # pripravili sme vopred pripravenú konfiguráciu
[client]
rbd_cache = true
rbd_cache_max_dirty = 50331648
rbd_cache_max_dirty_age = 2
rbd_cache_size = 67108864
rbd_cache_target_dirty = 33554432
rbd_cache_writethrough_until_flush = true
rbd_concurrent_management_ops = 10
rbd_default_format = 2
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster network = 10.10.10.0/24
debug_asok = 0/0
debug_auth = 0/0
debug_buffer = 0/0
debug_client = 0/0
debug_context = 0/0
debug_crush = 0/0
debug_filer = 0/0
debug_filestore = 0/0
debug_finisher = 0/0
debug_heartbeatmap = 0/0
debug_journal = 0/0
debug_journaler = 0/0
debug_lockdep = 0/0
debug_mon = 0/0
debug_monc = 0/0
debug_ms = 0/0
debug_objclass = 0/0
debug_objectcatcher = 0/0
debug_objecter = 0/0
debug_optracker = 0/0
debug_osd = 0/0
debug_paxos = 0/0
debug_perfcounter = 0/0
debug_rados = 0/0
debug_rbd = 0/0
debug_rgw = 0/0
debug_throttle = 0/0
debug_timer = 0/0
debug_tp = 0/0
fsid = d0000000d-4000-4b00-b00b-0123qwe123qwf9
mon_host = ceph01-q, ceph02-q, ceph03-q
mon_initial_members = ceph01-q, ceph02-q, ceph03-q
public network = 8.8.8.8/28 # adresa bola zmenená, samozrejme ))
rgw_dns_name = s3-qa.mycompany.ru # aj táto adresa bola zmenená
rgw_host = s3-qa.mycompany.ru # a táto tiež
[mon]
mon allow pool delete = true
mon_max_pg_per_osd = 300 # viac ako tristo placement skupín
                          # na disk sme sa neodvážili
                     # hoci parameter, samozrejme, závisí od počtu poolov,
                     # ich veľkosti a počtu OSD. Mať málo, ale zdravých PG
                        # tiež nie je najlepší výber - trpí presnosť vyváženia
mon_osd_backfillfull_ratio = 0.9
mon_osd_down_out_interval = 5
mon_osd_full_ratio = 0.95 # zatiaľ pre SSD disky je miesto pre ich
                          # journal to isté zariadenie ako pre OSD
                          # rozhodli sme sa, že 5% z disku (ktorý má 1.2Tb)
                          # by malo bohato stačiť, a koreluje to s parametrom
                          # bluestore_block_db_size plus variabilita na veľké 
                          # placement skupiny
mon_osd_nearfull_ratio = 0.9
mon_pg_warn_max_per_osd = 520
[osd]
bluestore_block_db_create = true
bluestore_block_db_size = 5368709120 #5G
bluestore_block_wal_create = true
bluestore_block_wal_size = 1073741824 #1G
bluestore_cache_size_hdd = 3221225472 # 3G
bluestore_cache_size_ssd = 9663676416 # 9G
journal_aio = true
journal_block_align = true
journal_dio = true
journal_max_write_bytes = 1073714824
journal_max_write_entries = 10000
journal_queue_max_bytes = 10485760000
journal_queue_max_ops = 50000
keyring = /var/lib/ceph/osd/ceph-$id/keyring
osd_client_message_size_cap = 1073741824 #1G
osd_disk_thread_ioprio_class = idle
osd_disk_thread_ioprio_priority = 7
osd_disk_threads = 2
osd_failsafe_full_ratio = 0.95
osd_heartbeat_grace = 5
osd_heartbeat_interval = 3
osd_map_dedup = true
osd_max_backfills = 4
osd_max_write_size = 256
osd_mon_heartbeat_interval = 5
osd_op_num_threads_per_shard = 1
osd_op_num_threads_per_shard_hdd = 2
osd_op_num_threads_per_shard_ssd = 2
osd_op_threads = 16
osd_pool_default_min_size = 1
osd_pool_default_size = 2
osd_recovery_delay_start = 10.0
osd_recovery_max_active = 1
osd_recovery_max_chunk = 1048576
osd_recovery_max_single_start = 3
osd_recovery_op_priority = 1
osd_recovery_priority = 1
osd_recovery_sleep = 2
osd_scrub_chunk_max = 4
osd_scrub_chunk_min = 2
osd_scrub_sleep = 0.1
rocksdb_separate_wal_dir = true

# создаем мониторы
root@ceph01-qa:~#ceph-deploy mon create ceph01-q
# генерируем ключи для аутентификации нод в кластере
root@ceph01-qa:~#ceph-deploy gatherkeys ceph01-q
# Это если поштучно. Если у нас несколько машин доступны - те, которые описаны в конфиге в секции 
# mon_initial_members = ceph01-q, ceph02-q, ceph03-q
# можно запустить эти две команды в виде одной
root@ceph01-qa:~#ceph-deploy mon create-initial
# Положим ключи в указанные в конфиге места
root@ceph01-qa:~#cat ceph.bootstrap-osd.keyring > /var/lib/ceph/bootstrap-osd/ceph.keyring 
root@ceph01-qa:~#cat ceph.bootstrap-mgr.keyring > /var/lib/ceph/bootstrap-mgr/ceph.keyring 
root@ceph01-qa:~#cat ceph.bootstrap-rgw.keyring > /var/lib/ceph/bootstrap-rgw/ceph.keyring
# создадим ключ для управления кластером
root@ceph01-qa:~#ceph-deploy admin ceph01-q
# и менеджер, плагинами управлять
root@ceph01-qa:~#ceph-deploy mgr create ceph01-q

Prvé, o čo som zakopol pri práci s touto verziou ceph-deploy v klase verzie 12.2.12 — je chyba pri pokuse o vytvorenie OSD s db na softvérovom RAID-e —

root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
blkid nemohol detekovať PARTUUID pre zariadenie: /dev/md1

Naozaj, blkid neukazuje PARTUUID, musel som vytvoriť oddiely manuálne:

root@ceph01-qa:~#parted /dev/md0 mklabel GPT 
# oddielov bude veľa, 
# bez GPT ich vytvoriť nepôjde
# veľkosť oddielu sme uviedli v konfigurácii vyššie = bluestore_block_db_size: '5368709120 #5G'
# Diskov mám 20 pod OSD, manuálne vytvárať oddiely sa mi nechcelo
# preto som spravil cyklus
root@ceph01-qa:~#for i in {1..20}; do echo -e "nnnn+5Gnw" | fdisk /dev/md0; done

Vyzerá to, že všetko je pripravené, skúsime znova vytvoriť OSD a dostaneme nasledujúcu chybu (ktorá, mimochodom, na produkcii nebola reprodukovaná)

pri vytváraní OSD typu bluestore bez uvedenia cesty k WAL, ale s uvedením db

root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sde --block.db /dev/md0
 stderr: 2019-04-12 10:39:27.211242 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _read_fsid nečitateľné uuid
 stderr: 2019-04-12 10:39:27.213185 7eff461b6e00 -1 bdev(0x55824c273680 /var/lib/ceph/osd/ceph-0//block.wal) open open dostal: (22) Neplatný argument
 stderr: 2019-04-12 10:39:27.213201 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) _open_db pridanie blokového zariadenia(/var/lib/ceph/osd/ceph-0//block.wal) vrátilo: (22) Neplatný argument
 stderr: 2019-04-12 10:39:27.999039 7eff461b6e00 -1 bluestore(/var/lib/ceph/osd/ceph-0/) mkfs zlyhalo, (22) Neplatný argument
 stderr: 2019-04-12 10:39:27.999057 7eff461b6e00 -1 OSD::mkfs: ObjectStore::mkfs zlyhalo s chybou (22) Neplatný argument
 stderr: 2019-04-12 10:39:27.999141 7eff461b6e00 -1  ** CHYBA: chyba pri vytváraní prázdneho objektového úložiska v /var/lib/ceph/osd/ceph-0/: (22) Neplatný argument

Ak na tom istom zrkadle (alebo inde, podľa výberu) vytvorím ďalší oddiel pre WAL a uvediem ho pri vytváraní OSD — všetko pôjde hladko (okrem objavenia samostatného WAL, ktorý ste, možno, ani nechceli).

Ale, keďže v diaľkových plánoch bolo vyviesť WAL na NVMe, prax sa nakoniec ukázala ako užitočná.

root@ceph01-qa:~#ceph-volume lvm create --bluestore --data /dev/sdf --block.wal /dev/md0p2 --block.db /dev/md1p2

Vytvorili sme monitory, manažérov a OSD. Teraz ich chceme roztriediť rôzne, pretože plánujeme mať disky rôznych typov — rýchle pooly na SSD a veľké, ale pomalé na SAS harddiskoch.

Považujme, že na serveroch je po 20 diskov, prvá desiatka je jeden typ, druhá — druhý.
Pôvodná, predvolené, mapa vyzerá takto:

ceph osd tree

root@ceph01-q:~# ceph osd tree
ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF
-1 14.54799 root default
-3 9.09200 host ceph01-q
0 ssd 1.00000 osd.0 up 1.00000 1.00000
1 ssd 1.00000 osd.1 up 1.00000 1.00000
2 ssd 1.00000 osd.2 up 1.00000 1.00000
3 ssd 1.00000 osd.3 up 1.00000 1.00000
4 hdd 1.00000 osd.4 up 1.00000 1.00000
5 hdd 0.27299 osd.5 up 1.00000 1.00000
6 hdd 0.27299 osd.6 up 1.00000 1.00000
7 hdd 0.27299 osd.7 up 1.00000 1.00000
8 hdd 0.27299 osd.8 up 1.00000 1.00000
9 hdd 0.27299 osd.9 up 1.00000 1.00000
10 hdd 0.27299 osd.10 up 1.00000 1.00000
11 hdd 0.27299 osd.11 up 1.00000 1.00000
12 hdd 0.27299 osd.12 up 1.00000 1.00000
13 hdd 0.27299 osd.13 up 1.00000 1.00000
14 hdd 0.27299 osd.14 up 1.00000 1.00000
15 hdd 0.27299 osd.15 up 1.00000 1.00000
16 hdd 0.27299 osd.16 up 1.00000 1.00000
17 hdd 0.27299 osd.17 up 1.00000 1.00000
18 hdd 0.27299 osd.18 up 1.00000 1.00000
19 hdd 0.27299 osd.19 up 1.00000 1.00000
-5 5.45599 host ceph02-q
20 ssd 0.27299 osd.20 up 1.00000 1.00000
21 ssd 0.27299 osd.21 up 1.00000 1.00000
22 ssd 0.27299 osd.22 up 1.00000 1.00000
23 ssd 0.27299 osd.23 up 1.00000 1.00000
24 hdd 0.27299 osd.24 up 1.00000 1.00000
25 hdd 0.27299 osd.25 up 1.00000 1.00000
26 hdd 0.27299 osd.26 up 1.00000 1.00000
27 hdd 0.27299 osd.27 up 1.00000 1.00000
28 hdd 0.27299 osd.28 up 1.00000 1.00000
29 hdd 0.27299 osd.29 up 1.00000 1.00000
30 hdd 0.27299 osd.30 up 1.00000 1.00000
31 hdd 0.27299 osd.31 up 1.00000 1.00000
32 hdd 0.27299 osd.32 up 1.00000 1.00000
33 hdd 0.27299 osd.33 up 1.00000 1.00000
34 hdd 0.27299 osd.34 up 1.00000 1.00000
35 hdd 0.27299 osd.35 up 1.00000 1.00000
36 hdd 0.27299 osd.36 up 1.00000 1.00000
37 hdd 0.27299 osd.37 up 1.00000 1.00000
38 hdd 0.27299 osd.38 up 1.00000 1.00000
39 hdd 0.27299 osd.39 up 1.00000 1.00000
-7 6.08690 host ceph03-q
40 ssd 0.27299 osd.40 up 1.00000 1.00000
41 ssd 0.27299 osd.41 up 1.00000 1.00000
42 ssd 0.27299 osd.42 up 1.00000 1.00000
43 ssd 0.27299 osd.43 up 1.00000 1.00000
44 hdd 0.27299 osd.44 up 1.00000 1.00000
45 hdd 0.27299 osd.45 up 1.00000 1.00000
46 hdd 0.27299 osd.46 up 1.00000 1.00000
47 hdd 0.27299 osd.47 up 1.00000 1.00000
48 hdd 0.27299 osd.48 up 1.00000 1.00000
49 hdd 0.27299 osd.49 up 1.00000 1.00000
50 hdd 0.27299 osd.50 up 1.00000 1.00000
51 hdd 0.27299 osd.51 up 1.00000 1.00000
52 hdd 0.27299 osd.52 up 1.00000 1.00000
53 hdd 0.27299 osd.53 up 1.00000 1.00000
54 hdd 0.27299 osd.54 up 1.00000 1.00000
55 hdd 0.27299 osd.55 up 1.00000 1.00000
56 hdd 0.27299 osd.56 up 1.00000 1.00000
57 hdd 0.27299 osd.57 up 1.00000 1.00000
58 hdd 0.27299 osd.58 up 1.00000 1.00000
59 hdd 0.89999 osd.59 up 1.00000 1.00000

Vytvoríme si vlastné virtuálne racky a servery s blackjackom a iným:

root@ceph01-q:~#ceph osd crush add-bucket rack01 root #vytvorili sme nový root
root@ceph01-q:~#ceph osd crush add-bucket ceph01-q host #vytvorili sme nový host
root@ceph01-q:~#ceph osd crush move ceph01-q root=rack01 #premiestnili sme server do iného racku
root@ceph01-q:~#osd crush add 28 1.0 host=ceph02-q # pridali sme OSD do servera

# Ak sa niečo pokazilo, môžeme to odstrániť
root@ceph01-q:~# ceph osd crush remove osd.4
root@ceph01-q:~# ceph osd crush remove rack01

Problémy, s ktorými sme sa stretli v produkčnom klastru, pri pokuse vytvoriť nového hosta a premiestniť ho do existujúceho racku — príkaz ceph osd crush move ceph01-host root=rack01 zamrzol, a monitory začali padať po jednom. Prerušenie príkazu jednoduchým CTRL+C vrátilo klaster do živého stavu.

Vyhľadávanie ukázalo tento problém: https://tracker.ceph.com/issues/23386

Riešením bolo dumpnúť crushmap a odstrániť z nej sekciu rule replicated_ruleset

root@ceph01-prod:~#ceph osd getcrushmap -o crushmap.row #Dumpujeme mapu v surovom formáte
root@ceph01-prod:~#crushtool -d crushmap.row -o crushmap.txt #prevádzame do čitateľného
root@ceph01-prod:~#vim crushmap.txt #editujeme, odstraňujeme rule replicated_ruleset
root@ceph01-prod:~#crushtool -c crushmap.txt -o new_crushmap.row #kompilujeme späť
root@ceph01-prod:~#ceph osd setcrushmap -i new_crushmap.row #nahrávame do klastru

Pozor: táto operácia môže spôsobiť rebalansovanie placement group medzi OSD. U nás sa to stalo, ale iba veľmi málo.

Zvláštnosť, s ktorou sme sa stretli v testovacom klastri, bola, že po reštarte servera OSD zabudli, že ich presunuli na nové servery a stojany, a vrátili sa do root default.
Nakoniec, po zostavení finálnej schémy, v ktorej sme vytvorili samostatný root pre SSD disky a samostatný pre otáčkové, sme roztriedili všetky OSD po stojanoch a jednoducho sme odstránili default root. Po reštarte OSD zostali na svojich miestach.
Následne sme v dokumentácii objavili parameter, ktorý je zodpovedný za toto správanie. O ňom v druhej časti.

Ako sme vykonávali rôzne skupiny podľa typov diskov.

Na začiatok sme vytvorili dva root-y — pre SSD a pre HDD.

root@ceph01-q:~#ceph osd crush add-bucket ssd-root root
root@ceph01-q:~#ceph osd crush add-bucket hdd-root root

Keďže servery fyzicky stoja v rôznych stojanoch — pre pohodlie sme vytvorili stojany a do nich už servery.

# Стойки:
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack02 rack
root@ceph01-q:~#ceph osd crush add-bucket ssd-rack03 rack

root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack
root@ceph01-q:~#ceph osd crush add-bucket hdd-rack01 rack

# Сервера
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket ssd-ceph03-q host

root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph01-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host
root@ceph01-q:~#ceph osd crush add-bucket hdd-ceph02-q host

a rozdeliť disky podľa ich typov na rôzne servery.

root@ceph01-q:~#  Disky 0 až 3 sú SSD, nachádzajú sa v ceph01-q, umiestnime ich na server 
root@ceph01-q:~#  ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 0 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 1 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 2 1 host=ssd-ceph01-q
root@ceph01-q:~#ceph osd crush add 3 1 host=ssd-ceph01-q
root-ceph01-q:~# rovnako s ostatnými servermi

Keď sme rozdelili disky po rootoch ssd-root a hdd-root, nechali sme root-default prázdny, takže ho môžeme odstrániť.

root-ceph01-q:~#ceph osd crush remove default

Potom je potrebné vytvoriť pravidlá rozdelenia, ktoré budeme viazať na vytvárané pooly — v pravidlách uvedieme, do ktorých root sa môžu ukladať dáta nášho poolu a úroveň jedinečnosti repliky — napríklad repliky musia byť určite na rôznych serveroch, alebo v rôznych stojanoch (môžeme ich dokonca mať v rôznych root, ak máme také rozdelenie).

Predtým, než si vyberiete typ, je lepšie si prečítať dokumentáciu:
http://docs.ceph.com/docs/jewel/rados/operations/crush-map/#crushmaprules

root-ceph01-q:~#ceph osd crush rule create-simple rule-ssd ssd-root host firstn
root-ceph01-q:~#ceph osd crush rule create-simple rule-hdd hdd-root host firstn
root-ceph01-q:~# Uviedli sme dve pravidlá, v ktorých sa dáta replikujú 
root-ceph01-q:~# medzi hostiteľmi - teda replika by mala byť na inom hostiteľovi,
root-ceph01-q:~# aj keď sú v jednom stojane
root-ceph01-q:~# V produkcii, ak je to možné, je lepšie rozložiť hostiteľov
root-ceph01-q:~# po stojanoch a uviesť rozloženie replik po stojanoch:
root-ceph01-q:~# ##ceph osd crush rule create-simple rule-ssd ssd-root rack firstn

A vytvárame pooly, v ktorých chceme v budúcnosti uchovávať obrazy diskov našej virtualizácie — PROXMOX:

    root-ceph01-q:~# #ceph osd pool create {NAME} {pg_num}  {pgp_num}
    root-ceph01-q:~# ceph osd pool create ssd_pool 1024 1024 
    root-ceph01-q:~# ceph osd pool create hdd_pool 1024 1024

A hovoríme týmto poolom, aké pravidlá rozmiestnenia používať

 root-ceph01-q:~#ceph osd crush rule ls # pozrieme si zoznam pravidiel
    root-ceph01-q:~#ceph osd crush rule dump rule-ssd | grep rule_id #vyberieme ID potrebného
    root-ceph01-q:~#ceph osd pool set ssd_pool crush_rule 2

Na výber počtu placement groups je potrebné pristupovať s vopred vytvorenou víziou o svojom kláustri – koľko približne OSD tam bude, aké množstvo dát (v percentách z celkového objemu) bude v poole, aké množstvo dát celkovo.

Celkovo je žiaduce nemávať viac ako 300 placement groups na disk, a jednoduchšie bude vyvažovať s malými placement groups – to znamená, že ak celý váš pool zaberá 10 Tb a má 10 PG – vyvažovať prenášaním terabajtových kociek (pg) bude problematické – presýpať piesok s malými zrnami piesku po vedrách je jednoduchšie a rovnomernejšie).

Ale treba mať na pamäti, že čím väčší počet PG – tým viac zdrojov sa spotrebúva na výpočet ich rozmiestnenia – začína sa využívať pamäť a CPU.

Príkladný prehľad môže poskytnúť kalkulačka, poskytnutá vývojármi dokumentácie CEPH.

Zoznam materiálov:

https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data
http://www.admin-magazine.com/HPC/Articles/Linux-I-O-Schedulers
http://onreader.mdl.ru/MasteringCeph/content/Ch09.html#030202
https://tracker.ceph.com/issues/23386
https://ceph.com/pgcalc/

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster