{"id":95783,"date":"2020-10-03T13:42:02","date_gmt":"2020-10-03T11:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs"},"modified":"2020-10-03T13:42:02","modified_gmt":"2020-10-03T11:42:02","slug":"nastrojka-yadra-linux-dlya-glusterfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sk\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs","title":{"rendered":"Nastavenie jadra Linux pre GlusterFS","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Preklad \u010dl\u00e1nku bol pripraven\u00fd v predstihu pred za\u010diatkom kurzu \u00abLinux Administr\u00e1tor. Profesion\u00e1lny\u00bb<\/a><\/noindex>.<\/i><\/b><\/p>\n

\"Nastavenie<\/p>\n

Ob\u010das sa objavuj\u00fa ot\u00e1zky t\u00fdkaj\u00face sa odpor\u00fa\u010dan\u00ed Gluster oh\u013eadom nastavenia jadra a jeho nevyhnutnosti.<\/p>\n

Tak\u00e1to potreba vznik\u00e1 zriedka. V drvivej v\u00e4\u010d\u0161ine za\u0165a\u017een\u00ed jadro funguje ve\u013emi dobre. Aj ke\u010f existuje aj druh\u00e1 str\u00e1nka. Historicky, jadro Linuxu ochotne konzumuje ve\u013ea pam\u00e4te, pokia\u013e mu to umo\u017en\u00edte, vr\u00e1tane vyrovn\u00e1vacej pam\u00e4te ako hlavn\u00e9ho sp\u00f4sobu zvy\u0161ovania v\u00fdkonu.<\/a><\/noindex><\/p>\n

Vo v\u00e4\u010d\u0161ine pr\u00edpadov to funguje v\u00fdborne, ale pri silnom za\u0165a\u017een\u00ed m\u00f4\u017ee vies\u0165 k probl\u00e9mom. <\/p>\n

M\u00e1me bohat\u00e9 sk\u00fasenosti s syst\u00e9mami, ktor\u00e9 vy\u017eadovali ve\u013ea pam\u00e4te, ako s\u00fa CAD, EDA a podobn\u00e9, ktor\u00e9 sa za\u010dali zasek\u00e1va\u0165 pri vysokom za\u0165a\u017een\u00ed. Niekedy sme sa stretli s probl\u00e9mami v Gluster. Po starostlivom pozorovan\u00ed pou\u017e\u00edvania pam\u00e4te a \u010dasu \u010dakania na disky sme zaznamenali ich pre\u0165a\u017eenie, obrovsk\u00e9 iowait, chyby jadra (kernel oops), zaseknutia a pod. <\/p>\n

Tento \u010dl\u00e1nok je v\u00fdsledkom mnoh\u00fdch experimentov so nastavovan\u00edm parametrov vykonan\u00fdch v r\u00f4znych situ\u00e1ci\u00e1ch. V\u010faka t\u00fdmto parametrom sa nielen zlep\u0161ila celkov\u00e1 odozva, ale aj v\u00fdznamne stabilizovala pr\u00e1ca klasteru.<\/p>\n

Ke\u010f ide o nastavenie pam\u00e4te, najprv sa treba pozrie\u0165 na podsystem virtu\u00e1lnej pam\u00e4te (VM, virtual memory), ktor\u00fd m\u00e1 ve\u013ek\u00e9 mno\u017estvo mo\u017enost\u00ed, schopn\u00fdch v\u00e1s zmias\u0165.<\/p>\n

vm.swappiness<\/h4>\n

\nParameter vm.swappiness<\/code> ur\u010duje, ako jadro pou\u017e\u00edva swapovanie (swap) v porovnan\u00ed s opera\u010dnou pam\u00e4\u0165ou. V zdrojovom k\u00f3de je tie\u017e definovan\u00e9 ako \u201etendency to steal mapped memory\u201c (sklon k kr\u00e1de\u017ei mapovanej pam\u00e4te). Vysok\u00e1 hodnota swappiness znamen\u00e1, \u017ee jadro bude viac naklonen\u00e9 uvo\u013e\u0148ova\u0165 mapovan\u00e9 str\u00e1nky. N\u00edzka hodnota swappiness znamen\u00e1 opak: jadro bude menej uvo\u013e\u0148ova\u0165 str\u00e1nky z pam\u00e4te. In\u00fdmi slovami, \u010d\u00edm vy\u0161\u0161ia je hodnota vm.swappiness<\/code>, t\u00fdm viac syst\u00e9m bude pou\u017e\u00edva\u0165 swap.<\/p>\n

Ve\u013ek\u00e9 pou\u017e\u00edvanie swapovania je ne\u017eelan\u00e9, preto\u017ee do opera\u010dnej pam\u00e4te sa nahr\u00e1vaj\u00fa a uvo\u013e\u0148uj\u00fa obrovsk\u00e9 bloky d\u00e1t. Mnoh\u00ed tvrdia, \u017ee hodnota swapiness by mala by\u0165 vysok\u00e1, ale pod\u013ea mojej sk\u00fasenosti zvy\u0161uje v\u00fdkon nastavenie na \u201e0\u201c.<\/p>\n

Viac inform\u00e1ci\u00ed n\u00e1jdete tu \u2014 lwn.net\/Articles\/100978<\/a><\/noindex> <\/p>\n

Av\u0161ak, tieto nastavenia by sa mali pou\u017e\u00edva\u0165 opatrne a iba po testovan\u00ed konkr\u00e9tnej aplik\u00e1cie. Pre vysoko za\u0165a\u017een\u00e9 streamovacie aplik\u00e1cie by sa t\u00e1to hodnota mala nastavi\u0165 na \u201e0\u201c. Zmenou na \u201e0\u201c sa zlep\u0161uje odozva syst\u00e9mu.<\/p>\n

vm.vfs_cache_pressure<\/h4>\n

\nTento parameter riadi pam\u00e4\u0165, ktor\u00fa jadro spotrebuje na cacheovanie objektov adres\u00e1rov a indexov\u00fdch deskriptorov (dentry a inode).<\/p>\n

Pri predvolenej hodnote 100 sa jadro sna\u017e\u00ed uvo\u013eni\u0165 cache dentry a inode \u201eferovo\u201c vo vz\u0165ahu ku pagecache a swapcache. Zn\u00ed\u017eenie vfs_cache_pressure znamen\u00e1, \u017ee jadro si uchov\u00e1va cache dentry a inode. Ke\u010f je hodnota rovn\u00e1 \u201e0\u201c, jadro nikdy nevy\u010dist\u00ed cache dentry a inode z d\u00f4vodu nedostatku pam\u00e4te (memory pressure), \u010do m\u00f4\u017ee \u013eahko vies\u0165 k chybe out-of-memory. Zv\u00fd\u0161enie vfs_cache_pressure nad 100 sp\u00f4sob\u00ed, \u017ee jadro uprednost\u0148uje uvo\u013enenie dentry a inode.<\/p>\n

Pri pou\u017e\u00edvan\u00ed GlusterFS m\u00f4\u017eu viacer\u00ed pou\u017e\u00edvatelia s ve\u013ek\u00fdmi objemami d\u00e1t a mno\u017estvom mal\u00fdch s\u00faborov na serveri \u013eahko vyu\u017ei\u0165 zna\u010dn\u00e9 mno\u017estvo opera\u010dnej pam\u00e4te kv\u00f4li cacheovaniu inode\/dentry, \u010do m\u00f4\u017ee vies\u0165 k zn\u00ed\u017eeniu v\u00fdkonu, ke\u010f\u017ee jadro mus\u00ed spracov\u00e1va\u0165 \u0161trukt\u00fary d\u00e1t v syst\u00e9me s 40 GB pam\u00e4te. Nastavenie tohto parametra nad 100 pomohlo mnoh\u00fdm pou\u017e\u00edvate\u013eom dosiahnu\u0165 f\u00e9rovej\u0161ie cacheovanie a zlep\u0161i\u0165 odozvu jadra.<\/p>\n

vm.dirty_background_ratio a vm.dirty_ratio<\/h4>\n

\nPrv\u00fd parameter (vm.dirty_background_ratio<\/code>) ur\u010duje percento pam\u00e4te so \u0161pinav\u00fdmi str\u00e1nkami, dosiahnutie ktor\u00e9ho sp\u00fa\u0161\u0165a pozadie vypr\u00e1zd\u0148ovania \u0161pinav\u00fdch str\u00e1nok na disk. K\u00fdm tento percentu\u00e1lny podiel nie je dosiahnut\u00fd, str\u00e1nky nie s\u00fa vypr\u00e1zdnen\u00e9 na disk. A ke\u010f sa vypr\u00e1zd\u0148ovanie za\u010dne, prebieha na pozad\u00ed a nenaru\u0161uje be\u017eiace procesy. <\/p>\n

Druh\u00fd parameter (vm.dirty_ratio<\/code>) ur\u010duje percento pam\u00e4te, ktor\u00e9 m\u00f4\u017ee by\u0165 obsaden\u00e9 \u0161pinav\u00fdmi str\u00e1nkami pred za\u010diatkom n\u00faten\u00e9ho vypr\u00e1zdnenia (forced flash). Ke\u010f sa dosiahne tento prah, v\u0161etky procesy sa st\u00e1vaj\u00fa synchronn\u00fdmi (s\u00fa zablokovan\u00e9) a nie je im dovolen\u00e9 pokra\u010dova\u0165, k\u00fdm nie je po\u017eadovan\u00e1 oper\u00e1cia vstupu\/v\u00fdstupu skuto\u010dne dokon\u010den\u00e1 a \u00fadaje nie s\u00fa na disku. Pri vysokom za\u0165a\u017een\u00ed vstupu\/v\u00fdstupu to sp\u00f4sobuje probl\u00e9m, preto\u017ee ch\u00fdba vyrovn\u00e1vacia pam\u00e4\u0165, a v\u0161etky procesy vykon\u00e1vaj\u00face vstup\/v\u00fdstup s\u00fa zablokovan\u00e9 v o\u010dak\u00e1van\u00ed vstupu\/v\u00fdstupu. To vedie k ve\u013ek\u00e9mu po\u010dtu zmrazen\u00fdch procesov, vysok\u00e9mu za\u0165a\u017eeniu, nestabilnej prev\u00e1dzke syst\u00e9mu a zl\u00e9mu v\u00fdkonu.<\/p>\n

Zn\u00ed\u017eenie hodn\u00f4t t\u00fdchto parametrov vedie k \u010dastej\u0161iemu vypr\u00e1zdneniu \u00fadajov na disk a ich neuchov\u00e1vaniu v RAM. To m\u00f4\u017ee pom\u00f4c\u0165 syst\u00e9mom s ve\u013ek\u00fdm mno\u017estvom pam\u00e4te, kde je norm\u00e1lne vypr\u00e1zdni\u0165 na disk vyrovn\u00e1vaciu pam\u00e4\u0165 str\u00e1n s ve\u013ekos\u0165ou 45\u201390 GB, \u010do vedie k obrovsk\u00fdm \u010dasom \u010dakania pre front-end aplik\u00e1cie, zni\u017euj\u00fac celkov\u00fa odozvu a interaktivitu.<\/p>\n

\u00ab1\u00bb > \/proc\/sys\/vm\/pagecache<\/h4>\n

\nStr\u00e1nkov\u00e1 vyrovn\u00e1vacia pam\u00e4\u0165 (page cache) je vyrovn\u00e1vacia pam\u00e4\u0165, v ktorej s\u00fa ulo\u017een\u00e9 \u00fadaje s\u00faborov a spustite\u013en\u00fdch programov, teda s\u00fa to str\u00e1nky s faktick\u00fdm obsahom s\u00faborov alebo blokov\u00fdch zariaden\u00ed. T\u00e1to vyrovn\u00e1vacia pam\u00e4\u0165 sa pou\u017e\u00edva na zn\u00ed\u017eenie po\u010dtu \u010d\u00edtan\u00ed z disku. Hodnota \u00ab1\u00bb znamen\u00e1, \u017ee pre vyrovn\u00e1vaciu pam\u00e4\u0165 sa pou\u017e\u00edva 1% RAM a po\u010det oper\u00e1ci\u00ed \u010d\u00edtania z disku bude vy\u0161\u0161\u00ed ako z RAM. Zmeni\u0165 tento parameter nie je potrebn\u00e9, ale ak ste paranoidn\u00ed, pokia\u013e ide o kontrolu nad vyrovn\u00e1vacou pam\u00e4\u0165ou str\u00e1n, m\u00f4\u017eete to vyu\u017ei\u0165.<\/p>\n

\u00abdeadline\u00bb > \/sys\/block\/sdc\/queue\/scheduler<\/h4>\n

\nPl\u00e1nova\u010d vstupu\/v\u00fdstupu (I\/O scheduler) je komponent jadra Linuxu, ktor\u00fd spracov\u00e1va fronty \u010d\u00edtania a z\u00e1pisu. Teoreticky pre inteligentn\u00e9ho RAID ovl\u00e1da\u010da je lep\u0161ie pou\u017ei\u0165 \u00abnoop\u00bb, preto\u017ee Linux ni\u010d nevie o fyzickej geometrii disku, tak\u017ee je efekt\u00edvnej\u0161ie necha\u0165 ovl\u00e1da\u010d, ktor\u00fd dobre pozn\u00e1 geometriu disku, spracova\u0165 po\u017eiadavku \u010do najr\u00fdchlej\u0161ie. Ale zd\u00e1 sa, \u017ee \u00abdeadline\u00bb zvy\u0161uje v\u00fdkon. Viac o pl\u00e1nova\u010doch sa d\u00e1 pre\u010d\u00edta\u0165 v dokument\u00e1cii k zdrojov\u00e9mu k\u00f3du Linuxov\u00e9ho jadra: linux\/Documentation\/block\/*osched.txt<\/code>. A tie\u017e som zaznamenal zv\u00fd\u0161enie priepustnosti pri \u010d\u00edtan\u00ed po\u010das zmie\u0161an\u00fdch oper\u00e1ci\u00ed (ve\u013ea z\u00e1pisov\u00fdch oper\u00e1ci\u00ed).<\/p>\n

\u00ab256\u00bb > \/sys\/block\/sdc\/queue\/nr_requests<\/h4>\n

\nPo\u010det vstupno-v\u00fdstupn\u00fdch po\u017eiadaviek v bufferi pred ich odoslan\u00edm pl\u00e1nova\u010du. Ve\u013ekos\u0165 vn\u00fatorn\u00e9ho radu niektor\u00fdch ovl\u00e1da\u010dov (queue_depth) je v\u00e4\u010d\u0161ia ako nr_requests pl\u00e1nova\u010da vstupov-v\u00fdstupov, tak\u017ee pl\u00e1nova\u010d m\u00e1 m\u00e1lo \u0161anc\u00ed spr\u00e1vne priorizova\u0165 a vykon\u00e1va\u0165 zl\u00fa\u010denie po\u017eiadaviek. Pre pl\u00e1nova\u010de deadline a CFQ je lep\u0161ie, ke\u010f je nr_requests dvakr\u00e1t v\u00e4\u010d\u0161ie ne\u017e vn\u00fatorn\u00fd rad ovl\u00e1da\u010da. Zl\u00fa\u010denie a preusporiadanie po\u017eiadaviek pom\u00e1ha pl\u00e1nova\u010du by\u0165 pru\u017enej\u0161\u00edm pri ve\u013ekej z\u00e1\u0165a\u017ei.<\/p>\n

echo \u00ab16\u00bb > \/proc\/sys\/vm\/page-cluster<\/h4>\n

\nParametr page-cluster riadi po\u010det str\u00e1n, ktor\u00e9 sa zap\u00ed\u0161u do swapu naraz. V uvedenom pr\u00edklade je hodnota nastaven\u00e1 na '16' pod\u013ea ve\u013ekosti stripe (stripe size) RAID s 64 KB. To ned\u00e1va zmysel pri swappiness = 0, ale ak ste nastavili swappiness na 10 alebo 20, pou\u017eit\u00edm tejto hodnoty v\u00e1m to pom\u00f4\u017ee, ke\u010f je ve\u013ekos\u0165 stripe RAID 64 KB.<\/p>\n

blockdev \u2014setra 4096 \/dev\/<<\/code>devname><\/code> (-sdb, hdc alebo dev_mapper)<\/h4>\n

\nPredvolen\u00e9 nastavenia blokov\u00fdch zariaden\u00ed pre mnoho RAID ovl\u00e1da\u010dov \u010dasto ved\u00fa k hroznej v\u00fdkonnosti. Pridanie vy\u0161\u0161ie uvedenej mo\u017enosti nastavuje predbe\u017en\u00e9 \u010d\u00edtanie pre 4096 * 512-bytov\u00e9 sektory. Aspo\u0148 pre streamov\u00e9 oper\u00e1cie sa zvy\u0161uje r\u00fdchlos\u0165, naplnen\u00edm vstavan\u00e9ho cache disku prebiehaj\u00facim predbe\u017en\u00fdm \u010d\u00edtan\u00edm po\u010das obdobia, ktor\u00e9 jadro pou\u017e\u00edva na pr\u00edpravu vstupov-v\u00fdstupov. Do cache m\u00f4\u017eu by\u0165 umiestnen\u00e9 d\u00e1ta, ktor\u00e9 bud\u00fa po\u017eadovan\u00e9 pri nasleduj\u00facom \u010d\u00edtan\u00ed. Pr\u00edli\u0161 ve\u013ek\u00e9 predbe\u017en\u00e9 \u010d\u00edtanie m\u00f4\u017ee zabi\u0165 n\u00e1hodn\u00fd vstup-v\u00fdstup pre ve\u013ek\u00e9 s\u00fabory, ak vyu\u017e\u00edva potenci\u00e1lne u\u017eito\u010dn\u00fd \u010das disku alebo na\u010d\u00edtava d\u00e1ta mimo cache.<\/p>\n

Ni\u017e\u0161ie s\u00fa niektor\u00e9 \u010fal\u0161ie odpor\u00fa\u010dania na \u00farovni s\u00faborov\u00e9ho syst\u00e9mu. Av\u0161ak e\u0161te neboli testovan\u00e9. Uistite sa, \u017ee v\u00e1\u0161 s\u00faborov\u00fd syst\u00e9m pozn\u00e1 ve\u013ekos\u0165 stripe a po\u010det diskov v poli. Napr\u00edklad, \u017ee ide o RAID 5 pole s ve\u013ekos\u0165ou stripe 64K z piatich diskov (v skuto\u010dnosti z piatich, preto\u017ee jeden disk sa pou\u017e\u00edva na paritu). Tieto odpor\u00fa\u010dania s\u00fa zalo\u017een\u00e9 na teoretick\u00fdch predpokladoch a s\u00fa zozbieran\u00e9 z r\u00f4znych blogov\/statist\u00edk expertov na RAID.<\/p>\n

-> ext4 fs, 5 diskov, 64K stripe, jednotky v 4K blokoch\nmkfs -text4 -E stride=$((64\/4))\n-> xfs, 5 diskov, 64K stripe, jednotky v 512-bytov\u00fdch sektoroch\nmkfs -txfs -d sunit=$((64*2)) -d swidth=$((5*64*2))<\/code><\/pre>\n
\nPre zv\u00fd\u0161en\u00e9 s\u00fabory m\u00f4\u017eete zv\u00e1\u017ei\u0165 mo\u017enos\u0165 zv\u00fd\u0161enia uveden\u00fdch rozmerov stripe.<\/p>\n
POZOR!<\/b> V\u0161etko, \u010do bolo uveden\u00e9 vy\u0161\u0161ie, je ve\u013emi subjekt\u00edvne pre niektor\u00e9 typy aplik\u00e1ci\u00ed. Tento \u010dl\u00e1nok nezaru\u010duje \u017eiadne vylep\u0161enia bez predch\u00e1dzaj\u00faceho testovania pr\u00edslu\u0161n\u00fdch aplik\u00e1ci\u00ed pou\u017e\u00edvate\u013eom. Mal by sa aplikova\u0165 iba v pr\u00edpade potreby zlep\u0161i\u0165 celkov\u00fa odozvu syst\u00e9mu alebo ak rie\u0161i aktu\u00e1lne probl\u00e9my.<\/p>\n
\u010eal\u0161ie materi\u00e1ly:<\/h4>\n
<\/p>\n