{"id":95783,"date":"2020-10-03T13:42:02","date_gmt":"2020-10-03T11:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs"},"modified":"2020-10-03T13:42:02","modified_gmt":"2020-10-03T11:42:02","slug":"nastrojka-yadra-linux-dlya-glusterfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs","title":{"rendered":"Pode\u0161avanje Linux jezgra za GlusterFS","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Prevod \u010dlanka pripremljen je uo\u010di po\u010detka kursa Administrator Linux. Professional<\/a><\/noindex>.<\/i><\/b><\/p>\n

\"Pode\u0161avanje<\/p>\n

Ob\u010das se objevuj\u00ed dotazy na doporu\u010den\u00ed Gluster ohledn\u011b konfigurace j\u00e1dra a zda je to nezbytn\u00e9.<\/p>\n

Takov\u00e1 pot\u0159eba se objevuje z\u0159\u00eddka. V\u011bt\u0161ina z\u00e1t\u011b\u017e\u00ed pracuje s j\u00e1drem velmi dob\u0159e. Existuje v\u0161ak i druh\u00e1 str\u00e1nka. Historicky je j\u00e1dro Linuxu ochotn\u00e9 spot\u0159ebov\u00e1vat velk\u00e9 mno\u017estv\u00ed pam\u011bti, pokud mu to dovol\u00edte, v\u010detn\u011b cachingu jako hlavn\u00edho zp\u016fsobu zvy\u0161ov\u00e1n\u00ed v\u00fdkonu.<\/a><\/noindex><\/p>\n

Ve v\u011bt\u0161in\u011b p\u0159\u00edpad\u016f to funguje skv\u011ble, ale p\u0159i vysok\u00e9m zat\u00ed\u017een\u00ed to m\u016f\u017ee v\u00e9st k probl\u00e9m\u016fm. <\/p>\n

M\u00e1me bohat\u00e9 zku\u0161enosti se syst\u00e9my s vysokou spot\u0159ebou pam\u011bti, jako jsou CAD, EDA a podobn\u00e9, kter\u00e9 za\u010daly zpomalovat p\u0159i vysok\u00e9m zat\u00ed\u017een\u00ed. A ob\u010das jsme se setkali s probl\u00e9my v Glusteru. Pe\u010dliv\u00fdm pozorov\u00e1n\u00edm vyu\u017eit\u00ed pam\u011bti a \u010dekac\u00edmi \u010dasy disk\u016f jsme zaznamenali jejich p\u0159et\u00ed\u017een\u00ed, obrovsk\u00e9 iowait, chyby j\u00e1dra (kernel oops), zav\u011b\u0161en\u00ed syst\u00e9mu atd. <\/p>\n

Tento \u010dl\u00e1nek je v\u00fdsledkem mnoha experiment\u016f s nastaven\u00edm parametr\u016f proveden\u00fdch v r\u016fzn\u00fdch situac\u00edch. D\u00edky t\u011bmto parametr\u016fm se nejen zlep\u0161ila celkov\u00e1 odezva, ale tak\u00e9 v\u00fdrazn\u011b stabilizoval chod klastru.<\/p>\n

Pokud jde o nastaven\u00ed pam\u011bti, je nejprve d\u016fle\u017eit\u00e9 se pod\u00edvat na subsyst\u00e9m virtu\u00e1ln\u00ed pam\u011bti (VM, virtual memory), kter\u00fd m\u00e1 \u0161irokou \u0161k\u00e1lu mo\u017enost\u00ed, kter\u00e9 mohou b\u00fdt matouc\u00ed.<\/p>\n

vm.swappiness<\/h4>\n

\nParametri vm.swappiness<\/code> ur\u010duje, jak moc j\u00e1dro pou\u017e\u00edv\u00e1 swapov\u00e1n\u00ed ve srovn\u00e1n\u00ed s opera\u010dn\u00ed pam\u011bt\u00ed. V zdrojov\u00e9m k\u00f3du je tak\u00e9 definov\u00e1n jako \u201etendence kr\u00e1st mapovanou pam\u011b\u0165\u201c. Vy\u0161\u0161\u00ed hodnota swappiness znamen\u00e1, \u017ee j\u00e1dro bude v\u00edce ochotn\u00e9 vykl\u00e1dat mapovan\u00e9 str\u00e1nky. Ni\u017e\u0161\u00ed hodnota swappiness znamen\u00e1 opak: j\u00e1dro bude m\u00e9n\u011b vykl\u00e1dat str\u00e1nky z pam\u011bti. Jin\u00fdmi slovy, \u010d\u00edm vy\u0161\u0161\u00ed hodnota vm.swappiness<\/code>, t\u00edm v\u00edce syst\u00e9m vyu\u017eije swap.<\/p>\n

Velk\u00e9 vyu\u017e\u00edv\u00e1n\u00ed swapov\u00e1n\u00ed je ne\u017e\u00e1douc\u00ed, proto\u017ee se do opera\u010dn\u00ed pam\u011bti a z n\u00ed na\u010d\u00edtaj\u00ed velk\u00e9 bloky dat. Mnoz\u00ed tvrd\u00ed, \u017ee hodnota swapiness by m\u011bla b\u00fdt vysok\u00e1, ale podle m\u00e9 zku\u0161enosti vede k zv\u00fd\u0161en\u00ed v\u00fdkonu nastaven\u00ed na \u201e0\u201c.<\/p>\n

V\u00edce informac\u00ed lze naj\u00edt zde \u2014 lwn.net\/Articles\/100978<\/a><\/noindex> <\/p>\n

Vendar pa je treba te nastavitve uporabljati previdno in le po preizkusu konkretne aplikacije. Za visoko obremenjene tokovne aplikacije je treba ta parameter nastaviti na \"0\". Z nastavitvijo na \"0\" se izbolj\u0161a odzivnost sistema.<\/p>\n

vm.vfs_cache_pressure<\/h4>\n

\nTa parameter upravlja pomnilnik, ki ga jedro porabi za predpomnjenje objektov map in indeksnih descriptorjev (dentry in inode).<\/p>\n

Pri privzeti vrednosti 100 jedro posku\u0161a sprostiti predpomnilnik dentry in inode po \"pravi\u010dnosti\" glede na pagecache in swapcache. Zmanj\u0161anje vfs_cache_pressure povzro\u010di, da jedro obdr\u017ei predpomnilnike dentry in inode. Ko je vrednost \"0\", jedro nikoli ne bo \u010distilo predpomnilnika dentry in inode zaradi pomanjkanja pomnilnika (memory pressure), kar lahko zlahka privede do napake out-of-memory. Pove\u010danje vfs_cache_pressure nad 100 povzro\u010di, da jedro da prednost praznjenju dentry in inode.<\/p>\n

Pri uporabi GlusterFS veliko uporabnikov z obse\u017enimi podatki in \u0161tevilnimi majhnimi datotekami lahko na stre\u017eniku zlahka porabi znatno koli\u010dino RAM-a zaradi predpomnjenja inode\/dentry, kar lahko povzro\u010di zmanj\u0161anje zmogljivosti, saj se jedro mora ukvarjati s podatkovnimi strukturami v sistemu z 40 GB pomnilnika. Nastavitev tega parametra nad 100 je mnogim uporabnikom pomagala dose\u010di bolj po\u0161teno predpomnjenje in izbolj\u0161ati odzivnost jedra.<\/p>\n

vm.dirty_background_ratio in vm.dirty_ratio<\/h4>\n

\nPrvi parameter (vm.dirty_background_ratio<\/code>) dolo\u010da odstotek pomnilnika z umazanimi stranmi, ki ga je treba dose\u010di, preden se za\u010dne ozadnje \u010di\u0161\u010denje umazanih strani na disk. Dokler ta odstotek ni dose\u017een, se strani ne izvr\u017eejo na disk. Ko se \u010di\u0161\u010denje za\u010dne, poteka v ozadju in ne prekine delujo\u010dih procesov. <\/p>\n

Drugi parameter (vm.dirty_ratio<\/code>) dolo\u010da odstotek pomnilnika, ki ga lahko zasedejo umazane strani, preden se za\u010dne prisilno praznjenje (forced flash). Ko ta prag dose\u017ee, postanejo vsi procesi sinhroni (blokirani) in jim ni dovoljeno nadaljevati dela, dokler operacija vnosa-izvoda, ki jo zahtevajo, ni dejansko kon\u010dana in podatki niso shranjeni na disku. Pri mo\u010dno obremenjenem vnosu-izvodu to povzro\u010da te\u017eave, saj ni predpomnjenja podatkov in se vsi procesi, ki izvajajo vnose-izvode, blokirajo v pri\u010dakovanju vnosa-izvoda. To vodi do velikega \u0161tevila blokiranih procesov, visoke obremenitve, nestabilnega delovanja sistema in slabe zmogljivosti.<\/p>\n

Zmanj\u0161anje vrednosti teh parametrov pomeni, da se podatki pogosteje zapisujejo na disk in se ne shranjujejo v RAM-u. To lahko pomaga sistemom z veliko pomnilnika, ki jim je normalno zapisovati na disk predpomnilnik strani velikosti 45\u201390 GB, kar povzro\u010da ogromna \u010dakalna obdobja za sprednje aplikacije ter zmanj\u0161uje splo\u0161no odzivnost in interaktivnost.<\/p>\n

\u00ab1\u00bb > \/proc\/sys\/vm\/pagecache<\/h4>\n

\nPredpomnilnik strani (page cache) je predpomnilnik, v katerem so shranjeni podatki datotek in izvr\u0161ljivih programov, kar pomeni, da so to strani z dejansko vsebino datotek ali blokovnih naprav. Ta predpomnilnik se uporablja za zmanj\u0161anje \u0161tevila branj z diska. Vrednost \u00ab1\u00bb pomeni, da se za predpomnilnik uporablja 1% RAM-a in bo ve\u010d branja z diska kot iz RAM-a. Ni nujno spreminjati te nastavitve, vendar jo lahko uporabite, \u010de ste paranoidni glede nadzora nad predpomnilnikom strani.<\/p>\n

\u00abdeadline\u00bb > \/sys\/block\/sdc\/queue\/scheduler<\/h4>\n

\nPlaner vnosa-izvoda (I\/O scheduler) je komponenta jedra Linux, ki upravlja z vrstami branja in pisanja. Teoreti\u010dno je za pametni RAID-nadzornik najbolje uporabljati \u00abnoop\u00bb, ker Linux ne ve ni\u010d o fizi\u010dni geometriji diska, zato je u\u010dinkoviteje pustiti nadzorniku, ki dobro pozna geometrijo diska, da \u010dim hitreje obdeluje zahtevke. Vendar se zdi, da \u00abdeadline\u00bb pove\u010duje zmogljivost. Ve\u010d o planerjih lahko preberete v dokumentaciji izvorne kode jedra Linux: linux\/Documentation\/block\/*osched.txt<\/code>. In tudi opazil sem pove\u010danje propustnosti branja med me\u0161animi operacijami (mnoge operacije pisanja).<\/p>\n

\u00ab256\u00bb > \/sys\/block\/sdc\/queue\/nr_requests<\/h4>\n

\n\u0160tevilo vhodno-izhodnih poizvedb v predpomnilniku, preden jih prenese na\u010drtovalec. Velikost notranje vrste nekaterih krmilnikov (queue_depth) je ve\u010dja od \u0161tevila poizvedb (nr_requests) na\u010drtovalca vhodno-izhodnih operacij, kar pomeni, da ima na\u010drtovalec malo mo\u017enosti, da pravilno prioritizira in zdru\u017ei poizvedbe. Za na\u010drtovalnike deadline in CFQ je bolje, da je nr_requests dvakratnik notranje vrste krmilnika. Zajemanje in preurejanje poizvedb pomaga na\u010drtovalcu, da je bolj odziven pri visokih obremenitvah.<\/p>\n

echo \"16\" > \/proc\/sys\/vm\/page-cluster<\/h4>\n

\nParameter page-cluster ureja \u0161tevilo strani, ki se hkrati zapi\u0161ejo v swap. V zgornjem primeru je vrednost nastavljena na \"16\" v skladu z velikostjo trakovanja (stripe size) RAID-a v 64 KB. To nima smisla pri swappiness = 0, vendar \u010de ste nastavili swappiness na 10 ali 20, vam bo uporaba te vrednosti pomagala, ko je velikost trakovanja RAID 64 KB.<\/p>\n

blockdev \u2014setra 4096 \/dev\/<<\/code>devname><\/code> (-sdb, hdc ali dev_mapper)<\/h4>\n

\nPrivzete nastavitve blokovnih naprav za \u0161tevilne RAID krmilnike pogosto povzro\u010dajo slabo zmogljivost. Dodajanje zgoraj navedene mo\u017enosti nastavi predhodno branje za 4096 * 512-bajtne sektors. Vsaj za zaporedne operacije se pove\u010da hitrost, ko se napolni vgrajen predpomnilnik diska s predhodnim branjem v obdobju, ki ga jedro uporablja za pripravo vhodno-izhodnih operacij. V predpomnilnik lahko pridejo podatki, ki jih bodo zahtevali pri naslednjem branju. Preveliko predhodno branje lahko uni\u010di naklju\u010dno vhodno-izhodno za velike datoteke, \u010de koristi potencialno uporabni \u010das diska ali nalo\u017ei podatke izven predpomnilnika.<\/p>\n

Spodaj so \u0161e nekateri priporo\u010dila na ravni datote\u010dnega sistema. Vendar \u0161e niso bila testirana. Prepri\u010dajte se, da va\u0161 datote\u010dni sistem ve o velikosti trakovanja in \u0161tevilu diskov v nizu. Na primer, da je to niz raid5 z velikostjo trakovanja 64K iz \u0161estih diskov (v resnici petih, ker se en disk uporablja za pariteto). Ta priporo\u010dila temeljijo na teoreti\u010dnih predpostavkah in so zbrana iz razli\u010dnih blogov\/pri\u0161tevkov strokovnjakov za RAID.<\/p>\n

-> ext4 fs, 5 diskov, 64K trak, enote v 4K blokih\nmkfs -text4 -E stride=$((64\/4))\n-> xfs, 5 diskov, 64K trak, enote v 512-bajtnih sektorjih\nmkfs -txfs -d sunit=$((64*2)) -d swidth=$((5*64*2))<\/code><\/pre>\n
\nZa velike datoteke lahko razmislite o pove\u010danju zgoraj navedenih velikosti trakov.<\/p>\n
POZOR!<\/b> Vse, kar je opisano zgoraj, je izjemno subjektivno za nekatere vrste aplikacij. Ta \u010dlanek ne zagotavlja nobenih izbolj\u0161av brez predhodnega testiranja ustreznih aplikacij s strani uporabnika. Uporabiti ga je treba le, kadar je potrebno izbolj\u0161ati splo\u0161no odzivnost sistema ali \u010de re\u0161uje trenutne te\u017eave.<\/p>\n
Dodatni materiali:<\/h4>\n
<\/p>\n