{"id":95783,"date":"2020-10-03T13:42:02","date_gmt":"2020-10-03T11:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs"},"modified":"2020-10-03T13:42:02","modified_gmt":"2020-10-03T11:42:02","slug":"nastrojka-yadra-linux-dlya-glusterfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs","title":{"rendered":"Linuxi s\u00fcdamiku seadistamine GlusterFS jaoks","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Artikli t\u00f5lge on koostatud kursuse alguse eel\u00f5htul \u00abLinuxi administraator. Professionaalne\u00bb<\/a><\/noindex>.<\/i><\/b><\/p>\n

\"Linuxi<\/p>\n

Aeg-ajalt tekivad k\u00fcsimused Glusteri soovituste osas tuuma seadistamiseks ja kas see on vajalik.<\/p>\n

Selline vajadus tekib harva. Enamikul koormustel t\u00f6\u00f6tab tuum v\u00e4ga h\u00e4sti. Kuigi on ka teine k\u00fclg. Ajalooliselt tarbib Linuxi tuum meelsasti palju m\u00e4lu, kui talle selline v\u00f5imalus anda, sealhulgas vahem\u00e4lu kasutamise puhul peamise j\u00f5udluse t\u00f5stmise viisi.<\/a><\/noindex><\/p>\n

Enamikul juhtudel t\u00f6\u00f6tab see suurep\u00e4raselt, kuid suure koormuse korral v\u00f5ib see p\u00f5hjustada probleeme. <\/p>\n

Meil on suur kogemus m\u00e4lu intensiivselt kasutavate s\u00fcsteemide, nagu CAD, EDA jne, osas, millel on olnud aeglane t\u00f6\u00f6 k\u00f5rge koormuse korral. Ja m\u00f5nikord oleme Glusteri osas probleemidega silmitsi seisnud. P\u00e4rast mitme p\u00e4eva j\u00e4lgimist m\u00e4lu ja kettade ooteaegade osas saime nende \u00fclekoormuse, tohutud iowait'id, tuuma vead (kernel oops), hangumised jne. <\/p>\n

See artikkel on paljude eksperimentide tulemus parameetrite seadistamiseks erinevates olukordades. T\u00e4nu nendele parameetritele mitte ainult, et \u00fcldine reageerimine paranes, vaid ka klaster stabiliseerus oluliselt.<\/p>\n

Kui asi puudutab m\u00e4lu seadistamist, siis tuleb esmakordselt vaadata virtuaalm\u00e4lu ala (VM, virtual memory), millel on palju v\u00f5imalusi, mis v\u00f5ivad teid segadusse ajada.<\/p>\n

vm.swappiness<\/h4>\n

\nParameeter vm.swappiness<\/code> m\u00e4\u00e4rab, kuiv\u00f5rd tuum kasutab swapimist v\u00f5rreldes \u00fclesm\u00e4lu. Algkoodis m\u00e4\u00e4ratletakse see ka kui \u00abtendency to steal mapped memory\u00bb (kalduvus varastada kaardistatud m\u00e4lu). K\u00f5rge swappiness'i v\u00e4\u00e4rtus t\u00e4hendab, et tuum on kalduvam kaardistatud lehti v\u00e4lja viskama. Madal swappiness'i v\u00e4\u00e4rtus t\u00e4hendab vastupidist: tuum viskab lehti v\u00e4hem v\u00e4lja. Teisis\u00f5nu, mida k\u00f5rgem on v\u00e4\u00e4rtus vm.swappiness<\/code>, seda rohkem s\u00fcsteem kasutab swap'i.<\/p>\n

Suure swapimise kasutamine ei ole soovitatav, kuna operatiivm\u00e4lu laadib sisse ja v\u00e4lja tohutuid andmeplokke. Paljud v\u00e4idavad, et swapiness'i v\u00e4\u00e4rtus peab olema k\u00f5rge, kuid minu kogemuse kohaselt viib j\u00f5udluse suurendamine selle seadistamisega \u00ab0\u00bb.<\/p>\n

Rohkem saab lugeda siit \u2014 lwn.net\/Articles\/100978<\/a><\/noindex> <\/p>\n

Kuid j\u00e4llegi, neid seadistusi tuleb rakendada ettevaatlikult ja ainult p\u00e4rast konkreetse rakenduse testimist. Suure koormusega voogedastusrakenduste puhul tuleks see v\u00e4\u00e4rtus seada \u201e0\u201d peale. Muutmine \u201e0\u201d peale parandab s\u00fcsteemi reageerimisv\u00f5imet.<\/p>\n

vm.vfs_cache_pressure<\/h4>\n

\nSee parameeter kontrollib m\u00e4lu, mida tuum kasutab katalooge ja indeksideskirju (dentry ja inode) seadistamiseks.<\/p>\n

Algselt v\u00e4\u00e4rtusel 100 proovib tuum vabastada dentry ja inode vahem\u00e4lu \u201e\u00f5igluse\u201d alusel v\u00f5rreldes pagecache ja swapcache'ga. vfs_cache_pressure'i v\u00e4hendamine p\u00f5hjustab, et tuum hoiab dentry ja inode vahem\u00e4lusid. Kui v\u00e4\u00e4rtus on \u201e0\u201d, ei eemalda tuum kunagi dentry ja inode vahem\u00e4lu m\u00e4lu puuduse (memory pressure) t\u00f5ttu, mis v\u00f5ib kergesti p\u00f5hjustada m\u00e4lupuuduse viga. vfs_cache_pressure'i suurendamine \u00fcle 100 seab dentry ja inode v\u00e4ljalaskmise prioriteediks.<\/p>\n

GlusterFS-i kasutamisel v\u00f5ivad paljusid suuri andmehulkadega kasutajaid ja v\u00e4ikeste failide arvu t\u00f5ttu serveris oluliselt kasutada l\u00e4bi inode\/dentry vahem\u00e4lu m\u00e4rkimisv\u00e4\u00e4rne hulk RAM-i, mis v\u00f5ib viia j\u00f5udluse v\u00e4henemiseni, kuna tuum peab t\u00f6\u00f6tlema andmestruktuure s\u00fcsteemis, kus on 40 GB m\u00e4lu. Selle parameetri seadmine \u00fcle 100 aitas paljudel kasutajatel saavutada \u00f5iglasemat vahem\u00e4lu haldust ja parandada tuuma reageerimisv\u00f5imet.<\/p>\n

vm.dirty_background_ratio ja vm.dirty_ratio<\/h4>\n

\nEsimene parameeter (vm.dirty_background_ratio<\/code>) m\u00e4\u00e4rab protsendi m\u00e4lust, kus on m\u00e4\u00e4rdunud lehed, saavutades, mil peab alustama m\u00e4\u00e4rdunud lehtede foonset salvestamist kettale. Seni, kuni seda protsenti ei saavutata, ei salvestata lehti kettale. Ja kui salvestamine algab, toimub see foonre\u017eiimis, katkestamata t\u00f6\u00f6tavaid protsesse. <\/p>\n

Teine parameeter (vm.dirty_ratio<\/code>) m\u00e4\u00e4rab protsendi m\u00e4lust, mida v\u00f5ivad h\u00f5ivata m\u00e4\u00e4rdunud lehed enne sundv\u00e4listamist (forced flash). Kui see l\u00e4vi saavutatakse, muutuvad k\u00f5ik protsessid s\u00fcnkroonseks (blokeeruvad) ja neil ei lubata j\u00e4tkata, kuni nende k\u00fcsitud sisend-v\u00e4ljundoperatsioon on tegelikult l\u00f5petatud ja andmed on kettal. Suurte sisend-v\u00e4ljundide koormuse korral tekib probleem, kuna andmete vahem\u00e4lu puudub ja k\u00f5ik sisend-v\u00e4ljundit teostavad protsessid blokeeruvad ootama sisend-v\u00e4ljundit. See toob kaasa palju t\u00f5kestatud protsesse, k\u00f5rge koormuse, ebastabiilse s\u00fcsteemi t\u00f6\u00f6 ja kehva j\u00f5udluse.<\/p>\n

Nende parameetrite v\u00e4\u00e4rtuste v\u00e4hendamine toob kaasa selle, et andmed kirjutatakse sagedamini kettale ja ei j\u00e4\u00e4 O\u017dU-sse. See v\u00f5ib aidata s\u00fcsteemidel, millel on suur hulk m\u00e4lu, mille jaoks on normaalne kirjutada kettale 45\u201390 GB suuruse lehek\u00fclje vahem\u00e4lu, mis toob kaasa tohutu ooteaja frontend- rakendustele, v\u00e4hendades \u00fcldist reageerimisv\u00f5imet ja interaktiivsust.<\/p>\n

\u00ab1\u00bb > \/proc\/sys\/vm\/pagecache<\/h4>\n

\nLehek\u00fclje vahem\u00e4lu (page cache) on vahem\u00e4lu, kuhu salvestatakse failide ja k\u00e4ivitatavate programmide andmeid, see t\u00e4hendab, et need on lehed, millel on tegelike failide v\u00f5i plokkseadmete sisu. Selle vahem\u00e4lu eesm\u00e4rk on v\u00e4hendada kettalt lugemise arvu. V\u00e4\u00e4rtus \u00ab1\u00bb t\u00e4hendab, et vahem\u00e4lu kasutab 1% O\u017dU-st ja kettalt lugemise operatsioone on rohkem kui O\u017dU-st. Selle parameetri muutmine ei ole vajalik, kuid kui olete lehek\u00fclgede vahem\u00e4lu \u00fcle \u00e4\u00e4rmiselt t\u00e4helepanelik, v\u00f5ite seda kasutada.<\/p>\n

\u00abdeadline\u00bb > \/sys\/block\/sdc\/queue\/scheduler<\/h4>\n

\nSisend-v\u00e4ljundi planeerija (I\/O scheduler) on Linuxi tuuma komponent, mis haldab lugemis- ja kirjutamisj\u00e4rjekordi. Teoreetiliselt on nutika RAID-kontrolleri jaoks parem kasutada \u00abnoop\u00bb, kuna Linux ei tea ketta f\u00fc\u00fcsilisest geomeetriast midagi, seega on t\u00f5husam lasta kontrolleril, kes teab geomeetriat, t\u00f6\u00f6delda p\u00e4ringud v\u00f5imalikult kiiresti. Kuid tundub, et \u00abdeadline\u00bb suurendab j\u00f5udlust. Roykide planeerijate kohta saab rohkem lugeda Linuxi tuuma allika dokumendist: linux\/Documentation\/block\/*osched.txt<\/code>. Ja olen samuti t\u00e4heldanud lugemise l\u00e4bilaskev\u00f5ime suurenemist segatud operatsioonide (palju kirjutamisoperatsioone) ajal.<\/p>\n

\u00ab256\u00bb > \/sys\/block\/sdc\/queue\/nr_requests<\/h4>\n

\nSisend-v\u00e4ljundiga k\u00fcsimuste arv puhvrisse enne, kui need edastatakse planeerijale. Teatud kontrollerite sisemiste j\u00e4rjekordade (queue_depth) suurus on suurem kui planeerija sisend-v\u00e4ljundik\u00fcsimuste nr_requests, mis t\u00e4hendab, et planeerijal on v\u00e4he v\u00f5imalusi k\u00fcsimuste \u00f5igesti prioriseerida ja liita. Deadline ja CFQ planeerijate puhul on parem, kui nr_requests on kaks korda suurem kui kontrolleri sisemine j\u00e4rjekord. K\u00fcsimuste \u00fchendamine ja \u00fcmberj\u00e4rjestamine aitab planeerijal suure koormuse korral olla reageerivam.<\/p>\n

echo \u00ab16\u00bb > \/proc\/sys\/vm\/page-cluster<\/h4>\n

\nParameeter page-cluster reguleerib lehek\u00fclgede arvu, mis kirjutatakse swap'i korraga. \u00dclaltoodud n\u00e4ites m\u00e4\u00e4ratakse v\u00e4\u00e4rtus \u00ab16\u00bb vastavalt RAID-i ribasuurusele (stripe size) 64 KB. See pole m\u00f5istlik, kui swappiness = 0, kuid kui olete seadnud swappinessi v\u00e4\u00e4rtuseks 10 v\u00f5i 20, siis aitab selle v\u00e4\u00e4rtuse kasutamine, kui RAID-i ribasuurus on 64 KB.<\/p>\n

blockdev \u2014setra 4096 \/dev\/<<\/code>devname><\/code> (-sdb, hdc v\u00f5i dev_mapper)<\/h4>\n

\nPaljude RAID-kontrollerite vaikeseaded v\u00f5ivad p\u00f5hjustada kohutavat j\u00f5udlust. \u00dclaltoodud valiku lisamine seadistab ennetava lugemise 4096 * 512-baytiste sektorite jaoks. V\u00e4hemalt voogesituse puhul suureneb kiirus, t\u00e4ites seadme sisseehitatud vahem\u00e4lu ennetava lugemise ajal, kui tuuma ettevalmistamiseks kulub aega. Vahem\u00e4lusse v\u00f5ivad paigutuda andmed, mida k\u00fcsitakse j\u00e4rgmise lugemise ajal. Liigne ennetav lugemine v\u00f5ib h\u00e4vitada juhusliku sisend-v\u00e4ljundi suuremate failide jaoks, kui see kasutab potentsiaalselt kasulikku ketta aega v\u00f5i laeb andmeid vahem\u00e4lust v\u00e4ljapoole.<\/p>\n

Siin on veel m\u00f5ned s\u00fcsteemifaili taseme soovitused. Kuid neid pole veel testitud. Veenduge, et teie failis\u00fcsteem teab ribasuurust ja ketaste arvu massiivis. N\u00e4iteks, et see on RAID5 massiiv ribasuurusega 64K kuue ketta peal (tegelikult viie, kuna \u00fcks ketas on kasutusel pariteedi jaoks). Need soovitused p\u00f5hinevad teoreetilistel oletustel ja on kogutud erinevatest RAID-ekspertide blogidest\/-artiklitest.<\/p>\n

-> ext4 fs, 5 ketast, 64K riba, \u00fchikud 4K plokkides\nmkfs -text4 -E stride=$((64\/4))\n-> xfs, 5 ketast, 64K riba, \u00fchikud 512-baytistes sektorites\nmkfs -txfs -d sunit=$((64*2)) -d swidth=$((5*64*2))<\/code><\/pre>\n
\nSuuremate failide jaoks v\u00f5ib kaaluda \u00fclaltoodud ribade suuruste suurendamist.<\/p>\n
T\u00c4HELEPANU!<\/b> K\u00f5ik, mis on eespool kirjeldatud, on m\u00f5nede rakendust\u00fc\u00fcpide jaoks \u00e4\u00e4rmiselt subjektiivne. See artikkel ei garanteeri mingite parenduste saavutamist ilma vastavate rakenduste eeltestimiseta kasutaja poolt. Seda tuleks rakendada ainult siis, kui on vajalik s\u00fcsteemi \u00fcldise reageerimisv\u00f5ime parandamine v\u00f5i kui see lahendab olemasolevaid probleeme.<\/p>\n
Lisaressursid:<\/h4>\n
<\/p>\n