{"id":95783,"date":"2020-10-03T13:42:02","date_gmt":"2020-10-03T11:42:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs"},"modified":"2020-10-03T13:42:02","modified_gmt":"2020-10-03T11:42:02","slug":"nastrojka-yadra-linux-dlya-glusterfs","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/nastrojka-yadra-linux-dlya-glusterfs","title":{"rendered":"Postavljanje Linux jezgre za GlusterFS","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Prijevod \u010dlanka pripremljen je uo\u010di po\u010detka te\u010daja \u00abAdministrator Linux. Profesionalac\u00bb<\/a><\/noindex>.<\/i><\/b><\/p>\n

\"Postavljanje<\/p>\n

Povremeno se postavljaju pitanja o preporukama Gluster-a u vezi s pode\u0161avanjem jezgre i postoji li za to potreba.<\/p>\n

Takva potreba se rijetko javlja. Na ve\u0107ini optere\u0107enja jezgra dobro radi. Ipak, postoji i druga strana. Povijesno gledano, Linux jezgra sklona je konzumiranju velike koli\u010dine memorije ako joj se to dopusti, uklju\u010duju\u0107i i kori\u0161tenje za ke\u0161iranje kao primarni na\u010din pobolj\u0161anja performansi.<\/a><\/noindex><\/p>\n

U ve\u0107ini slu\u010dajeva to funkcionira izvrsno, ali kod velikih optere\u0107enja to mo\u017ee dovesti do problema. <\/p>\n

Imamo veliko iskustvo s sustavima koji tro\u0161e mnogo memorije, poput CAD, EDA i sli\u010dnih, koji su po\u010deli usporavati pri visokim optere\u0107enjima. Ponekad smo se susretali s problemima u Glusteru. Pomno prate\u0107i kori\u0161tenje memorije i vrijeme \u010dekanja diskova, do\u0161li smo do preoptere\u0107enja, visokog iowaita, gre\u0161aka jezgre (kernel oops), zastoja itd. <\/p>\n

Ovaj \u010dlanak rezultat je mnogih eksperimenata s pode\u0161avanjem parametara provedenih u raznim situacijama. Zahvaljuju\u0107i tim parametrima, ne samo da se pobolj\u0161ala op\u0107a odzivnost, ve\u0107 se i rad klastera zna\u010dajno stabilizirao.<\/p>\n

Kada je rije\u010d o pode\u0161avanju memorije, prvo \u0161to treba pogledati je podsustav virtualne memorije (VM, virtual memory), koji ima mnogo opcija koje vas mogu zbuniti.<\/p>\n

vm.swappiness<\/h4>\n

\nParametar vm.swappiness<\/code> odre\u0111uje koliko jezgra koristi swapping (swap, podizanje) u usporedbi s radnom memorijom. U izvornoj \u0161ifri tako\u0111er je definiran kao \u201esklonost kra\u0111i mapirane memorije\u201c. Visoka vrijednost swappiness zna\u010di da je jezgra sklonija ispu\u0161tanju mapiranih stranica. Niska vrijednost swappiness zna\u010di suprotno: jezgra \u0107e manje ispu\u0161tati stranice iz memorije. Drugim rije\u010dima, \u0161to je vi\u0161a vrijednost vm.swappiness<\/code>, to \u0107e vi\u0161e sustav koristiti swap.<\/p>\n

Veliko kori\u0161tenje swappinga nije po\u017eeljno, jer se u radnu memoriju u\u010ditavaju i isprazne ogromni blokovi podataka. Mnogi tvrde da bi vrijednost swapiness trebala biti visoka, ali prema mom iskustvu, pove\u0107anje performansi donosi postavljanje na \u201e0\u201c.<\/p>\n

Vi\u0161e informacija mo\u017eete pro\u010ditati ovdje \u2014 lwn.net\/Articles\/100978<\/a><\/noindex> <\/p>\n

Me\u0111utim, ovi postavke trebaju se primjenjivati oprezno i samo nakon testiranja odre\u0111enog aplikacije. Za aplikacije s visokim optere\u0107enjem, ovu vrijednost treba postaviti na \"0\". Postavljanjem na \"0\" pobolj\u0161ava se odziv sustava.<\/p>\n

vm.vfs_cache_pressure<\/h4>\n

\nOvaj parametar kontrolira memoriju koju jezgra koristi za ke\u0161iranje objekata direktorija i indekse (dentry i inode).<\/p>\n

Pri zadanoj vrijednosti od 100, jezgra \u0107e poku\u0161ati osloboditi cache dentry i inode \"pravedno\" u odnosu na pagecache i swapcache. Smanjenje vfs_cache_pressure uzrokuje da jezgra zadr\u017ei ke\u0161 dentry i inode. Kada je vrijednost \"0\", jezgra nikada ne\u0107e osloboditi ke\u0161 dentry i inode zbog nedostatka memorije, \u0161to lako mo\u017ee dovesti do gre\u0161ke 'out-of-memory'. Pove\u0107anje vfs_cache_pressure iznad 100 daje prioritet ispu\u0161tanju dentry i inode.<\/p>\n

Kada se koristi GlusterFS, mnogi korisnici s velikim koli\u010dinama podataka i malim datotekama lako mogu iskoristiti zna\u010dajnu koli\u010dinu operativne memorije na serveru zbog ke\u0161iranja inode\/dentry, \u0161to mo\u017ee dovesti do smanjenja performansi, jer jezgra mora obraditi strukture podataka u sustavu s 40 GB memorije. Pove\u0107anje ovog parametra iznad 100 pomoglo je mnogim korisnicima da postignu pravednije ke\u0161iranje i pobolj\u0161aju odziv jezgre.<\/p>\n

vm.dirty_background_ratio i vm.dirty_ratio<\/h4>\n

\nPrvi parametar (vm.dirty_background_ratio<\/code>) odre\u0111uje postotak memorije s prljavim stranicama, pri \u010demu se mora zapo\u010deti pozadinsko ispu\u0161tanje prljavih stranica na disk. Dok se ovaj postotak ne postigne, stranice se ne ispu\u0161taju na disk. Kada ispu\u0161tanje zapo\u010dne, odvija se u pozadini, bez prekidanja aktivnih procesa. <\/p>\n

Drugi parametar (vm.dirty_ratio<\/code>) odre\u0111uje postotak memorije koji mo\u017ee biti zauzet neurednim stranicama prije nego \u0161to zapo\u010dne prisilno ispu\u0161tanje (forced flash). Kada se dostigne ovaj prag, svi procesi postaju sinkroni (blokirani) i ne smiju nastaviti raditi sve dok njihova zatra\u017eena ulazno-izlazna operacija ne bude stvarno zavr\u0161ena i podaci ne budu pohranjeni na disku. Pri visokom optere\u0107enju ulazno-izlaznih operacija to uzrokuje problem, jer ke\u0161iranje podataka izostaje i svi procesi koji provode ulazno-izlazne operacije su blokirani \u010dekaju\u0107i ulazno-izlazne operacije. To dovodi do velike koli\u010dine blokiranih procesa, visokog optere\u0107enja, nestabilnog rada sustava i lo\u0161e izvedbe.<\/p>\n

Smanjenje vrijednosti ovih parametara dovodi do toga da se podaci \u010de\u0161\u0107e ispu\u0161taju na disk i ne pohranjuju u RAM-u. To mo\u017ee pomo\u0107i sustavima s velikim koli\u010dinama memorije, za koje je normalno ispu\u0161tati ke\u0161 stranica veli\u010dine 45\u201390 GB na disk, \u0161to dovodi do ogromnog vremena \u010dekanja za frontend aplikacije, smanjuju\u0107i ukupnu responzivnost i interaktivnost.<\/p>\n

\u00ab1\u00bb > \/proc\/sys\/vm\/pagecache<\/h4>\n

\nKe\u0161 stranica (page cache) je ke\u0161 u kojem se pohranjuju podaci datoteka i izvr\u0161nih programa, tj. to su stranice s stvarnim sadr\u017eajem datoteka ili blokovnih ure\u0111aja. Ovaj ke\u0161 se koristi za smanjenje broja \u010ditanja s diska. Vrijednost \u00ab1\u00bb zna\u010di da se za ke\u0161 koristi 1% RAM-a i da \u0107e biti vi\u0161e operacija \u010ditanja s diska nego iz RAM-a. Nije nu\u017eno mijenjati ovu vrijednost, ali ako ste paranoi\u010dni u vezi kontrole nad ke\u0161em stranica, mo\u017eete je iskoristiti.<\/p>\n

\u00abdeadline\u00bb > \/sys\/block\/sdc\/queue\/scheduler<\/h4>\n

\nPlanirator ulazno-izlaznih operacija (I\/O scheduler) je komponenta Linux jezgri koja obra\u0111uje redove \u010ditanja i pisanja. Teoretski, za pametan RAID kontroler bolje je koristiti \u00abnoop\u00bb, jer Linux ni\u0161ta ne zna o fizi\u010dkoj geometriji diska, stoga je u\u010dinkovitije dopustiti kontroleru, koji dobro poznaje geometriju diska, da \u0161to br\u017ee obradi zahtjev. No, \u010dini se da \u00abdeadline\u00bb pove\u0107ava izvedbu. Vi\u0161e o planiratorima mo\u017ee se pro\u010ditati u dokumentaciji izvorne jezgri Linuxa: linux\/Documentation\/block\/*osched.txt<\/code>. I tako\u0111er sam primijetio pove\u0107anje propusnosti \u010ditanja tijekom mije\u0161anih operacija (puno operacija pisanja).<\/p>\n

\u00ab256\u00bb > \/sys\/block\/sdc\/queue\/nr_requests<\/h4>\n

\nBroj ulazno-izlaznih zahtjeva u predmemoriji prije nego \u0161to budu poslani planeru. Veli\u010dina unutarnje queue nekih kontrolera (queue_depth) ve\u0107a je od nr_requests planera ulazno-izlaznih zahtjeva, \u0161to zna\u010di da planer ima malo \u0161ansi ispravno prioritizirati i izvr\u0161iti spajanje zahtjeva. Za planere deadline i CFQ bolje je kada je nr_requests dvostruko ve\u0107i od unutarnje queue kontrolera. Spajanje i preure\u0111ivanje zahtjeva poma\u017ee planeru da bude responzivniji pri velikom optere\u0107enju.<\/p>\n

echo \u00ab16\u00bb > \/proc\/sys\/vm\/page-cluster<\/h4>\n

\nParametar page-cluster upravlja brojem stranica koje se istovremeno zapisuju u swap. U gornjem primjeru, vrijednost se postavlja na \u00ab16\u00bb prema veli\u010dini stripea (stripe size) RAID-a od 64 KB. To nema smisla kada je swappiness = 0, ali ako ste postavili swappiness na 10 ili 20, kori\u0161tenje ove vrijednosti \u0107e vam pomo\u0107i kada je veli\u010dina stripea RAID-a 64 KB.<\/p>\n

blockdev \u2014setra 4096 \/dev\/<<\/code>naziv ure\u0111aja><\/code> (-sdb, hdc ili dev_mapper)<\/h4>\n

\nPostavke blok ure\u0111aja prema zadanim postavkama za mnoge RAID kontrolere \u010desto rezultiraju lo\u0161im performansama. Dodavanje gore navedene opcije pode\u0161ava predmemoriju za \u010ditanje na 4096 * 512-bajtnih sektora. Bare, za stream operacije pove\u0107ava brzinu punjenja ugra\u0111ene predmemorije diska zahvaljuju\u0107i proaktivnom \u010ditanju tijekom razdoblja koje operativni sustav tro\u0161i na pripremu ulazno-izlaznih zahtjeva. U predmemoriju mogu oti\u0107i podaci koji \u0107e biti zatra\u017eeni prilikom sljede\u0107eg \u010ditanja. Preveliko proaktivno \u010ditanje mo\u017ee ubiti slu\u010dajni ulazno-izlaz za velike datoteke, ako koristi potencijalno korisno vrijeme diska ili u\u010ditava podatke izvan predmemorije.<\/p>\n

U nastavku su jo\u0161 neki savjeti na razini datote\u010dnog sustava. No, oni jo\u0161 nisu testirani. Osigurajte da va\u0161 datote\u010dni sustav zna veli\u010dinu stripea i broj diska u nizu. Na primjer, da je to RAID 5 s veli\u010dinom stripea 64K od \u0161est diskova (zapravo pet, jer jedan disk se koristi za parnost). Ovi savjeti su temelji na teorijskim pretpostavkama i prikupljeni su iz raznih blogova\/stavova stru\u010dnjaka za RAID.<\/p>\n

-> ext4 fs, 5 diskova, 64K stripe, jedinice u 4K blokovima\nmkfs -text4 -E stride=$((64\/4))\n-> xfs, 5 diskova, 64K stripe, jedinice u 512-bajtnim sektorima\nmkfs -txfs -d sunit=$((64*2)) -d swidth=$((5*64*2))<\/code><\/pre>\n
\nZa velike datoteke razmotrite mogu\u0107nost pove\u0107anja gore navedenih veli\u010dina stripeova.<\/p>\n
PA\u017dNJA!<\/b> Sve \u0161to je gore opisano izuzetno je subjektivno za neke tipove aplikacija. Ovaj \u010dlanak ne jam\u010di nikakva pobolj\u0161anja bez prethodnog testiranja relevantnih aplikacija od strane korisnika. Treba ga primijeniti samo u slu\u010daju potrebe za pobolj\u0161anjem op\u0107e odzivnosti sustava ili ako rje\u0161ava trenutne probleme.<\/p>\n
Dodatni materijali:<\/h4>\n
<\/p>\n