Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Transkript izlaganja Ilje Kosmodemjanskog iz 2015. "Tuning Linux za poboljŔanje performansi PostgreSQL"

Odricanje odgovornosti: Napominjem da je ovo izlaganje datirano novembrom 2015. — proÅ”lo je viÅ”e od 4 godine i mnogo vremena. Verzija 9.4 koja se razmatra u izlaganju viÅ”e nije podržana. Tokom protekle 4 godine objavljeno je 5 novih verzija PostgreSQL-a i 15 verzija Linux jezgra. Ako bismo prepisivali ta mesta, doÅ”li bismo do drugog izlaganja. Međutim, ovde je razmotrena fundamentalna optimizacija Linux-a za PostgreSQL koja je i danas relevantna.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski


Igraj video

Zovem se Ilja Kosmodemjanski. Radim u kompaniji PostgreSQL-Consulting. Sada ću govoriti o tome Å”ta raditi sa Linux-om u kontekstu baza podataka uopÅ”te, a posebno PostgreSQL-a, jer su principi prilično slični.

O čemu ćemo govoriti? Ako komunicirate sa PostgreSQL-om, do određenog nivoa potrebno je biti UNIX administrator. Šta to znači? Ako uporedimo Oracle i PostgreSQL, u Oracle-u morate biti 80 % DBA administrator baze podataka i 20 % Linux administrator.

Sa PostgreSQL-om je malo složenije. Sa PostgreSQL-om morate mnogo bolje razumeti kako Linux funkcioniŔe. Uz to, treba pomalo trčati za vremenom, jer se u poslednje vreme sve prilično brzo ažurira. I nova jezgra izlaze, i nova funkcionalnost se pojavljuje, performanse se poboljŔavaju itd.

ZaÅ”to govorimo o Linux-u? Ne zato Å”to smo na Linux konferenciji u Piteru, već zato Å”to je u modernim uslovima jedan od najsrazmernijih operativnih sistema za upotrebu s bazama podataka uopÅ”te, a posebno s PostgreSQL-om – to je Linux. Nažalost, FreeBSD se razvija u čudnom pravcu. Imaće problema i sa performansama, kao i sa mnogim drugim stvarima. Performanse PostgreSQL-a na Windows-u – to je zapravo posebna ozbiljna tema, jer Windows nema deljenu memoriju kao UNIX, a PostgreSQL je u velikoj meri na to vezan, budući da je viÅ”eporosna sistem.

I egzotika poput Solaris-a, mislim da manje zanima sve, pa idemo dalje.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Savremeni Linux distribucija ima viŔe od 1.000 syctl opcija, u zavisnosti od toga kako se kompajlira jezgro. Pored toga, ako pogledamo različite parametre, postoji mnogo načina da se neŔto dodatno konfiguriŔe. Postoje opcije za datotečne sisteme, kako montirati. Ako imate pitanja o tome kako pokrenuti: Ŕta uključiti u BIOS, kako konfigurisati hardver itd.

To je veoma opÅ”irna tema o kojoj se može govoriti danima, a ne u jednom kratkom izlaganju, ali trenutno ću se fokusirati na važne aspekte, kako izbjeći zamke koje će vam sigurno otežati pravilno koriŔćenje baze podataka na Linuxu ako ih ne ispravite. Takođe, važno je napomenuti da mnoge opcije nisu podrazumevano postavljene na način koji je ispravan za bazu podataka. To jest, po defaultu će raditi loÅ”e ili uopÅ”te neće raditi.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Koji su tradicionalni ciljevi podeŔavanja u Linuxu? Mislim da, poŔto se svi bavite administracijom Linuxa, objaŔnjavanje Ŕta su ciljevi nije potrebno.

Možete podeŔavati:

  • CPU.
  • Memorija.
  • SkladiÅ”te.
  • Ostalo. O tome ćemo razgovarati na kraju. Čak i tako jednostavni parametri kao Å”to su politike Å”tednje energije mogu na vrlo nepredvidiv i neprijatan način uticati na performanse.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Koja je specifičnost PostgreSQL i baze podataka uopÅ”te? Problem je u tome Å”to nije moguće samo podeÅ”avati neku pojedinačnu opciju i očekivati drastično poboljÅ”anje performansi.

Da, takve opcije postoje, ali baza podataka je kompleksna stvar. Ona interaguje sa svim resursima koji su dostupni na serveru i preferira potpunu interakciju. Ako pogledate savremene preporuke Oracle-a o koriŔćenju host operativnog sistema, to će biti kao vic o mongolskom astronautu – nahranite psa i ne dirajte niÅ”ta. Dajte bazi sve resurse, ona će sama sve usmeriti.

U suŔtini, situacija sa PostgreSQL je slična. Razlika je u tome Ŕto baza ne može sama da uzima sve resurse, tj. negde je potrebno sve to samostalno upravljati na nivou Linuxa.

Osnovna ideja nije odabrati neku pojedinačnu ciljanu metodu i početi je podeÅ”avati, kao Å”to su memorija, CPU ili neÅ”to slično, već analizirati opterećenje i pokuÅ”ati maksimalno poboljÅ”ati propusnost, kako bi kroz naÅ”u bazu podataka ta opterećenja, koja su nam stvorili dobri programeri, uključujući naÅ”e korisnike, prolazila Å”to efikasnije.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Evo ovakva slika za objaÅ”njenje Å”ta to predstavlja. Postoji OS Linux bafer, tu je zajednička memorija i tu su zajednički baferi PostgreSQL-a. PostgreSQL, za razliku od Oracle-a, deluje isključivo kroz bafer jezgra, tj. da bi stranica sa diska uÅ”la u njegovu zajedničku memoriju, mora prvo proći kroz kernel bafer, a situacija je potpuno ista i na povratku.

I ispod ovog sistema se nalaze diskovi. Ove sam nacrtao kao diskove. U stvari, tu može biti RAID kontroler itd.

I ova ulazno-izlazna operacija se viŔe ili manje odvija preko ovog sistema.

PostgreSQL je klasična baza podataka. Unutra se nalaze stranice. Sav ulaz i izlaz se odvija pomoću stranica. Stranicama dizzemo blokove u memoriju. Ako se niÅ”ta nije dogodilo, mi ih samo čitamo, a polako one iz ovog keÅ”a, iz zajedničkih bafera, postaju neaktualne i vraćaju se na disk.

Ako neÅ”to zamenimo negde, cela stranica se označava kao prljava. Ove sam označio plavom bojom. To znači da se ta stranica mora sinhronizovati sa blokovnim skladiÅ”tem. To jest, kada postane prljava, napravimo zapis u WAL-u. I u nekom trenutku dođe fenomen nazvan checkpoint. U tu evidenciju je zapisano obaveÅ”tenje o njegovom dolasku. To znači da su sve prljave stranice koje su tada bile u tim zajedničkim baferima sinhronizovane s diskom skladiÅ”ta koristeći fsync kroz kernel bafer.

ZaÅ”to se to radi? Ako nam nestane napajanja, nećemo se suočiti sa situacijom da su nestali svi podaci. Persistetna memorija, o kojoj su nam svi pričali, trenutno je joÅ” uvek teorija bazoda – to je svetla budućnost kojoj težimo i koja nam se sviđa, ali za sada joÅ” živi u minusu od 20 godina. I, naravno, sve to treba pažljivo pratiti.

Cilj maksimizacije propusnosti je optimizovati sve faze kako bi stvari brže putovale naprijed-nazad. Šerovana memorija je uglavnom page cache. U PostgreSQL-u, kada poŔaljemo upit select neŔto, podaci se povlače sa diska. Oni dolaze u Ŕerovane baferne memorije. Stoga, da bi to bolje radilo, potrebna je velika količina memorije.

Da bi sve to radilo dobro i brzo, potrebno je pravilno konfigurisati operativni sistem na svim nivoima. Također je važno izabrati izbalansiran hardver, jer ako postoji disbalans negdje, možete imati puno memorije, ali će se ona služiti nedovoljnom brzinom.

Proći ćemo kroz svaki od ovih tačaka.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Kako bi straničici putovali brže naprijed-nazad, potrebno je postići sljedeće:

  • Prvo, potrebno je efikasnije upravljati memorijom.
  • Drugo, mora biti efikasniji prijelaz kada straničici iz memorije prelaze na disk.
  • I, treće, potrebni su dobri diskovi.

Ako imate 512 GB RAM-a u serveru i sve to na kraju zavrÅ”ava na SATA tvrdome disku bez ikakvog keÅ”a, cjeli server baze podataka se pretvara ne samo u bundeva, nego u bundevu sa SATA interfejsom. Bićete direktno zaglavljeni u tome. NiÅ”ta vas neće spasiti.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Što se tiče prve tačke o memoriji, postoje tri stvari koje mogu znatno otežati život.

Prva je NUMA. NUMA je koncept razvijen za poboljÅ”anje performansi. Ovisno o opterećenju, različite stvari se mogu optimizovati. U svom trenutnom obliku nije baÅ” dobar za aplikacije poput baza podataka, koje intenzivno koriste page cache Å”erovane baferne memorije.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Ukratko. Kako prepoznati da neÅ”to nije u redu sa NUMA-om? Imate nelagodan zvuk, iznenada neki CPU postaje preopterećen. Prilikom analize upita u PostgreSQL-u, vidite da nema niÅ”ta slično. Ovi upiti ne bi trebali toliko intenzivno koristiti CPU. TeÅ”ko je uhvatiti to. LakÅ”e je od samog početka primeniti pravilne preporuke za podeÅ”avanje NUMA-e za PostgreSQL.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Šta se zapravo deŔava? NUMA je Non-Uniform Memory Access. U čemu je stvar? Imate CPU, a pored njega je njegova lokalna memorija. A ova memorija može povlačiti memoriju sa drugih CPU-a putem interkonekcija.

Ako pokrenete numactl --hardware, tada ćete dobiti veliku kolekciju. Osim ostalog, tu će biti i polje distances. Biće tu brojke – 10-20, neÅ”to slično tome. Te brojke su niÅ”ta drugo do količina hopova potrebnih da se povežete s tom udaljenom memorijom i koristite je lokalno. U principu, to je dobra ideja. To značajno povećava performanse pod određenim opterećenjima.

Sada zamislite da vaÅ” jedan CPU prvo pokuÅ”ava koristiti svoju lokalnu memoriju, a zatim pokuÅ”ava povući drugu memoriju putem interkonekcije za neÅ”to. I na tom CPU-u se nalaze svi vaÅ”i page cache podaci iz PostgreSQL-a – sve, koliko god gigabajta. Uvijek dobijate najgori slučaj, jer CPU zapravo ima malo memorije u ovom modulu. A svu memoriju koju upravlja, prolazi kroz te interkonekcije. Rezultat je spor i obeshrabrujuć. I imate procesor koji upravlja ovim čvorom, stalno preopterećen. A vrijeme pristupa ovoj memoriji je loÅ”e, sporo. Ova situacija je neÅ”to Å”to ne želite ako koristite ovo za bazu podataka.

Zato je ispravna opcija za bazu podataka da operativni sistem Linux uopÅ”te ne zna Å”ta se događa. Da se obraća memoriji kao Å”to bi se obratio.

ZaÅ”to je tako? Činilo bi se da bi trebalo biti obrnuto. To se deÅ”ava iz jednog jednostavnog razloga, jer nam je za page cache potrebno mnogo memorije – desetine, stotine gigabajta.

I ako smo sve to odvojili i keÅ”irali naÅ”e podatke, dobitak od koriŔćenja keÅ”a biće znatno veći nego dobitak od tako pomnog pristupa memoriji. Na taj način ćemo postići neuporedive dobitke u odnosu na to da ćemo efikasnije pristupati memoriji koristeći NUMA.

Zato su trenutna dva pristupa, dok ne dođe svetla budućnosti i baza podataka ne nauči da razume na kojim CPU-ima radi i odakle treba neÅ”to povući.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Zato je ispravan pristup – potpuno isključiti NUMA, na primer, prilikom ponovnog pokretanja. U većini slučajeva, dobitci su toliko veliki da se uopÅ”te ne postavlja pitanje Å”ta je bolje.

Postoji druga opcija. Često je koristimo viÅ”e nego prvu, jer kada klijent dođe na podrÅ”ku, restartovanje servera postaje pravi izazov. Njegov posao se odvija tamo. A problemi s NUMA su prisutni. Zato se trudimo da isključujemo na manje invazivne načine nego reboot, ali ovdje budite pažljivi i proverite da li je isključeno. Jer, kako iskustvo pokazuje, kada isključimo NUMA za roditeljski proces PostgreSQL, to je dobro, ali nije obavezno da će to raditi. Potrebno je proveriti i gledati da li je to stvarno isključeno.

Postoji dobar post od Roberta Haasa. To je jedan od commitera PostgreSQL-a. Jedan od ključnih developera svih niskonivoa. Ako pratite linkove iz ovog posta, opisuje se nekoliko zanimljivih priča o tome kako je ljudima NUMA otežavala život. Proučite, istražite checklist za sistemske administratore, Å”ta sve treba podesiti na serveru da bi naÅ”a baza podataka radila dobro. Ove postavke je potrebno zabeležiti i proveriti, jer u suprotnom će rezultat biti nezadovoljavajući.

Napominjem da se ovo odnosi na sve postavke o kojima ću govoriti. Obično se baze podataka organizuju u master-slave režimu radi otpornosti na greÅ”ke. Ne zaboravite da unesete ove postavke na slave, jer će se jednog dana možda desiti havarija, i preći ćete na slave, koji postaje master.

U hitnim situacijama, kada je sve veoma loÅ”e, vaÅ” telefon ne prestaje da zvoni, a Å”ef vam dolazi s velikom palicom, nećete imati vremena da razmiÅ”ljate o proveri. A rezultati mogu biti veoma obeshrabrujući.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Sledeća stvar su huge pages. TeÅ”ko je testirati huge pages odvojeno, a ni nema smisla, iako postoje benchmarkovi koji to mogu. Lako se mogu pronaći putem pretrage.

Koja je poenta? Imate ne baÅ” skupi server s puno RAM-a, na primer, viÅ”e od 30 GB. Ne koristite huge pages. To znači da imate nesumnjivo preopterećenje u koriŔćenju memorije. A to preopterećenje nije prijatno.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

ZaÅ”to je to tako? Å ta se deÅ”ava? Operativni sistem dodjeljuje memoriju u malim komadima. Tako je lakÅ”e, tako je istorijski određeno. A ako se upustimo u detalje, operativni sistem treba da prevodi virtualne adrese u fizičke. I ovaj proces nije najlakÅ”i, zbog čega operativni sistem keÅ”ira rezultat ove operacije u Translation Lookaside Buffer (TLB).

I poÅ”to je TLB keÅ”, u takvim situacijama javljaju se svi problemi koji su prisutni sa keÅ”om. Prvo, ako imate veoma mnogo radne memorije koja je sve dodijeljena u malim komadima, ta intermedijarna memorija postaje vrlo velika. A ako je keÅ” veliki, traženje postaje sporije. Preopterećenje je značajno i zauzima prostor, tj. radna memorija potroÅ”ena na neÅ”to Å”to nije u redu. To je jedna.

Drugo – Å”to se viÅ”e keÅ” povećava u takvim situacijama, to je veća vjerovatnoća da će se pojaviti keÅ” promaÅ”aji. Efikasnost ovog keÅ”a rapidno opada sa povećanjem njegove veličine. Zato su operativni sistemi osmislili jednostavan pristup. U Linuxu se koristi već dugo. U FreeBSD-u je nedavno uveden. Ali govorimo o Linuxu. To su huge pages.

Ovde treba napomenuti da su huge pages, kao ideja, prvobitno podržane od strane zajednica uključujući Oracle i IBM, tj. proizvođači baza podataka su ozbiljno razmiÅ”ljali o tome da će to biti korisno, uključujući baze podataka.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Kako to uskladiti sa PostgreSQL-om? Prvo, na Linux jezgru moraju biti uključeni huge pages.

Drugo, moraju biti izričito navedeni sysctl parametrom – koliko ih ima. Brojevi ovde dolaze s nekog starog servera. Možete izračunati koliko otprilike imate shared buffers, kako bi huge pages mogle stati.

Ako je ceo server posvećen PostgreSQL-u, dobra početna tačka je da ili 25% radne memorije dodijelite shared buffers, ili 75%, ako ste sigurni da će vaÅ”a baza podataka sigurno stati u tih 75%. Prva polazna tačka. Izračunajte, ako imate 256 GB radne memorije, onda će vam, prema tome, 64 GB biti u shared buffers. Izračunajte otprilike sa nekim rezerva – na kakvu vrijednost treba postaviti ovu cifru.

Do verzije 9.2 (ako se ne varam, od verzije 8.2) moglo se pomoću treće strane povezati PostgreSQL s huge pages. A to je uvek potrebno uraditi. Pre svega, potrebno je da jezgro zna pravilno alocirati huge pages. A, s druge strane, da aplikacija koja s njima radi može da ih iskoristi. Ne može se to tek tako iskoristiti. PoÅ”to je PostgreSQL alocirao memoriju na način system 5, to se moglo uraditi pomoću libhugetlbfs — to je puno naziv biblioteke.

U 9.3 poboljÅ”ana je performansa PostgreSQL-a pri radu s memorijom i odustalo se od system 5 metode alociranja memorije. Svi su se obradovali, jer inače, ako pokuÅ”ate pokrenuti dva instanca PostgreSQL-a na jednoj maÅ”ini, on će vam reći da nema dovoljno deljene memorije. I kaže da treba da ispravite sysctl. A tamo takav sysctl da morate dodatno restartovati itd. U svakom slučaju, svi su se obradovali. Ali alociranje memorije mmap je pokvarilo koriŔćenje huge pages. Većina naÅ”ih klijenata koristi velike deljene baferi. I snažno smo preporučili da ne pređu na 9.3, jer je overhead počinjao da se računa u dobrim procentima.

Ali su zato zajednice obratile pažnju na ovaj problem i u 9.4 su vrlo dobro preradili ovo pitanje. I u 9.4 se pojavio parametar u postgresql.conf, u kojem možete uključiti try, on ili off.

Try – najbezbedniji parametar. Kada se PostgreSQL pokrene, dok alocira deljenu memoriju, pokuÅ”ava da uzme iz huge pages tu memoriju. I ako to ne uspe, vraća se na običnu alokaciju. I ako imate FreeBSD ili Solaris, možete staviti try, to je uvek bezbedno.

Ako je on, onda jednostavno neće startovati ako ne može da alocira iz huge pages. Tu već – kome i Å”ta je draže. Ali ako imate try, onda proverite da li je ono Å”to vam je zaista potrebno alocirano, jer prostor za greÅ”ku je tu veliki. Sada ova funkcionalnost radi samo na Linux-u.

JoŔ jedna mala napomena pre nego Ŕto nastavimo. Transparent huge pages nisu trenutno primenljive na PostgreSQL. On ih ne može iskoristiti na pravi način. I kada su u pitanju Transparent huge pages, prednosti se javljaju samo pri veoma velikim količinama podataka, kada je potrebno mnogo zajedničke memorije. Ako imate terabajte memorije, onda to može imati značaj. Ako govorimo o svakodnevnim primenama, kada na maŔini imate 32, 64, 128, 256 GB memorije, tada su obični huge pages u redu, a Transparent se jednostavno isključuje.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

I poslednja stvar koja se tiče memorije nije direktno povezana sa propusnoŔću, ali može jako pokvariti situaciju. Cela propusnost će ozbiljno trpeti zbog toga Å”to server stalno prelazi u swap.

I to će biti veoma neprijatno u viÅ”e situacija. Glavna neprijatnost leži u tome Å”to se ponaÅ”anje u savremenim kernelima pomalo razlikuje od starijih Linux kernela. I ovo je stvar na koju je prilično neprijatno naleteti, jer kada govorimo o radu sa swap-om, najčeŔće dovodi do neodgovarajućeg delovanja OOM-killera. A OOM-killer koji nije na vreme intervenisao i odjednom isključio PostgreSQL je veoma neprijatno. Svi će o tome znati, tj. sve do poslednjeg korisnika.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Å ta se deÅ”ava? Imate puno оперативne memorije, sve dobro funkcioniÅ”e. Ali avaj, server se zaglavljuje u swap-u i usporava zbog toga. Činilo bi se da je memorije dovoljno, ali tako se događa.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Ranije smo savetovali da se vm.swappiness postavi na nulu, tj. da se swap isključi. Nekada se smatralo da je 32 GB оперативne memorije i odgovarajući zajednički baferi ogroman kapacitet. Osnovna svrha swap-a je da bude mesto gde se može odložiti proces ako naiđe na problem. A to viÅ”e nije tako efikasno. I Å”ta ćeÅ” nakon toga raditi sa tim procesom? To je već zadatak gde nije baÅ” jasno zaÅ”to je swap potreban, naročito u ovakvim količinama.

Međutim, u modernijim, tj. trećim verzijama jezgra, ponaÅ”anje se promenilo. Ako postavite swap na nulu, tj. isključite ga, pre ili kasnije, čak i uz preostalu količinu RAM-a, doći će vam OOM-killer da ubije najintenzivnije potroÅ”ače. Jer će smatrati da pri takvom opterećenju imamo joÅ” malo i da ćemo iskočiti, tj. da ne treba ubijati sistemski proces, već neÅ”to manje važno. To manje važno biće intenzivni potroÅ”ač deljene memorije, a to je postmaster. Nakon toga, dobro će biti ako nećete morati da obnavljate bazu podataka.

Zato sada, koliko se sećam, većina distribucija podrazumevano postavlja na negde oko 6, tj. u kojem trenutku početi koristiti swap u zavisnosti od preostale memorije. Trenutno savetujemo da postavite vm.swappiness = 1, jer to praktično isključuje swap, ali ne donosi efekte kao kada iznenada dođe OOM-killer i sve to ubije.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Šta dalje? Kada govorimo o performansama baza podataka i postupno se približavamo diskovima, svi se hvataju za glavu. Jer istina da je disk spor a memorija brza poznata je svima od malih nogu. Svi znaju da će se u bazi podataka pojaviti problemi sa performansama diska.

Glavni problem sa performansama PostgreSQL-a, povezan sa spikes checkpoint-a, ne nastaje zbog sporog diska. To je viÅ”e zbog neusaglaÅ”enosti propusnosti memorije i diska. Pri tome, oni mogu biti neusaglaÅ”eni na različitim mestima. PostgreSQL nije podeÅ”en, operativni sistem nije podeÅ”en, hardver nije podeÅ”en i hardver nije ispravan. Ovaj problem se ne javlja samo kada sve ide kako treba, tj. ili nema opterećenja, ili su podeÅ”avanja i hardver dobro odabrani.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Å ta je to i kako to izgleda? Obično ljudi koji rade sa PostgreSQL-om učestvuju u ovome viÅ”e puta. Objasniću. Kao Å”to sam rekao, PostgreSQL povremeno pravi checkpoints kako bi prljave stranice u zajedničkoj memoriji snimio na disk. Ako imamo veliki obim zajedničke memorije, checkpoint počinje intenzivno uticati na disk, jer snima te stranice pomoću fsync-a. One dolaze u kernel buffer i piÅ”u se na disk koristeći fsync. I ako je ovaj obim veliki, možemo primetiti neprijatan efekat, posebno veoma veliku ugroženost diskova.

Ovde imam dve slike. Sada ću objasniti Å”ta je to. To su dva vremenski korelirana grafikona. Prvi grafikon pokazuje iskoriŔćenost diska. Ovde dostiže gotovo 90% u ovom trenutku. Ako imate bazu podataka koja je vezana za fizičke diskove, a iskoriŔćenost RAID kontrolera je 90%, onda su to loÅ”e vesti. To znači da će uskoro doći do 100% i ulaz-izlaz će stati.

Ako imate diskovni niz, onda je priča malo drugačija. To zavisi od toga kako je podeŔen, koji je to niz itd.

A paralelno ovde je konfigurisana grafika iz unutraÅ”nje postgres-vizije, koja prikazuje kako se deÅ”ava checkpoint. I ovde je zelenom bojom prikazano koliko je barem prljavih stranica u tom trenutku stiglo na ovaj checkpoint radi sinkronizacije. I to je glavno Å”to ovde treba znati. Vidimo da je mnogo stranica stiglo i u nekom trenutku smo se suočili sa opterećenjem, tj. pisali-pisali, ovde je očigledno diskovni sistem veoma opterećen. I naÅ” checkpoint snažno deluje na disk. U idealu, situacija bi trebala izgledati ovako, tj. da je ovde bilo manje zapisa. Podesivanjima možemo to popraviti da tako bude i dalje. Tj. iskoriŔćenje je malo, ali piÅ”emo neÅ”to ovde.

Å ta treba da uradite da biste prevaziÅ”li ovaj problem? Ako vam je IO pod bazom podataka stalo, to znači da će svi korisnici koji dođu izvrÅ”avati svoje upite čekati.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Ako pogledate iz perspektive Linuxa, ako ste uzeli dobar hardver, pravilno ga podesili, i normalno podesili PostgreSQL da rjeđe obavlja te checkpoint-ove, raspoređujući ih kroz vrijeme jedni između drugih, tada se vraćate na podrazumijevane parametre Debiana. Za većinu Linux distribucija slika izgleda ovako: vm.dirty_ratio=20, vm.dirty_background_ratio=10.

Šta to znači? Sa jezgre 2.6 pojavio se jedan demon za pražnjenje. Pdglush, u zavisnosti od onoga ko koji koristi, se bavi pozadinskim pražnjenjem prljavih stranica iz kernel buffer-a i pražnjenjem kada god to treba, bez obzira na sve, prljavih stranica kada pozadinsko pražnjenje ne pomaže.

Kada počinje pozadina? Kada je 10 % od ukupne operativne memorije na serveru zauzeto prljavim stranicama u kernel buffer-u, poziva se posebna funkcija za pražnjenje u pozadini. ZaŔto je ona pozadinska? Ona kao parametar uzima koliko stranica da izbaci. I, na primjer, izbaci N stranica. I na neko vrijeme ta stvar zaspi. A onda se ponovo budi i izbaci joŔ neki broj stranica.

To je izuzetno jednostavna priča. Ovdje je zadaća kao s bazenom, kada se u jednu cijev izlijeva, a u drugu ulijeva. DoÅ”ao je checkpoint i ako je malo prljavih stranica poslao na pražnjenje, tada će se polako iz kernel buffer-a pgflush ovo sve uredno razliti.

Ako se nastavljaju gomilati te prljave stranice, oni se nakupljaju do 20 %, nakon čega je prioritet OS-a da ih izbaci na disk, jer će se struja isključiti i sve će biti loÅ”e. Izgubićemo te podatke, na primjer.

U čemu je trik? Trik je u tome Ŕto su ti parametri u savremenom svijetu 20 i 10 % od ukupne operativne memorije koja je dostupna na maŔini, potpuno monstruozni sa stanoviŔta propusnosti bilo kojeg diska koji imate.

Zamislite da imate 128 GB operativne memorije. 12,8 GB dolazi do vaÅ”eg disk sistema. I kakav god keÅ” da imate ili kakav god niz da imate, oni to neće izdržati.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Zato preporučujemo da odmah podesite te brojke prema mogućnostima vaÅ”eg RAID kontrolera. Odmah ovdje dajem preporuku za kontroler koji ima 512 MB keÅ”a.

Sve to izgleda vrlo jednostavno. Možete postaviti vm.dirty_background u bajtima. Ove postavke poniÅ”tavaju prethodne dve. Ili će raditi podrazumevani odnos, ili aktivirane one koje su u bajtima. Ali poÅ”to sam DBA konsultant i radim sa raznim klijentima, trudim se da budem oprezan, pa ako se radi u bajtima, onda u bajtima. Niko nije dao nikakvu garanciju da dobar administrator ne će dodati RAM serveru, ne će ga restartovati, a brojka će ostati ista. Samo izračunajte ove brojke kako bi sa sigurnoŔću sve stalo.

Å ta će se desiti ako ne stignete? Imam zapisano da se efikasno zaustavlja svaki flushing, ali zapravo je to figura govora. Operativni sistem ima veliki problem – mnogo prljavih stranica, zato se efikasno zaustavlja taj IO koji generiÅ”u vaÅ”i klijenti, tj. aplikacija Å”alje SQL upit bazi, ona čeka. Svaki unos-izlaz u nju ima najniži prioritet, jer je baza zauzeta checkpoint-om. A kada će ga zavrÅ”iti je potpuno nejasno. Kada dostignete ne pozadinsko, ne background flushing, to znači da je sav vaÅ” IO njime zauzet. I sve dok to ne zavrÅ”i, ne možete niÅ”ta uraditi.

Ovde postoje joÅ” dva važna momenta koja nadilaze ovu prezentaciju. Ove postavke moraju da odgovaraju postavkama u postgresql.conf, tj. postavkama checkpoints. I vaÅ” diskovni sistem treba biti adekvatno podeÅ”en. Ako imate keÅ” na RAID-u, na njemu treba biti baterija. Ljudi kupuju RAID sa dobrim keÅ”om bez baterije. Ako imate SSD u RAID-u, oni moraju biti serverski, tamo moraju biti kondenzatori. Ovde je detaljan kontrolni spisak. Na ovom linku možete pronaći moju prezentaciju o tome kako podesiti disk performanse u PostgreSQL-u. Sve ove kontrolne liste su navedene.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Šta joŔ može u velikoj meri zakomplikovati život? To su dva parametra. Oni su relativno novi. Po defaultu mogu biti uključeni u raznim aplikacijama. I mogu zakomplikovati život niŔta manje, ako su pogreŔno uključeni.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Postoje dve relativno nove stvari. One su se već pojavile u trećim jezgrom. To su sched_migration_cost u nanosekundama i sched_autogroup_enabled, koji je po defaultu uključen.

Kako oni kvare život? Å ta je sched_migration_cost? Linux scheduler može migrirati proces s jednog CPU-a na drugi. Za PostgreSQL, koji izvrÅ”ava upite, migracija na drugi CPU potpuno je nelogična. Sa stanoviÅ”ta operativnog sistema, kada prebacujete prozore između openoffice-a i terminala, to može biti dobro, ali za bazu podataka - to je veoma loÅ”e. Stoga je razborita politika postaviti migration_cost na neku visoku vrednost, barem nekoliko hiljada nanosekundi.

Å ta će to značiti za scheduler? Smatrat će da je tokom ovog vremena taj proces joÅ” uvek vruć. Tj. ako imate neku dugu transakciju koja se nečim dugo bavi, scheduler će to razumeti. Tako će smatrati da dok ne prođe ovaj tajmer, migracija ovog procesa nije potrebna. Ako proces radi neÅ”to, neće biti migriran, već će mirno zavrÅ”iti na CPU-u koji mu je dodeljen. I rezultat je odličan.

Druga stvar - to je autogroup. Dobra ideja za specifične workload-e koji nemaju veze sa savremenim bazama podataka je grupisanje procesa prema virtualnom terminalu sa kojeg su pokrenuti. To je zgodno za neke zadatke. U praksi, PostgreSQL je viÅ”ekorisnička sistema sa prefork-om, koja se pokreće iz jednog terminala. Imate lock writer, checkpoint i svi vaÅ”i klijentski upiti grupisaće se na jednog scheduler-a, na jedan CPU. I čekat će da se oslobodi, da ne ometaju jedni druge i da zauzmu duže vreme na njemu. Ova priča apsolutno nije potrebna sa ovakvim opterećenjem i stoga to treba isključiti.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Moj kolega Aleksej Lesovski je radio testove sa jednostavnim pgbench-om, gde je povećavao migration_cost za red veličine i isključivao autogroup. Razlika na loÅ”em hardveru bila je skoro 10 %. Postoji diskusija na postgres-ovoj mailing listi, gde ljudi daju rezultate kako su takve promene uticale na brzinu upita za 50 %. Takvih priča ima mnogo.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

I na kraju, o politici uÅ”tede energije. Dobro je Å”to sada Linux može da se koristi na laptopu. I navodno će dobro troÅ”iti bateriju. Ali iznenada se otkriva da to može da bude slučaj i na serveru.

ŠtaviŔe, ako iznajmljujete servere od nekog hosting provajdera, onda su "dobri" hosting provajderi ne brinu se o tome da vam pruže bolju performansu. Njihov zadatak je da maksimalno efikasno iskoriste svoje hardverske resurse. Stoga, mogu prema zadanim postavkama uključiti režim Ŕtednje energije za laptop na operativnom sistemu.

Ako koristite ovo čudo na serveru sa bazom podataka pod intenzivnim opterećenjem, onda je vaÅ” izbor acpi_cpufreq + performance. Čak i sa ondemandom će već biti problema.

Intel_pstate je već malo drugačiji drajver. I sada se daje prednost ovom, jer je noviji i bolje funkcioniÅ”e.

I, shodno tome, governor bi trebao biti samo performance. Ondemand, powersave i sve ostalo – to nije za vas.

Rezultati iz explain analyze PostgreSQL mogu se razlikovati za nekoliko redova veličine ako uključite powersave, jer će CPU pod vaÅ”om bazom raditi na potpuno nepredvidiv način.

Ove stvari mogu biti uključene prema zadanim postavkama. Pažljivo pogledajte – da li su slučajno uključene po zadatku. Ovo može predstavljati veliki problem.

Tuning Linux za poboljŔanje performansi PostgreSQL. Ilja Kosmodemjanski

Na kraju, želeo bih da se zahvalim momcima iz naÅ”eg DBA tima PosgreSQL-Consulting, posebno Maksu Boguiku i Alekseju Lesovskom, koji se svakog dana suočavaju s izazovima. Trudimo se da za naÅ”e klijente obezbedimo najbolju moguću funkcionalnost. Ovdje je kao sa uputstvima za avio bezbednost. Sve je napisano krvlju. Svaka od ovih vijaka otkrivena je tokom nekog problema. Rado ih delim s vama.

Pitanja:

Hvala! Ako, na primer, kompanija želi da Å”tedi i postavi bazu podataka i aplikacionu logiku na jednom serveru, ili ako kompanija prati modernu tendenciju mikroservisnih arhitektura gde se PostgreSQL pokreće u kontejneru. U čemu je stvar? Sysctl globalno utiče na sve jezgri. Nisa čuo da se sysctl na neki način virtuelizuje, da radi odvojeno u kontejneru. Postoji samo cgroup i tamo samo prema delu postoji kontrola. Kako sa tim može da se živi? Ili ako želite performansu, pokrenite PostgreSQL na odvojenom hardverskom serveru i optimizujte ga?

Odgovorili smo na vaÅ”e pitanje na prilike tri načina. Ako se ne radi o fizičkom serveru koji možete tune-ovati itd., opustite se, sve će raditi dobro bez tih podeÅ”avanja. Ako imate opterećenje zbog kojeg bi trebalo napraviti ova podeÅ”avanja, do fizičkog servera ćete doći pre nego Å”to se upustite u ova podeÅ”avanja.

Koji je problem? Ako je ovo virtuelni server, verovatno ćete se suočavati sa mnogim problemima, na primer, s time Å”to većina virtuelnih servera ima prilično nekonzistentne latencije diska. Čak i ako je propusnost diskova dobra, jedna neispravna transakcija operacija ulaza-izlaza, koja ne utiče mnogo na prosečnu propusnost, koja se dogodila u trenutku checkpoint-a ili pri zapisivanju u WAL, može značajno uticati na bazu podataka. I to ćete primetiti pre nego Å”to upadnete u ove probleme.

Ako imate NGINX na istom serveru, također ćete imati isti problem. Borit će se za deljenu memoriju. I do problematike opisanih ovde nećete doći.

S druge strane, neki od ovih parametara će vam i dalje biti relevantni. Na primer, sa sysctl postavite dirty_ratio da ne bude tako ekstreman – to će, u svakom slučaju, pomoći. U svakom slučaju, imaćete interakciju s diskom. I ona će biti po pogreÅ”nom obrascu. To su zapravo zadani parametri koje sam pokazao. I u svakom slučaju, bolje ih je promeniti.

S NUMA mogu biti problemi. VmWare, na primer, dobro radi s NUMA sa potpuno suprotnim podeÅ”avanjima. I ovde treba birati – fizički server ili ne.

Imam pitanje vezano za Amazon AWS. Imaju unapred podeÅ”ene slike. Jedna od njih se zove Amazon RDS. Da li postoje neka prilagođena podeÅ”avanja za njihov operativni sistem?

Postoje podeÅ”avanja, ali to su druga podeÅ”avanja. Ovde podeÅ”avamo operativni sistem iz perspektive kako će ga baza podataka koristiti. A tamo postoje parametri koji određuju naÅ” trenutni pravac, ovakvo oblikovanje. Odnosno, potrebni su nam resursi i sada ćemo ih troÅ”iti. Nakon toga, Amazon RDS ove resurse priključuje, i tamo performanse opadaju. Ima posebno priča kako ljudi počinju sa tim da eksperimentiÅ”u. Ponekad čak i vrlo uspeÅ”no. No, to nema veze s podeÅ”avanjima OS-a. To je zapravo hakovanje oblaka. To je druga priča.

ZaÅ”to Transparent huge pages ne daju efekta u poređenju sa Huge TLB?

Ne daju. Ovo se može objasniti na mnogo načina. Ali, u suÅ”tini, jednostavno ne daju efekat. Kakva je priča sa PostgreSQL? On prilikom pokretanja dodeljuje veliki deo shared memory. Da li su Transparent ili ne-transparent – to uopÅ”te nije važno. Činjenica da se dodeljuju prilikom pokretanja objaÅ”njava sve. Ako ima mnogo memorije i potrebno je ponovo konstruisati shared_memory segment, onda će Transparent huge pages biti relevantni. U PostgreSQL-u je jednostavno na početku dodeljen ogroman deo i to je to; kasnije se niÅ”ta posebno ne deÅ”ava. Naravno, može se koristiti, ali postoji Å”ansa da dođe do curruption shared_memory kada bude ponovo dodeljivao neÅ”to. PostgreSQL zapravo nije upoznat s tim.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster