Transkript izlaganja Ilje Kosmodemjanskog iz 2015. "Tuning Linux za poboljŔanje performansi PostgreSQL"
Odricanje odgovornosti: Napominjem da je ovo izlaganje datirano novembrom 2015. ā proÅ”lo je viÅ”e od 4 godine i mnogo vremena. Verzija 9.4 koja se razmatra u izlaganju viÅ”e nije podržana. Tokom protekle 4 godine objavljeno je 5 novih verzija PostgreSQL-a i 15 verzija Linux jezgra. Ako bismo prepisivali ta mesta, doÅ”li bismo do drugog izlaganja. MeÄutim, ovde je razmotrena fundamentalna optimizacija Linux-a za PostgreSQL koja je i danas relevantna.


Zovem se Ilja Kosmodemjanski. Radim u kompaniji PostgreSQL-Consulting. Sada Äu govoriti o tome Å”ta raditi sa Linux-om u kontekstu baza podataka uopÅ”te, a posebno PostgreSQL-a, jer su principi priliÄno sliÄni.
O Äemu Äemo govoriti? Ako komunicirate sa PostgreSQL-om, do odreÄenog nivoa potrebno je biti UNIX administrator. Å ta to znaÄi? Ako uporedimo Oracle i PostgreSQL, u Oracle-u morate biti 80 % DBA administrator baze podataka i 20 % Linux administrator.
Sa PostgreSQL-om je malo složenije. Sa PostgreSQL-om morate mnogo bolje razumeti kako Linux funkcioniÅ”e. Uz to, treba pomalo trÄati za vremenom, jer se u poslednje vreme sve priliÄno brzo ažurira. I nova jezgra izlaze, i nova funkcionalnost se pojavljuje, performanse se poboljÅ”avaju itd.
ZaÅ”to govorimo o Linux-u? Ne zato Å”to smo na Linux konferenciji u Piteru, veÄ zato Å”to je u modernim uslovima jedan od najsrazmernijih operativnih sistema za upotrebu s bazama podataka uopÅ”te, a posebno s PostgreSQL-om ā to je Linux. Nažalost, FreeBSD se razvija u Äudnom pravcu. ImaÄe problema i sa performansama, kao i sa mnogim drugim stvarima. Performanse PostgreSQL-a na Windows-u ā to je zapravo posebna ozbiljna tema, jer Windows nema deljenu memoriju kao UNIX, a PostgreSQL je u velikoj meri na to vezan, buduÄi da je viÅ”eporosna sistem.
I egzotika poput Solaris-a, mislim da manje zanima sve, pa idemo dalje.

Savremeni Linux distribucija ima viÅ”e od 1.000 syctl opcija, u zavisnosti od toga kako se kompajlira jezgro. Pored toga, ako pogledamo razliÄite parametre, postoji mnogo naÄina da se neÅ”to dodatno konfiguriÅ”e. Postoje opcije za datoteÄne sisteme, kako montirati. Ako imate pitanja o tome kako pokrenuti: Å”ta ukljuÄiti u BIOS, kako konfigurisati hardver itd.
To je veoma opÅ”irna tema o kojoj se može govoriti danima, a ne u jednom kratkom izlaganju, ali trenutno Äu se fokusirati na važne aspekte, kako izbjeÄi zamke koje Äe vam sigurno otežati pravilno koriÅ”Äenje baze podataka na Linuxu ako ih ne ispravite. TakoÄe, važno je napomenuti da mnoge opcije nisu podrazumevano postavljene na naÄin koji je ispravan za bazu podataka. To jest, po defaultu Äe raditi loÅ”e ili uopÅ”te neÄe raditi.

Koji su tradicionalni ciljevi podeŔavanja u Linuxu? Mislim da, poŔto se svi bavite administracijom Linuxa, objaŔnjavanje Ŕta su ciljevi nije potrebno.
Možete podeŔavati:
- CPU.
- Memorija.
- SkladiŔte.
- Ostalo. O tome Äemo razgovarati na kraju. Äak i tako jednostavni parametri kao Å”to su politike Å”tednje energije mogu na vrlo nepredvidiv i neprijatan naÄin uticati na performanse.

Koja je specifiÄnost PostgreSQL i baze podataka uopÅ”te? Problem je u tome Å”to nije moguÄe samo podeÅ”avati neku pojedinaÄnu opciju i oÄekivati drastiÄno poboljÅ”anje performansi.
Da, takve opcije postoje, ali baza podataka je kompleksna stvar. Ona interaguje sa svim resursima koji su dostupni na serveru i preferira potpunu interakciju. Ako pogledate savremene preporuke Oracle-a o koriÅ”Äenju host operativnog sistema, to Äe biti kao vic o mongolskom astronautu ā nahranite psa i ne dirajte niÅ”ta. Dajte bazi sve resurse, ona Äe sama sve usmeriti.
U suÅ”tini, situacija sa PostgreSQL je sliÄna. Razlika je u tome Å”to baza ne može sama da uzima sve resurse, tj. negde je potrebno sve to samostalno upravljati na nivou Linuxa.
Osnovna ideja nije odabrati neku pojedinaÄnu ciljanu metodu i poÄeti je podeÅ”avati, kao Å”to su memorija, CPU ili neÅ”to sliÄno, veÄ analizirati optereÄenje i pokuÅ”ati maksimalno poboljÅ”ati propusnost, kako bi kroz naÅ”u bazu podataka ta optereÄenja, koja su nam stvorili dobri programeri, ukljuÄujuÄi naÅ”e korisnike, prolazila Å”to efikasnije.

Evo ovakva slika za objaÅ”njenje Å”ta to predstavlja. Postoji OS Linux bafer, tu je zajedniÄka memorija i tu su zajedniÄki baferi PostgreSQL-a. PostgreSQL, za razliku od Oracle-a, deluje iskljuÄivo kroz bafer jezgra, tj. da bi stranica sa diska uÅ”la u njegovu zajedniÄku memoriju, mora prvo proÄi kroz kernel bafer, a situacija je potpuno ista i na povratku.
I ispod ovog sistema se nalaze diskovi. Ove sam nacrtao kao diskove. U stvari, tu može biti RAID kontroler itd.
I ova ulazno-izlazna operacija se viŔe ili manje odvija preko ovog sistema.
PostgreSQL je klasiÄna baza podataka. Unutra se nalaze stranice. Sav ulaz i izlaz se odvija pomoÄu stranica. Stranicama dizzemo blokove u memoriju. Ako se niÅ”ta nije dogodilo, mi ih samo Äitamo, a polako one iz ovog keÅ”a, iz zajedniÄkih bafera, postaju neaktualne i vraÄaju se na disk.
Ako neÅ”to zamenimo negde, cela stranica se oznaÄava kao prljava. Ove sam oznaÄio plavom bojom. To znaÄi da se ta stranica mora sinhronizovati sa blokovnim skladiÅ”tem. To jest, kada postane prljava, napravimo zapis u WAL-u. I u nekom trenutku doÄe fenomen nazvan checkpoint. U tu evidenciju je zapisano obaveÅ”tenje o njegovom dolasku. To znaÄi da su sve prljave stranice koje su tada bile u tim zajedniÄkim baferima sinhronizovane s diskom skladiÅ”ta koristeÄi fsync kroz kernel bafer.
ZaÅ”to se to radi? Ako nam nestane napajanja, neÄemo se suoÄiti sa situacijom da su nestali svi podaci. Persistetna memorija, o kojoj su nam svi priÄali, trenutno je joÅ” uvek teorija bazoda ā to je svetla buduÄnost kojoj težimo i koja nam se sviÄa, ali za sada joÅ” živi u minusu od 20 godina. I, naravno, sve to treba pažljivo pratiti.
Cilj maksimizacije propusnosti je optimizovati sve faze kako bi stvari brže putovale naprijed-nazad. Å erovana memorija je uglavnom page cache. U PostgreSQL-u, kada poÅ”aljemo upit select neÅ”to, podaci se povlaÄe sa diska. Oni dolaze u Å”erovane baferne memorije. Stoga, da bi to bolje radilo, potrebna je velika koliÄina memorije.
Da bi sve to radilo dobro i brzo, potrebno je pravilno konfigurisati operativni sistem na svim nivoima. TakoÄer je važno izabrati izbalansiran hardver, jer ako postoji disbalans negdje, možete imati puno memorije, ali Äe se ona služiti nedovoljnom brzinom.
ProÄi Äemo kroz svaki od ovih taÄaka.

Kako bi straniÄici putovali brže naprijed-nazad, potrebno je postiÄi sljedeÄe:
- Prvo, potrebno je efikasnije upravljati memorijom.
- Drugo, mora biti efikasniji prijelaz kada straniÄici iz memorije prelaze na disk.
- I, treÄe, potrebni su dobri diskovi.
Ako imate 512 GB RAM-a u serveru i sve to na kraju zavrÅ”ava na SATA tvrdome disku bez ikakvog keÅ”a, cjeli server baze podataka se pretvara ne samo u bundeva, nego u bundevu sa SATA interfejsom. BiÄete direktno zaglavljeni u tome. NiÅ”ta vas neÄe spasiti.

Å to se tiÄe prve taÄke o memoriji, postoje tri stvari koje mogu znatno otežati život.
Prva je NUMA. NUMA je koncept razvijen za poboljÅ”anje performansi. Ovisno o optereÄenju, razliÄite stvari se mogu optimizovati. U svom trenutnom obliku nije baÅ” dobar za aplikacije poput baza podataka, koje intenzivno koriste page cache Å”erovane baferne memorije.

Ukratko. Kako prepoznati da neÅ”to nije u redu sa NUMA-om? Imate nelagodan zvuk, iznenada neki CPU postaje preoptereÄen. Prilikom analize upita u PostgreSQL-u, vidite da nema niÅ”ta sliÄno. Ovi upiti ne bi trebali toliko intenzivno koristiti CPU. TeÅ”ko je uhvatiti to. LakÅ”e je od samog poÄetka primeniti pravilne preporuke za podeÅ”avanje NUMA-e za PostgreSQL.

Å ta se zapravo deÅ”ava? NUMA je Non-Uniform Memory Access. U Äemu je stvar? Imate CPU, a pored njega je njegova lokalna memorija. A ova memorija može povlaÄiti memoriju sa drugih CPU-a putem interkonekcija.
Ako pokrenete numactl --hardware, tada Äete dobiti veliku kolekciju. Osim ostalog, tu Äe biti i polje distances. BiÄe tu brojke ā 10-20, neÅ”to sliÄno tome. Te brojke su niÅ”ta drugo do koliÄina hopova potrebnih da se povežete s tom udaljenom memorijom i koristite je lokalno. U principu, to je dobra ideja. To znaÄajno poveÄava performanse pod odreÄenim optereÄenjima.
Sada zamislite da vaÅ” jedan CPU prvo pokuÅ”ava koristiti svoju lokalnu memoriju, a zatim pokuÅ”ava povuÄi drugu memoriju putem interkonekcije za neÅ”to. I na tom CPU-u se nalaze svi vaÅ”i page cache podaci iz PostgreSQL-a ā sve, koliko god gigabajta. Uvijek dobijate najgori sluÄaj, jer CPU zapravo ima malo memorije u ovom modulu. A svu memoriju koju upravlja, prolazi kroz te interkonekcije. Rezultat je spor i obeshrabrujuÄ. I imate procesor koji upravlja ovim Ävorom, stalno preoptereÄen. A vrijeme pristupa ovoj memoriji je loÅ”e, sporo. Ova situacija je neÅ”to Å”to ne želite ako koristite ovo za bazu podataka.
Zato je ispravna opcija za bazu podataka da operativni sistem Linux uopÅ”te ne zna Å”ta se dogaÄa. Da se obraÄa memoriji kao Å”to bi se obratio.
ZaÅ”to je tako? Äinilo bi se da bi trebalo biti obrnuto. To se deÅ”ava iz jednog jednostavnog razloga, jer nam je za page cache potrebno mnogo memorije ā desetine, stotine gigabajta.
I ako smo sve to odvojili i keÅ”irali naÅ”e podatke, dobitak od koriÅ”Äenja keÅ”a biÄe znatno veÄi nego dobitak od tako pomnog pristupa memoriji. Na taj naÄin Äemo postiÄi neuporedive dobitke u odnosu na to da Äemo efikasnije pristupati memoriji koristeÄi NUMA.
Zato su trenutna dva pristupa, dok ne doÄe svetla buduÄnosti i baza podataka ne nauÄi da razume na kojim CPU-ima radi i odakle treba neÅ”to povuÄi.

Zato je ispravan pristup ā potpuno iskljuÄiti NUMA, na primer, prilikom ponovnog pokretanja. U veÄini sluÄajeva, dobitci su toliko veliki da se uopÅ”te ne postavlja pitanje Å”ta je bolje.
Postoji druga opcija. Äesto je koristimo viÅ”e nego prvu, jer kada klijent doÄe na podrÅ”ku, restartovanje servera postaje pravi izazov. Njegov posao se odvija tamo. A problemi s NUMA su prisutni. Zato se trudimo da iskljuÄujemo na manje invazivne naÄine nego reboot, ali ovdje budite pažljivi i proverite da li je iskljuÄeno. Jer, kako iskustvo pokazuje, kada iskljuÄimo NUMA za roditeljski proces PostgreSQL, to je dobro, ali nije obavezno da Äe to raditi. Potrebno je proveriti i gledati da li je to stvarno iskljuÄeno.
Postoji dobar post od Roberta Haasa. To je jedan od commitera PostgreSQL-a. Jedan od kljuÄnih developera svih niskonivoa. Ako pratite linkove iz ovog posta, opisuje se nekoliko zanimljivih priÄa o tome kako je ljudima NUMA otežavala život. ProuÄite, istražite checklist za sistemske administratore, Å”ta sve treba podesiti na serveru da bi naÅ”a baza podataka radila dobro. Ove postavke je potrebno zabeležiti i proveriti, jer u suprotnom Äe rezultat biti nezadovoljavajuÄi.
Napominjem da se ovo odnosi na sve postavke o kojima Äu govoriti. ObiÄno se baze podataka organizuju u master-slave režimu radi otpornosti na greÅ”ke. Ne zaboravite da unesete ove postavke na slave, jer Äe se jednog dana možda desiti havarija, i preÄi Äete na slave, koji postaje master.
U hitnim situacijama, kada je sve veoma loÅ”e, vaÅ” telefon ne prestaje da zvoni, a Å”ef vam dolazi s velikom palicom, neÄete imati vremena da razmiÅ”ljate o proveri. A rezultati mogu biti veoma obeshrabrujuÄi.

SledeÄa stvar su huge pages. TeÅ”ko je testirati huge pages odvojeno, a ni nema smisla, iako postoje benchmarkovi koji to mogu. Lako se mogu pronaÄi putem pretrage.
Koja je poenta? Imate ne baÅ” skupi server s puno RAM-a, na primer, viÅ”e od 30 GB. Ne koristite huge pages. To znaÄi da imate nesumnjivo preoptereÄenje u koriÅ”Äenju memorije. A to preoptereÄenje nije prijatno.

ZaÅ”to je to tako? Å ta se deÅ”ava? Operativni sistem dodjeljuje memoriju u malim komadima. Tako je lakÅ”e, tako je istorijski odreÄeno. A ako se upustimo u detalje, operativni sistem treba da prevodi virtualne adrese u fiziÄke. I ovaj proces nije najlakÅ”i, zbog Äega operativni sistem keÅ”ira rezultat ove operacije u Translation Lookaside Buffer (TLB).
I poÅ”to je TLB keÅ”, u takvim situacijama javljaju se svi problemi koji su prisutni sa keÅ”om. Prvo, ako imate veoma mnogo radne memorije koja je sve dodijeljena u malim komadima, ta intermedijarna memorija postaje vrlo velika. A ako je keÅ” veliki, traženje postaje sporije. PreoptereÄenje je znaÄajno i zauzima prostor, tj. radna memorija potroÅ”ena na neÅ”to Å”to nije u redu. To je jedna.
Drugo ā Å”to se viÅ”e keÅ” poveÄava u takvim situacijama, to je veÄa vjerovatnoÄa da Äe se pojaviti keÅ” promaÅ”aji. Efikasnost ovog keÅ”a rapidno opada sa poveÄanjem njegove veliÄine. Zato su operativni sistemi osmislili jednostavan pristup. U Linuxu se koristi veÄ dugo. U FreeBSD-u je nedavno uveden. Ali govorimo o Linuxu. To su huge pages.
Ovde treba napomenuti da su huge pages, kao ideja, prvobitno podržane od strane zajednica ukljuÄujuÄi Oracle i IBM, tj. proizvoÄaÄi baza podataka su ozbiljno razmiÅ”ljali o tome da Äe to biti korisno, ukljuÄujuÄi baze podataka.

Kako to uskladiti sa PostgreSQL-om? Prvo, na Linux jezgru moraju biti ukljuÄeni huge pages.
Drugo, moraju biti izriÄito navedeni sysctl parametrom ā koliko ih ima. Brojevi ovde dolaze s nekog starog servera. Možete izraÄunati koliko otprilike imate shared buffers, kako bi huge pages mogle stati.
Ako je ceo server posveÄen PostgreSQL-u, dobra poÄetna taÄka je da ili 25% radne memorije dodijelite shared buffers, ili 75%, ako ste sigurni da Äe vaÅ”a baza podataka sigurno stati u tih 75%. Prva polazna taÄka. IzraÄunajte, ako imate 256 GB radne memorije, onda Äe vam, prema tome, 64 GB biti u shared buffers. IzraÄunajte otprilike sa nekim rezerva ā na kakvu vrijednost treba postaviti ovu cifru.
Do verzije 9.2 (ako se ne varam, od verzije 8.2) moglo se pomoÄu treÄe strane povezati PostgreSQL s huge pages. A to je uvek potrebno uraditi. Pre svega, potrebno je da jezgro zna pravilno alocirati huge pages. A, s druge strane, da aplikacija koja s njima radi može da ih iskoristi. Ne može se to tek tako iskoristiti. PoÅ”to je PostgreSQL alocirao memoriju na naÄin system 5, to se moglo uraditi pomoÄu libhugetlbfs ā to je puno naziv biblioteke.
U 9.3 poboljÅ”ana je performansa PostgreSQL-a pri radu s memorijom i odustalo se od system 5 metode alociranja memorije. Svi su se obradovali, jer inaÄe, ako pokuÅ”ate pokrenuti dva instanca PostgreSQL-a na jednoj maÅ”ini, on Äe vam reÄi da nema dovoljno deljene memorije. I kaže da treba da ispravite sysctl. A tamo takav sysctl da morate dodatno restartovati itd. U svakom sluÄaju, svi su se obradovali. Ali alociranje memorije mmap je pokvarilo koriÅ”Äenje huge pages. VeÄina naÅ”ih klijenata koristi velike deljene baferi. I snažno smo preporuÄili da ne preÄu na 9.3, jer je overhead poÄinjao da se raÄuna u dobrim procentima.
Ali su zato zajednice obratile pažnju na ovaj problem i u 9.4 su vrlo dobro preradili ovo pitanje. I u 9.4 se pojavio parametar u postgresql.conf, u kojem možete ukljuÄiti try, on ili off.
Try ā najbezbedniji parametar. Kada se PostgreSQL pokrene, dok alocira deljenu memoriju, pokuÅ”ava da uzme iz huge pages tu memoriju. I ako to ne uspe, vraÄa se na obiÄnu alokaciju. I ako imate FreeBSD ili Solaris, možete staviti try, to je uvek bezbedno.
Ako je on, onda jednostavno neÄe startovati ako ne može da alocira iz huge pages. Tu veÄ ā kome i Å”ta je draže. Ali ako imate try, onda proverite da li je ono Å”to vam je zaista potrebno alocirano, jer prostor za greÅ”ku je tu veliki. Sada ova funkcionalnost radi samo na Linux-u.
JoÅ” jedna mala napomena pre nego Å”to nastavimo. Transparent huge pages nisu trenutno primenljive na PostgreSQL. On ih ne može iskoristiti na pravi naÄin. I kada su u pitanju Transparent huge pages, prednosti se javljaju samo pri veoma velikim koliÄinama podataka, kada je potrebno mnogo zajedniÄke memorije. Ako imate terabajte memorije, onda to može imati znaÄaj. Ako govorimo o svakodnevnim primenama, kada na maÅ”ini imate 32, 64, 128, 256 GB memorije, tada su obiÄni huge pages u redu, a Transparent se jednostavno iskljuÄuje.

I poslednja stvar koja se tiÄe memorije nije direktno povezana sa propusnoÅ”Äu, ali može jako pokvariti situaciju. Cela propusnost Äe ozbiljno trpeti zbog toga Å”to server stalno prelazi u swap.
I to Äe biti veoma neprijatno u viÅ”e situacija. Glavna neprijatnost leži u tome Å”to se ponaÅ”anje u savremenim kernelima pomalo razlikuje od starijih Linux kernela. I ovo je stvar na koju je priliÄno neprijatno naleteti, jer kada govorimo o radu sa swap-om, najÄeÅ”Äe dovodi do neodgovarajuÄeg delovanja OOM-killera. A OOM-killer koji nije na vreme intervenisao i odjednom iskljuÄio PostgreSQL je veoma neprijatno. Svi Äe o tome znati, tj. sve do poslednjeg korisnika.

Å ta se deÅ”ava? Imate puno Š¾ŠæŠµŃŠ°Ńивne memorije, sve dobro funkcioniÅ”e. Ali avaj, server se zaglavljuje u swap-u i usporava zbog toga. Äinilo bi se da je memorije dovoljno, ali tako se dogaÄa.

Ranije smo savetovali da se vm.swappiness postavi na nulu, tj. da se swap iskljuÄi. Nekada se smatralo da je 32 GB Š¾ŠæŠµŃŠ°Ńивne memorije i odgovarajuÄi zajedniÄki baferi ogroman kapacitet. Osnovna svrha swap-a je da bude mesto gde se može odložiti proces ako naiÄe na problem. A to viÅ”e nije tako efikasno. I Å”ta ÄeÅ” nakon toga raditi sa tim procesom? To je veÄ zadatak gde nije baÅ” jasno zaÅ”to je swap potreban, naroÄito u ovakvim koliÄinama.
MeÄutim, u modernijim, tj. treÄim verzijama jezgra, ponaÅ”anje se promenilo. Ako postavite swap na nulu, tj. iskljuÄite ga, pre ili kasnije, Äak i uz preostalu koliÄinu RAM-a, doÄi Äe vam OOM-killer da ubije najintenzivnije potroÅ”aÄe. Jer Äe smatrati da pri takvom optereÄenju imamo joÅ” malo i da Äemo iskoÄiti, tj. da ne treba ubijati sistemski proces, veÄ neÅ”to manje važno. To manje važno biÄe intenzivni potroÅ”aÄ deljene memorije, a to je postmaster. Nakon toga, dobro Äe biti ako neÄete morati da obnavljate bazu podataka.
Zato sada, koliko se seÄam, veÄina distribucija podrazumevano postavlja na negde oko 6, tj. u kojem trenutku poÄeti koristiti swap u zavisnosti od preostale memorije. Trenutno savetujemo da postavite vm.swappiness = 1, jer to praktiÄno iskljuÄuje swap, ali ne donosi efekte kao kada iznenada doÄe OOM-killer i sve to ubije.

Å ta dalje? Kada govorimo o performansama baza podataka i postupno se približavamo diskovima, svi se hvataju za glavu. Jer istina da je disk spor a memorija brza poznata je svima od malih nogu. Svi znaju da Äe se u bazi podataka pojaviti problemi sa performansama diska.
Glavni problem sa performansama PostgreSQL-a, povezan sa spikes checkpoint-a, ne nastaje zbog sporog diska. To je viÅ”e zbog neusaglaÅ”enosti propusnosti memorije i diska. Pri tome, oni mogu biti neusaglaÅ”eni na razliÄitim mestima. PostgreSQL nije podeÅ”en, operativni sistem nije podeÅ”en, hardver nije podeÅ”en i hardver nije ispravan. Ovaj problem se ne javlja samo kada sve ide kako treba, tj. ili nema optereÄenja, ili su podeÅ”avanja i hardver dobro odabrani.

Å ta je to i kako to izgleda? ObiÄno ljudi koji rade sa PostgreSQL-om uÄestvuju u ovome viÅ”e puta. ObjasniÄu. Kao Å”to sam rekao, PostgreSQL povremeno pravi checkpoints kako bi prljave stranice u zajedniÄkoj memoriji snimio na disk. Ako imamo veliki obim zajedniÄke memorije, checkpoint poÄinje intenzivno uticati na disk, jer snima te stranice pomoÄu fsync-a. One dolaze u kernel buffer i piÅ”u se na disk koristeÄi fsync. I ako je ovaj obim veliki, možemo primetiti neprijatan efekat, posebno veoma veliku ugroženost diskova.
Ovde imam dve slike. Sada Äu objasniti Å”ta je to. To su dva vremenski korelirana grafikona. Prvi grafikon pokazuje iskoriÅ”Äenost diska. Ovde dostiže gotovo 90% u ovom trenutku. Ako imate bazu podataka koja je vezana za fiziÄke diskove, a iskoriÅ”Äenost RAID kontrolera je 90%, onda su to loÅ”e vesti. To znaÄi da Äe uskoro doÄi do 100% i ulaz-izlaz Äe stati.
Ako imate diskovni niz, onda je priÄa malo drugaÄija. To zavisi od toga kako je podeÅ”en, koji je to niz itd.
A paralelno ovde je konfigurisana grafika iz unutraÅ”nje postgres-vizije, koja prikazuje kako se deÅ”ava checkpoint. I ovde je zelenom bojom prikazano koliko je barem prljavih stranica u tom trenutku stiglo na ovaj checkpoint radi sinkronizacije. I to je glavno Å”to ovde treba znati. Vidimo da je mnogo stranica stiglo i u nekom trenutku smo se suoÄili sa optereÄenjem, tj. pisali-pisali, ovde je oÄigledno diskovni sistem veoma optereÄen. I naÅ” checkpoint snažno deluje na disk. U idealu, situacija bi trebala izgledati ovako, tj. da je ovde bilo manje zapisa. Podesivanjima možemo to popraviti da tako bude i dalje. Tj. iskoriÅ”Äenje je malo, ali piÅ”emo neÅ”to ovde.
Å ta treba da uradite da biste prevaziÅ”li ovaj problem? Ako vam je IO pod bazom podataka stalo, to znaÄi da Äe svi korisnici koji doÄu izvrÅ”avati svoje upite Äekati.

Ako pogledate iz perspektive Linuxa, ako ste uzeli dobar hardver, pravilno ga podesili, i normalno podesili PostgreSQL da rjeÄe obavlja te checkpoint-ove, rasporeÄujuÄi ih kroz vrijeme jedni izmeÄu drugih, tada se vraÄate na podrazumijevane parametre Debiana. Za veÄinu Linux distribucija slika izgleda ovako: vm.dirty_ratio=20, vm.dirty_background_ratio=10.
Å ta to znaÄi? Sa jezgre 2.6 pojavio se jedan demon za pražnjenje. Pdglush, u zavisnosti od onoga ko koji koristi, se bavi pozadinskim pražnjenjem prljavih stranica iz kernel buffer-a i pražnjenjem kada god to treba, bez obzira na sve, prljavih stranica kada pozadinsko pražnjenje ne pomaže.
Kada poÄinje pozadina? Kada je 10 % od ukupne operativne memorije na serveru zauzeto prljavim stranicama u kernel buffer-u, poziva se posebna funkcija za pražnjenje u pozadini. ZaÅ”to je ona pozadinska? Ona kao parametar uzima koliko stranica da izbaci. I, na primjer, izbaci N stranica. I na neko vrijeme ta stvar zaspi. A onda se ponovo budi i izbaci joÅ” neki broj stranica.
To je izuzetno jednostavna priÄa. Ovdje je zadaÄa kao s bazenom, kada se u jednu cijev izlijeva, a u drugu ulijeva. DoÅ”ao je checkpoint i ako je malo prljavih stranica poslao na pražnjenje, tada Äe se polako iz kernel buffer-a pgflush ovo sve uredno razliti.
Ako se nastavljaju gomilati te prljave stranice, oni se nakupljaju do 20 %, nakon Äega je prioritet OS-a da ih izbaci na disk, jer Äe se struja iskljuÄiti i sve Äe biti loÅ”e. IzgubiÄemo te podatke, na primjer.
U Äemu je trik? Trik je u tome Å”to su ti parametri u savremenom svijetu 20 i 10 % od ukupne operativne memorije koja je dostupna na maÅ”ini, potpuno monstruozni sa stanoviÅ”ta propusnosti bilo kojeg diska koji imate.
Zamislite da imate 128 GB operativne memorije. 12,8 GB dolazi do vaÅ”eg disk sistema. I kakav god keÅ” da imate ili kakav god niz da imate, oni to neÄe izdržati.

Zato preporuÄujemo da odmah podesite te brojke prema moguÄnostima vaÅ”eg RAID kontrolera. Odmah ovdje dajem preporuku za kontroler koji ima 512 MB keÅ”a.
Sve to izgleda vrlo jednostavno. Možete postaviti vm.dirty_background u bajtima. Ove postavke poniÅ”tavaju prethodne dve. Ili Äe raditi podrazumevani odnos, ili aktivirane one koje su u bajtima. Ali poÅ”to sam DBA konsultant i radim sa raznim klijentima, trudim se da budem oprezan, pa ako se radi u bajtima, onda u bajtima. Niko nije dao nikakvu garanciju da dobar administrator ne Äe dodati RAM serveru, ne Äe ga restartovati, a brojka Äe ostati ista. Samo izraÄunajte ove brojke kako bi sa sigurnoÅ”Äu sve stalo.
Å ta Äe se desiti ako ne stignete? Imam zapisano da se efikasno zaustavlja svaki flushing, ali zapravo je to figura govora. Operativni sistem ima veliki problem ā mnogo prljavih stranica, zato se efikasno zaustavlja taj IO koji generiÅ”u vaÅ”i klijenti, tj. aplikacija Å”alje SQL upit bazi, ona Äeka. Svaki unos-izlaz u nju ima najniži prioritet, jer je baza zauzeta checkpoint-om. A kada Äe ga zavrÅ”iti je potpuno nejasno. Kada dostignete ne pozadinsko, ne background flushing, to znaÄi da je sav vaÅ” IO njime zauzet. I sve dok to ne zavrÅ”i, ne možete niÅ”ta uraditi.
Ovde postoje joÅ” dva važna momenta koja nadilaze ovu prezentaciju. Ove postavke moraju da odgovaraju postavkama u postgresql.conf, tj. postavkama checkpoints. I vaÅ” diskovni sistem treba biti adekvatno podeÅ”en. Ako imate keÅ” na RAID-u, na njemu treba biti baterija. Ljudi kupuju RAID sa dobrim keÅ”om bez baterije. Ako imate SSD u RAID-u, oni moraju biti serverski, tamo moraju biti kondenzatori. Ovde je detaljan kontrolni spisak. Na ovom linku možete pronaÄi moju prezentaciju o tome kako podesiti disk performanse u PostgreSQL-u. Sve ove kontrolne liste su navedene.

Å ta joÅ” može u velikoj meri zakomplikovati život? To su dva parametra. Oni su relativno novi. Po defaultu mogu biti ukljuÄeni u raznim aplikacijama. I mogu zakomplikovati život niÅ”ta manje, ako su pogreÅ”no ukljuÄeni.

Postoje dve relativno nove stvari. One su se veÄ pojavile u treÄim jezgrom. To su sched_migration_cost u nanosekundama i sched_autogroup_enabled, koji je po defaultu ukljuÄen.
Kako oni kvare život? Å ta je sched_migration_cost? Linux scheduler može migrirati proces s jednog CPU-a na drugi. Za PostgreSQL, koji izvrÅ”ava upite, migracija na drugi CPU potpuno je nelogiÄna. Sa stanoviÅ”ta operativnog sistema, kada prebacujete prozore izmeÄu openoffice-a i terminala, to može biti dobro, ali za bazu podataka - to je veoma loÅ”e. Stoga je razborita politika postaviti migration_cost na neku visoku vrednost, barem nekoliko hiljada nanosekundi.
Å ta Äe to znaÄiti za scheduler? Smatrat Äe da je tokom ovog vremena taj proces joÅ” uvek vruÄ. Tj. ako imate neku dugu transakciju koja se neÄim dugo bavi, scheduler Äe to razumeti. Tako Äe smatrati da dok ne proÄe ovaj tajmer, migracija ovog procesa nije potrebna. Ako proces radi neÅ”to, neÄe biti migriran, veÄ Äe mirno zavrÅ”iti na CPU-u koji mu je dodeljen. I rezultat je odliÄan.
Druga stvar - to je autogroup. Dobra ideja za specifiÄne workload-e koji nemaju veze sa savremenim bazama podataka je grupisanje procesa prema virtualnom terminalu sa kojeg su pokrenuti. To je zgodno za neke zadatke. U praksi, PostgreSQL je viÅ”ekorisniÄka sistema sa prefork-om, koja se pokreÄe iz jednog terminala. Imate lock writer, checkpoint i svi vaÅ”i klijentski upiti grupisaÄe se na jednog scheduler-a, na jedan CPU. I Äekat Äe da se oslobodi, da ne ometaju jedni druge i da zauzmu duže vreme na njemu. Ova priÄa apsolutno nije potrebna sa ovakvim optereÄenjem i stoga to treba iskljuÄiti.

Moj kolega Aleksej Lesovski je radio testove sa jednostavnim pgbench-om, gde je poveÄavao migration_cost za red veliÄine i iskljuÄivao autogroup. Razlika na loÅ”em hardveru bila je skoro 10 %. Postoji diskusija na postgres-ovoj mailing listi, gde ljudi daju rezultate kako su takve promene uticale na brzinu upita za 50 %. Takvih priÄa ima mnogo.

I na kraju, o politici uÅ”tede energije. Dobro je Å”to sada Linux može da se koristi na laptopu. I navodno Äe dobro troÅ”iti bateriju. Ali iznenada se otkriva da to može da bude sluÄaj i na serveru.
Å taviÅ”e, ako iznajmljujete servere od nekog hosting provajdera, onda su "dobri" hosting provajderi ne brinu se o tome da vam pruže bolju performansu. Njihov zadatak je da maksimalno efikasno iskoriste svoje hardverske resurse. Stoga, mogu prema zadanim postavkama ukljuÄiti režim Å”tednje energije za laptop na operativnom sistemu.
Ako koristite ovo Äudo na serveru sa bazom podataka pod intenzivnim optereÄenjem, onda je vaÅ” izbor acpi_cpufreq + performance. Äak i sa ondemandom Äe veÄ biti problema.
Intel_pstate je veÄ malo drugaÄiji drajver. I sada se daje prednost ovom, jer je noviji i bolje funkcioniÅ”e.
I, shodno tome, governor bi trebao biti samo performance. Ondemand, powersave i sve ostalo ā to nije za vas.
Rezultati iz explain analyze PostgreSQL mogu se razlikovati za nekoliko redova veliÄine ako ukljuÄite powersave, jer Äe CPU pod vaÅ”om bazom raditi na potpuno nepredvidiv naÄin.
Ove stvari mogu biti ukljuÄene prema zadanim postavkama. Pažljivo pogledajte ā da li su sluÄajno ukljuÄene po zadatku. Ovo može predstavljati veliki problem.

Na kraju, želeo bih da se zahvalim momcima iz naÅ”eg DBA tima PosgreSQL-Consulting, posebno Maksu Boguiku i Alekseju Lesovskom, koji se svakog dana suoÄavaju s izazovima. Trudimo se da za naÅ”e klijente obezbedimo najbolju moguÄu funkcionalnost. Ovdje je kao sa uputstvima za avio bezbednost. Sve je napisano krvlju. Svaka od ovih vijaka otkrivena je tokom nekog problema. Rado ih delim s vama.
Pitanja:
Hvala! Ako, na primer, kompanija želi da Å”tedi i postavi bazu podataka i aplikacionu logiku na jednom serveru, ili ako kompanija prati modernu tendenciju mikroservisnih arhitektura gde se PostgreSQL pokreÄe u kontejneru. U Äemu je stvar? Sysctl globalno utiÄe na sve jezgri. Nisa Äuo da se sysctl na neki naÄin virtuelizuje, da radi odvojeno u kontejneru. Postoji samo cgroup i tamo samo prema delu postoji kontrola. Kako sa tim može da se živi? Ili ako želite performansu, pokrenite PostgreSQL na odvojenom hardverskom serveru i optimizujte ga?
Odgovorili smo na vaÅ”e pitanje na prilike tri naÄina. Ako se ne radi o fiziÄkom serveru koji možete tune-ovati itd., opustite se, sve Äe raditi dobro bez tih podeÅ”avanja. Ako imate optereÄenje zbog kojeg bi trebalo napraviti ova podeÅ”avanja, do fiziÄkog servera Äete doÄi pre nego Å”to se upustite u ova podeÅ”avanja.
Koji je problem? Ako je ovo virtuelni server, verovatno Äete se suoÄavati sa mnogim problemima, na primer, s time Å”to veÄina virtuelnih servera ima priliÄno nekonzistentne latencije diska. Äak i ako je propusnost diskova dobra, jedna neispravna transakcija operacija ulaza-izlaza, koja ne utiÄe mnogo na proseÄnu propusnost, koja se dogodila u trenutku checkpoint-a ili pri zapisivanju u WAL, može znaÄajno uticati na bazu podataka. I to Äete primetiti pre nego Å”to upadnete u ove probleme.
Ako imate NGINX na istom serveru, takoÄer Äete imati isti problem. Borit Äe se za deljenu memoriju. I do problematike opisanih ovde neÄete doÄi.
S druge strane, neki od ovih parametara Äe vam i dalje biti relevantni. Na primer, sa sysctl postavite dirty_ratio da ne bude tako ekstreman ā to Äe, u svakom sluÄaju, pomoÄi. U svakom sluÄaju, imaÄete interakciju s diskom. I ona Äe biti po pogreÅ”nom obrascu. To su zapravo zadani parametri koje sam pokazao. I u svakom sluÄaju, bolje ih je promeniti.
S NUMA mogu biti problemi. VmWare, na primer, dobro radi s NUMA sa potpuno suprotnim podeÅ”avanjima. I ovde treba birati ā fiziÄki server ili ne.
Imam pitanje vezano za Amazon AWS. Imaju unapred podeÅ”ene slike. Jedna od njih se zove Amazon RDS. Da li postoje neka prilagoÄena podeÅ”avanja za njihov operativni sistem?
Postoje podeÅ”avanja, ali to su druga podeÅ”avanja. Ovde podeÅ”avamo operativni sistem iz perspektive kako Äe ga baza podataka koristiti. A tamo postoje parametri koji odreÄuju naÅ” trenutni pravac, ovakvo oblikovanje. Odnosno, potrebni su nam resursi i sada Äemo ih troÅ”iti. Nakon toga, Amazon RDS ove resurse prikljuÄuje, i tamo performanse opadaju. Ima posebno priÄa kako ljudi poÄinju sa tim da eksperimentiÅ”u. Ponekad Äak i vrlo uspeÅ”no. No, to nema veze s podeÅ”avanjima OS-a. To je zapravo hakovanje oblaka. To je druga priÄa.
ZaÅ”to Transparent huge pages ne daju efekta u poreÄenju sa Huge TLB?
Ne daju. Ovo se može objasniti na mnogo naÄina. Ali, u suÅ”tini, jednostavno ne daju efekat. Kakva je priÄa sa PostgreSQL? On prilikom pokretanja dodeljuje veliki deo shared memory. Da li su Transparent ili ne-transparent ā to uopÅ”te nije važno. Äinjenica da se dodeljuju prilikom pokretanja objaÅ”njava sve. Ako ima mnogo memorije i potrebno je ponovo konstruisati shared_memory segment, onda Äe Transparent huge pages biti relevantni. U PostgreSQL-u je jednostavno na poÄetku dodeljen ogroman deo i to je to; kasnije se niÅ”ta posebno ne deÅ”ava. Naravno, može se koristiti, ali postoji Å”ansa da doÄe do curruption shared_memory kada bude ponovo dodeljivao neÅ”to. PostgreSQL zapravo nije upoznat s tim.
Izvor: habr.com
