Optimalna performansa PostgreSQL zavisi od pravilno definisanih parametara operativnog sistema. LoÅ”e podeÅ”eni parametri jezgra OS mogu dovesti do smanjenja performansi servera baze podataka. Stoga je važno da ovi parametri budu podeÅ”eni u skladu s serverom baze podataka i njegovim radnim optereÄenjem. U ovom postu Äemo razgovarati o nekim važnim parametrima jezgra Linux-a koji mogu uticati na performansu servera baze podataka i naÄinima njihovog podeÅ”avanja.
SHMMAX / SHMALL
SHMMAX je parametar jezgra koji se koristi za odreÄivanje maksimalne veliÄine jednog segmenta deljene memorije (shared memory) koji proces Linux može dodeliti. Pre verzije 9.2, PostgreSQL je koristio System V (SysV), za koji je potrebno podeÅ”avanje SHMMAX. Nakon 9.2, PostgreSQL se prebacio na deljenu memoriju POSIX. Tako da sada je potrebno manje bajtova deljene memorije System V.
Pre verzije 9.3, SHMMAX je bio najvažniji parametar jezgra. Vrednost SHMMAX se postavlja u bajtovima.
SliÄno tome, SHMALL je joÅ” jedan parametar jezgra koji se koristi za odreÄivanje
ukupnog obima stranica deljene memorije (shared memory). Da biste pogledali trenutne vrednosti SHMMAX, SHMALL ili SHMMIN, koristite komandu ipcs.
SHM* Detalji ā Linux
$ ipcs -lm
------ OgraniÄenja deljene memorije --------
max broj segmenata = 4096
max veliÄina segm. (kbytes) = 1073741824
max ukupna deljena memorija (kbytes) = 17179869184
min veliÄina segm. (bytes) = 1SHM* Detalji ā MacOS X
$ ipcs -M
IPC status from as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
shmmax: 16777216 (max shared memory segment size)
shmmin: 1 (min shared memory segment size)
shmmni: 32 (max number of shared memory identifiers)
shmseg: 8 (max shared memory segments per process)
shmall: 1024 (max amount of shared memory in pages)
PostgreSQL koristi System V IPC za dodeljivanje deljene memorije. Ovaj parametar je jedan od najvažnijih parametara jezgra. Svaki put kada dobijete sledeÄe poruke o greÅ”ci, to znaÄi da imate stariju verziju PostgreSQL-a i da ima vrlo nisku vrednost SHMMAX. OÄekuje se da korisnici koriguju i poveÄaju vrednost u skladu s deljenom memorijom koju nameravaju da koriste.
MoguÄe greÅ”ke u pogreÅ”noj konfiguraciji
Ako je SHMMAX pogreÅ”no podeÅ”en, možete dobiti greÅ”ku prilikom pokuÅ”aja inicijalizacije klastera PostgreSQL pomoÄu komande initdb.
initdb Failure
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).
HINT: Ova greÅ”ka obiÄno znaÄi da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io SHMMAX parametar vaÅ”eg jezgra.Ā
Možete smanjiti veliÄinu zahteva ili rekonfigurisati kernel sa veÄim SHMMAX. Da biste smanjili veliÄinu zahteva (trenutno 2072576 bajtova),
smanjite koriÅ”Äenje deljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.
Ako je veliÄina zahteva veÄ mala, moguÄe je da je manja od SHMMIN parametra vaÅ”eg kernela,
u kojem sluÄaju je potrebno poveÄati veliÄinu zahteva ili rekonfigurisati SHMMIN.
Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji deljene memorije. Deo procesa se zavrŔio sa kodom izlaza 1
SliÄno, možete dobiti greÅ”ku prilikom pokretanja PostgreSQL servera koristeÄi komandu pg_ctl.
pg_ctl greŔka
DANAK: Neuspela sistemska pozivna funkcija je bila shmget(key=5432001, size=14385152, 03600).
HINT: Ova greÅ”ka obiÄno znaÄi da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io SHMMAX parametar vaÅ”eg jezgra.
Možete smanjiti veliÄinu zahteva ili rekonfigurisati kernel sa veÄim SHMMAX. Da biste smanjili veliÄinu zahteva (trenutno 14385152 bajtova), smanjite koriÅ”Äenje deljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.
Ako je veliÄina zahteva veÄ mala, moguÄe je da je manja od SHMMIN parametra vaÅ”eg kernela,
u kojem sluÄaju je potrebno poveÄati veliÄinu zahteva ili rekonfigurisati SHMMIN.
Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji deljene memorije.
Razumevanje razlika u definicijama
Definicija parametara SHMMAX/SHMALL se pomalo razlikuje u Linuxu i MacOS X:
- Linux: kernel.shmmax, kernel.shmall
- MacOS X: kern.sysv.shmmax, kern.sysv.shmall
Tim sysctl može se koristiti za privremenu izmenu vrednosti. Da biste postavili stalne vrednosti, dodajte unos u /etc/sysctl.conf. Detalji su navedeni u nastavku.
Izmena parametara kernela na MacOS X
# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096
# Get the value of SHMALL
sudo sysctl kern.sysv.shmall
kern.sysv.shmall: 4096
# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216
# Set the value of SHMALL
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216Izmena parametara kernela na Linuxu
# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096
# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096
# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216
# Set the value of SHMALL
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216Ne zaboravite: da biste uÄinili promene trajnim, dodajte te vrednosti u /etc/sysctl.conf
Velike stranice (Huge Pages)
U Linuxu se po defaultu koriste stranice memorije od 4 KB, u BSD-u ā Super Pages, a u Windows-u ā Velike stranice (Large Pages). Stranica je deo radne memorije dodeljen procesu. Proces može imati viÅ”e stranica u zavisnosti od zahteva za memorijom. Å to viÅ”e memorije proces zahteva, to viÅ”e stranica mu je dodeljeno. OS podržava tabelu dodele stranica za procese. Å to je manja veliÄina stranice, to je veÄa tabela, Å”to viÅ”e vremena zahteva za pretragu stranice u toj tabeli stranica. Stoga velike stranice omoguÄavaju koriÅ”Äenje velikih koliÄina memorije sa smanjenim troÅ”kovima; manje pretraga stranica, manje greÅ”aka stranica, brže operacije Äitanja/pisanja kroz velike baferovane. Kao rezultat toga, dolazi do poboljÅ”anja performansi.
PostgreSQL podržava velike stranice samo na Linuxu. Po defaultu, Linux koristi stranice memorije od 4 KB, pa kada se izvrÅ”i previÅ”e operacija u memoriji, potrebno je postaviti veÄe stranice. Zapaža se poveÄanje performansi kada se koriste velike stranice veliÄine 2 MB i do 1 GB. VeliÄina velike stranice može se postaviti prilikom pokretanja. Možete lako provjeriti postavke velikih stranica i njihovu upotrebu na vaÅ”em Linux raÄunaru koristeÄi komandu cat /proc/meminfo | grep -i huge.
Dobijanje informacija o velikim stranicama (samo na Linuxu)
Napomena: Ovo se odnosi samo na Linux, za druge OS ove operacije se ignoriraju$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kBU ovom primjeru, iako je veliÄina velike stranice postavljena na 2048 (2 MB), ukupni broj velikih stranica je 0. To znaÄi da su velike stranice onemoguÄene.
Skript za odreÄivanje broja velikih stranica
Ovo je jednostavan skript koji vraÄa potrebni broj velikih stranica. Pokrenite skript na vaÅ”em Linux serveru dok PostgreSQL radi. Pobrinite se da je varijabla okruženja $PGDATA postavljena na katalog podataka PostgreSQL.
Dobijanje broja potrebnih velikih stranica
#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:Ā Ā $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:Ā Ā Ā Ā $hpIzlaz skripta izgleda ovako:
Izlaz skripta
Pid: 12737
VmPeak: 180932 kB
Hugepagesize: 2048 kB
Set Huge Pages: 88PreporuÄena vrijednost velikih stranica je 88, pa trebate postaviti ovu vrijednost na 88.
Postavljanje velikih stranica
sysctl -w vm.nr_hugepages=88Provjerite velike stranice sada, vidjet Äete da velike stranice nisu koriÅ”tene (HugePages_Free = HugePages_Total).
Ponovo informacije o velikim stranicama (samo na Linuxu)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 88
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kBSada postavite parametar huge_pages na āonā u $PGDATA/postgresql.conf i ponovo pokrenite server.
I opet informacije o velikim stranicama (samo na Linuxu)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 81
HugePages_Rsvd: 64
HugePages_Surp: 0
Hugepagesize: 2048 kBSada možete vidjeti da se veoma malo velikih stranica koristi. Hajde da sada pokuŔamo dodati neke podatke u bazu podataka.
Neke operacije sa bazama podataka za koriÅ”Äenje velikih stranica
postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000Hajde da vidimo da li trenutno koristimo viŔe velikih stranica nego ranije.
JoÅ” jednom informacije o velikim stranicama (samo na Linux-u)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 18
HugePages_Rsvd: 1
HugePages_Surp: 0
Hugepagesize: 2048 kBSada možete videti da se veÄina velikih stranica koristi.
Napomena: okvirna vrednost za HugePages koja se ovde koristi je vrlo niska, Å”to nije normalna vrednost za maÅ”inu u proizvodnoj sredini. Molimo procenite potrebnu koliÄinu stranica za vaÅ” sistem i postavite ih u skladu sa optereÄenjem i resursima.
vm.swappiness
vm.swappiness ā ovo je joÅ” jedan parametar jezgra koji može uticati na performanse baze podataka. Ovaj parametar se koristi za upravljanje ponaÅ”anjem zamene (swappiness) (prebacivanje stranica u i iz memorije) na Linux-u. Vrednost varira od 0 do 100. OdreÄuje koliko Äe memorije biti izbaÄeno ili prebaÄeno. Nula znaÄi iskljuÄenje zamene, dok 100 oznaÄava agresivnu zamenu.
Možete postiÄi dobre performanse postavljanjem nižih vrednosti.
Postavljanje vrednosti 0 na novijim jezgrima može dovesti do toga da OOM Killer (proces za ÄiÅ”Äenje memorije na Linux-u) ubije proces. Stoga, može se sigurno postaviti vrednost 1 ako želite da minimizujete zamenu. Podrazumevana vrednost na Linux-u je 60. ViÅ”a vrednost dovodi do toga da MMU (modul za upravljanje memorijom) koristi viÅ”e prostora za zamenu nego RAM, dok niža vrednost Äuva viÅ”e podataka/koda u memoriji.
Niža vrednost je dobra opklada za poboljŔanje performansi u PostgreSQL-u.
vm.overcommit_memory / vm.overcommit_ratio
Aplikacije dobijaju memoriju i oslobaÄaju je kada im viÅ”e nije potrebna. Ali u nekim sluÄajevima aplikacija dobije previÅ”e memorije i ne oslobodi je. To može izazvati OOM killer. Evo moguÄih vrednosti za parametar vm.overcommit_memory sa opisom za svaku:
- HeuristiÄki overcommit (podrazumevana vrednost); heuristika zasnovana na jezgru
- Dozvoli overcommit u svakom sluÄaju
- Ne preterujte, ne prelazite overcommit faktor.
Link:
vm.overcommit_ratio ā procenat radne memorije dostupne za prekomernu upotrebu. Vrednost od 50% u sistemu sa 2 GB RAM-a može alocirati do 3 GB RAM-a.
Vrednost 2 za vm.overcommit_memory obezbeÄuje bolju izvedbu za PostgreSQL. Ova vrednost maksimizuje koriÅ”Äenje radne memorije od strane servera bez znaÄajnog rizika od ubijanja procesa od strane OOM killera. Aplikacija Äe moÄi da se ponovo pokrene, ali samo unutar prekomernog optereÄenja, Å”to smanjuje rizik od toga da OOM killer ubije proces. Stoga, vrednost 2 pruža bolju izvedbu od podrazumevane vrednosti 0. Ipak, pouzdanost može biti poboljÅ”ana tako da memorija izvan dozvoljenog opsega ne bude preoptereÄena. To iskljuÄuje rizik od ubijanja procesa od strane OOM killera.
U sistemima bez swap-a može doÄi do problema sa vm.overcommit_memory postavljenim na 2.
vm.dirty_background_ratio / vm.dirty_background_bytes
vm.dirty_background_ratio ā to je procenat memorije ispunjene prljavim stranicama koje treba zapisati na disk. OslobaÄanje na disk vrÅ”i se u pozadini. Vrednost ovog parametra kreÄe se od 0 do 100; meÄutim, vrednost ispod 5 može biti neefikasna, a neka jezgra je ne podržavaju. 10 je podrazumevana vrednost u veÄini Linux sistema. Možete poboljÅ”ati performanse za operacije sa intenzivnim pisanjem sa nižim odnosom, Å”to Äe znaÄiti da Äe Linux oslobaÄati prljave stranice u pozadini.
Trebalo bi da postavite vrednost vm.dirty_background_bytes u zavisnosti od brzine vaŔeg diska.
Za ove dve vrednosti ne postoje "dobre" vrednosti jer obe zavise od hardvera. MeÄutim, postavljanje vm.dirty_background_ratio na 5 i vm.dirty_background_bytes na 25% od brzine diska može poveÄati performanse do ~ 25% u veÄini sluÄajeva.
vm.dirty_ratio / dirty_bytes
To je isto Å”to i vm.dirty_background_ratio / dirty_background_bytes, osim Å”to se oslobaÄanje vrÅ”i tokom radne sesije, blokirajuÄi aplikaciju. Zbog toga, vm.dirty_ratio treba biti viÅ”i od vm.dirty_background_ratio. To garantuje da Äe pozadinski procesi biti pokretani ranije kako bi se izbegla maksimalna moguÄa blokada aplikacije. Možete prilagoditi razliku izmeÄu ovih dvaju odnosa u zavisnosti od optereÄenja diska.
ZakljuÄak
Možete prilagoditi druge parametre za poveÄanje performansi, ali Äe poboljÅ”anja biti minimalna i neÄete dobiti nikakvu posebnu korist. Moramo imati na umu da nisu svi parametri relevantni za sve tipove aplikacija. Neke aplikacije bolje funkcioniÅ”u kada prilagodimo odreÄene parametre, dok druge to ne Äine. Trebali biste pronaÄi pravi balans izmeÄu konfiguracija ovih parametara za oÄekivano optereÄenje i tip aplikacije, a takoÄe prilikom podeÅ”avanja morate uzeti u obzir ponaÅ”anje operativnog sistema. PodeÅ”avanje parametara jezgra nije tako jednostavno kao podeÅ”avanje parametara baze podataka: ovde je teže dati preporuke.
Izvor: habr.com
