PodeŔavanje parametara jezgra Linuxa za optimizaciju PostgreSQL-a

PodeÅ”avanje parametara jezgra Linuxa za optimizaciju PostgreSQL-a Optimalna performansa PostgreSQL zavisi od pravilno definisanih parametara operativnog sistema. LoÅ”e podeÅ”eni parametri jezgra OS mogu dovesti do smanjenja performansi servera baze podataka. Stoga je važno da ovi parametri budu podeÅ”eni u skladu s serverom baze podataka i njegovim radnim opterećenjem. U ovom postu ćemo razgovarati o nekim važnim parametrima jezgra Linux-a koji mogu uticati na performansu servera baze podataka i načinima njihovog podeÅ”avanja.

SHMMAX / SHMALL

SHMMAX je parametar jezgra koji se koristi za određivanje maksimalne veličine jednog segmenta deljene memorije (shared memory) koji proces Linux može dodeliti. Pre verzije 9.2, PostgreSQL je koristio System V (SysV), za koji je potrebno podeÅ”avanje SHMMAX. Nakon 9.2, PostgreSQL se prebacio na deljenu memoriju POSIX. Tako da sada je potrebno manje bajtova deljene memorije System V.

Pre verzije 9.3, SHMMAX je bio najvažniji parametar jezgra. Vrednost SHMMAX se postavlja u bajtovima.

Slično tome, SHMALL je joÅ” jedan parametar jezgra koji se koristi za određivanje
ukupnog obima stranica deljene memorije (shared memory). Da biste pogledali trenutne vrednosti SHMMAX, SHMALL ili SHMMIN, koristite komandu ipcs.

SHM* Detalji — Linux

$ ipcs -lm

------ Ograničenja deljene memorije --------
max broj segmenata = 4096
max veličina segm. (kbytes) = 1073741824
max ukupna deljena memorija (kbytes) = 17179869184
min veličina segm. (bytes) = 1

SHM* Detalji — MacOS X

$ ipcs -M
IPC status from  as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max shared memory segment size)
	shmmin:       1	(min shared memory segment size)
	shmmni:      32	(max number of shared memory identifiers)
	shmseg:       8	(max shared memory segments per process)
	shmall:    1024	(max amount of shared memory in pages)

PostgreSQL koristi System V IPC za dodeljivanje deljene memorije. Ovaj parametar je jedan od najvažnijih parametara jezgra. Svaki put kada dobijete sledeće poruke o greÅ”ci, to znači da imate stariju verziju PostgreSQL-a i da ima vrlo nisku vrednost SHMMAX. Očekuje se da korisnici koriguju i povećaju vrednost u skladu s deljenom memorijom koju nameravaju da koriste.

Moguće greÅ”ke u pogreÅ”noj konfiguraciji

Ako je SHMMAX pogreÅ”no podeÅ”en, možete dobiti greÅ”ku prilikom pokuÅ”aja inicijalizacije klastera PostgreSQL pomoću komande initdb.

initdb Failure
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).

HINT: Ova greÅ”ka obično znači da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io SHMMAX parametar vaÅ”eg jezgra.Ā 
Možete smanjiti veličinu zahteva ili rekonfigurisati kernel sa većim SHMMAX. Da biste smanjili veličinu zahteva (trenutno 2072576 bajtova),
smanjite koriŔćenje deljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.

Ako je veličina zahteva već mala, moguće je da je manja od SHMMIN parametra vaÅ”eg kernela,
u kojem slučaju je potrebno povećati veličinu zahteva ili rekonfigurisati SHMMIN.

Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji deljene memorije. Deo procesa se zavrŔio sa kodom izlaza 1

Slično, možete dobiti greÅ”ku prilikom pokretanja PostgreSQL servera koristeći komandu pg_ctl.

pg_ctl greŔka
DANAK: Neuspela sistemska pozivna funkcija je bila shmget(key=5432001, size=14385152, 03600).

HINT: Ova greŔka obično znači da je zahtev PostgreSQL-a za segmentom deljene memorije premaŔio SHMMAX parametar vaŔeg jezgra.

Možete smanjiti veličinu zahteva ili rekonfigurisati kernel sa većim SHMMAX. Da biste smanjili veličinu zahteva (trenutno 14385152 bajtova), smanjite koriŔćenje deljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.

Ako je veličina zahteva već mala, moguće je da je manja od SHMMIN parametra vaÅ”eg kernela,
u kojem slučaju je potrebno povećati veličinu zahteva ili rekonfigurisati SHMMIN.

Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji deljene memorije.

Razumevanje razlika u definicijama

Definicija parametara SHMMAX/SHMALL se pomalo razlikuje u Linuxu i MacOS X:

  • Linux: kernel.shmmax, kernel.shmall
  • MacOS X: kern.sysv.shmmax, kern.sysv.shmall

Tim sysctl može se koristiti za privremenu izmenu vrednosti. Da biste postavili stalne vrednosti, dodajte unos u /etc/sysctl.conf. Detalji su navedeni u nastavku.

Izmena parametara kernela na MacOS X

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

Izmena parametara kernela na Linuxu

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

Ne zaboravite: da biste učinili promene trajnim, dodajte te vrednosti u /etc/sysctl.conf

Velike stranice (Huge Pages)

U Linuxu se po defaultu koriste stranice memorije od 4 KB, u BSD-u — Super Pages, a u Windows-u — Velike stranice (Large Pages). Stranica je deo radne memorije dodeljen procesu. Proces može imati viÅ”e stranica u zavisnosti od zahteva za memorijom. Å to viÅ”e memorije proces zahteva, to viÅ”e stranica mu je dodeljeno. OS podržava tabelu dodele stranica za procese. Å to je manja veličina stranice, to je veća tabela, Å”to viÅ”e vremena zahteva za pretragu stranice u toj tabeli stranica. Stoga velike stranice omogućavaju koriŔćenje velikih količina memorije sa smanjenim troÅ”kovima; manje pretraga stranica, manje greÅ”aka stranica, brže operacije čitanja/pisanja kroz velike baferovane. Kao rezultat toga, dolazi do poboljÅ”anja performansi.

PostgreSQL podržava velike stranice samo na Linuxu. Po defaultu, Linux koristi stranice memorije od 4 KB, pa kada se izvrÅ”i previÅ”e operacija u memoriji, potrebno je postaviti veće stranice. Zapaža se povećanje performansi kada se koriste velike stranice veličine 2 MB i do 1 GB. Veličina velike stranice može se postaviti prilikom pokretanja. Možete lako provjeriti postavke velikih stranica i njihovu upotrebu na vaÅ”em Linux računaru koristeći komandu cat /proc/meminfo | grep -i huge.

Dobijanje informacija o velikim stranicama (samo na Linuxu)

Napomena: Ovo se odnosi samo na Linux, za druge OS ove operacije se ignoriraju$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:       2048 kB

U ovom primjeru, iako je veličina velike stranice postavljena na 2048 (2 MB), ukupni broj velikih stranica je 0. To znači da su velike stranice onemogućene.

Skript za određivanje broja velikih stranica

Ovo je jednostavan skript koji vraća potrebni broj velikih stranica. Pokrenite skript na vaÅ”em Linux serveru dok PostgreSQL radi. Pobrinite se da je varijabla okruženja $PGDATA postavljena na katalog podataka PostgreSQL.

Dobijanje broja potrebnih velikih stranica

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā  $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:Ā Ā Ā  Ā Ā Ā Ā Ā Ā Ā  $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:Ā Ā  $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:Ā Ā Ā Ā  $hp

Izlaz skripta izgleda ovako:

Izlaz skripta

Pid:            12737
VmPeak:        180932 kB
Hugepagesize:   2048 kB
Set Huge Pages: 88

Preporučena vrijednost velikih stranica je 88, pa trebate postaviti ovu vrijednost na 88.

Postavljanje velikih stranica

sysctl -w vm.nr_hugepages=88

Provjerite velike stranice sada, vidjet ćete da velike stranice nisu koriÅ”tene (HugePages_Free = HugePages_Total).

Ponovo informacije o velikim stranicama (samo na Linuxu)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada postavite parametar huge_pages na ā€žonā€œ u $PGDATA/postgresql.conf i ponovo pokrenite server.

I opet informacije o velikim stranicama (samo na Linuxu)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada možete vidjeti da se veoma malo velikih stranica koristi. Hajde da sada pokuŔamo dodati neke podatke u bazu podataka.

Neke operacije sa bazama podataka za koriŔćenje velikih stranica

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

Hajde da vidimo da li trenutno koristimo viŔe velikih stranica nego ranije.

JoÅ” jednom informacije o velikim stranicama (samo na Linux-u)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:        1
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada možete videti da se većina velikih stranica koristi.

Napomena: okvirna vrednost za HugePages koja se ovde koristi je vrlo niska, Å”to nije normalna vrednost za maÅ”inu u proizvodnoj sredini. Molimo procenite potrebnu količinu stranica za vaÅ” sistem i postavite ih u skladu sa opterećenjem i resursima.

vm.swappiness

vm.swappiness — ovo je joÅ” jedan parametar jezgra koji može uticati na performanse baze podataka. Ovaj parametar se koristi za upravljanje ponaÅ”anjem zamene (swappiness) (prebacivanje stranica u i iz memorije) na Linux-u. Vrednost varira od 0 do 100. Određuje koliko će memorije biti izbačeno ili prebačeno. Nula znači isključenje zamene, dok 100 označava agresivnu zamenu.

Možete postići dobre performanse postavljanjem nižih vrednosti.

Postavljanje vrednosti 0 na novijim jezgrima može dovesti do toga da OOM Killer (proces za čiŔćenje memorije na Linux-u) ubije proces. Stoga, može se sigurno postaviti vrednost 1 ako želite da minimizujete zamenu. Podrazumevana vrednost na Linux-u je 60. ViÅ”a vrednost dovodi do toga da MMU (modul za upravljanje memorijom) koristi viÅ”e prostora za zamenu nego RAM, dok niža vrednost čuva viÅ”e podataka/koda u memoriji.

Niža vrednost je dobra opklada za poboljŔanje performansi u PostgreSQL-u.

vm.overcommit_memory / vm.overcommit_ratio

Aplikacije dobijaju memoriju i oslobađaju je kada im viÅ”e nije potrebna. Ali u nekim slučajevima aplikacija dobije previÅ”e memorije i ne oslobodi je. To može izazvati OOM killer. Evo mogućih vrednosti za parametar vm.overcommit_memory sa opisom za svaku:

  1. Heuristički overcommit (podrazumevana vrednost); heuristika zasnovana na jezgru
  2. Dozvoli overcommit u svakom slučaju
  3. Ne preterujte, ne prelazite overcommit faktor.

Link: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

vm.overcommit_ratio — procenat radne memorije dostupne za prekomernu upotrebu. Vrednost od 50% u sistemu sa 2 GB RAM-a može alocirati do 3 GB RAM-a.

Vrednost 2 za vm.overcommit_memory obezbeđuje bolju izvedbu za PostgreSQL. Ova vrednost maksimizuje koriŔćenje radne memorije od strane servera bez značajnog rizika od ubijanja procesa od strane OOM killera. Aplikacija će moći da se ponovo pokrene, ali samo unutar prekomernog opterećenja, Å”to smanjuje rizik od toga da OOM killer ubije proces. Stoga, vrednost 2 pruža bolju izvedbu od podrazumevane vrednosti 0. Ipak, pouzdanost može biti poboljÅ”ana tako da memorija izvan dozvoljenog opsega ne bude preopterećena. To isključuje rizik od ubijanja procesa od strane OOM killera.

U sistemima bez swap-a može doći do problema sa vm.overcommit_memory postavljenim na 2.

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

vm.dirty_background_ratio / vm.dirty_background_bytes

vm.dirty_background_ratio — to je procenat memorije ispunjene prljavim stranicama koje treba zapisati na disk. Oslobađanje na disk vrÅ”i se u pozadini. Vrednost ovog parametra kreće se od 0 do 100; međutim, vrednost ispod 5 može biti neefikasna, a neka jezgra je ne podržavaju. 10 je podrazumevana vrednost u većini Linux sistema. Možete poboljÅ”ati performanse za operacije sa intenzivnim pisanjem sa nižim odnosom, Å”to će značiti da će Linux oslobađati prljave stranice u pozadini.

Trebalo bi da postavite vrednost vm.dirty_background_bytes u zavisnosti od brzine vaŔeg diska.

Za ove dve vrednosti ne postoje "dobre" vrednosti jer obe zavise od hardvera. Međutim, postavljanje vm.dirty_background_ratio na 5 i vm.dirty_background_bytes na 25% od brzine diska može povećati performanse do ~ 25% u većini slučajeva.

vm.dirty_ratio / dirty_bytes

To je isto Å”to i vm.dirty_background_ratio / dirty_background_bytes, osim Å”to se oslobađanje vrÅ”i tokom radne sesije, blokirajući aplikaciju. Zbog toga, vm.dirty_ratio treba biti viÅ”i od vm.dirty_background_ratio. To garantuje da će pozadinski procesi biti pokretani ranije kako bi se izbegla maksimalna moguća blokada aplikacije. Možete prilagoditi razliku između ovih dvaju odnosa u zavisnosti od opterećenja diska.

Zaključak

Možete prilagoditi druge parametre za povećanje performansi, ali će poboljÅ”anja biti minimalna i nećete dobiti nikakvu posebnu korist. Moramo imati na umu da nisu svi parametri relevantni za sve tipove aplikacija. Neke aplikacije bolje funkcioniÅ”u kada prilagodimo određene parametre, dok druge to ne čine. Trebali biste pronaći pravi balans između konfiguracija ovih parametara za očekivano opterećenje i tip aplikacije, a takođe prilikom podeÅ”avanja morate uzeti u obzir ponaÅ”anje operativnog sistema. PodeÅ”avanje parametara jezgra nije tako jednostavno kao podeÅ”avanje parametara baze podataka: ovde je teže dati preporuke.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster