PodeŔavanje parametara jezgra Linuxa za optimizaciju PostgreSQL-a

PodeÅ”avanje parametara jezgra Linuxa za optimizaciju PostgreSQL-a Optimalna izvedba PostgreSQL zavisi od pravilno definiranih parametara operativnog sistema. LoÅ”e podeÅ”eni parametri jezgra OS mogu dovesti do smanjenja performansi servera baze podataka. Stoga je obavezno da ti parametri budu podeÅ”eni u skladu sa serverom baze podataka i njegovim radnim opterećenjem. U ovom postu ćemo raspraviti o nekim važnim parametrima jezgra Linux-a koji mogu uticati na performanse servera baze podataka i načinima njihove konfiguracije.

SHMMAX / SHMALL

SHMMAX — to je parametar jezgra koji se koristi za određivanje maksimalne veličine jednog segmenta deljene memorije (shared memory) koji može rezervisati proces Linux-a. Do verzije 9.2, PostgreSQL je koristio System V (SysV), za koji je potrebna konfiguracija SHMMAX. Nakon 9.2, PostgreSQL je preÅ”ao na deljenu memoriju POSIX. Tako da je sada potrebno manje bajtova deljene memorije System V.

Do verzije 9.3, SHMMAX je bio najvažniji parametar jezgra. Vrednost SHMMAX se postavlja u bajtovima.

Slična, SHMALL — to je joÅ” jedan parametar jezgra koji se koristi za određivanje
ukupnog volumena stranica deljene memorije (shared memory). Da biste pregledali trenutne vrednosti SHMMAX, SHMALL ili SHMMIN, koristite komandu ipcs.

SHM* Detalji — Linux

$ ipcs -lm

------ Ograničenja deljene memorije --------
max broj segmenata = 4096
max veličina segmenata (kbytes) = 1073741824
max ukupna deljena memorija (kbytes) = 17179869184
min veličina segmenta (bajtovi) = 1

SHM* Detalji — MacOS X

$ ipcs -M
IPC status from  as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max shared memory segment size)
	shmmin:       1	(min shared memory segment size)
	shmmni:      32	(max number of shared memory identifiers)
	shmseg:       8	(max shared memory segments per process)
	shmall:    1024	(max amount of shared memory in pages)

PostgreSQL koristi System V IPC za rezervaciju deljene memorije. Ovaj parametar je jedan od najvažnijih parametara jezgra. Svaki put kada dobijete sledeće poruke o greÅ”ci, to znači da imate stariju verziju PostgreSQL i imate vrlo nisku vrednost SHMMAX. Očekuje se da će korisnici prilagoditi i povećati vrednost u skladu sa deljenom memorijom koju nameravaju da koriste.

Moguće greÅ”ke u pogreÅ”noj konfiguraciji

Ako je SHMMAX pogreÅ”no podeÅ”en, možete dobiti greÅ”ku prilikom pokuÅ”aja da inicijalizujete PostgreSQL klaster koristeći komandu initdb.

initdb Failure
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).

HINT: Ova greÅ”ka obično znači da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io vaÅ” SHMMAX parametar jezgra.Ā 
Možete smanjiti veličinu zahtjeva ili reconfigure kernel s većim SHMMAX. Da biste smanjili veličinu zahtjeva (trenutno 2072576 bajtova),
smanjite koriŔtenje dijeljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.

Ako je veličina zahtjeva već mala, moguće je da je manja od vaÅ”eg SHMMIN parametra u kernelu,
u kojem slučaju je potrebno povećati veličinu zahtjeva ili reconfigurirati SHMMIN.

Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji dijeljene memorije. dijete proces je izaŔao s kodom izlaza 1

Slično, možete dobiti pogreÅ”ku prilikom pokretanja PostgreSQL poslužitelja koristeći komandu pg_ctl.

pg_ctl neuspjeh
DETAIL: Neuspjela sistemska poziv je bio shmget(key=5432001, size=14385152, 03600).

HINT: Ova greŔka obično znači da je zahtev PostgreSQL-a za segmentom deljene memorije premaŔio vaŔ SHMMAX parametar jezgra.

Možete smanjiti veličinu zahtjeva ili reconfigurirati kernel s većim SHMMAX.; Da biste smanjili veličinu zahtjeva (trenutno 14385152 bajtova), smanjite koriÅ”tenje dijeljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.

Ako je veličina zahtjeva već mala, moguće je da je manja od vaÅ”eg SHMMIN parametra u kernelu,
u kojem slučaju je potrebno povećati veličinu zahtjeva ili reconfigurirati SHMMIN.

Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji dijeljene memorije.

Razumijevanje razlika u definicijama

Definicija parametara SHMMAX/SHMALL malo se razlikuje između Linux-a i MacOS X:

  • Linux: kernel.shmmax, kernel.shmall
  • MacOS X: kern.sysv.shmmax, kern.sysv.shmall

Tim sysctl može se koristiti za privremeno promjenu vrijednosti. Da biste postavili trajne vrijednosti, dodajte unos u /etc/sysctl.conf. Detalji su navedeni u nastavku.

Promjena parametara kernela na MacOS X

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

Promjena parametara kernela na Linux

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

Ne zaboravite: da biste promjene učinili trajnima, dodajte ove vrijednosti u /etc/sysctl.conf

Velike stranice (Huge Pages)

U Linux-u se po defaultu koriste stranice memorije od 4 KB, dok u BSD-u — Super Pages, a u Windows-u — Large Pages. Stranica je dio radne memorije dodijeljen procesу. Proces može imati nekoliko stranica ovisno o zahtjevima za memorijom. Å to viÅ”e memorije proces zahtijeva, to viÅ”e stranica mu je dodijeljeno. OS podržava tabelu dodjele stranica za procese. Å to je manja veličina stranice, to je veća tabela, a time je potrebna viÅ”e vremena za pretraživanje stranice u ovoj tabeli stranica. Stoga velike stranice omogućuju koriÅ”tenje velikih količina memorije s smanjenim troÅ”kovima; manje pretraživanja stranica, manje greÅ”aka stranica, brže operacije čitanja/pisanja putem velikih međuspremnika. Kao rezultat — poboljÅ”anje performansi.

PostgreSQL podržava velike stranice samo na Linuxu. Zadano, Linux koristi 4 KB stranice memorije, stoga u slučajevima kada ima previÅ”e operacija s memorijom, potrebno je postaviti veće stranice. Osvaja se poboljÅ”anje performansi koriÅ”tenjem velikih stranica veličine 2 MB do 1 GB. Veličina velike stranice može se postaviti prilikom pokretanja. Možete lako provjeriti parametre velike stranice i njihovo koriÅ”tenje na vaÅ”em Linux računaru koristeći naredbu cat /proc/meminfo | grep -i huge.

Dobivanje informacija o velikim stranicama (samo na Linuxu)

Napomena: Ovo je samo za Linux, za druge OS ove operacije se ignoriraju$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:       2048 kB

U ovom primjeru, iako je veličina velike stranice postavljena na 2048 (2 MB), ukupni broj velikih stranica ima vrijednost 0. To znači da su velike stranice isključene.

Skripta za određivanje broja velikih stranica

Ovo je jednostavna skripta koja vraća potreban broj velikih stranica. Pokrenite skriptu na vaÅ”em Linux serveru dok radi PostgreSQL. Provjerite da je varijabla okruženja $PGDATA postavljena na katalog podataka PostgreSQL.

Dobivanje broja potrebnih velikih stranica

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā  $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:Ā Ā Ā  Ā Ā Ā Ā Ā Ā Ā  $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:Ā Ā  $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:Ā Ā Ā Ā  $hp

Izlaz skripte izgleda ovako:

Izlaz skripte

Pid:            12737
VmPeak:        180932 kB
Hugepagesize:   2048 kB
Set Huge Pages: 88

Preporučena vrijednost za velike stranice je 88, stoga trebate postaviti vrijednost 88.

Postavljanje velikih stranica

sysctl -w vm.nr_hugepages=88

Provjerite velike stranice sada, vidjet ćete da velike stranice nisu koriÅ”tene (HugePages_Free = HugePages_Total).

Ponovno informacije o velikim stranicama (samo na Linuxu)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada postavite parametar huge_pages ā€žonā€œ u $PGDATA/postgresql.conf i ponovo pokrenite server.

I ponovno informacije o velikim stranicama (samo na Linuxu)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada možete vidjeti da se vrlo malo velikih stranica koristi. PokuŔajmo sada dodati neke podatke u bazu podataka.

Nekoliko operacija s bazom podataka za upravljanje velikim stranicama

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

Hajde da vidimo koristimo li sada viŔe velikih stranica nego ranije.

Ponovo informacije o velikim stranicama (samo na Linuxu)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:        1
HugePages_Surp:       0
Hugepagesize:       2048 kB

Sada možete vidjeti da se većina velikih stranica koristi.

Napomena: približna vrijednost za HugePages koja se ovdje koristi vrlo je mala, Å”to nije normalna vrijednost za maÅ”inu u produkciji. Molimo procijenite potreban broj stranica za vaÅ” sistem i postavite ih u skladu s opterećenjem i resursima.

vm.swappiness

vm.swappiness — to je joÅ” jedna interna opcija koja može uticati na performanse baze podataka. Ova opcija se koristi za upravljanje ponaÅ”anjem zamjene (swappiness) (prebacivanje stranica u memoriju i iz nje) u Linuxu. Vrijednost varira od 0 do 100. Određuje koliko će memorije biti izbačeno ili prebačeno. Nula znači isključivanje zamjene, dok 100 znači agresivnu zamjenu.

Možete dobiti dobre performanse postavljanjem nižih vrijednosti.

Postavljanje vrijednosti 0 u novijim jezgrama može dovesti do toga da OOM Killer (proces za čiŔćenje memorije u Linuxu) ubije proces. Stoga se može sigurno postaviti vrijednost 1 ako želite minimizirati zamjenu. Zadana vrijednost u Linuxu je 60. ViÅ”a vrijednost uzrokuje da MMU (memorijski upravljač) koristi viÅ”e prostora za zamjenu nego RAM, dok niža vrijednost čuva viÅ”e podataka/koda u memoriji.

Niža vrijednost je dobar izbor za poboljŔanje performansi u PostgreSQL-u.

vm.overcommit_memory / vm.overcommit_ratio

Aplikacije dobijaju memoriju i oslobađaju je kada im viÅ”e nije potrebna. No, u nekim slučajevima aplikacija dobije previÅ”e memorije i ne oslobađa je. To može izazvati OOM killer. Evo mogućih vrijednosti za parametar vm.overcommit_memory s opisom za svaki:

  1. Heuristički overcommit (zadano); heuristika zasnovana na jezgru
  2. Dozvoli overcommit u svim slučajevima
  3. Ne preopteretiti, ne premaŔiti koeficijent overcommit.

Link: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

vm.overcommit_ratio — postotak radne memorije dostupne za prekomjernu dodjelu. Vrijednost od 50% na sistemu sa 2 GB RAM-a može dodijeliti do 3 GB RAM-a.

Vrijednost 2 za vm.overcommit_memory osigurava bolju izvedbu za PostgreSQL. Ova vrijednost maksimizira koriÅ”tenje radne memorije od strane server procesa bez značajnog rizika od ubijanja procesa OOM killer-om. Aplikacija će se moći ponovo pokrenuti, ali samo unutar prekomjerne dodjele, Å”to smanjuje rizik od ubijanja procesa OOM killer-om. Stoga, vrijednost 2 pruža bolju izvedbu nego zadana vrijednost 0. Ipak, pouzdanost se može poboljÅ”ati omogućavanjem da memorija izvan dozvoljenog opsega ne bude prekomjerno koriÅ”tena. Ovo isključuje rizik da proces bude ubijen od strane OOM-killera.

U sistemima bez swap prostora može doći do problema ako je vm.overcommit_memory postavljen na 2.

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

vm.dirty_background_ratio / vm.dirty_background_bytes

vm.dirty_background_ratio — to je postotak memorije ispunjene prljavim stranicama koje se moraju zapisati na disk. Zapisivanje na disk se vrÅ”i u pozadini. Vrijednost ovog parametra kreće se od 0 do 100; međutim, vrijednost ispod 5 može biti neučinkovita, a neka jezgra je ne podržavaju. 10 je zadana vrijednost u većini Linux sistema. Možete povećati performanse za operacije sa intenzivnim zapisivanjem s manjim koeficijentom, Å”to će značiti da će Linux zapisivati prljave stranice u pozadini.

Trebate postaviti vrijednost vm.dirty_background_bytes ovisno o brzini vaŔeg diska.

Za ova dva parametra nema ā€ždobrihā€œ vrijednosti, jer obje ovise o hardveru. Međutim, postavljanje vm.dirty_background_ratio na 5 i vm.dirty_background_bytes na 25% brzine diska povećava performanse do ~ 25% u većini slučajeva.

vm.dirty_ratio / dirty_bytes

To je isto Å”to i vm.dirty_background_ratio / dirty_background_bytes, osim Å”to se zapisivanje vrÅ”i u aktivnoj sesiji, blokirajući aplikaciju. Stoga, vm.dirty_ratio mora biti veći od vm.dirty_background_ratio. Ovo osigurava da pozadinski procesi budu pokrenuti ranije kako bi se izbjeglo maksimalno moguće blokiranje aplikacije. Možete podesiti razliku između ova dva omjera ovisno o opterećenju diska.

Zaključak

Možete prilagoditi druge postavke za poboljÅ”anje performansi, ali će poboljÅ”anja biti minimalna i nećete imati značajne koristi. Trebamo imati na umu da se ne odnose sve postavke na sve tipove aplikacija. Neke aplikacije rade bolje kada prilagodimo određene postavke, a neke – ne. Trebate pronaći pravi balans između konfiguracija ovih postavki za očekivano opterećenje i tip aplikacije, a također uzeti u obzir ponaÅ”anje OS-a prilikom podeÅ”avanja. Podesiti parametre jezgra nije tako jednostavno kao podeÅ”avanje parametara baze podataka: ovdje je teže davati svoje preporuke.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere šŸ”„ Kupite pouzdan hosting za sajtove uz zaÅ”titu od DDoS, VPS VDS servere | ProHoster