Optimalna izvedba PostgreSQL zavisi od pravilno definiranih parametara operativnog sistema. LoÅ”e podeÅ”eni parametri jezgra OS mogu dovesti do smanjenja performansi servera baze podataka. Stoga je obavezno da ti parametri budu podeÅ”eni u skladu sa serverom baze podataka i njegovim radnim optereÄenjem. U ovom postu Äemo raspraviti o nekim važnim parametrima jezgra Linux-a koji mogu uticati na performanse servera baze podataka i naÄinima njihove konfiguracije.
SHMMAX / SHMALL
SHMMAX ā to je parametar jezgra koji se koristi za odreÄivanje maksimalne veliÄine jednog segmenta deljene memorije (shared memory) koji može rezervisati proces Linux-a. Do verzije 9.2, PostgreSQL je koristio System V (SysV), za koji je potrebna konfiguracija SHMMAX. Nakon 9.2, PostgreSQL je preÅ”ao na deljenu memoriju POSIX. Tako da je sada potrebno manje bajtova deljene memorije System V.
Do verzije 9.3, SHMMAX je bio najvažniji parametar jezgra. Vrednost SHMMAX se postavlja u bajtovima.
SliÄna, SHMALL ā to je joÅ” jedan parametar jezgra koji se koristi za odreÄivanje
ukupnog volumena stranica deljene memorije (shared memory). Da biste pregledali trenutne vrednosti SHMMAX, SHMALL ili SHMMIN, koristite komandu ipcs.
SHM* Detalji ā Linux
$ ipcs -lm
------ OgraniÄenja deljene memorije --------
max broj segmenata = 4096
max veliÄina segmenata (kbytes) = 1073741824
max ukupna deljena memorija (kbytes) = 17179869184
min veliÄina segmenta (bajtovi) = 1SHM* Detalji ā MacOS X
$ ipcs -M
IPC status from as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
shmmax: 16777216 (max shared memory segment size)
shmmin: 1 (min shared memory segment size)
shmmni: 32 (max number of shared memory identifiers)
shmseg: 8 (max shared memory segments per process)
shmall: 1024 (max amount of shared memory in pages)
PostgreSQL koristi System V IPC za rezervaciju deljene memorije. Ovaj parametar je jedan od najvažnijih parametara jezgra. Svaki put kada dobijete sledeÄe poruke o greÅ”ci, to znaÄi da imate stariju verziju PostgreSQL i imate vrlo nisku vrednost SHMMAX. OÄekuje se da Äe korisnici prilagoditi i poveÄati vrednost u skladu sa deljenom memorijom koju nameravaju da koriste.
MoguÄe greÅ”ke u pogreÅ”noj konfiguraciji
Ako je SHMMAX pogreÅ”no podeÅ”en, možete dobiti greÅ”ku prilikom pokuÅ”aja da inicijalizujete PostgreSQL klaster koristeÄi komandu initdb.
initdb Failure
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).
HINT: Ova greÅ”ka obiÄno znaÄi da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io vaÅ” SHMMAX parametar jezgra.Ā
Možete smanjiti veliÄinu zahtjeva ili reconfigure kernel s veÄim SHMMAX. Da biste smanjili veliÄinu zahtjeva (trenutno 2072576 bajtova),
smanjite koriŔtenje dijeljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.
Ako je veliÄina zahtjeva veÄ mala, moguÄe je da je manja od vaÅ”eg SHMMIN parametra u kernelu,
u kojem sluÄaju je potrebno poveÄati veliÄinu zahtjeva ili reconfigurirati SHMMIN.
Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji dijeljene memorije. dijete proces je izaŔao s kodom izlaza 1
SliÄno, možete dobiti pogreÅ”ku prilikom pokretanja PostgreSQL poslužitelja koristeÄi komandu pg_ctl.
pg_ctl neuspjeh
DETAIL: Neuspjela sistemska poziv je bio shmget(key=5432001, size=14385152, 03600).
HINT: Ova greÅ”ka obiÄno znaÄi da je zahtev PostgreSQL-a za segmentom deljene memorije premaÅ”io vaÅ” SHMMAX parametar jezgra.
Možete smanjiti veliÄinu zahtjeva ili reconfigurirati kernel s veÄim SHMMAX.; Da biste smanjili veliÄinu zahtjeva (trenutno 14385152 bajtova), smanjite koriÅ”tenje dijeljene memorije PostgreSQL-a, možda smanjenjem shared_buffers ili max_connections.
Ako je veliÄina zahtjeva veÄ mala, moguÄe je da je manja od vaÅ”eg SHMMIN parametra u kernelu,
u kojem sluÄaju je potrebno poveÄati veliÄinu zahtjeva ili reconfigurirati SHMMIN.
Dokumentacija PostgreSQL-a sadrži viŔe informacija o konfiguraciji dijeljene memorije.
Razumijevanje razlika u definicijama
Definicija parametara SHMMAX/SHMALL malo se razlikuje izmeÄu Linux-a i MacOS X:
- Linux: kernel.shmmax, kernel.shmall
- MacOS X: kern.sysv.shmmax, kern.sysv.shmall
Tim sysctl može se koristiti za privremeno promjenu vrijednosti. Da biste postavili trajne vrijednosti, dodajte unos u /etc/sysctl.conf. Detalji su navedeni u nastavku.
Promjena parametara kernela na MacOS X
# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096
# Get the value of SHMALL
sudo sysctl kern.sysv.shmall
kern.sysv.shmall: 4096
# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216
# Set the value of SHMALL
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216Promjena parametara kernela na Linux
# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096
# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096
# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216
# Set the value of SHMALL
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216Ne zaboravite: da biste promjene uÄinili trajnima, dodajte ove vrijednosti u /etc/sysctl.conf
Velike stranice (Huge Pages)
U Linux-u se po defaultu koriste stranice memorije od 4 KB, dok u BSD-u ā Super Pages, a u Windows-u ā Large Pages. Stranica je dio radne memorije dodijeljen procesŃ. Proces može imati nekoliko stranica ovisno o zahtjevima za memorijom. Å to viÅ”e memorije proces zahtijeva, to viÅ”e stranica mu je dodijeljeno. OS podržava tabelu dodjele stranica za procese. Å to je manja veliÄina stranice, to je veÄa tabela, a time je potrebna viÅ”e vremena za pretraživanje stranice u ovoj tabeli stranica. Stoga velike stranice omoguÄuju koriÅ”tenje velikih koliÄina memorije s smanjenim troÅ”kovima; manje pretraživanja stranica, manje greÅ”aka stranica, brže operacije Äitanja/pisanja putem velikih meÄuspremnika. Kao rezultat ā poboljÅ”anje performansi.
PostgreSQL podržava velike stranice samo na Linuxu. Zadano, Linux koristi 4 KB stranice memorije, stoga u sluÄajevima kada ima previÅ”e operacija s memorijom, potrebno je postaviti veÄe stranice. Osvaja se poboljÅ”anje performansi koriÅ”tenjem velikih stranica veliÄine 2 MB do 1 GB. VeliÄina velike stranice može se postaviti prilikom pokretanja. Možete lako provjeriti parametre velike stranice i njihovo koriÅ”tenje na vaÅ”em Linux raÄunaru koristeÄi naredbu cat /proc/meminfo | grep -i huge.
Dobivanje informacija o velikim stranicama (samo na Linuxu)
Napomena: Ovo je samo za Linux, za druge OS ove operacije se ignoriraju$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kBU ovom primjeru, iako je veliÄina velike stranice postavljena na 2048 (2 MB), ukupni broj velikih stranica ima vrijednost 0. To znaÄi da su velike stranice iskljuÄene.
Skripta za odreÄivanje broja velikih stranica
Ovo je jednostavna skripta koja vraÄa potreban broj velikih stranica. Pokrenite skriptu na vaÅ”em Linux serveru dok radi PostgreSQL. Provjerite da je varijabla okruženja $PGDATA postavljena na katalog podataka PostgreSQL.
Dobivanje broja potrebnih velikih stranica
#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:Ā Ā Ā Ā Ā Ā Ā Ā Ā Ā $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:Ā Ā $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:Ā Ā Ā Ā $hpIzlaz skripte izgleda ovako:
Izlaz skripte
Pid: 12737
VmPeak: 180932 kB
Hugepagesize: 2048 kB
Set Huge Pages: 88PreporuÄena vrijednost za velike stranice je 88, stoga trebate postaviti vrijednost 88.
Postavljanje velikih stranica
sysctl -w vm.nr_hugepages=88Provjerite velike stranice sada, vidjet Äete da velike stranice nisu koriÅ”tene (HugePages_Free = HugePages_Total).
Ponovno informacije o velikim stranicama (samo na Linuxu)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 88
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kBSada postavite parametar huge_pages āonā u $PGDATA/postgresql.conf i ponovo pokrenite server.
I ponovno informacije o velikim stranicama (samo na Linuxu)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 81
HugePages_Rsvd: 64
HugePages_Surp: 0
Hugepagesize: 2048 kBSada možete vidjeti da se vrlo malo velikih stranica koristi. PokuŔajmo sada dodati neke podatke u bazu podataka.
Nekoliko operacija s bazom podataka za upravljanje velikim stranicama
postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000Hajde da vidimo koristimo li sada viŔe velikih stranica nego ranije.
Ponovo informacije o velikim stranicama (samo na Linuxu)
$ cat /proc/meminfo | grep -i huge
AnonHugePages: 0 kB
ShmemHugePages: 0 kB
HugePages_Total: 88
HugePages_Free: 18
HugePages_Rsvd: 1
HugePages_Surp: 0
Hugepagesize: 2048 kBSada možete vidjeti da se veÄina velikih stranica koristi.
Napomena: približna vrijednost za HugePages koja se ovdje koristi vrlo je mala, Å”to nije normalna vrijednost za maÅ”inu u produkciji. Molimo procijenite potreban broj stranica za vaÅ” sistem i postavite ih u skladu s optereÄenjem i resursima.
vm.swappiness
vm.swappiness ā to je joÅ” jedna interna opcija koja može uticati na performanse baze podataka. Ova opcija se koristi za upravljanje ponaÅ”anjem zamjene (swappiness) (prebacivanje stranica u memoriju i iz nje) u Linuxu. Vrijednost varira od 0 do 100. OdreÄuje koliko Äe memorije biti izbaÄeno ili prebaÄeno. Nula znaÄi iskljuÄivanje zamjene, dok 100 znaÄi agresivnu zamjenu.
Možete dobiti dobre performanse postavljanjem nižih vrijednosti.
Postavljanje vrijednosti 0 u novijim jezgrama može dovesti do toga da OOM Killer (proces za ÄiÅ”Äenje memorije u Linuxu) ubije proces. Stoga se može sigurno postaviti vrijednost 1 ako želite minimizirati zamjenu. Zadana vrijednost u Linuxu je 60. ViÅ”a vrijednost uzrokuje da MMU (memorijski upravljaÄ) koristi viÅ”e prostora za zamjenu nego RAM, dok niža vrijednost Äuva viÅ”e podataka/koda u memoriji.
Niža vrijednost je dobar izbor za poboljŔanje performansi u PostgreSQL-u.
vm.overcommit_memory / vm.overcommit_ratio
Aplikacije dobijaju memoriju i oslobaÄaju je kada im viÅ”e nije potrebna. No, u nekim sluÄajevima aplikacija dobije previÅ”e memorije i ne oslobaÄa je. To može izazvati OOM killer. Evo moguÄih vrijednosti za parametar vm.overcommit_memory s opisom za svaki:
- HeuristiÄki overcommit (zadano); heuristika zasnovana na jezgru
- Dozvoli overcommit u svim sluÄajevima
- Ne preopteretiti, ne premaŔiti koeficijent overcommit.
Link:
vm.overcommit_ratio ā postotak radne memorije dostupne za prekomjernu dodjelu. Vrijednost od 50% na sistemu sa 2 GB RAM-a može dodijeliti do 3 GB RAM-a.
Vrijednost 2 za vm.overcommit_memory osigurava bolju izvedbu za PostgreSQL. Ova vrijednost maksimizira koriÅ”tenje radne memorije od strane server procesa bez znaÄajnog rizika od ubijanja procesa OOM killer-om. Aplikacija Äe se moÄi ponovo pokrenuti, ali samo unutar prekomjerne dodjele, Å”to smanjuje rizik od ubijanja procesa OOM killer-om. Stoga, vrijednost 2 pruža bolju izvedbu nego zadana vrijednost 0. Ipak, pouzdanost se može poboljÅ”ati omoguÄavanjem da memorija izvan dozvoljenog opsega ne bude prekomjerno koriÅ”tena. Ovo iskljuÄuje rizik da proces bude ubijen od strane OOM-killera.
U sistemima bez swap prostora može doÄi do problema ako je vm.overcommit_memory postavljen na 2.
vm.dirty_background_ratio / vm.dirty_background_bytes
vm.dirty_background_ratio ā to je postotak memorije ispunjene prljavim stranicama koje se moraju zapisati na disk. Zapisivanje na disk se vrÅ”i u pozadini. Vrijednost ovog parametra kreÄe se od 0 do 100; meÄutim, vrijednost ispod 5 može biti neuÄinkovita, a neka jezgra je ne podržavaju. 10 je zadana vrijednost u veÄini Linux sistema. Možete poveÄati performanse za operacije sa intenzivnim zapisivanjem s manjim koeficijentom, Å”to Äe znaÄiti da Äe Linux zapisivati prljave stranice u pozadini.
Trebate postaviti vrijednost vm.dirty_background_bytes ovisno o brzini vaŔeg diska.
Za ova dva parametra nema ādobrihā vrijednosti, jer obje ovise o hardveru. MeÄutim, postavljanje vm.dirty_background_ratio na 5 i vm.dirty_background_bytes na 25% brzine diska poveÄava performanse do ~ 25% u veÄini sluÄajeva.
vm.dirty_ratio / dirty_bytes
To je isto Å”to i vm.dirty_background_ratio / dirty_background_bytes, osim Å”to se zapisivanje vrÅ”i u aktivnoj sesiji, blokirajuÄi aplikaciju. Stoga, vm.dirty_ratio mora biti veÄi od vm.dirty_background_ratio. Ovo osigurava da pozadinski procesi budu pokrenuti ranije kako bi se izbjeglo maksimalno moguÄe blokiranje aplikacije. Možete podesiti razliku izmeÄu ova dva omjera ovisno o optereÄenju diska.
ZakljuÄak
Možete prilagoditi druge postavke za poboljÅ”anje performansi, ali Äe poboljÅ”anja biti minimalna i neÄete imati znaÄajne koristi. Trebamo imati na umu da se ne odnose sve postavke na sve tipove aplikacija. Neke aplikacije rade bolje kada prilagodimo odreÄene postavke, a neke ā ne. Trebate pronaÄi pravi balans izmeÄu konfiguracija ovih postavki za oÄekivano optereÄenje i tip aplikacije, a takoÄer uzeti u obzir ponaÅ”anje OS-a prilikom podeÅ”avanja. Podesiti parametre jezgra nije tako jednostavno kao podeÅ”avanje parametara baze podataka: ovdje je teže davati svoje preporuke.
Izvor: habr.com
