🥇Linuxi kerneliparameetrite seadistamine PostgreSQL'i optimeerimiseks

PostgreSQL-i optimaalne jõudlus sõltub õigesti määratletud operatsioonisüsteemi parameetritest. Vale seadistamine võib viia andmebaasiserveri jõudluse languseni. Seetõttu on hädavajalik, et need parameetrid oleksid seadistatud vastavalt andmebaasiserverile ja selle koormusele. Selles postituses arutame mõningaid olulisi Linuxi südamiku parameetreid, mis võivad mõjutada andmebaasiserveri jõudlust ja nende seadistamise viise.

SHMMAX / SHMALL

SHMMAX — on südamiku parameeter, mida kasutatakse Linuxi protsessi poolt eraldatava maksimumi määramiseks ühe jagatud mälu (shared memory) segmendi suuruse osas. Enne versiooni 9.2 kasutas PostgreSQL System V (SysV), mille jaoks on vajalik SHMMAX-i seadistamine. Pärast 9.2 on PostgreSQL hüpanud POSIX jagatud mälule. Nii et nüüd on vaja vähem System V jagatud mälu baite.

Enne versiooni 9.3 oli SHMMAX kõige olulisem südamiku parameeter. SHMMAX-i väärtus määratakse bittides.

Sarnaselt, SHMALL — on veel üks südamiku parameeter, mida kasutatakse määramiseks
üldiselt süsteemne jagatud mälu (shared memory) lehtede maht. Praeguste SHMMAX, SHMALL või SHMMIN väärtuste vaatamiseks kasutage käsku ipcs.

SHM* üksikasjad — Linux

$ ipcs -lm

------ Jagatud mälu piirangud --------
max segmentide arv = 4096
max segment suurus (kbytes) = 1073741824
max kogu jagatud mälu (kbytes) = 17179869184
min segment suurus (bytes) = 1

SHM* üksikasjad — MacOS X

$ ipcs -M
IPC olek alates  Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max jagatud mälu segment suurus)
	shmmin:       1	(min jagatud mälu segment suurus)
	shmmni:      32	(max jagatud mälu identifikaatorite arv)
	shmseg:       8	(max jagatud mälu segmente protsessi kohta)
	shmall:    1024	(max jagatud mälu kogus lehekülgede kaupa)

PostgreSQL kasutab System V IPC jagatud mälu eraldamiseks. See seade on üks kõige olulisemaid tuumaparameetreid. Iga kord, kui saate järgmised veateated, tähendab see, et teil on vanem PostgreSQL versioon ja SHMMAX väärtus on väga madal. Oodatakse, et kasutajad kohandavad ja suurendavad väärtust vastavalt jagatud mälu hulgale, mida nad kavatsevad kasutada.

Vale konfiguratsiooni vead

Kui SHMMAX on vale seadistusega, võite saada veateate, kui proovite algatada PostgreSQL klastrit käsuga initdb.

initdb ebaõnnestumine
DETAIL: Ebaõnnestunud süsteemi kõne oli shmget(key=1, size=2072576, 03600).

NÕU: See viga tähendab tavaliselt, et PostgreSQL-i nõue jagatud mälu segmendi jaoks ületab teie südamiku SHMMAX parameetrit.
Saate kas vähendada nõude suurust või konfigureerida südamikku suurema SHMMAX-iga. Nõude suuruse vähendamiseks (praegu 2072576 baiti),
vähendage PostgreSQL-i jagatud mälu kasutamist, näiteks vähendades shared_buffers või max_connections.

Kui nõude suurus on juba väike, on võimalik, et see on väiksem kui teie südamiku SHMMIN parameeter,
sel juhul tuleb nõude suurust suurendada või SHMMIN-i konfigureerida.

PostgreSQL-i dokumentatsioon sisaldab rohkem teavet jagatud mälu konfiguratsiooni kohta. lastprotsess lõpetas exit koodiga 1

Samuti võite saada vea PostgreSQL-serveri käivitamisel kasutades käsku pg_ctl.

pg_ctl ebaõnnestumine
DETAIL: Ebaõnnestunud süsteemi kõne oli shmget(key=5432001, size=14385152, 03600).

NÕU: See viga tähendab tavaliselt, et PostgreSQL-i nõue jagatud mälu segmendi jaoks ületab teie südamiku SHMMAX parameetrit.

Saate kas vähendada nõude suurust või konfigureerida südamikku suurema SHMMAX-iga. Nõude suuruse vähendamiseks (praegu 14385152 baiti) vähendage PostgreSQL-i jagatud mälu kasutamist, näiteks vähendades shared_buffers või max_connections.

Kui nõude suurus on juba väike, on võimalik, et see on väiksem kui teie südamiku SHMMIN parameeter,
sel juhul tuleb nõude suurust suurendada või SHMMIN-i konfigureerida.

PostgreSQL-i dokumentatsioon sisaldab rohkem teavet jagatud mälu konfiguratsiooni kohta.

Mõistmine määratlemise erinevustest

SHMMAX/SHMALL parameetrite määratlemine erineb Linuxis ja MacOS X-is:

Linux: kernel.shmmax, kernel.shmall
MacOS X: kern.sysv.shmmax, kern.sysv.shmall

Meeskond sysctl võib ajutiste väärtuste muutmiseks kasutada. Püsivate väärtuste seadmiseks lisage kirje /etc/sysctl.conf. Üksikasjad on allpool.

Südamiku parameetrite muutmine MacOS X-il

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

Südamiku parameetrite muutmine Linuxis

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

Ärge unustage: et muudatused püsivaks muuta, lisage need väärtused faili /etc/sysctl.conf

Suured lehed (Huge Pages)

Linuxis kasutatakse vaikimisi 4 KB mälu lehti, BSD-s — Super Pages, Windowsis — Suured lehed. Leht on osa operatiivmälu, mis on eraldatud protsessile. Protsessil võib olla mitu lehte, sõltuvalt mälunõudest. Mida rohkem mälu protsess vajab, seda rohkem lehti talle eraldatakse. OS toetab protsesside jaoks lehtede eraldamise tabelit. Mida väiksem on lehe suurus, seda suurem on tabel, seda rohkem aega kulub lehe leidmiseks selles lehtede tabelis. Seetõttu võimaldavad suured lehed kasutada suurt hulka mälu vähenenud kuludega; vähem lehe vaatamisi, vähem lehe vigu, kiirem lugemise/kirjutamise töötlus suurte pubufferitega. Tulemusena — jõudluse paranemine.

PostgreSQL toetab suuri lehti ainult Linuxis. Vaikimisi kasutab Linux 4 KB mälu lehti, seega, kui mäluoperatsioone on liiga palju, tuleb kasutada suuremaid lehti. Suuruse suurenemine on märgatav, kui kasutada suuri lehti, mille suurus on 2 MB kuni 1 GB. Suure lehe suurust saab seadistada süsteemi käivitamisel. Suuri lehti ja nende kasutust saate oma Linuxi arvutis hõlpsasti kontrollida, kasutades käsku cat /proc/meminfo | grep -i huge.

Suure lehe teabe saamine (ainult Linuxi jaoks)

Märkus: see kehtib ainult Linuxile, teistele opsüsteemidele seda toimingut ei rakendata $ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:      2048 kB

Selles näites, kuigi suur leht on seadistatud 2048 (2 MB), on suurte lehtede koguhulk 0. See tähendab, et suured lehed on keelatud.

Suure lehe arvu määramise skript

See on lihtne skript, mis tagastab vajaliku suurte lehtede arvu. Käivitage skript oma Linuxi serveris, kuni PostgreSQL töötab. Veenduge, et keskkonnamuutuja $PGDATA on määratud PostgreSQL andme kataloogiks.

Suurte lehtede arv

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:            $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:            $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:   $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:     $hp

Skripti väljund näeb välja järgmine:

Skripti väljund

Pid:            12737
VmPeak:        180932 kB
Hugepagesize:  2048 kB
Set Huge Pages: 88

Soovitatav suurte lehtede väärtus on 88, seega peaksite määrama väärtuse 88.

Suure lehe seadmine

sysctl -w vm.nr_hugepages=88

Kontrollige nüüd suuri lehti, näete, et suured lehed ei ole kasutusel (HugePages_Free = HugePages_Total).

Jällegi teave suurte lehtede kohta (ainult Linuxis)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Nüüd seadke huge_pages parameeter 'on' failis $PGDATA/postgresql.conf ja taaskäivitage server.

Ja jälle teave suurte lehtede kohta (ainult Linuxis)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:        0
Hugepagesize:       2048 kB

Nüüd näete, et suurt lehekülge kasutatakse väga vähe. Proovime nüüd andmeid andmebaasi lisada.

Mõned andmebaasi toimingud suurte lehekülgede utiliseerimiseks

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

Vaadake, kas me kasutame nüüd rohkem suuri lehekülgi kui varem.

Veel kord teave suurte lehekülgede kohta (ainult Linuxi jaoks)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:        1
HugePages_Surp:        0
Hugepagesize:       2048 kB

Nüüd näete, et enamik suuri lehekülgi on kasutuses.

Märkus: siin kasutatud HugePages'i ligikaudne väärtus on väga madal, mis ei ole tootmiskeskkonna masina jaoks normaalne. Palun hinnake oma süsteemi vajaminevat lehekülgede arvu ja seadistage need vastavalt koormusele ja ressurssidele.

vm.swappiness

vm.swappiness — see on veel üks tuumaparameeter, mis võib andmebaasi jõudlust mõjutada. Seda parameetrit kasutatakse vahetuse (swappiness) käitumise juhtimiseks (lehekülgede vahetamine mällu ja sealt välja) Linuxis. Väärtus jääb vahemikku 0 kuni 100. See määrab, kui palju mälu vabastatakse või vahetatakse. Null tähistab, et vahetust ei ole, ja 100 tähendab agressiivset vahetust.

Saate head jõudlust saavutada, seadistades madalamad väärtused.

Väärtuse seadmine 0 uutesse kärgedesse võib põhjustada OOM Killeri (Linuxi mälu puhastamise protsess) protsessi tapmise. Seega on ohutu seada väärtus 1, kui soovite vähendada vahetust. Vaikimisi on Linuxi väärtus 60. Kõrgem väärtus muudab MMU (mälu juhtimise blokki) kasutama rohkem vahetusruumi kui RAM, samas kui madalam väärtus hoiab rohkem andmeid/koodi mälus.

Madalam väärtus on hea võimalus PostgreSQL sooritusvõime parandamiseks.

vm.overcommit_memory / vm.overcommit_ratio

Rakendused saavad mälu ja vabastavad selle, kui see enam vajalik ei ole. Kuid mõnel juhul saavad rakendused liiga palju mälu ja ei vabasta seda. See võib põhjustada OOM-killerit. Siin on võimalikud parameetri väärtused vm.overcommit_memory igaühe kirjeldusega:

Heuristiline ülekoormus (vaikekäitumine); tuumapõhine heuristika
Lubage ülekoormus igal juhul
Ärge üle pingutage, ärge ületage ülekoormuse suhet.

Viide: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

vm.overcommit_ratio — protsent töötavast mälust, mis on ülekoormuse jaoks saadaval. 50% väärtus süsteemis, kus on 2 GB RAM-i, võib eraldada kuni 3 GB RAM-i.

vm.overcommit_memory väärtus 2 tagab PostgreSQL-i jaoks parema jõudluse. See väärtus maksimeerib serveriprotsessi mälukasutust ilma OOM killer'i protsessi tapmise olulise riskita. Rakendus suudab taaskäivituda, kuid ainult ülejäägi piires, mis vähendab riski, et OOM killer protsessi tapab. Seetõttu pakub väärtus 2 parem jõudlus kui vaikeväärtus 0. Siiski, usaldusväärsust saab parandada, kui mälu ei ületata lubatud vahemikku. See välistab riski, et protsess tapetakse OOM killer'i poolt.

Ilma vahetusfailita süsteemides võib vm.overcommit_memory väärtus 2 põhjustada probleeme.

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

vm.dirty_background_ratio / vm.dirty_background_bytes

vm.dirty_background_ratio — see on protsent mälust, mis on täidetud räpaste lehtedega, mis tuleb kettale kirjutada. Kettale kirjutamine toimub taustal. Selle parameetri väärtus võib varieeruda 0 kuni 100; siiski võib väärtus alla 5 olla ebaefektiivne ja mõned kernelid ei toeta seda. 10 on vaikimisi väärtus enamikus Linuxi süsteemides. Saate suurendada jõudlust intensiivse kirjutamise operatsioonide puhul madalama koefitsiendiga, mis tähendab, et Linux kirjutab räpased lehed taustal.

Peate seadma väärtuse vm.dirty_background_bytes vastavalt teie ketta kiirusest.

Nende kahe parameetri jaoks ei ole "head" väärtused, kuna mõlemad sõltuvad riistvarast. Siiski, kui seada vm.dirty_background_ratio väärtuseks 5 ja vm.dirty_background_bytes 25% ketta kiirusest, parendab see jõudlust kuni ~ 25% enamikul juhtudel.

vm.dirty_ratio / dirty_bytes

See on sama mis vm.dirty_background_ratio / dirty_background_bytes, välja arvatud see, et kirjutamine toimub tööseansi ajal, blokeerides rakenduse. Seetõttu peab vm.dirty_ratio olema kõrgem kui vm.dirty_background_ratio. See tagab, et taustprotsessid käivituvad varem, et vältida rakenduse maksimaalse võimaliku blokeerimise tekkimist. Saate seada nende kahe suhte vahelise erinevuse vastavalt kettasisendi-väljundi koormusele.

Kokkuvõte

Saate konfigureerida teisi parameetreid, et parandada jõudlust, kuid paranemist on minimaalne ja kasu ei ole suurt. Peame meeles pidama, et mitte kõik parameetrid ei kehti kõikide rakendustüüpide jaoks. mõned rakendused toimivad paremini, kui seadistame teatud parameetreid, ja mõned — mitte. Peate leidma õige tasakaalu nende parameetrite seadistuste vahel oodatava töökoormuse ja rakendustüübi jaoks ning arvestama seadistamisel ka opsüsteemi käitumisega. Tuuma seadistamine ei ole nii lihtne nagu andmebaasi seade: siin on keerulisem anda soovitusi.

Allikas: habr.com