Linuxi tuumaparameetrite seadistamine PostgreSQL optimeerimiseks

PostgreSQL'i optimeerimine sõltub õigesti määratud operatsioonisüsteemi parameetritest. Vale konfiguratsiooniga OS-i tuumaparameetrid võivad vähendada andmebaasi serveri jõudlust. Seetõttu on oluline, et need parameetrid oleksid seadistatud vastavalt andmebaasi serverile ja selle koormusele. Selles postituses arutame mõningaid olulisi Linuxi tuumaparaametreid, mis võivad mõjutada andmebaasi serveri jõudlust ja nende seadistamise viise.

SHMMAX / SHMALL

SHMMAX on tuumaparameeter, mida kasutatakse maksimaalse ühte jagatud mälu (shared memory) segmenti suuruse määramiseks, mille Linuxi protsess saab eraldada. Enne versiooni 9.2 kasutas PostgreSQL System V (SysV), mis nõudis SHMMAX seadistamist. Pärast versiooni 9.2 on PostgreSQL ülemineku POSIX jagatud mälule. Nii et nüüd on vajalik vähem System V jagatud mälu baite.

Enne versiooni 9.3 oli SHMMAX kõige olulisem tuumaparameeter. SHMMAX väärtus on tiksustatud baitides.

Sarnasel viisil, SHMALL on veel üks tuumaparameeter, mida kasutatakse määramiseks
üldise jagatud mälu lehtede (shared memory) maht. Praeguste SHMMAX, SHMALL või SHMMIN väärtuste vaatamiseks kasutage käsku ipcs.

SHM* Üksikasjad — Linux

$ ipcs -lm

------ Jagatud mälu piirangud --------
max segmentide arv = 4096
max segmendi suurus (kbytes) = 1073741824
max kogu jagatud mälu (kbytes) = 17179869184
min segmendi suurus (baitides) = 1

SHM* Üksikasjad — MacOS X

$ ipcs -M
IPC staatuse aruandlus alates Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max jagatud mälu segmenti suurus)
	shmmin:       1	(min jagatud mälu segmenti suurus)
	shmmni:      32	(max jagatud mälu identifikaatorite arv)
	shmseg:       8	(max jagatud mälu segmente protsessi kohta)
	shmall:    1024	(max jagatud mälu hulk lehtedes)

PostgreSQL kasutab System V IPC jagatud mälu eraldamiseks. See parameeter on üks tähtsamaid tuumaparameetreid. Iga kord, kui saate järgmised veateated, tähendab see, et teil on vanem PostgreSQL versioon ja SHMMAX väärtus on väga madal. Eeldatakse, et kasutajad kohandavad ja suurendavad väärtust vastavalt jagatud mälule, mida nad kavatsevad kasutada.

Vale konfiguratsiooni vead

Kui SHMMAX on valesti seadistatud, võite saada vea, kui proovite PostgreSQL klastrit initsialiseerida käsuga initdb.

initdb ebaõnnestumine
DETAIL: Eba süsteemikõne, mida ei suudetud täita, oli shmget(key=1, size=2072576, 03600).

HINT: See viga tähendab tavaliselt, et PostgreSQL'i päring jagatud mälufragmenti ületas teie kernelis oleva SHMMAX parameetri. 
Võite kas vähendada päringu suurust või konfigureerida kernelit suurema SHMMAX-iga. Päringu suuruse vähendamiseks (praegu 2072576 baitset),
vähendage PostgreSQL'i jagatud mälukasutust, võib-olla vähendades shared_buffers või max_connections.

Kui päringu suurus on juba väike, võib see olla väiksem kui teie kernelis oleva SHMMIN parameeter,
sel juhul on vajalik päringu suuruse suurendamine või SHMMIN-i konfigureerimine.

PostgreSQLi dokumentatsioonis on rohkem teavet jagatud mälukonfiguratsiooni kohta. lapseprotsess lõpetas töö väljundkoodiga 1

Sarnaselt võite saada vea, kui käivitate PostgreSQL serveri käsuga pg_ctl.

pg_ctl ebaõnnestumine
DETAIL: Eba süsteemikõne oli shmget(key=5432001, size=14385152, 03600).

HINT: See viga tähendab tavaliselt, et PostgreSQL'i päring jagatud mälufragmenti ületas teie kernelis oleva SHMMAX parameetri.

Saate kas vähendada päringu suurust või konfigureerida kernelit suurema SHMMAX-i määraga. Vähendamiseks (hetkel 14385152 baitides) vähendage PostgreSQL jagatud mälu kasutamist, võib-olla vähendades shared_buffers või max_connections.

Kui päringu suurus on juba väike, võib see olla väiksem kui teie kernelis oleva SHMMIN parameeter,
sel juhul on vajalik päringu suuruse suurendamine või SHMMIN-i konfigureerimine.

PostgreSQL dokumentatsioon sisaldab rohkem teavet jagatud mälu konfiguratsiooni kohta.

Mõistmine definitsioonide erinevustest

SHMMAX/SHMALL parameetrite määratlemine on Linuxis ja MacOS X-is veidi erinev:

• Linux: kernel.shmmax, kernel.shmall
• MacOS X: kern.sysv.shmmax, kern.sysv.shmalla

Meeskond sysctl seda saab kasutada väärtuse ajutiseks muutmiseks. Püsivalt väärtuste seadmiseks lisage kirje /etc/sysctl.conf. Üksikasjad on allpool.

Tuuma seadete muutmine MacOS X-is

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

Tuuma seadete muutmine Linuxis

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

Ärge unustage: et muudatused oleksid püsivad, lisage need väärtused faili /etc/sysctl.conf

Suurendatud lehed (Huge Pages)

Linuxis kasutatakse vaikimisi 4 KB mälulehti, BSD-s — Super Pages, ja Windowsis — Suured lehed. Leht on protsessile eraldatud osa töömälu. Protsessil võib olla mitu lehte sõltuvalt mälu nõudmistest. Mida rohkem mälu protsess vajab, seda rohkem lehti talle eraldatakse. OPS toetab protsesside lehtede eraldamise tabelit. Mida väiksem on lehe suurus, seda suurem on tabel, seda rohkem aega kulub lehe leidmiseks selles lehtede tabelis. Seetõttu võimaldavad suured lehed kasutada suurt mälumahtu väiksemate halduskuludega; vähem lehte vaadatakse, vähem lehe vigu, kiiremad lugemis-/kirjutamisoperatsioonid suurte pubufferitega. Tulemuseks on jõudluse paranemine.

PostgreSQL toetab suuri lehti ainult Linuxis. Vaikimisi kasutab Linux 4 KB mälulehti, seetõttu, kui mäluoperatsioone on liiga palju, on vajalik seadistada suuremad lehed. Suurte lehtede kasutamisel, mille suurus on 2 MB kuni 1 GB, on täheldatud jõudluse kasvu. Suure lehe suurust saab määrata käivitamise ajal. Saate oma Linuxi arvuti suurte lehtede seadistusi ja kasutust hõlpsasti kontrollida käsuga cat /proc/meminfo | grep -i huge.

Suurete lehtede teabe saamine (ainult Linuxis)

Märkus: see kehtib ainult Linuxile, teiste opsüsteemide puhul see toiming ignoreeritakse $ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Selles näites, kuigi suure lehe suurus on seadistatud 2048 (2 MB), on suurte lehtede koguarv 0. See tähendab, et suured lehed on välja lülitatud.

Suurte lehtede arvu määramise skript

See on lihtne skript, mis tagastab vajalikku arvu suuri lehti. Käivitage skript oma Linuxi serveris, kuni PostgreSQL töötab. Veenduge, et keskkonnamuutuja $PGDATA on seadistatud PostgreSQLi andmekatalooge.

Suure lehe arvu määramine

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:            $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:            $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:   $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:     $hp

Skripti väljund näeb välja järgmine:

Skripti väljund

Pid:            12737
VmPeak:        180932 kB
Hugepagesize:   2048 kB
Set Huge Pages: 88

Soovitatav suurte lehtede väärtus on 88, seega peaksite seadistama väärtuseks 88.

Suurte lehtede seadmine

sysctl -w vm.nr_hugepages=88

Kontrollige nüüd suurte lehtede staatust, näete, et suurte lehti ei kasutata (HugePages_Free = HugePages_Total).

Taaskord suurte lehtede teave (ainult Linuxis)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:        0
HugePages_Surp:       0
Hugepagesize:       2048 kB

Nüüd seadke huge_pages «on» $PGDATA/postgresql.conf failis ja taaskäivitage server.

Ja taas suurte lehtede teave (ainult Linuxis)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:       0
Hugepagesize:       2048 kB

Nüüd näete, et väga vähe suuri lehti on kasutatud. Proovime nüüd andmeid andmebaasi lisada.

Andmebaasi operatsioonid suurte lehtede ära kasutamiseks

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

Vaadakem, kas me nüüd kasutame rohkem suuri lehti kui varem.

Veel kord suurte lehtede teave (ainult Linuxis)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:       1
HugePages_Surp:       0
Hugepagesize:       2048 kB

Nüüd näete, et enamik suuri lehti on kasutusel.

Märkus: siinkohal kasutatud HugePagesi ligikaudne väärtus on väga madal, mis ei ole tootmisringkonna masina jaoks normaalne. Palun hinnake oma süsteemi jaoks vajalik lehtede arv ning seadistage need vastavalt koormusele ja ressurssidele.

vm.swappiness

vm.swappiness — see on veel üks tuuma parameeter, mis võib mõjutada andmebaasi jõudlust. Seda parameetrit kasutatakse lehe vahetamise (swappiness) käitumise juhtimiseks Linuxis. Väärtus ulatub 0 kuni 100. See määrab, kui palju mälu laaditakse või laaditakse tagasi. Null tähistab vahetamise keelamist, 100 aga agressiivset vahetamist.

Saate head jõudlust saavutada, seadistades madalamad väärtused.

Uute tuumade puhul 0 väärtuse seadmine võib tuua kaasa selle, et OOM Killer (Linuxi mälu puhastamise protsess) tapab protsessi. Seega on ohutu seada väärtus 1, kui soovite vahetamisest teadlikult vältida. Linuxi vaikimisi väärtus on 60. Kõrgem väärtus paneb MMU (mälu haldamise ühik) kasutama rohkem vahetusruumi kui RAM, samas kui madalam väärtus hoiab rohkem andmeid/koodi mälus.

Madalam väärtus on hea valik PostgreSQL jõudluse parandamiseks.

vm.overcommit_memory / vm.overcommit_ratio

Rakendused saavad mälu ja vabastavad selle, kui see enam ei ole vajalik. Kuid mõnel juhul saab rakendus liiga palju mälu ja ei vabasta seda. See võib põhjustada OOM killer'i. Siin on võimalike parameetrite väärtused vm.overcommit_memory igaühe kirjeldusega:

1. Heuristiline ülekompenseerimine (vaikimisi); põhineb tuuma heuristikatel
2. Lubada ülekompenseerimine igal juhul
3. Ärge üle pingutage, ärge ületage ülekompensatsiooni suhet.

Link: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

vm.overcommit_ratio — protsent RAM-ist, mis on saadaval ülekompenseerimiseks. 50% väärtus 2 GB RAM-iga süsteemis võib eraldada kuni 3 GB RAM-i.

Väärtus 2 vm.overcommit_memory jaoks tagab parema jõudluse PostgreSQL-ile. See maksimeerib serveri protsessi RAM-i kasutamise ilma OOM killer'iga tapmise märkimisväärse riskita. Rakendus saab taaskäivitada, kuid ainult ületatavates piirides, vähendades OOM killer'i protsessi tapmise ohtu. Seega annab väärtus 2 parema jõudluse kui vaikimisi 0. Siiski, usaldusväärsust saab parandada, vältides lubatust kõrgemal põhineva mälu ülekoormamist. See välistab riski, et protsess tapetakse OOM killer'i poolt.

Ilma vahetusruumita süsteemides võib tekkida probleem, kui vm.overcommit_memory on 2.

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

vm.dirty_background_ratio / vm.dirty_background_bytes

vm.dirty_background_ratio — see on protsent mälu, mis on täidetud „ülalolevate” lehtedega, mis tuleb kirjutada kettale. Kettale kirjutamine toimub taustal. Selle parameetri väärtus on vahemikus 0 kuni 100; siiski võib väärtus alla 5 olla ebaefektiivne ja mõned tuumad ei pruugi seda toetada. Enamikes Linuxi süsteemides on vaikimisi väärtus 10. Saate kirjutamisintensiivsete toimingute jaoks töövõimet suurendada madalama suhtarvuga, mis tähendab, et Linux kirjutab „ülalolevad” lehed taustal.

Peate seadistama väärtuse vm.dirty_background_bytes vastavalt teie ketta kiirus.

Neil kahel parameetril pole „häid” väärtusi, kuna mõlemad sõltuvad riistvarast. Kuid vm.dirty_background_ratio seadistamine väärtusele 5 ja vm.dirty_background_bytes seadistamine 25% ketta kiirusest tõstab jõudlust enamikes juhtudel ~ 25%.

vm.dirty_ratio / dirty_bytes

See on sama, mis vm.dirty_background_ratio / dirty_background_bytes, välja arvatud see, et kirjutamine toimub aktiivses sessioonis, blokeerides rakendust. Seetõttu peab vm.dirty_ratio olema suurem kui vm.dirty_background_ratio. See tagab, et taustprotsessid käivitatakse varem, et vältida rakenduse maksimaalselt võimalikku blokeerimist. Saate reguleerida nende kahe suhte erinevust vastavalt kettasisendite ülesande koormusele.

Kokkuvõte

Saate seadistada muid parameetreid jõudluse suurendamiseks, kuid parandused on minimaalset laadi ja reaalset kasu pole. Peame meeles pidama, et mitte kõik parameetrid ei kehti kõikidele rakendustele. Mõned rakendused toimivad paremini, kui seadistame teatud parameetrite, ja mõned mitte. Peate leidma õige tasakaalu nende parameetrite seadete vahel oodatava koormuse ja rakendustüübi jaoks, samuti tuleb seadistamisel arvestada operatsioonisüsteemi käitumisega. Südamiku parameetrite seadistamine pole nii lihtne kui andmebaasi parameetrite seadmine: siin on keerulisem anda oma soovitusi.

Allikas: habr.com