Конфигурисање опција Линук кернела за оптимизацију ПостгреСКЛ-а

Оптималне перформансе ПостгреСКЛ-а зависе од исправно дефинисаних параметара оперативног система. Лоше конфигурисане поставке језгра ОС-а могу довести до лоших перформанси сервера базе података. Стога је императив да се ове поставке конфигуришу у складу са сервером базе података и његовим радним оптерећењем. У овом посту ћемо разговарати о неким важним параметрима Линук кернела који могу утицати на перформансе сервера базе података и како их конфигурисати.

СХММАКС / СХМАЛЛ

СХММАКС је параметар кернела који се користи за одређивање максималне величине једног сегмента дељене меморије који Линук процес може да додели. Пре верзије 9.2, ПостгреСКЛ је користио Систем В (СисВ), који захтева поставку СХММАКС. После 9.2, ПостгреСКЛ је прешао на ПОСИКС заједничку меморију. Дакле, сада је потребно мање бајтова заједничке меморије система В.

Пре верзије 9.3, СХММАКС је био најважнији параметар кернела. СХММАКС вредност је наведена у бајтовима.

Слично томе, СХМАЛЛ је још један параметар кернела који се користи за одређивање
обим страница дељене меморије у целом систему. Да бисте видели тренутне вредности СХММАКС, СХМАЛЛ или СХММИН, користите наредбу ипцс.

СХМ* Детаљи - Линук

$ ipcs -lm

------ Shared Memory Limits --------
max number of segments = 4096
max seg size (kbytes) = 1073741824
max total shared memory (kbytes) = 17179869184
min seg size (bytes) = 1

СХМ* Детаљи - МацОС Кс

$ ipcs -M
IPC status from  as of Thu Aug 16 22:20:35 PKT 2018
shminfo:
	shmmax: 16777216	(max shared memory segment size)
	shmmin:       1	(min shared memory segment size)
	shmmni:      32	(max number of shared memory identifiers)
	shmseg:       8	(max shared memory segments per process)
	shmall:    1024	(max amount of shared memory in pages)

ПостгреСКЛ користи Систем В ИПЦ да доделите заједничку меморију. Овај параметар је један од најважнијих параметара кернела. Кад год добијете следеће поруке о грешци, то значи да имате старију верзију ПостгреСКЛ-а и да је ваша СХММАКС вредност веома ниска. Од корисника се очекује да прилагоде и повећају вредност према заједничкој меморији коју намеравају да користе.

Могуће грешке у погрешној конфигурацији

Ако СХММАКС није исправно конфигурисан, можда ћете добити грешку када покушате да иницијализујете ПостгреСКЛ кластер користећи команду инитдб.

инитдб Фаилуре
DETAIL: Failed system call was shmget(key=1, size=2072576, 03600).

HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter. 
You can either reduce the request size or reconfigure the kernel with larger SHMMAX. To reduce the request size (currently 2072576 bytes),
reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.

If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter,
in which case raising the request size or reconfiguring SHMMIN is called for.

The PostgreSQL documentation contains more information about shared memory configuration. child process exited with exit code 1

Исто тако, можете добити грешку приликом покретања ПостгреСКЛ сервера помоћу наредбе пг_цтл.

пг_цтл Фаилуре
DETAIL: Failed system call was shmget(key=5432001, size=14385152, 03600).

HINT: This error usually means that PostgreSQL's request for a shared memory segment exceeded your kernel's SHMMAX parameter.

You can either reduce the request size or reconfigure the kernel with larger SHMMAX.; To reduce the request size (currently 14385152 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.

If the request size is already small, it's possible that it is less than your kernel's SHMMIN parameter,
in which case raising the request size or reconfiguring SHMMIN is called for.

The PostgreSQL documentation contains more information about shared memory configuration.

Разумевање разлика у дефиницијама

Дефинисање СХММАКС/СХМАЛЛ параметара је мало другачије на Линук-у и МацОС-у Кс:

• Линук: кернел.схммак, кернел.схмалл
• МацОС Кс: керн.сисв.схммак, керн.сисв.схмалл

Тим сисцтл може се користити за привремену промену вредности. Да бисте поставили константне вредности, додајте унос у /етц/сисцтл.цонф. Детаљи су испод.

Промена поставки кернела на МацОС Кс-у

# Get the value of SHMMAX
sudo sysctl kern.sysv.shmmax
kern.sysv.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kern.sysv.shmall 
kern.sysv.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kern.sysv.shmmax=16777216
kern.sysv.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kern.sysv.shmall=16777216
kern.sysv.shmall: 4096 -> 16777216

Промена параметара кернела на Линук-у

# Get the value of SHMMAX
sudo sysctl kernel.shmmax
kernel.shmmax: 4096

# Get the value of SHMALL
sudo sysctl kernel.shmall
kernel.shmall: 4096

# Set the value of SHMMAX
sudo sysctl -w kernel.shmmax=16777216
kernel.shmmax: 4096 -> 16777216

# Set the value of SHMALL 
sudo sysctl -w kernel.shmall=16777216
kernel.shmall: 4096 -> 16777216

Не заборавите: Да би промене биле трајне, додајте ове вредности у /етц/сисцтл.цонф

Огромне странице

Линук подразумевано користи меморијске странице од 4 КБ, БСД користи меморијске странице од XNUMX КБ. Супер Пагес, а на Виндовс-у - Велике странице. Страница је део РАМ меморије додељен процесу. Процес може имати више страница у зависности од меморијских захтева. Што више меморије захтева процес, више страница му се додељује. ОС одржава табелу алокације страница за процесе. Што је мања величина странице, већа је табела, дуже је потребно да се страница пронађе у тој табели страница. Велике странице стога омогућавају коришћење великих количина меморије са смањеним трошковима; мање приказа страница, мање грешака страница, брже операције читања/писања преко већих бафера. Резултат су побољшане перформансе.

ПостгреСКЛ подржава само велике странице на Линук-у. Линук подразумевано користи меморијске странице од 4 КБ, тако да је у случајевима када има превише меморијских операција потребно подесити веће странице. Пораст перформанси се примећује када се користе велике странице од 2 МБ и до 1 ГБ. Велика величина странице се може подесити приликом покретања. Можете лако да проверите велике параметре странице и њихову употребу на вашој Линук машини користећи команду мачка /проц/меминфо | греп -и огроман.

Добијање информација о великим страницама (само за Линук)

Note: This is only for Linux, for other OS this operation is ignored$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

У овом примеру, иако је величина велике странице подешена на 2048 (2 МБ), укупан број великих страница је подешен на 0. То значи да су велике странице онемогућене.

Скрипта за одређивање броја великих страница

Ова једноставна скрипта враћа потребан број великих страница. Покрените скрипту на свом Линук серверу док је ПостгреСКЛ покренут. Уверите се да је то за променљиву окружења $ПГДАТА ПостгреСКЛ директоријум података је наведен.

Добијање броја потребних великих страница

#!/bin/bash
pid=`head -1 $PGDATA/postmaster.pid`
echo "Pid:            $pid"
peak=`grep ^VmPeak /proc/$pid/status | awk '{ print $2 }'`
echo "VmPeak:            $peak kB"
hps=`grep ^Hugepagesize /proc/meminfo | awk '{ print $2 }'`
echo "Hugepagesize:   $hps kB"
hp=$((peak/hps))
echo Set Huge Pages:     $hp

Излаз скрипте изгледа овако:

Излаз скрипте

Pid:            12737
VmPeak:         180932 kB
Hugepagesize:   2048 kB
Set Huge Pages: 88

Препоручена вредност за велике странице је 88, па би требало да је поставите на 88.

Инсталирање великих страница

sysctl -w vm.nr_hugepages=88

Проверите сада велике странице, видећете да се велике странице не користе (ХугеПагес_Фрее = ХугеПагес_Тотал).

Поново посећене велике странице (само за Линук)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       88
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB

Сада поставите параметар хуге_пагес на "он" у $ПГДАТА/постгрескл.цонф и поново покрените сервер.

Још једном, информације о великим страницама (само за Линук)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       81
HugePages_Rsvd:       64
HugePages_Surp:        0
Hugepagesize:       2048 kB

Сада можете видети да се користи врло мало великих страница. Хајде сада да покушамо да додамо неке податке у базу података.

Неке операције базе података за рециклирање великих страница

postgres=# CREATE TABLE foo(a INTEGER);
CREATE TABLE
postgres=# INSERT INTO foo VALUES(generate_Series(1,10000000));
INSERT 0 10000000

Хајде да видимо да ли сада користимо више великих страница него раније.

Више информација о великим страницама (само за Линук)

$ cat /proc/meminfo | grep -i huge
AnonHugePages:         0 kB
ShmemHugePages:        0 kB
HugePages_Total:      88
HugePages_Free:       18
HugePages_Rsvd:        1
HugePages_Surp:        0
Hugepagesize:       2048 kB

Сада можете видети да се већина великих страница користи.

Напомена: Процењена вредност за ХугеПагес која се овде користи је веома ниска, што није нормална вредност за машину која користи окружење производа. Процените потребан број страница за ваш систем и подесите их у складу са оптерећењем и ресурсима.

вм.сваппинесс

вм.сваппинесс је још један параметар кернела који може утицати на перформансе базе података. Ова опција се користи за контролу понашања замене (замена страница у меморији и ван ње) у Линук-у. Вредност се креће од 0 до 100. Одређује колико меморије ће бити достављено или пребачено. Нула значи да нема размене, а 100 значи агресивну размену.

Можете постићи добре перформансе постављањем нижих вредности.

Подешавање овог на 0 на новијим језгрима може довести до тога да ООМ Киллер (Линуксов процес чишћења меморије) прекине процес. Дакле, безбедно је да га поставите на 1 ако желите да минимизирате замену. Подразумевана вредност у Линук-у је 60. Већа вредност доводи до тога да ММУ (јединица за управљање меморијом) користи више простора за замену од РАМ-а, док нижа вредност задржава више података/кода у меморији.

Нижа вредност је добра опклада за побољшане перформансе у ПостгреСКЛ-у.

вм.оверцоммит_мемори / вм.оверцоммит_ратио

Апликације преузимају меморију и ослобађају је када више није потребна. Али у неким случајевима, апликација добија превише меморије и не ослобађа је. Ово може изазвати ООМ убицу. Ево могућих вредности параметара вм.оверцоммит_мемори са описом за сваки:

1. Хеуристички оверцоммит (подразумевано); хеуристика заснована на кернелу
2. Ипак дозволите прекомерно обавезивање
3. Не претерујте, немојте прекорачити однос прекомерне обавезе.

Референца: https://www.kernel.org/doc/Documentation/vm/overcommit-accounting

вм.оверцоммит_ратио — проценат РАМ-а који је доступан за преоптерећење. Вредност од 50% на систему са 2 ГБ РАМ-а може доделити до 3 ГБ РАМ-а.

Вредност 2 за вм.оверцоммит_мемори обезбеђује боље перформансе за ПостгреСКЛ. Ова вредност максимизира употребу РАМ-а серверског процеса без икаквог значајног ризика да буде убијена од стране процеса убице ООМ-а. Апликација ће моћи да се поново учита, али само у границама прекорачења, што смањује ризик да ООМ убица убије процес. Према томе, вредност 2 даје боље перформансе од подразумеване вредности 0. Међутим, поузданост се може побољшати тако што се обезбеди да меморија ван опсега није преоптерећена. Ово елиминише ризик да процес буде убијен од стране ООМ убице.

На системима без замене, може доћи до проблема са вм.оверцоммит_мемори једнаким 2.

https://www.postgresql.org/docs/current/static/kernel-resources.html#LINUX-MEMORY-OVERCOMMIT

вм.дирти_бацкгроунд_ратио / вм.дирти_бацкгроунд_битес

вм.дирти_бацкгроунд_ратио је проценат меморије испуњене прљавим страницама које треба уписати на диск. Испирање на диск се дешава у позадини. Вредност овог параметра се креће од 0 до 100; међутим, вредност испод 5 може бити неефикасна и нека језгра је не подржавају. 10 је подразумевано на већини Линук система. Можете побољшати перформансе за операције интензивне писања за мањи фактор, што ће значити да ће Линук испирати прљаве странице у позадини.

Морате да подесите вредност вм.дирти_бацкгроунд_битес у зависности од брзине вожње.

Не постоје „добре“ вредности за ова два параметра јер оба зависе од хардвера. Међутим, постављање вм.дирти_бацкгроунд_ратио на 5 и вм.дирти_бацкгроунд_битес на 25% брзине диска побољшава перформансе на ~25% у већини случајева.

вм.дирти_ратио/дирти_битес

Ово је исто као вм.дирти_бацкгроунд_ратио/дирти_бацкгроунд_битес, осим што се ресетовање врши у радној сесији, блокирајући апликацију. Стога вм.дирти_ратио треба да буде већи од вм.дирти_бацкгроунд_ратио. Ово осигурава да позадински процеси почну раније како би се избегло блокирање апликације колико год је то могуће. Можете подесити разлику између ова два односа у зависности од У/И оптерећења диска.

Укупан

Можете подесити друга подешавања да бисте побољшали перформансе, али побољшања ће бити минимална и нећете видети много користи. Морамо запамтити да се све опције не примењују на све врсте апликација. Неке апликације раде боље када прилагодимо нека подешавања, а неке не. Морате пронаћи прави баланс између конфигурисања ових подешавања за очекивано радно оптерећење и тип апликације, а такође морате узети у обзир понашање ОС-а приликом подешавања. Конфигурисање параметара кернела није тако једноставно као конфигурисање параметара базе података; теже је дати препоруке.

Извор: ввв.хабр.цом