Konfigureerime Out-Of-Memory Killeri Linuxis PostgreSQL jaoks

Kui Linuxi andmebaasi server ootamatult kokku kukub, tuleb leida põhjus. Põhjuseid võib olla mitmeid. Näiteks, SIGSEGV — tõrge tagasiserveris. Kuid see on haruldane. Sageli lõppeb lihtsalt ruum kettal või mälu. Kui kettaruumi on otsa saanud, on ainus võimalus vabastada ruumi ja taaskäivitada andmebaas.

Out-Of-Memory Killer

Kui serverile või protsessil on mälu otsas, pakub Linux 2 lahendusteed: kas lõhkuda kogu süsteem või lõpetada protsess (rakendus), mis mälu tarbib. Parim on loomulikult lõpetada protsess ja päästa operatsioonisüsteem hädaseisundist. Lihtsalt öeldes, Out-Of-Memory Killer on protsess, mis lõpetab rakenduse, et päästa kernel kokkuvarisemisest. Ta ohverdab rakenduse, et hoida operatsioonisüsteem töökorras. Alustame OOM-i töö ja selle kontrollimise arutamisest ning seejärel vaatame, kuidas OOM Killer otsustab, millist rakendust lõpetada.

Üks peamisi Linuxi ülesandeid on eraldada mälu protsessidele, kui nad seda küsivad. Tavaline protsess või rakendus küsib OS-ilt mälu, kuid kasutab seda täielikult mitte. Kui OS hakkab andma mälu kõigile, kes seda küsivad, kuid ei kavatse seda kasutada, lõpeb mälu peagi ja süsteem ebaõnnestub. Selle vältimiseks reserveerib OS mälu protsessi jaoks, kuid ei anna seda tegelikult välja. Mälu eraldatakse ainult siis, kui protsess on tõeliselt valmis seda kasutama. Juhtub, et OS-il pole vaba mälu, kuid ta eraldab mälu protsessile, ja kui protsess vajab, annab OS seda välja, kui saab. Puuduseks on see, et mõnikord reserveerib OS mälu, kuid vajaliku hetke jaoks ei ole vaba mälu ja süsteem ebaõnnestub. OOM mängib selles stsenaariumis olulist rolli ja lõpetab protsessid, et kaitsta tuuma paanikast. Kui PostgreSQL protsess sunnitakse lõpetama, ilmub logisse järgmine sõnum:

Out of Memory: Tapetud protsess 12345 (postgres).

Kui süsteemis on vähe mälu ja seda ei saa vabastada, kutsutakse esile funktsioon out_of_memory. Sel hetkel on tal vaid üks ülesanne - lõpetada üks või mitu protsessi. OOM-tapja peab kas lõpetama protsessi kohe või võime oodata? Ilmselgelt, kui tõstetakse esile mälu puudumine, on see seotud sisend-väljund operatsiooni ootamise või lehe vahetamisega kettale. Seetõttu peab OOM-tapja esmalt tegema kontrollid ja nende põhjal otsustama, millist protsessi lõpetada. Kui kõik järgmised kontrollid annavad positiivse tulemuse, lõpetab OOM protsessi.

Protsessi valimine

Kui mälu lõpeb, kutsutakse ülesanne out_of_memory(). Seal on funktsioon select_bad_process(), mis saab hinnangu funktsioonilt badness(). Kõige "halvem" protsess on sihtmärk. Funktsioon badness() valib protsessi teatud reeglite alusel.

1. Kern vajab mingisugust minimaalsed mälu enda jaoks.
2. Tuleb vabastada palju mälu.
3. Ei ole vaja lõpetada protsesse, mis kasutavad vähe mälu.
4. Tuleb lõpetada vähemalt protsessid.
5. Ahned algoritmid, mis suurendavad tõenäosust nende protsesside lõpetamiseks, mida kasutaja soovib lõpetada.

Pärast nende kontrollide sooritamist uurib OOM hinnangut (oom_score). OOM määrab oom_score iga protsessile, seejärel korrutatakse see mälu mahuga. Suure väärtusega protsessidel on suurem tõenäosus saada OOM Killer'i ohvriks. Privilegeeritud kasutajaga seotud protsessidel on madalam skoor ja vähem võimalusi sundlõpetamiseks.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

PostgreSQL protsessi identifikaator on 3813, seega saab teises terminalis skoori saada, kasutades seda tuuma parameetrit. oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

Kui te tõesti ei soovi, et OOM-Killer lõpetaks protsessi, on veel üks tuuma parameeter: oom_score_adj. Lisage suur negatiivne väärtus, et vähendada oma oluline protsessi lõpetamise tõenäosust.

sudo echo -100 > /proc/3813/oom_score_adj

Selle väärtuse seadmiseks oom_score_adj, seadke OOMScoreAdjust teenuseplokki:

[Service]
OOMScoreAdjust=-1000

Või kasutage oomprotect komandis rcctl.

rcctl set servicename oomprotect -1000

Protsessi sunnitud lõpetamine

Kui üks või mitu protsessi on juba valitud, kutsub OOM-Killer välja funktsiooni oom_kill_task(). See funktsioon saadab protsessile lõpetamise signaali. Kui mälu on puudulik, oom_kill() kutsub korraldab selle funktsiooni, et saata protsessile SIGKILL signaal. Südamiku logisse kantakse teade.

Mälu puudus: protsess katkestati [pid] [name].

Kuidas kontrollida OOM-Killerit

Linuxis saab OOM-Killerit lubada ja keelata (kuigi viimane ei ole soovitatav). Selle lubamiseks ja keelamiseks kasutage parameetrit vm.oom-kill. OOM-Killeri lubamiseks tegevuses käivitage käsk sysctl.

sudo -s sysctl -w vm.oom-kill=1

OOM-Killeri keelamiseks määrake selle sama käsu kaudu 0:

sudo -s sysctl -w vm.oom-kill=0

Selle käsu tulemus püsib ainult kuni esimeses taaskäivitamisel. Kui on vajalik rohkem püsivust, lisage see rida faili /etc/sysctl.conf:

echo vm.oom-kill=1 >> /etc/sysctl.conf

Veel üks viis lubamiseks ja keelamiseks on kirjutada muutuja panic_on_oom. Väärtust saab alati kontrollida /proc.

$ cat /proc/sys/vm/panic_on_oom
0

Kui määrata väärtus 0, siis kui mälu lõpeb, ei toimu kernel panic'i.

$ echo 0 > /proc/sys/vm/panic_on_oom

Kui määrata väärtus 1, siis kui mälu lõpeb, toimub kernel panic.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killerit saab mitte ainult sisse ja välja lülitada. Oleme juba rääkinud, et Linux võib määrata protsessidele rohkem mälu, kui on olemas, kuid ei eralda seda tegelikult, ning selle käitumise üle juhib Linuxi tuuma parameeter. Selle eest vastutab muutuja vm.overcommit_memory.

Sellele saab määrata järgmised väärtused:

0: tuum otsustab ise, kas on mõistlik reservida liiga palju mälu. See on vaikimisi seadistus enamikus Linuxi versioonides.
1: tuum alati reserveerib ülemäärase mälu. See on riskantne, kuna mälu võib otsa saada, sest tõenäoliselt nõuavad protsessid mingil hetkel vajalikku.
2: tuum ei reserveeri rohkem mälu, kui on määratud parameetris overcommit_ratio.

Selles parameetris määrate protsendi mälust, mille puhul on lubatud ülemäärane reserveerimine. Kui selleks ei ole ruumi, ei eraldata mälu, reserveerimisest keeldutakse. See on kõige ohutum variant, mida soovitatakse PostgreSQL jaoks. OOM-Killerit mõjutab veel üks tegur — vahetusfaili kasutamine, mida juhib muutuja cat /proc/sys/vm/swappiness. Need help defending against OOM conditions? Adjust the swap settings accordingly. A higher value indicates lower chances of an OOM kill, but it may negatively affect database operations due to I/O overhead. Conversely, a smaller value increases the likelihood of OOM-Killer intervention but also enhances database performance. The default is 60, but if your entire database fits in memory, it’s better to set the value to 1.

Kokkuvõte

Don’t be intimidated by the 'killer' in OOM-Killer. In this context, the killer acts as a savior for your system. It 'kills' the most troublesome processes to prevent system crashes. To avoid needing OOM-Killer to terminate PostgreSQL, set it to vm.overcommit_memory the value of 2. This doesn’t guarantee OOM-Killer won’t need to intervene, but it will reduce the likelihood of forcibly terminating the PostgreSQL process.

Allikas: habr.com