Seadistame Linuxis Out-Of-Memory Killer'i PostgreSQL jaoks

Kui Linuxi andmebaasi server ootamatult sulgub, tuleb leida põhjus. Põhjuseid võib olla mitu. Näiteks, SIGSEGV — viga, mis tuleneb bäkendi serveri tõrkest. Kuid see on haruldane. Enamasti lõpeb lihtsalt kettaruumi või mälu. Kui kettaruumi on lõppenud, on lahendus üks — vabastada ruumi ja taaskäivita andmebaas.

Out-Of-Memory Killer

Kui serverilt või protsessil on mälu lõppenud, pakub Linux 2 lahendust: kas kukutada kogu süsteem või lõpetada protsess (rakendus), mis mäluruumi tarbib. Parim variant on, et lõpetada protsess ja päästa operatsioonisüsteem kriitilisest seiskumisest. Lihtsustatult, Out-Of-Memory Killer on protsess, mis lõpetab rakenduse, et kaitsta tuuma tõrkest. Ta ohverdab rakenduse, et hoida operatsioonisüsteem töös. Arutame kõigepealt, kuidas OOM töötab ja kuidas seda kontrollida, seejärel vaatame, kuidas OOM Killer otsustab, millise rakenduse lõpetada.

Üks peamisi Linuxi ülesandeid on eraldada mälu protsessidele, kui nad seda küsivad. Tavaline protsess või rakendus küsib operatsioonisüsteemilt mälu, kuid kasutab seda täielikult mitte. Kui operatsioonisüsteem jagab mälu kõigile, kes seda paluvad, kuid ei kavatse seda kasutada, lõpeb mälu kiiresti ja süsteem lõpetab töö. Selle vältimiseks eraldab operatsioonisüsteem mälu protsessile, kuid ei anna seda tegelikult. Mälu eraldatakse alles siis, kui protsess tõeliselt kavatseb seda kasutada. Juhtub, et operatsioonisüsteemil ei ole vaba mälu, kuid see eraldab mälu protsessile ja kui protsess seda vajab, eraldab operatsioonisüsteem selle, kui saab. Miinus on see, et mõnikord eraldab operatsioonisüsteem mälu, kuid vajalikul hetkel ei ole vaba mälu, ja süsteem kukub kokku. OOM mängib selles stsenaariumis olulist rolli ning lõpetab protsessid, et kaitsta tuuma paanikast. Kui PostgreSQL protsess on sunnitud lõpetama, ilmub logisse sõnum:

Out of Memory: Killed process 12345 (postgres).

Kui süsteemis on vähe mälu ja seda ei saa vabastada, kutsutakse välja funktsioon out_of_memory. Sel hetkel jääb tal vaid üks ülesanne – lõpetada üks või mitu protsessi. OOM-killer peab protsessi kohe lõpetama või võib oodata? Ilmselgelt, kui out_of_memory kutsutakse esile, on see seotud sisendi/outputs operatsiooni ootamise või lehe vahetamisega kettale. Seetõttu peab OOM-killer esmalt teostama kontrollid ja nende põhjal otsustama, mida lõpetada. Kui kõik allpool kirjutatud kontrollid annavad positiivse tulemuse, lõpetab OOM protsessi.

Protsessi valimine

Kui mälu on otsas, kutsutakse välja funktsioon out_of_memory(). Seal on funktsioon select_bad_process(), mis saab hindamise funktsioonilt badness(). Alati satub pahamaine protsess. Funktsioon badness() valib protsessi teatud reeglite järgi.

1. Tuuma jaoks on vajalik mingi minimaalne mälu.
2. On vajalik vabastada palju mälu.
3. Ei ole vaja lõpetada protsesse, mis kasutavad vähe mälu.
4. On vajalik lõpetada vähemalt mõni protsess.
5. Kompiksed algoritmid, mis suurendavad võimalusi lõpetada just neid protsesse, mida kasutaja soovib lõpetada.

Pärast kõiki neid kontrollimisprotseduure uurib OOM hindet (oom_score). OOM määrab oom_score iga protsessi jaoks ja seejärel korrutab selle väärtuse mälu mahuga. Suurte väärtustega protsessidel on suuremad võimalused OOM Killeriks saamisele. Privilegiseeritud kasutajaga seotud protsessidel on madalam hinnang ja vähem võimalusi sunniviisiliseks lõpetamiseks.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

Postgresi protsessi identifikaator on 3813, seega saab teises konsoolis hindet kätte, kasutades seda tuuma parameetrit oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

Kui te tõeliselt ei soovi, et OOM-Killer lõpetaks protsessi, on veel üks tuuma parameeter: oom_score_adj. Lisage suur negatiivne väärtus, et vähendada kallis protsessi lõpetamise võimalusi.

sudo echo -100 > /proc/3813/oom_score_adj

Selle väärtuse seadmiseks oom_score_adj, seadke OOMScoreAdjust teenuse plokis:

[Service]
OOMScoreAdjust=-1000

Või kasutage oomprotect komandos rcctl.

rcctl set servicename oomprotect -1000

Protsessi sunniviisiline lõpetamine

Kui üks või mitu protsessi on juba valitud, kutsub OOM-Killer välja funktsiooni oom_kill_task(). See funktsioon saadab protsessile lõpetamis signaali. Mälupuuduse korral oom_kill() kutsub selle funktsiooni välja, et saata protsessile SIGKILL signaal. Logisse registreeritakse sõnum.

Out of Memory: Killed process [pid] [name].

Kuidas juhtida OOM-Killera

Linuxis saab OOM-Killera lubada ja keelata (kuigi viimast ei soovitata). Lubamiseks ja keelamiseks kasutage parameetrit vm.oom-kill. OOM-Killera lubamiseks tööaegses keskkonnas käivitage käsk sysctl.

sudo -s sysctl -w vm.oom-kill = 1

OOM-Killera keelamiseks määrake selle sama käsu väärtuseks 0:

sudo -s sysctl -w vm.oom-kill = 0

Selle käsu tulemus salvestatakse mitte igavesti, vaid ainult kuni esimese taaskäivitamiseni. Kui vajate rohkem püsivust, lisage see rida faili /etc/sysctl.conf:

echo vm.oom-kill = 1 >> /etc/sysctl.conf

Teine võimalus lubamiseks ja keelamiseks on kirjutada muutuja panic_on_oom. Selle väärtust saab alati kontrollida /proc.

$ cat /proc/sys/vm/panic_on_oom
0

Kui väärtus on 0, siis kui mälu otsa saab, kernel panic ei toimu.

$ echo 0 > /proc/sys/vm/panic_on_oom

Kui väärtus on 1, siis kui mälu otsa saab, toimub kernel panic.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killera ei saa ainult lubada ja keelduda. Oleme juba rääkinud, et Linux võib protsessidele reserveerida rohkem mälu, kui on olemas, kuid mitte tegelikult eraldada, ning selle käitumise eest vastutab Linuxi tuuma parameeter. Selle eest vastutab muutuja vm.overcommit_memory.

Sellele saab määrata järgmised väärtused:

0: tuuma otsustab ise, kas reserveerida liiga palju mälu. See on vaikimisi väärtus enamikus Linuxi versioonides.
1: tuuma reserveerib alati liigset mälu. See on riskantne, sest mälu võib lõppeda, kuna tõenäoliselt kord protsessid nõuavad vajalikku.
2: tuuma ei reserveeri rohkem mälu, kui on määratud parameetris overcommit_ratio.

Selles parameetris määrate protsendi mälu, mille jaoks on lubatud ülemäärane reserveerimine. Kui sellele ei ole ruumi, siis mälu ei eraldata, reserveerimine saadetakse tagasi. See on kõige ohutum variant, mida soovitatakse PostgreSQL-i jaoks. OOM-Killera mõjutab veel üks element - swapimise võimalus, mida juhib muutuja cat /proc/sys/vm/swappiness. Needja väärtused näitavad südamikule, kuidas lehe vahetust töödelda. Mida suurem on väärtus, seda väiksem on tõenäosus, et OOM lõpetab protsessi, kuid sisendi- ja väljundioperatsioonide tõttu halvendab see andmebaasi tööd. Ja vastupidi — mida väiksem on väärtus, seda suurem on tõenäosus, et OOM-Killer sekkub, kuid andmebaasi jõudlus on ka kõrgem. Vaikeväärtus on 60, kuid kui kogu andmebaas mahtus mällu, on parem seadistada väärtus 1.

Summary

Ärge laske end heidutada OOM-Killeris esinevatest "tappjatest". Antud juhul on tappja teie süsteemi päästja. See "tapab" kõige enam kahjulikud protsessid ja päästab süsteemi avarii lõpetamisest. Selleks, et ei peaks OOM-Killeri kasutama PostgreSQL lõpetamiseks, seadke vm.overcommit_memory väärtus 2. See ei taga, et OOM-Killerit ei pea sekkuma, kuid vähendab tõenäosust, et PostgreSQL protsess lõpetatakse sundimisega.

Allikas: habr.com