Mälu otsa saamise tapja seadistamine Linux PostgreSQL-i jaoks

Kui sisse Linux Andmebaasiserver lõpetab ootamatult töö ja põhjus tuleb välja selgitada. Sellel võib olla mitu põhjust. Näiteks SIGSEGV — tõrge taustaserveri vea tõttu. Kuid see on haruldane. Enamasti saab kettaruum või mälu lihtsalt otsa. Kui kettaruum saab otsa, on ainult üks väljapääs – vabastage ruumi ja taaskäivitage andmebaas.

Mälu otsas tapja

Kui sa server või protsessil saab mälu otsa, Linux Mälu otsa saamise tõrge pakub kahte lahendust: kogu süsteemi krahhi ajada või mälu tarbiva protsessi (rakenduse) lõpetada. Parem on muidugi protsess ise lõpetada ja operatsioonisüsteem krahhist päästa. Lühidalt öeldes on mälu otsa saamise tõrge protsess, mis lõpetab rakenduse, et päästa kernel krahhist. See ohverdab rakenduse, et operatsioonisüsteem töötaks. Kõigepealt arutame, kuidas mälu otsa saamise tõrge töötab ja kuidas seda juhtida, ning seejärel vaatame, kuidas mälu otsa saamise tõrge otsustab, millised rakendused lõpetada.

Üks peamisi ülesandeid Linux — Mälu eraldamine protsessidele siis, kui nad seda taotlevad. Tavaliselt taotleb protsess või rakendus operatsioonisüsteemilt mälu, kuid ei kasuta seda täielikult ära. Kui operatsioonisüsteem eraldab mälu kõigile, kes seda taotlevad, kuid ei plaani seda kasutada, saab süsteemil mälu kiiresti otsa ja süsteem jookseb kokku. Selle vältimiseks reserveerib operatsioonisüsteem protsessile mälu, kuid tegelikult seda ei eralda. Mälu eraldatakse ainult siis, kui protsess kavatseb seda tegelikult kasutada. Mõnikord pole operatsioonisüsteemil vaba mälu, kuid see eraldab mälu protsessile ja kui protsess seda vajab, eraldab operatsioonisüsteem selle, kui saab. Negatiivne külg on see, et mõnikord reserveerib operatsioonisüsteem mälu, kuid vajaduse korral pole vaba mälu, mis põhjustab süsteemi krahhi. OOM mängib selles stsenaariumis võtmerolli, lõpetades protsesse, et vältida kerneli paanikat. Kui PostgreSQL-i protsess sunniviisiliselt lõpetatakse, kuvatakse logis järgmine teade:

Out of Memory: Killed process 12345 (postgres).

Kui süsteemis on vähe mälu ja seda ei saa vabastada, kutsutakse funktsioon välja out_of_memory. Selles etapis on tal teha vaid üks asi – üks või mitu protsessi lõpule viia. Kas OOM-killer peaks protsessi viivitamatult lõpetama või võib oodata? Ilmselgelt on out_of_memory väljakutsumine tingitud I/O operatsiooni ootamisest või kettale otsimisest. Seetõttu peab OOM-i killer esmalt läbi viima kontrollid ja nende põhjal otsustama, et protsess tuleb lõpetada. Kui kõik allolevad kontrollid on positiivsed, lõpetab OOM protsessi.

Protsessi valik

Kui mälu saab otsa, kutsutakse funktsioon välja out_of_memory(). Sellel on funktsioon select_bad_process(), mis saab funktsioonilt hinnangu badness(). Sihikule võetakse “halvim” protsess. Funktsioon badness() valib protsessi teatud reeglite järgi.

1. Kernel vajab enda jaoks minimaalset mälu.
2. Peate vabastama palju mälu.
3. Vähe mälu kasutavaid protsesse pole vaja lõpetada.
4. Minimaalsed protsessid tuleb lõpule viia.
5. Komplekssed algoritmid, mis suurendavad nende protsesside lõpetamise võimalusi, mida kasutaja ise soovib.

Pärast kõigi nende kontrollide sooritamist uurib OOM skoori (oom_score). OOM määrab oom_score iga protsessi jaoks ja korrutab selle väärtuse mälumahuga. Suurema väärtusega protsessid langevad tõenäolisemalt OOM Killeri ohvriks. Juurkasutajaga seotud protsessidel on madalam skoor ja need on harvemini sunnitud lõpetama.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

Postgresi protsessi ID on 3813, nii et teises shellis on võimalik selle kerneli parameetri abil tulemus saada oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

Kui te ei soovi, et OOM-Killer protsessi üldse tapaks, on veel üks kerneli valik: oom_score_adj. Lisage suur negatiivne väärtus, et vähendada teie jaoks väärtusliku protsessi lõpuleviimise võimalusi.

sudo echo -100 > /proc/3813/oom_score_adj

Väärtuse määramiseks oom_score_adj, määrake teenuseplokis OOMScoreAdjust:

[Service]
OOMScoreAdjust=-1000

Või kasutada oomprotect meeskonnas rcctl.

rcctl set <i>servicename</i> oomprotect -1000

Protsessi sunniviisiline lõpetamine

Kui üks või mitu protsessi on juba valitud, kutsub OOM-Killer funktsiooni oom_kill_task(). See funktsioon saadab protsessile lõpetamissignaali. Mälupuuduse korral oom_kill() Kutsub seda funktsiooni, et saata protsessile SIGKILL-signaal. Kerneli logisse kirjutatakse teade.

Out of Memory: Killed process [pid] [name].

Kuidas juhtida OOM-Killerit

В Linux Saate OOM-Killeri lubada või keelata (kuigi viimast ei soovitata). Selle lubamiseks või keelamiseks kasutage parameetrit vm.oom-kill. OOM-Killeri käivitamise ajal lubamiseks käivitage käsk sysctl.

sudo -s sysctl -w vm.oom-kill = 1

OOM-Killeri keelamiseks määrake samas käsus väärtus 0:

sudo -s sysctl -w vm.oom-kill = 0

Selle käsu tulemust ei salvestata igaveseks, vaid ainult kuni esimese taaskäivituseni. Kui vajate rohkem püsivust, lisage see rida faili /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

Teine võimalus lubamiseks ja keelamiseks on muutuja kirjutamine panic_on_oom. Väärtust saab alati sisse registreerida /proc.

$ cat /proc/sys/vm/panic_on_oom
0

Kui määrate väärtuseks 0, siis kui mälu saab otsa, ei teki tuumapaanikat.

$ echo 0 > /proc/sys/vm/panic_on_oom

Kui määrate väärtuseks 1, siis kui mälu saab otsa, tekib kerneli paanika.

echo 1 > /proc/sys/vm/panic_on_oom

Nagu me juba mainisime, saab OOM-Killerit sisse ja välja lülitada. Linux võib protsessidele reserveerida rohkem mälu kui saadaval on, kuid seda tegelikult ei eraldata ning seda käitumist kontrollib kerneli parameeter LinuxMuutuja vastutab selle eest. vm.overcommit_memory.

Selle jaoks saate määrata järgmised väärtused:

0: Kernel ise otsustab, kas reserveerida liiga palju mälu. See on enamikus versioonides vaikeväärtus. Linux.
1: Kernel reserveerib alati lisamälu. See on riskantne, sest mälu võib otsa saada, sest suure tõenäosusega ühel päeval protsessid seda nõuavad.
2: kernel ei reserveeri rohkem mälu kui parameetris on määratud overcommit_ratio.

Selle parameetriga saate määrata, kui palju mälu on lubatud ülereserveerida. Kui selle jaoks pole ruumi, siis mälu ei eraldata ja broneering lükatakse tagasi. See on PostgreSQL-i jaoks soovitatav kõige turvalisem valik. OOM-Killerit mõjutab veel üks element – ​​vahetusvõime, mida juhib muutuja cat /proc/sys/vm/swappiness. Need väärtused näitavad kernelile, kuidas lehitsemist käsitleda. Mida suurem on väärtus, seda väiksem on tõenäosus, et OOM lõpetab protsessi, kuid sisend-väljundtoimingute tõttu avaldab see andmebaasile negatiivset mõju. Ja vastupidi – mida madalam on väärtus, seda suurem on OOM-Killeri sekkumise tõenäosus, kuid ka andmebaasi jõudlus on suurem. Vaikeväärtus on 60, kuid kui kogu andmebaas mahub mällu, on parem määrata väärtuseks 1.

Tulemused

Ärge laske OOM-Killeri "tapjal" end hirmutada. Sel juhul on tapja teie süsteemi päästja. See "tapab" halvimad protsessid ja päästab süsteemi kokkujooksmisest. Et vältida OOM-Killeri kasutamist PostgreSQL-i lõpetamiseks, määrake väärtuseks vm.overcommit_memory väärtus 2. See ei garanteeri, et OOM-Killer ei pea sekkuma, kuid see vähendab tõenäosust, et PostgreSQL-i protsess sunnitakse lõpetama.

Allikas: www.habr.com