Konfigurera Out-Of-Memory Killer i Linux för PostgreSQL

När du är inne Linux Databasservern avslutas oväntat och orsaken måste fastställas. Det kan finnas flera orsaker. Till exempel, SIGSEGV — fel på grund av en bugg i backend-servern. Men detta är sällsynt. Oftast får du helt enkelt slut på diskutrymme eller minne. Om du får slut på diskutrymme finns det bara en väg ut - frigör utrymme och starta om databasen.

Out-of-Memory Killer

När du server eller processen får slut på minne, Linux Out-Of-Memory Killer erbjuder två lösningar: krascha hela systemet eller avsluta processen (applikationen) som äter upp minne. Det är naturligtvis bättre att avsluta processen och rädda operativsystemet från att krascha. Kort sagt är Out-Of-Memory Killer en process som avslutar en applikation för att rädda kärnan från att krascha. Den offrar applikationen för att hålla operativsystemet igång. Låt oss först diskutera hur OOM fungerar och hur man kontrollerar det, och sedan titta på hur OOM Killer bestämmer vilka applikationer som ska avslutas.

En av huvuduppgifterna Linux — Allokera minne till processer när de begär det. Vanligtvis begär en process eller applikation minne från operativsystemet men använder det inte helt. Om operativsystemet allokerar minne till alla som begär det men inte planerar att använda det, kommer systemet snabbt att få slut på minne och systemet kraschar. För att förhindra detta reserverar operativsystemet minne för en process men allokerar det inte. Minne allokeras endast när en process faktiskt avser att använda det. Ibland har operativsystemet inte ledigt minne, men det allokerar minne till en process, och när processen behöver det allokerar operativsystemet det om det kan. Nackdelen är att operativsystemet ibland reserverar minne, men när det behövs finns det inget ledigt minne, vilket orsakar en systemkrasch. OOM spelar en nyckelroll i detta scenario genom att avsluta processer för att förhindra att kärnan får panik. När PostgreSQL-processen tvångsavslutas visas följande meddelande i loggen:

Out of Memory: Killed process 12345 (postgres).

Om systemet har ont om minne och det inte kan frigöras, anropas funktionen out_of_memory. I det här skedet har hon bara en sak kvar att göra – slutföra en eller flera processer. Ska OOM-killer avsluta processen omedelbart eller kan den vänta? Uppenbarligen, när out_of_memory anropas beror det på att man väntar på en I/O-operation eller sökning till disk. Därför måste OOM-mördaren först utföra kontroller och utifrån dem besluta att processen måste avslutas. Om alla kontroller nedan är positiva kommer OOM att avsluta processen.

Processval

När minnet tar slut anropas funktionen out_of_memory(). Den har en funktion select_bad_process(), som får en utvärdering från funktionen badness(). Den "värsta" processen kommer att riktas mot. Fungera badness() väljer en process enligt vissa regler.

1. Kärnan behöver lite minne för sig själv.
2. Du måste frigöra mycket minne.
3. Det finns inget behov av att avsluta processer som använder lite minne.
4. Minsta processer måste slutföras.
5. Komplexa algoritmer som ökar chanserna till slutförande för de processer som användaren själv vill slutföra.

Efter att ha genomfört alla dessa kontroller undersöker OOM poängen (oom_score). OOM tilldelar oom_score varje process och multiplicerar sedan detta värde med mängden minne. Processer med större värden är mer benägna att falla offer för OOM Killer. Processer associerade med root-användaren har lägre poäng och är mindre sannolikt att tvingas avslutas.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

Postgres process-ID är 3813, så i ett annat skal är det möjligt att få poängen med denna kärnparameter oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

Om du inte vill att OOM-Killer ska döda processen alls, finns det ett annat kärnalternativ: oom_score_adj. Lägg till ett stort negativt värde för att minska chanserna att slutföra en process som du värdesätter.

sudo echo -100 > /proc/3813/oom_score_adj

För att ställa in ett värde oom_score_adj, ställ in OOMScoreAdjust i serviceblocket:

[Service]
OOMScoreAdjust=-1000

Eller använd oomprotect i ett lag rcctl.

rcctl set <i>servicename</i> oomprotect -1000

Framtvinga avslutande av en process

När en eller flera processer redan är valda anropar OOM-Killer funktionen oom_kill_task(). Denna funktion skickar en avslutningssignal till processen. Vid minnesbrist oom_kill() Anropar denna funktion för att skicka en SIGKILL-signal till processen. Ett meddelande skrivs till kärnloggen.

Out of Memory: Killed process [pid] [name].

Hur man styr OOM-Killer

В Linux Du kan aktivera eller inaktivera OOM-Killer (även om det senare inte rekommenderas). För att aktivera eller inaktivera det, använd parametern vm.oom-kill. För att aktivera OOM-Killer vid körning, kör kommandot sysctl.

sudo -s sysctl -w vm.oom-kill = 1

För att inaktivera OOM-Killer, ange värdet 0 i samma kommando:

sudo -s sysctl -w vm.oom-kill = 0

Resultatet av detta kommando kommer inte att sparas för alltid, utan bara tills den första omstarten. Om du behöver mer uthållighet, lägg till den här raden i filen /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

Ett annat sätt att aktivera och inaktivera är att skriva en variabel panic_on_oom. Värdet kan alltid checkas in /proc.

$ cat /proc/sys/vm/panic_on_oom
0

Om du ställer in värdet till 0 kommer det inte att uppstå någon kärnpanik när minnet tar slut.

$ echo 0 > /proc/sys/vm/panic_on_oom

Om du ställer in värdet till 1 kommer en kärnpanik att uppstå när minnet tar slut.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killer kan slås på och av, som vi redan nämnt. Linux kan reservera mer minne för processer än vad som är tillgängligt, men inte faktiskt allokera det, och detta beteende styrs av en kärnparameter LinuxVariabeln är ansvarig för detta. vm.overcommit_memory.

Du kan ange följande värden för det:

0: Kärnan avgör själv om den ska reservera för mycket minne. Detta är standardvärdet i de flesta versioner. Linux.
1: Kärnan kommer alltid att reservera extra minne. Detta är riskabelt, eftersom minnet kan ta slut, eftersom processerna troligen kommer att kräva det en dag.
2: kärnan kommer inte att reservera mer minne än vad som anges i parametern overcommit_ratio.

Med den här parametern anger du den procentandel av minnet som får vara överreserverat. Om det inte finns plats för det tilldelas inget minne och reservationen kommer att nekas. Detta är det säkraste alternativet som rekommenderas för PostgreSQL. OOM-Killer påverkas av ett annat element - växlingsförmågan, som styrs av variabeln cat /proc/sys/vm/swappiness. Dessa värden talar om för kärnan hur man hanterar personsökning. Ju högre värde, desto mindre sannolikt är det att OOM kommer att avsluta processen, men på grund av I/O-operationer har det en negativ inverkan på databasen. Och vice versa - ju lägre värde, desto högre är sannolikheten för OOM-Killer-intervention, men databasprestandan är också högre. Standardvärdet är 60, men om hela databasen får plats i minnet är det bättre att sätta värdet till 1.

Resultat av

Låt inte "mördaren" i OOM-Killer skrämma dig. I det här fallet kommer mördaren att bli ditt systems räddare. Det "dödar" de värsta processerna och räddar systemet från att krascha. För att undvika att behöva använda OOM-Killer för att avsluta PostgreSQL, ställ in på vm.overcommit_memory värde 2. Detta garanterar inte att OOM-Killer inte behöver ingripa, men det kommer att minska sannolikheten för att tvinga PostgreSQL-processen att avslutas.

Källa: will.com