메모리 부족으로 인한 시스템 오류 발생 시 대처 방법 설정하기 Linux PostgreSQL용

때 Linux 데이터베이스 서버가 예기치 않게 종료되었으며, 그 원인을 파악해야 합니다. 원인은 여러 가지가 있을 수 있습니다. 예를 들어, 시그세그 — 백엔드 서버의 버그로 인한 실패. 그러나 이것은 드뭅니다. 대부분의 경우 단순히 디스크 공간이나 메모리가 부족해집니다. 디스크 공간이 부족한 경우 탈출구는 단 하나뿐입니다. 공간을 확보하고 데이터베이스를 다시 시작하는 것입니다.

메모리 부족 킬러

언제 서버 또는 프로세스의 메모리가 부족해집니다. Linux 메모리 부족 오류 처리기(Out-Of-Memory Killer, OOM Killer)는 두 가지 해결책을 제시합니다. 시스템 전체를 다운시키거나 메모리를 과도하게 사용하는 프로세스(애플리케이션)를 종료하는 것입니다. 당연히 운영체제 다운을 막기 위해 프로세스를 종료하는 것이 더 나은 선택입니다. 간단히 말해, OOM Killer는 커널 다운을 방지하기 위해 애플리케이션을 종료하는 프로세스입니다. 운영체제가 계속 실행되도록 하기 위해 애플리케이션을 희생하는 것입니다. 먼저 OOM이 어떻게 작동하고 어떻게 제어하는지 살펴본 다음, OOM Killer가 어떤 애플리케이션을 종료할지 결정하는 기준을 알아보겠습니다.

주요 업무 중 하나 Linux — 프로세스가 요청할 때 메모리를 할당합니다. 일반적으로 프로세스나 애플리케이션은 운영체제에 메모리를 요청하지만 전부 사용하지는 않습니다. 운영체제가 메모리를 요청하는 모든 프로세스에 메모리를 할당하지만, 실제로 사용하지 않는 프로세스가 메모리를 할당하면 시스템 메모리가 빠르게 부족해져 시스템이 충돌할 수 있습니다. 이를 방지하기 위해 운영체제는 프로세스에 필요한 메모리를 예약해 두지만 실제로 할당하지는 않습니다. 메모리는 프로세스가 실제로 사용하려는 경우에만 할당됩니다. 때때로 운영체제에 사용 가능한 메모리가 없을 때 프로세스에 메모리를 예약해 두고, 프로세스가 필요로 할 때 가능하면 할당합니다. 하지만 이 경우 운영체제가 메모리를 예약해 두었지만 정작 필요할 때 사용 가능한 메모리가 없어 시스템이 충돌하는 문제가 발생할 수 있습니다. OOM(메모리 부족) 오류는 이러한 상황에서 중요한 역할을 하며, 커널 패닉을 방지하기 위해 프로세스를 강제로 종료합니다. PostgreSQL 프로세스가 강제로 종료되면 로그에 다음과 같은 메시지가 나타납니다.

Out of Memory: Killed process 12345 (postgres).

시스템 메모리가 부족하고 해제할 수 없는 경우 함수가 호출됩니다. out_of_memory. 이 단계에서 그녀가 해야 할 일은 하나 이상, 즉 하나 이상의 프로세스를 완료하는 것뿐입니다. OOM-killer가 프로세스를 즉시 종료해야 합니까, 아니면 기다릴 수 있습니까? 분명히 out_of_memory가 호출되면 I/O 작업을 기다리거나 디스크에 페이징하기 때문입니다. 따라서 OOM 킬러는 먼저 검사를 수행하고 이를 기반으로 프로세스를 종료해야 하는지 결정해야 합니다. 아래 확인 사항이 모두 긍정적이면 OOM은 프로세스를 종료합니다.

프로세스 선택

메모리가 부족해지면 함수가 호출됩니다. out_of_memory(). 기능이 있어요 select_bad_process(), 함수로부터 평가를 받습니다. badness(). "최악의" 프로세스가 목표가 됩니다. 기능 badness() 특정 규칙에 따라 프로세스를 선택합니다.

1. 커널 자체에는 최소한의 메모리가 필요합니다.
2. 많은 메모리를 확보해야 합니다.
3. 메모리를 거의 사용하지 않는 프로세스를 종료할 필요가 없습니다.
4. 최소한의 프로세스를 완료해야 합니다.
5. 사용자가 직접 완료하려는 프로세스의 완료 가능성을 높이는 복잡한 알고리즘입니다.

이러한 모든 확인을 완료한 후 OOM은 점수(oom_score). OOM 할당 oom_score 각 프로세스를 실행한 다음 이 값에 메모리 양을 곱합니다. 값이 더 큰 프로세스는 OOM Killer의 희생양이 될 가능성이 더 높습니다. 루트 사용자와 연결된 프로세스는 점수가 낮고 강제로 종료될 가능성이 적습니다.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

Postgres 프로세스 ID는 3813이므로 다른 셸에서는 이 커널 매개변수를 사용하여 점수를 얻을 수 있습니다. oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

OOM-Killer가 프로세스를 전혀 종료하지 않도록 하려면 다른 커널 옵션이 있습니다: oom_score_adj. 중요하게 생각하는 프로세스를 완료할 가능성을 줄이려면 큰 음수 값을 추가하세요.

sudo echo -100 > /proc/3813/oom_score_adj

값을 설정하려면 oom_score_adj, 서비스 블록에서 OOMScoreAdjust를 설정합니다.

[Service]
OOMScoreAdjust=-1000

또는 사용 oomprotect 팀에서 rcctl.

rcctl set <i>servicename</i> oomprotect -1000

프로세스 강제 종료

하나 이상의 프로세스가 이미 선택되어 있으면 OOM-Killer는 함수를 호출합니다. oom_kill_task(). 이 함수는 프로세스에 종료 신호를 보냅니다. 메모리 부족의 경우 oom_kill() 이 함수를 호출하여 SIGKILL 신호를 프로세스에 보냅니다. 커널 로그에 메시지가 기록됩니다.

Out of Memory: Killed process [pid] [name].

OOM-Killer 제어 방법

В Linux OOM-Killer를 활성화 또는 비활성화할 수 있습니다(단, 비활성화는 권장하지 않습니다). 활성화 또는 비활성화하려면 해당 매개변수를 사용하십시오. vm.oom-kill. 런타임에 OOM-Killer를 활성화하려면 다음 명령을 실행하세요. sysctl.

sudo -s sysctl -w vm.oom-kill = 1

OOM-Killer를 비활성화하려면 동일한 명령에 값 0을 지정하십시오.

sudo -s sysctl -w vm.oom-kill = 0

이 명령의 결과는 영원히 저장되지 않고 처음 재부팅할 때까지만 저장됩니다. 지속성이 더 필요하면 파일에 다음 줄을 추가하세요. /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

활성화 및 비활성화하는 또 다른 방법은 변수를 작성하는 것입니다. panic_on_oom. 값은 언제든지 확인할 수 있습니다. /proc.

$ cat /proc/sys/vm/panic_on_oom
0

값을 0으로 설정하면 메모리가 부족해도 커널 패닉이 발생하지 않습니다.

$ echo 0 > /proc/sys/vm/panic_on_oom

값을 1로 설정하면 메모리가 부족해지면 커널 패닉이 발생합니다.

echo 1 > /proc/sys/vm/panic_on_oom

앞서 언급했듯이 OOM-Killer는 켜고 끌 수 있습니다. Linux 프로세스에 사용 가능한 메모리보다 더 많은 메모리를 예약할 수 있지만 실제로 할당하지는 않을 수 있으며, 이러한 동작은 커널 매개변수에 의해 제어됩니다. Linux이 현상은 해당 변수 때문입니다. vm.overcommit_memory.

다음 값을 지정할 수 있습니다.

0: 커널 자체에서 과도한 메모리를 예약할지 여부를 결정합니다. 이는 대부분의 버전에서 기본값입니다. Linux.
1: 커널은 항상 추가 메모리를 예약합니다. 언젠가는 프로세스에서 메모리가 필요할 것이기 때문에 메모리가 부족할 수 있으므로 이는 위험합니다.
2: 커널은 매개변수에 지정된 것보다 더 많은 메모리를 예약하지 않습니다. overcommit_ratio.

이 매개변수를 사용하여 초과 예약이 허용되는 메모리 비율을 지정합니다. 공간이 없으면 메모리가 할당되지 않으며 예약이 거부됩니다. 이는 PostgreSQL에 권장되는 가장 안전한 옵션입니다. OOM-Killer는 다른 요소, 즉 변수에 의해 제어되는 스와핑 기능의 영향을 받습니다. cat /proc/sys/vm/swappiness. 이 값은 커널에 페이징 처리 방법을 알려줍니다. 값이 높을수록 OOM이 프로세스를 종료할 가능성은 낮아지지만 I/O 작업으로 인해 데이터베이스에 부정적인 영향을 미칩니다. 그 반대의 경우도 마찬가지입니다. 값이 낮을수록 OOM-Killer 개입 가능성이 높아지지만 데이터베이스 성능도 높아집니다. 기본값은 60이지만, 데이터베이스 전체가 메모리에 맞을 경우에는 1로 설정하는 것이 좋다.

결과

OOM-Killer의 "킬러"가 당신을 놀라게 하지 않도록 하세요. 이 경우 살인자는 시스템의 구세주가 될 것입니다. 이는 최악의 프로세스를 "종료"하고 시스템 충돌을 방지합니다. PostgreSQL을 종료하기 위해 OOM-Killer를 사용하지 않으려면 다음과 같이 설정하십시오. vm.overcommit_memory 값 2. 이는 OOM-Killer가 개입할 필요가 없다는 것을 보장하지는 않지만 PostgreSQL 프로세스를 강제로 종료할 가능성을 줄여줍니다.

출처 : habr.com