PostgreSQL용 Linux에서 메모리 부족 킬러 설정

Linux에서 데이터베이스 서버가 예기치 않게 종료되면 원인을 찾아야 합니다. 여러 가지 이유가 있을 수 있습니다. 예를 들어, 시그세그 — 백엔드 서버의 버그로 인한 실패. 그러나 이것은 드뭅니다. 대부분의 경우 단순히 디스크 공간이나 메모리가 부족해집니다. 디스크 공간이 부족한 경우 탈출구는 단 하나뿐입니다. 공간을 확보하고 데이터베이스를 다시 시작하는 것입니다.

메모리 부족 킬러

서버나 프로세스에 메모리가 부족할 경우 Linux는 두 가지 솔루션을 제공합니다. 전체 시스템을 충돌시키거나 메모리를 소모하는 프로세스(응용 프로그램)를 종료하는 것입니다. 물론 프로세스를 종료하고 OS가 충돌하지 않도록 저장하는 것이 더 좋습니다. 간단히 말해서 Out-Of-Memory Killer는 커널이 충돌하지 않도록 응용 프로그램을 종료하는 프로세스입니다. OS 실행을 유지하기 위해 애플리케이션을 희생합니다. 먼저 OOM의 작동 방식과 제어 방법을 논의한 다음 OOM Killer가 종료할 응용 프로그램을 어떻게 결정하는지 살펴보겠습니다.

Linux의 주요 작업 중 하나는 프로세스가 요청할 때 메모리를 할당하는 것입니다. 일반적으로 프로세스나 애플리케이션은 OS에 메모리를 요청하지만 이를 완전히 사용하지는 않습니다. OS가 메모리를 요청했지만 사용할 계획이 없는 모든 사람에게 메모리를 제공한다면 머지않아 메모리가 부족해지고 시스템이 실패하게 됩니다. 이를 방지하기 위해 OS는 프로세스용 메모리를 예약하지만 실제로 해제하지는 않습니다. 메모리는 프로세스가 실제로 사용할 때만 할당됩니다. OS에 사용 가능한 메모리가 없지만 프로세스에 메모리를 할당하고, 프로세스에 메모리가 필요할 때 OS는 가능하면 메모리를 할당합니다. 단점은 때때로 OS가 메모리를 예약하지만 적절한 시점에 여유 메모리가 없어 시스템이 충돌한다는 것입니다. OOM은 이 시나리오에서 중요한 역할을 하며 프로세스를 종료하여 커널이 패닉에 빠지는 것을 방지합니다. PostgreSQL 프로세스가 강제로 종료되면 로그에 다음 메시지가 나타납니다.

Out of Memory: Killed process 12345 (postgres).

시스템 메모리가 부족하고 해제할 수 없는 경우 함수가 호출됩니다. out_of_memory. 이 단계에서 그녀가 해야 할 일은 하나 이상, 즉 하나 이상의 프로세스를 완료하는 것뿐입니다. OOM-killer가 프로세스를 즉시 종료해야 합니까, 아니면 기다릴 수 있습니까? 분명히 out_of_memory가 호출되면 I/O 작업을 기다리거나 디스크에 페이징하기 때문입니다. 따라서 OOM 킬러는 먼저 검사를 수행하고 이를 기반으로 프로세스를 종료해야 하는지 결정해야 합니다. 아래 확인 사항이 모두 긍정적이면 OOM은 프로세스를 종료합니다.

프로세스 선택

메모리가 부족해지면 함수가 호출됩니다. out_of_memory(). 기능이 있어요 select_bad_process(), 함수로부터 평가를 받습니다. badness(). "최악의" 프로세스가 목표가 됩니다. 기능 badness() 특정 규칙에 따라 프로세스를 선택합니다.

1. 커널 자체에는 최소한의 메모리가 필요합니다.
2. 많은 메모리를 확보해야 합니다.
3. 메모리를 거의 사용하지 않는 프로세스를 종료할 필요가 없습니다.
4. 최소한의 프로세스를 완료해야 합니다.
5. 사용자가 직접 완료하려는 프로세스의 완료 가능성을 높이는 복잡한 알고리즘입니다.

이러한 모든 확인을 완료한 후 OOM은 점수(oom_score). OOM 할당 oom_score 각 프로세스를 실행한 다음 이 값에 메모리 양을 곱합니다. 값이 더 큰 프로세스는 OOM Killer의 희생양이 될 가능성이 더 높습니다. 루트 사용자와 연결된 프로세스는 점수가 낮고 강제로 종료될 가능성이 적습니다.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

Postgres 프로세스 ID는 3813이므로 다른 셸에서는 이 커널 매개변수를 사용하여 점수를 얻을 수 있습니다. oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

OOM-Killer가 프로세스를 전혀 종료하지 않도록 하려면 다른 커널 옵션이 있습니다: oom_score_adj. 중요하게 생각하는 프로세스를 완료할 가능성을 줄이려면 큰 음수 값을 추가하세요.

sudo echo -100 > /proc/3813/oom_score_adj

값을 설정하려면 oom_score_adj, 서비스 블록에서 OOMScoreAdjust를 설정합니다.

[Service]
OOMScoreAdjust=-1000

또는 사용 oomprotect 팀에서 rcctl.

rcctl set <i>servicename</i> oomprotect -1000

프로세스 강제 종료

하나 이상의 프로세스가 이미 선택되어 있으면 OOM-Killer는 함수를 호출합니다. oom_kill_task(). 이 함수는 프로세스에 종료 신호를 보냅니다. 메모리 부족의 경우 oom_kill() 이 함수를 호출하여 SIGKILL 신호를 프로세스에 보냅니다. 커널 로그에 메시지가 기록됩니다.

Out of Memory: Killed process [pid] [name].

OOM-Killer 제어 방법

Linux에서는 OOM-Killer를 활성화하거나 비활성화할 수 있습니다(후자는 권장되지 않음). 활성화 또는 비활성화하려면 매개변수를 사용하십시오. vm.oom-kill. 런타임에 OOM-Killer를 활성화하려면 다음 명령을 실행하세요. sysctl.

sudo -s sysctl -w vm.oom-kill = 1

OOM-Killer를 비활성화하려면 동일한 명령에 값 0을 지정하십시오.

sudo -s sysctl -w vm.oom-kill = 0

이 명령의 결과는 영원히 저장되지 않고 처음 재부팅할 때까지만 저장됩니다. 지속성이 더 필요하면 파일에 다음 줄을 추가하세요. /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

활성화 및 비활성화하는 또 다른 방법은 변수를 작성하는 것입니다. panic_on_oom. 값은 언제든지 확인할 수 있습니다. /proc.

$ cat /proc/sys/vm/panic_on_oom
0

값을 0으로 설정하면 메모리가 부족해도 커널 패닉이 발생하지 않습니다.

$ echo 0 > /proc/sys/vm/panic_on_oom

값을 1로 설정하면 메모리가 부족해지면 커널 패닉이 발생합니다.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killer는 켜고 끌 수만 있는 것이 아닙니다. 우리는 이미 Linux가 실제로 할당하지 않고도 사용 가능한 것보다 더 많은 메모리를 프로세스에 예약할 수 있으며 이 동작은 Linux 커널 매개변수에 의해 제어된다고 말했습니다. 변수가 이를 담당합니다. vm.overcommit_memory.

다음 값을 지정할 수 있습니다.

0: 커널 자체에서 너무 많은 메모리를 예약할지 여부를 결정합니다. 이는 대부분의 Linux 버전에서 기본값입니다.
1: 커널은 항상 추가 메모리를 예약합니다. 언젠가는 프로세스에서 메모리가 필요할 것이기 때문에 메모리가 부족할 수 있으므로 이는 위험합니다.
2: 커널은 매개변수에 지정된 것보다 더 많은 메모리를 예약하지 않습니다. overcommit_ratio.

이 매개변수를 사용하여 초과 예약이 허용되는 메모리 비율을 지정합니다. 공간이 없으면 메모리가 할당되지 않으며 예약이 거부됩니다. 이는 PostgreSQL에 권장되는 가장 안전한 옵션입니다. OOM-Killer는 다른 요소, 즉 변수에 의해 제어되는 스와핑 기능의 영향을 받습니다. cat /proc/sys/vm/swappiness. 이 값은 커널에 페이징 처리 방법을 알려줍니다. 값이 높을수록 OOM이 프로세스를 종료할 가능성은 낮아지지만 I/O 작업으로 인해 데이터베이스에 부정적인 영향을 미칩니다. 그 반대의 경우도 마찬가지입니다. 값이 낮을수록 OOM-Killer 개입 가능성이 높아지지만 데이터베이스 성능도 높아집니다. 기본값은 60이지만, 데이터베이스 전체가 메모리에 맞을 경우에는 1로 설정하는 것이 좋다.

결과

OOM-Killer의 "킬러"가 당신을 놀라게 하지 않도록 하세요. 이 경우 살인자는 시스템의 구세주가 될 것입니다. 이는 최악의 프로세스를 "종료"하고 시스템 충돌을 방지합니다. PostgreSQL을 종료하기 위해 OOM-Killer를 사용하지 않으려면 다음과 같이 설정하십시오. vm.overcommit_memory 값 2. 이는 OOM-Killer가 개입할 필요가 없다는 것을 보장하지는 않지만 PostgreSQL 프로세스를 강제로 종료할 가능성을 줄여줍니다.

출처 : habr.com