ການຕັ້ງຄ່າ Out-Of-Memory Killer ໃນ Linux ສຳລັບ PostgreSQL

ເມື່ອຢູ່ໃນ Linux ເຊີບເວີຖານຂໍ້ມູນຢຸດເຮັດວຽກໂດຍບໍ່ຄາດຄິດ, ແລະ ຕ້ອງໄດ້ກຳນົດສາເຫດ. ອາດມີຫຼາຍສາເຫດ. ຕົວຢ່າງ, SIGSEGV — ຄວາມ​ລົ້ມ​ເຫຼວ​ເນື່ອງ​ຈາກ bug ໃນ​ເຊີບ​ເວີ backend. ແຕ່ນີ້ແມ່ນຫາຍາກ. ສ່ວນຫຼາຍມັກ, ທ່ານພຽງແຕ່ຫມົດພື້ນທີ່ດິດຫຼືຫນ່ວຍຄວາມຈໍາ. ຖ້າເຈົ້າໝົດພື້ນທີ່ດິສກ໌, ມີທາງດຽວອອກ - free up space and restart the database .

ນັກຂ້າຄວາມຊົງຈຳນອກ

ເມື່ອເຈົ້າ ເຄື່ອງແມ່ຂ່າຍ ຫຼື ຂະບວນການໝົດໜ່ວຍຄວາມຈຳ, Linux Out-Of-Memory Killer ມີສອງວິທີແກ້ໄຂຄື: ເຮັດໃຫ້ລະບົບທັງໝົດຂັດຂ້ອງ ຫຼື ຢຸດຂະບວນການ (ແອັບພລິເຄຊັນ) ທີ່ກິນໜ່ວຍຄວາມຈຳ. ແນ່ນອນ, ມັນດີກວ່າທີ່ຈະຢຸດຂະບວນການ ແລະ ຊ່ວຍປະຢັດລະບົບປະຕິບັດການຈາກການຂັດຂ້ອງ. ສະຫຼຸບແລ້ວ, Out-Of-Memory Killer ແມ່ນຂະບວນການທີ່ຢຸດແອັບພລິເຄຊັນເພື່ອຊ່ວຍປະຢັດ kernel ຈາກການຂັດຂ້ອງ. ມັນເສຍສະລະແອັບພລິເຄຊັນເພື່ອຮັກສາລະບົບປະຕິບັດການໃຫ້ເຮັດວຽກ. ກ່ອນອື່ນໝົດ, ໃຫ້ພວກເຮົາສົນທະນາກ່ຽວກັບວິທີການເຮັດວຽກຂອງ OOM ແລະວິທີການຄວບຄຸມມັນ, ແລະຈາກນັ້ນເບິ່ງວ່າ OOM Killer ຕັດສິນໃຈວ່າແອັບພລິເຄຊັນໃດທີ່ຈະຢຸດ.

ໜຶ່ງໃນວຽກງານຫຼັກ Linux — ຈັດສັນໜ່ວຍຄວາມຈຳໃຫ້ກັບຂະບວນການເມື່ອພວກເຂົາຮ້ອງຂໍມັນ. ໂດຍປົກກະຕິແລ້ວ, ຂະບວນການ ຫຼື ແອັບພລິເຄຊັນຮ້ອງຂໍໜ່ວຍຄວາມຈຳຈາກລະບົບປະຕິບັດການ ແຕ່ບໍ່ໄດ້ໃຊ້ມັນຢ່າງສົມບູນ. ຖ້າລະບົບປະຕິບັດການຈັດສັນໜ່ວຍຄວາມຈຳໃຫ້ກັບທຸກຄົນທີ່ຮ້ອງຂໍມັນ ແຕ່ບໍ່ໄດ້ວາງແຜນທີ່ຈະໃຊ້ມັນ, ລະບົບຈະໝົດໜ່ວຍຄວາມຈຳຢ່າງໄວວາ, ແລະ ລະບົບຈະຂັດຂ້ອງ. ເພື່ອປ້ອງກັນສິ່ງນີ້, ລະບົບປະຕິບັດການສະຫງວນໜ່ວຍຄວາມຈຳສຳລັບຂະບວນການ ແຕ່ບໍ່ໄດ້ຈັດສັນມັນແທ້ໆ. ໜ່ວຍຄວາມຈຳຖືກຈັດສັນພຽງແຕ່ເມື່ອຂະບວນການມີຄວາມຕັ້ງໃຈທີ່ຈະໃຊ້ມັນແທ້ໆ. ບາງຄັ້ງລະບົບປະຕິບັດການບໍ່ມີໜ່ວຍຄວາມຈຳຫວ່າງ, ແຕ່ມັນຈັດສັນໜ່ວຍຄວາມຈຳໃຫ້ກັບຂະບວນການ, ແລະ ເມື່ອຂະບວນການຕ້ອງການມັນ, ລະບົບປະຕິບັດການຈະຈັດສັນມັນຖ້າມັນສາມາດເຮັດໄດ້. ຂໍ້ເສຍແມ່ນວ່າບາງຄັ້ງລະບົບປະຕິບັດການສະຫງວນໜ່ວຍຄວາມຈຳ, ແຕ່ເມື່ອຕ້ອງການ, ບໍ່ມີໜ່ວຍຄວາມຈຳຫວ່າງ, ເຊິ່ງເຮັດໃຫ້ລະບົບຂັດຂ້ອງ. OOM ມີບົດບາດສຳຄັນໃນສະຖານະການນີ້, ຢຸດຂະບວນການເພື່ອປ້ອງກັນບໍ່ໃຫ້ kernel ຕົກໃຈ. ເມື່ອຂະບວນການ PostgreSQL ຖືກຢຸດໂດຍບັງຄັບ, ຂໍ້ຄວາມຕໍ່ໄປນີ້ຈະປາກົດຢູ່ໃນບັນທຶກ:

Out of Memory: Killed process 12345 (postgres).

ຖ້າລະບົບມີຫນ່ວຍຄວາມຈໍາຕ່ໍາແລະບໍ່ສາມາດປົດປ່ອຍໄດ້, ຟັງຊັນເອີ້ນວ່າ out_of_memory. ໃນຂັ້ນຕອນນີ້, ນາງມີພຽງແຕ່ສິ່ງດຽວທີ່ຈະເຮັດ - ສໍາເລັດຫນຶ່ງຫຼືຫຼາຍຂະບວນການ. OOM-killer ຄວນຢຸດຂະບວນການທັນທີຫຼືສາມາດລໍຖ້າໄດ້ບໍ? ແນ່ນອນ, ເມື່ອ out_of_memory ຖືກເອີ້ນ, ມັນແມ່ນເນື່ອງມາຈາກການລໍຖ້າການດໍາເນີນງານ I/O ຫຼື paging ກັບແຜ່ນ. ດັ່ງນັ້ນ, ຜູ້ຂ້າ OOM ທໍາອິດຕ້ອງປະຕິບັດການກວດສອບແລະ, ໂດຍອີງໃສ່ພວກມັນ, ຕັດສິນໃຈວ່າຂະບວນການຕ້ອງໄດ້ຮັບການຢຸດເຊົາ. ຖ້າການກວດສອບທັງຫມົດຂ້າງລຸ່ມນີ້ແມ່ນເປັນບວກ, OOM ຈະສິ້ນສຸດຂະບວນການ.

ການຄັດເລືອກຂະບວນການ

ເມື່ອໜ່ວຍຄວາມຈຳໝົດ, ຟັງຊັນຖືກເອີ້ນ out_of_memory(). ມັນມີຫນ້າທີ່ select_bad_process(), ເຊິ່ງໄດ້ຮັບການປະເມີນຜົນຈາກຫນ້າທີ່ badness(). ຂະບວນການ "ຮ້າຍແຮງທີ່ສຸດ" ຈະຖືກເປົ້າຫມາຍ. ຟັງຊັນ badness() ເລືອກຂະບວນການຕາມກົດລະບຽບທີ່ແນ່ນອນ.

1. kernel ຕ້ອງການຫນ່ວຍຄວາມຈໍາຂັ້ນຕ່ໍາບາງຢ່າງສໍາລັບຕົວມັນເອງ.
2. ທ່ານຈໍາເປັນຕ້ອງເພີ່ມຄວາມຈໍາຫຼາຍ.
3. ບໍ່ຈໍາເປັນຕ້ອງຢຸດເຊົາຂະບວນການທີ່ໃຊ້ຫນ່ວຍຄວາມຈໍາພຽງເລັກນ້ອຍ.
4. ຂະບວນການຂັ້ນຕ່ໍາຕ້ອງໄດ້ຮັບການສໍາເລັດ.
5. ສູດການຄິດໄລ່ທີ່ຊັບຊ້ອນທີ່ເພີ່ມໂອກາດຂອງການສໍາເລັດສໍາລັບຂະບວນການເຫຼົ່ານັ້ນທີ່ຜູ້ໃຊ້ເອງຕ້ອງການສໍາເລັດ.

ຫຼັງຈາກສໍາເລັດການກວດສອບທັງຫມົດເຫຼົ່ານີ້, OOM ກວດເບິ່ງຄະແນນ (oom_score). OOM ແຕ່ງຕັ້ງ oom_score ແຕ່ລະຂະບວນການ, ແລະຫຼັງຈາກນັ້ນຄູນຄ່ານີ້ດ້ວຍຈໍານວນຫນ່ວຍຄວາມຈໍາ. ຂະບວນການທີ່ມີຄ່າໃຫຍ່ກວ່າມີແນວໂນ້ມທີ່ຈະຕົກເປັນເຫຍື່ອຂອງ OOM Killer. ຂະບວນການທີ່ກ່ຽວຂ້ອງກັບຜູ້ໃຊ້ຮາກມີຄະແນນຕ່ໍາແລະຫນ້ອຍທີ່ຈະຖືກບັງຄັບໃຫ້ຢຸດເຊົາ.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

ID ຂະບວນການ Postgres ແມ່ນ 3813, ດັ່ງນັ້ນໃນແກະອື່ນມັນເປັນໄປໄດ້ທີ່ຈະໄດ້ຮັບຄະແນນໂດຍໃຊ້ຕົວກໍານົດການ kernel ນີ້. oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

ຖ້າທ່ານບໍ່ຕ້ອງການ OOM-Killer ເພື່ອຂ້າຂະບວນການທັງຫມົດ, ມີທາງເລືອກອື່ນອີກ: oom_score_adj. ເພີ່ມມູນຄ່າລົບຂະຫນາດໃຫຍ່ເພື່ອຫຼຸດຜ່ອນໂອກາດຂອງການສໍາເລັດຂະບວນການທີ່ທ່ານໃຫ້ຄຸນຄ່າ.

sudo echo -100 > /proc/3813/oom_score_adj

ເພື່ອກໍານົດຄ່າ oom_score_adj, ຕັ້ງ OOMScoreAdjust ໃນບລັອກບໍລິການ:

[Service]
OOMScoreAdjust=-1000

ຫຼືໃຊ້ oomprotect ໃນ​ທີມ​ງານ​ rcctl.

rcctl set <i>servicename</i> oomprotect -1000

ບັງຄັບໃຫ້ຢຸດຂະບວນການ

ເມື່ອຫນຶ່ງຫຼືຫຼາຍຂະບວນການຖືກເລືອກແລ້ວ, OOM-Killer ໂທຫາຟັງຊັນ oom_kill_task(). ຟັງຊັນນີ້ສົ່ງສັນຍານການຢຸດເຊົາໄປຫາຂະບວນການ. ໃນກໍລະນີຂອງການຂາດແຄນຄວາມຊົງຈໍາ oom_kill() ເອີ້ນຟັງຊັນນີ້ເພື່ອສົ່ງສັນຍານ SIGKILL ໄປຫາຂະບວນການ. ຂໍ້ຄວາມຖືກຂຽນໃສ່ບັນທຶກ kernel.

Out of Memory: Killed process [pid] [name].

ວິທີການຄວບຄຸມ OOM-Killer

В Linux ທ່ານສາມາດເປີດໃຊ້ ຫຼື ປິດໃຊ້ງານ OOM-Killer ໄດ້ (ເຖິງແມ່ນວ່າບໍ່ແນະນຳໃຫ້ໃຊ້ອັນສຸດທ້າຍ). ເພື່ອເປີດໃຊ້ ຫຼື ປິດໃຊ້ງານມັນ, ໃຫ້ໃຊ້ພາລາມິເຕີ vm.oom-kill. ເພື່ອເປີດໃຊ້ OOM-Killer ໃນເວລາແລ່ນ, ດໍາເນີນການຄໍາສັ່ງ sysctl.

sudo -s sysctl -w vm.oom-kill = 1

ເພື່ອປິດການໃຊ້ງານ OOM-Killer, ໃຫ້ລະບຸຄ່າ 0 ໃນຄໍາສັ່ງດຽວກັນ:

sudo -s sysctl -w vm.oom-kill = 0

ຜົນໄດ້ຮັບຂອງຄໍາສັ່ງນີ້ຈະບໍ່ຖືກບັນທຶກໄວ້ຕະຫຼອດໄປ, ແຕ່ວ່າພຽງແຕ່ຈົນກ່ວາ reboot ທໍາອິດ. ຖ້າທ່ານຕ້ອງການຄວາມຄົງທົນຫຼາຍ, ເພີ່ມເສັ້ນນີ້ໃສ່ໄຟລ໌ /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

ອີກວິທີຫນຶ່ງທີ່ຈະເປີດໃຊ້ແລະປິດການໃຊ້ງານແມ່ນການຂຽນຕົວແປ panic_on_oom. ມູນຄ່າສາມາດກວດສອບໄດ້ຕະຫຼອດເວລາ /proc.

$ cat /proc/sys/vm/panic_on_oom
0

ຖ້າທ່ານຕັ້ງຄ່າເປັນ 0, ຫຼັງຈາກນັ້ນ, ເມື່ອຫນ່ວຍຄວາມຈໍາຫມົດ, ຈະບໍ່ມີຄວາມແປກໃຈ kernel.

$ echo 0 > /proc/sys/vm/panic_on_oom

ຖ້າທ່ານຕັ້ງຄ່າເປັນ 1, ຫຼັງຈາກນັ້ນ, ເມື່ອຫນ່ວຍຄວາມຈໍາຫມົດ, kernel panic ຈະເກີດຂຶ້ນ.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killer ສາມາດເປີດ ແລະ ປິດໄດ້, ດັ່ງທີ່ພວກເຮົາໄດ້ກ່າວມາແລ້ວ. Linux ອາດຈະສະຫງວນໜ່ວຍຄວາມຈຳຫຼາຍກວ່າສຳລັບຂະບວນການທີ່ມີຢູ່, ແຕ່ບໍ່ໄດ້ຈັດສັນມັນແທ້ໆ, ແລະພຶດຕິກຳນີ້ຖືກຄວບຄຸມໂດຍພາລາມິເຕີ kernel Linuxຕົວແປມີຄວາມຮັບຜິດຊອບຕໍ່ສິ່ງນີ້. vm.overcommit_memory.

ທ່ານສາມາດກໍານົດຄ່າຕໍ່ໄປນີ້ສໍາລັບມັນ:

0: ເຄີເນລເອງຈະຕັດສິນໃຈວ່າຈະສະຫງວນໜ່ວຍຄວາມຈຳຫຼາຍເກີນໄປຫຼືບໍ່. ນີ້ແມ່ນຄ່າເລີ່ມຕົ້ນໃນເວີຊັ່ນສ່ວນໃຫຍ່. Linux.
1: kernel ຈະສະຫງວນຄວາມຊົງຈໍາພິເສດສະເຫມີ. ນີ້ແມ່ນຄວາມສ່ຽງ, ເພາະວ່າຄວາມຊົງຈໍາອາດຈະຫມົດໄປ, ເພາະວ່າ, ສ່ວນຫຼາຍອາດຈະ, ມື້ຫນຶ່ງຂະບວນການຈະຕ້ອງການມັນ.
2: kernel ຈະບໍ່ສະຫງວນຄວາມຈໍາຫຼາຍກ່ວາທີ່ລະບຸໄວ້ໃນພາລາມິເຕີ overcommit_ratio.

ດ້ວຍພາລາມິເຕີນີ້, ທ່ານລະບຸເປີເຊັນຂອງຫນ່ວຍຄວາມຈໍາທີ່ຖືກອະນຸຍາດໃຫ້ຈອງເກີນ. ຖ້າບໍ່ມີຫ້ອງສໍາລັບມັນ, ບໍ່ມີການຈັດສັນຫນ່ວຍຄວາມຈໍາ, ແລະການຈອງຈະຖືກປະຕິເສດ. ນີ້ແມ່ນທາງເລືອກທີ່ປອດໄພທີ່ສຸດທີ່ແນະນໍາສໍາລັບ PostgreSQL. OOM-Killer ໄດ້ຮັບຜົນກະທົບຈາກອົງປະກອບອື່ນ - ຄວາມສາມາດໃນການແລກປ່ຽນ, ເຊິ່ງຖືກຄວບຄຸມໂດຍຕົວແປ cat /proc/sys/vm/swappiness. ຄ່າເຫຼົ່ານີ້ບອກ kernel ວິທີການຈັດການກັບຫນ້າເວັບ. ມູນຄ່າທີ່ສູງຂຶ້ນ, ມັນເປັນໄປໄດ້ຫນ້ອຍທີ່ OOM ຈະຢຸດຂະບວນການ, ແຕ່ເນື່ອງຈາກການດໍາເນີນງານ I/O ມັນມີຜົນກະທົບທາງລົບຕໍ່ຖານຂໍ້ມູນ. ແລະໃນທາງກັບກັນ - ມູນຄ່າຕ່ໍາ, ຄວາມເປັນໄປໄດ້ຂອງການແຊກແຊງ OOM-Killer ສູງຂຶ້ນ, ແຕ່ການປະຕິບັດຖານຂໍ້ມູນຍັງສູງກວ່າ. ຄ່າເລີ່ມຕົ້ນແມ່ນ 60, ແຕ່ຖ້າຖານຂໍ້ມູນທັງຫມົດເຫມາະກັບຫນ່ວຍຄວາມຈໍາ, ມັນດີກວ່າທີ່ຈະກໍານົດຄ່າເປັນ 1.

ຜົນໄດ້ຮັບ

ຢ່າປ່ອຍໃຫ້ "ນັກຂ້າ" ໃນ OOM-Killer ຢ້ານເຈົ້າ. ໃນກໍລະນີນີ້, killer ຈະເປັນຜູ້ຊ່ອຍໃຫ້ລອດຂອງລະບົບຂອງທ່ານ. ມັນ "ຂ້າ" ຂະບວນການທີ່ຮ້າຍແຮງທີ່ສຸດແລະຊ່ວຍປະຢັດລະບົບຈາກການຂັດຂ້ອງ. ເພື່ອຫຼີກເວັ້ນການໃຊ້ OOM-Killer ເພື່ອຢຸດ PostgreSQL, ຕັ້ງເປັນ vm.overcommit_memory ມູນຄ່າ 2. ນີ້ບໍ່ໄດ້ຮັບປະກັນວ່າ OOM-Killer ຈະບໍ່ມີການແຊກແຊງ, ແຕ່ມັນຈະຫຼຸດຜ່ອນຄວາມເປັນໄປໄດ້ຂອງການບັງຄັບໃຫ້ຂະບວນການ PostgreSQL ຢຸດເຊົາ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com