ການຕັ້ງຄ່າ Out-Of-Memory Killer ໃນ Linux ສໍາລັບ PostgreSQL

ເມື່ອເຄື່ອງແມ່ຂ່າຍຂອງຖານຂໍ້ມູນເຊົາໂດຍບໍ່ຄາດຄິດໃນ Linux, ທ່ານຈໍາເປັນຕ້ອງຊອກຫາເຫດຜົນ. ອາດຈະມີເຫດຜົນຫຼາຍຢ່າງ. ຍົກ​ຕົວ​ຢ່າງ, SIGSEGV — ຄວາມ​ລົ້ມ​ເຫຼວ​ເນື່ອງ​ຈາກ bug ໃນ​ເຊີບ​ເວີ backend. ແຕ່ນີ້ແມ່ນຫາຍາກ. ສ່ວນຫຼາຍມັກ, ທ່ານພຽງແຕ່ຫມົດພື້ນທີ່ດິດຫຼືຫນ່ວຍຄວາມຈໍາ. ຖ້າເຈົ້າໝົດພື້ນທີ່ດິສກ໌, ມີທາງດຽວອອກ - free up space and restart the database .

ນັກຂ້າຄວາມຊົງຈຳນອກ

ເມື່ອເຊີບເວີຫຼືຂະບວນການເຮັດວຽກອອກຈາກຄວາມຊົງຈໍາ, Linux ສະເຫນີ 2 ວິທີແກ້ໄຂ: ຂັດລະບົບທັງຫມົດຫຼືຢຸດຂະບວນການ (ແອັບພລິເຄຊັນ) ທີ່ກໍາລັງກິນຄວາມຈໍາ. ມັນດີກວ່າ, ແນ່ນອນ, ເພື່ອຢຸດຂະບວນການແລະປະຫຍັດ OS ຈາກການຂັດຂ້ອງ. ສະຫຼຸບແລ້ວ, Out-Of-Memory Killer ແມ່ນຂະບວນການທີ່ຂ້າແອັບພລິເຄຊັນເພື່ອຊ່ວຍປະຢັດ kernel ຈາກການຂັດຂ້ອງ. ມັນເສຍສະລະແອັບພລິເຄຊັນເພື່ອເຮັດໃຫ້ OS ເຮັດວຽກ. ທໍາອິດໃຫ້ປຶກສາຫາລືກ່ຽວກັບວິທີ OOM ເຮັດວຽກແລະວິທີການຄວບຄຸມມັນ, ແລະຫຼັງຈາກນັ້ນເບິ່ງວ່າ OOM Killer ຕັດສິນໃຈວ່າແອັບພລິເຄຊັນໃດທີ່ຈະຢຸດເຊົາ.

ຫນຶ່ງໃນວຽກງານຕົ້ນຕໍຂອງ Linux ແມ່ນການຈັດສັນຫນ່ວຍຄວາມຈໍາໃຫ້ກັບຂະບວນການໃນເວລາທີ່ພວກເຂົາຮ້ອງຂໍເອົາມັນ. ໂດຍປົກກະຕິ, ຂະບວນການຫຼືແອັບພລິເຄຊັນຈະຮ້ອງຂໍຄວາມຊົງຈໍາຈາກ OS, ແຕ່ບໍ່ໄດ້ໃຊ້ມັນຢ່າງເຕັມທີ່. ຖ້າ OS ປ່ອຍຫນ່ວຍຄວາມຈໍາໃຫ້ກັບທຸກຄົນທີ່ຂໍແຕ່ບໍ່ມີແຜນທີ່ຈະໃຊ້ມັນ, ໃນໄວໆນີ້ຫນ່ວຍຄວາມຈໍາຈະຫມົດໄປແລະລະບົບຈະລົ້ມເຫລວ. ເພື່ອຫຼີກເວັ້ນການນີ້, OS ສະຫງວນຫນ່ວຍຄວາມຈໍາສໍາລັບຂະບວນການ, ແຕ່ຕົວຈິງແລ້ວບໍ່ໄດ້ປ່ອຍມັນ. ຫນ່ວຍຄວາມຈໍາໄດ້ຖືກຈັດສັນພຽງແຕ່ເມື່ອຂະບວນການທີ່ຈະໃຊ້ມັນ. ມັນເກີດຂື້ນວ່າ OS ບໍ່ມີຫນ່ວຍຄວາມຈໍາຟຣີ, ແຕ່ມັນມອບຫນ່ວຍຄວາມຈໍາໃຫ້ກັບຂະບວນການ, ແລະເມື່ອຂະບວນການຕ້ອງການມັນ, OS ຈະຈັດສັນມັນຖ້າມັນສາມາດເຮັດໄດ້. ຂໍ້ເສຍແມ່ນວ່າບາງຄັ້ງ OS ສະຫງວນຄວາມຊົງຈໍາ, ແຕ່ໃນເວລາທີ່ເຫມາະສົມບໍ່ມີຫນ່ວຍຄວາມຈໍາຟຣີ, ແລະລະບົບຂັດຂ້ອງ. OOM ມີບົດບາດສໍາຄັນໃນສະຖານະການນີ້ແລະຢຸດຂະບວນການເພື່ອປ້ອງກັນບໍ່ໃຫ້ kernel panicking. ເມື່ອຂະບວນການ PostgreSQL ຖືກບັງຄັບໃຫ້ຢຸດເຊົາ, ຂໍ້ຄວາມຈະປາກົດຢູ່ໃນບັນທຶກ:

Out of Memory: Killed process 12345 (postgres).

ຖ້າລະບົບມີຫນ່ວຍຄວາມຈໍາຕ່ໍາແລະບໍ່ສາມາດປົດປ່ອຍໄດ້, ຟັງຊັນເອີ້ນວ່າ out_of_memory. ໃນຂັ້ນຕອນນີ້, ນາງມີພຽງແຕ່ສິ່ງດຽວທີ່ຈະເຮັດ - ສໍາເລັດຫນຶ່ງຫຼືຫຼາຍຂະບວນການ. OOM-killer ຄວນຢຸດຂະບວນການທັນທີຫຼືສາມາດລໍຖ້າໄດ້ບໍ? ແນ່ນອນ, ເມື່ອ out_of_memory ຖືກເອີ້ນ, ມັນແມ່ນເນື່ອງມາຈາກການລໍຖ້າການດໍາເນີນງານ I/O ຫຼື paging ກັບແຜ່ນ. ດັ່ງນັ້ນ, ຜູ້ຂ້າ OOM ທໍາອິດຕ້ອງປະຕິບັດການກວດສອບແລະ, ໂດຍອີງໃສ່ພວກມັນ, ຕັດສິນໃຈວ່າຂະບວນການຕ້ອງໄດ້ຮັບການຢຸດເຊົາ. ຖ້າການກວດສອບທັງຫມົດຂ້າງລຸ່ມນີ້ແມ່ນເປັນບວກ, OOM ຈະສິ້ນສຸດຂະບວນການ.

ການຄັດເລືອກຂະບວນການ

ເມື່ອໜ່ວຍຄວາມຈຳໝົດ, ຟັງຊັນຖືກເອີ້ນ out_of_memory(). ມັນມີຫນ້າທີ່ select_bad_process(), ເຊິ່ງໄດ້ຮັບການປະເມີນຜົນຈາກຫນ້າທີ່ badness(). ຂະບວນການ "ຮ້າຍແຮງທີ່ສຸດ" ຈະຖືກເປົ້າຫມາຍ. ຟັງຊັນ badness() ເລືອກຂະບວນການຕາມກົດລະບຽບທີ່ແນ່ນອນ.

1. kernel ຕ້ອງການຫນ່ວຍຄວາມຈໍາຂັ້ນຕ່ໍາບາງຢ່າງສໍາລັບຕົວມັນເອງ.
2. ທ່ານຈໍາເປັນຕ້ອງເພີ່ມຄວາມຈໍາຫຼາຍ.
3. ບໍ່ຈໍາເປັນຕ້ອງຢຸດເຊົາຂະບວນການທີ່ໃຊ້ຫນ່ວຍຄວາມຈໍາພຽງເລັກນ້ອຍ.
4. ຂະບວນການຂັ້ນຕ່ໍາຕ້ອງໄດ້ຮັບການສໍາເລັດ.
5. ສູດການຄິດໄລ່ທີ່ຊັບຊ້ອນທີ່ເພີ່ມໂອກາດຂອງການສໍາເລັດສໍາລັບຂະບວນການເຫຼົ່ານັ້ນທີ່ຜູ້ໃຊ້ເອງຕ້ອງການສໍາເລັດ.

ຫຼັງຈາກສໍາເລັດການກວດສອບທັງຫມົດເຫຼົ່ານີ້, OOM ກວດເບິ່ງຄະແນນ (oom_score). OOM ແຕ່ງຕັ້ງ oom_score ແຕ່ລະຂະບວນການ, ແລະຫຼັງຈາກນັ້ນຄູນຄ່ານີ້ດ້ວຍຈໍານວນຫນ່ວຍຄວາມຈໍາ. ຂະບວນການທີ່ມີຄ່າໃຫຍ່ກວ່າມີແນວໂນ້ມທີ່ຈະຕົກເປັນເຫຍື່ອຂອງ OOM Killer. ຂະບວນການທີ່ກ່ຽວຂ້ອງກັບຜູ້ໃຊ້ຮາກມີຄະແນນຕ່ໍາແລະຫນ້ອຍທີ່ຈະຖືກບັງຄັບໃຫ້ຢຸດເຊົາ.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

ID ຂະບວນການ Postgres ແມ່ນ 3813, ດັ່ງນັ້ນໃນແກະອື່ນມັນເປັນໄປໄດ້ທີ່ຈະໄດ້ຮັບຄະແນນໂດຍໃຊ້ຕົວກໍານົດການ kernel ນີ້. oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

ຖ້າທ່ານບໍ່ຕ້ອງການ OOM-Killer ເພື່ອຂ້າຂະບວນການທັງຫມົດ, ມີທາງເລືອກອື່ນອີກ: oom_score_adj. ເພີ່ມມູນຄ່າລົບຂະຫນາດໃຫຍ່ເພື່ອຫຼຸດຜ່ອນໂອກາດຂອງການສໍາເລັດຂະບວນການທີ່ທ່ານໃຫ້ຄຸນຄ່າ.

sudo echo -100 > /proc/3813/oom_score_adj

ເພື່ອກໍານົດຄ່າ oom_score_adj, ຕັ້ງ OOMScoreAdjust ໃນບລັອກບໍລິການ:

[Service]
OOMScoreAdjust=-1000

ຫຼືໃຊ້ oomprotect ໃນ​ທີມ​ງານ​ rcctl.

rcctl set <i>servicename</i> oomprotect -1000

ບັງຄັບໃຫ້ຢຸດຂະບວນການ

ເມື່ອຫນຶ່ງຫຼືຫຼາຍຂະບວນການຖືກເລືອກແລ້ວ, OOM-Killer ໂທຫາຟັງຊັນ oom_kill_task(). ຟັງຊັນນີ້ສົ່ງສັນຍານການຢຸດເຊົາໄປຫາຂະບວນການ. ໃນກໍລະນີຂອງການຂາດແຄນຄວາມຊົງຈໍາ oom_kill() ເອີ້ນຟັງຊັນນີ້ເພື່ອສົ່ງສັນຍານ SIGKILL ໄປຫາຂະບວນການ. ຂໍ້ຄວາມຖືກຂຽນໃສ່ບັນທຶກ kernel.

Out of Memory: Killed process [pid] [name].

ວິທີການຄວບຄຸມ OOM-Killer

ໃນ Linux, ທ່ານສາມາດເປີດໃຊ້ຫຼືປິດການໃຊ້ງານ OOM-Killer (ເຖິງແມ່ນວ່າອັນສຸດທ້າຍແມ່ນບໍ່ໄດ້ແນະນໍາ). ເພື່ອເປີດໃຊ້ຫຼືປິດການໃຊ້ງານ, ໃຫ້ໃຊ້ພາລາມິເຕີ vm.oom-kill. ເພື່ອເປີດໃຊ້ OOM-Killer ໃນເວລາແລ່ນ, ດໍາເນີນການຄໍາສັ່ງ sysctl.

sudo -s sysctl -w vm.oom-kill = 1

ເພື່ອປິດການໃຊ້ງານ OOM-Killer, ໃຫ້ລະບຸຄ່າ 0 ໃນຄໍາສັ່ງດຽວກັນ:

sudo -s sysctl -w vm.oom-kill = 0

ຜົນໄດ້ຮັບຂອງຄໍາສັ່ງນີ້ຈະບໍ່ຖືກບັນທຶກໄວ້ຕະຫຼອດໄປ, ແຕ່ວ່າພຽງແຕ່ຈົນກ່ວາ reboot ທໍາອິດ. ຖ້າທ່ານຕ້ອງການຄວາມຄົງທົນຫຼາຍ, ເພີ່ມເສັ້ນນີ້ໃສ່ໄຟລ໌ /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

ອີກວິທີຫນຶ່ງທີ່ຈະເປີດໃຊ້ແລະປິດການໃຊ້ງານແມ່ນການຂຽນຕົວແປ panic_on_oom. ມູນຄ່າສາມາດກວດສອບໄດ້ຕະຫຼອດເວລາ /proc.

$ cat /proc/sys/vm/panic_on_oom
0

ຖ້າທ່ານຕັ້ງຄ່າເປັນ 0, ຫຼັງຈາກນັ້ນ, ເມື່ອຫນ່ວຍຄວາມຈໍາຫມົດ, ຈະບໍ່ມີຄວາມແປກໃຈ kernel.

$ echo 0 > /proc/sys/vm/panic_on_oom

ຖ້າທ່ານຕັ້ງຄ່າເປັນ 1, ຫຼັງຈາກນັ້ນ, ເມື່ອຫນ່ວຍຄວາມຈໍາຫມົດ, kernel panic ຈະເກີດຂຶ້ນ.

echo 1 > /proc/sys/vm/panic_on_oom

OOM-Killer ບໍ່ພຽງແຕ່ສາມາດເປີດແລະປິດໄດ້. ພວກເຮົາເວົ້າແລ້ວວ່າ Linux ສາມາດສະຫງວນຫນ່ວຍຄວາມຈໍາສໍາລັບຂະບວນການຫຼາຍກ່ວາທີ່ມີຢູ່ໂດຍບໍ່ມີການຈັດສັນມັນຢ່າງແທ້ຈິງ, ແລະພຶດຕິກໍານີ້ຖືກຄວບຄຸມໂດຍພາລາມິເຕີ Linux kernel. ຕົວແປແມ່ນຮັບຜິດຊອບສໍາລັບການນີ້ vm.overcommit_memory.

ທ່ານສາມາດກໍານົດຄ່າຕໍ່ໄປນີ້ສໍາລັບມັນ:

0: kernel ຕົວມັນເອງຕັດສິນໃຈວ່າຈະສະຫງວນຄວາມຊົງຈໍາຫຼາຍເກີນໄປຫຼືບໍ່. ນີ້ແມ່ນຄ່າເລີ່ມຕົ້ນໃນ Linux ເວີຊັນສ່ວນໃຫຍ່.
1: kernel ຈະສະຫງວນຄວາມຊົງຈໍາພິເສດສະເຫມີ. ນີ້ແມ່ນຄວາມສ່ຽງ, ເພາະວ່າຄວາມຊົງຈໍາອາດຈະຫມົດໄປ, ເພາະວ່າ, ສ່ວນຫຼາຍອາດຈະ, ມື້ຫນຶ່ງຂະບວນການຈະຕ້ອງການມັນ.
2: kernel ຈະບໍ່ສະຫງວນຄວາມຈໍາຫຼາຍກ່ວາທີ່ລະບຸໄວ້ໃນພາລາມິເຕີ overcommit_ratio.

ດ້ວຍພາລາມິເຕີນີ້, ທ່ານລະບຸເປີເຊັນຂອງຫນ່ວຍຄວາມຈໍາທີ່ຖືກອະນຸຍາດໃຫ້ຈອງເກີນ. ຖ້າບໍ່ມີຫ້ອງສໍາລັບມັນ, ບໍ່ມີການຈັດສັນຫນ່ວຍຄວາມຈໍາ, ແລະການຈອງຈະຖືກປະຕິເສດ. ນີ້ແມ່ນທາງເລືອກທີ່ປອດໄພທີ່ສຸດທີ່ແນະນໍາສໍາລັບ PostgreSQL. OOM-Killer ໄດ້ຮັບຜົນກະທົບຈາກອົງປະກອບອື່ນ - ຄວາມສາມາດໃນການແລກປ່ຽນ, ເຊິ່ງຖືກຄວບຄຸມໂດຍຕົວແປ cat /proc/sys/vm/swappiness. ຄ່າເຫຼົ່ານີ້ບອກ kernel ວິທີການຈັດການກັບຫນ້າເວັບ. ມູນຄ່າທີ່ສູງຂຶ້ນ, ມັນເປັນໄປໄດ້ຫນ້ອຍທີ່ OOM ຈະຢຸດຂະບວນການ, ແຕ່ເນື່ອງຈາກການດໍາເນີນງານ I/O ມັນມີຜົນກະທົບທາງລົບຕໍ່ຖານຂໍ້ມູນ. ແລະໃນທາງກັບກັນ - ມູນຄ່າຕ່ໍາ, ຄວາມເປັນໄປໄດ້ຂອງການແຊກແຊງ OOM-Killer ສູງຂຶ້ນ, ແຕ່ການປະຕິບັດຖານຂໍ້ມູນຍັງສູງກວ່າ. ຄ່າເລີ່ມຕົ້ນແມ່ນ 60, ແຕ່ຖ້າຖານຂໍ້ມູນທັງຫມົດເຫມາະກັບຫນ່ວຍຄວາມຈໍາ, ມັນດີກວ່າທີ່ຈະກໍານົດຄ່າເປັນ 1.

ຜົນໄດ້ຮັບ

ຢ່າປ່ອຍໃຫ້ "ນັກຂ້າ" ໃນ OOM-Killer ຢ້ານເຈົ້າ. ໃນກໍລະນີນີ້, killer ຈະເປັນຜູ້ຊ່ອຍໃຫ້ລອດຂອງລະບົບຂອງທ່ານ. ມັນ "ຂ້າ" ຂະບວນການທີ່ຮ້າຍແຮງທີ່ສຸດແລະຊ່ວຍປະຢັດລະບົບຈາກການຂັດຂ້ອງ. ເພື່ອຫຼີກເວັ້ນການໃຊ້ OOM-Killer ເພື່ອຢຸດ PostgreSQL, ຕັ້ງເປັນ vm.overcommit_memory ມູນຄ່າ 2. ນີ້ບໍ່ໄດ້ຮັບປະກັນວ່າ OOM-Killer ຈະບໍ່ມີການແຊກແຊງ, ແຕ່ມັນຈະຫຼຸດຜ່ອນຄວາມເປັນໄປໄດ້ຂອງການບັງຄັບໃຫ້ຂະບວນການ PostgreSQL ຢຸດເຊົາ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com