הגדרת Killer Out-Of-Memory בלינוקס עבור PostgreSQL

כאשר שרת מסד נתונים נסגר באופן בלתי צפוי בלינוקס, אתה צריך למצוא את הסיבה. יכולות להיות מספר סיבות. לדוגמה, SIGSEGV - כשל עקב באג בשרת הקצה האחורי. אבל זה נדיר. לרוב, פשוט נגמר לך שטח הדיסק או הזיכרון. אם נגמר לך שטח הדיסק, יש רק מוצא אחד - פנה מקום והפעל מחדש את מסד הנתונים.

רוצח חסר זיכרון

כאשר לשרת או לתהליך נגמר הזיכרון, לינוקס מציעה 2 פתרונות: לקרוס את כל המערכת או לסיים את התהליך (האפליקציה) שאוכלת את הזיכרון. עדיף, כמובן, לסיים את התהליך ולחסוך את מערכת ההפעלה מקריסה. בקיצור, Out-Of-Memory Killer הוא תהליך שהורג אפליקציה כדי להציל את הליבה מקריסת. זה מקריב את היישום כדי לשמור על מערכת ההפעלה פועלת. תחילה נדון כיצד פועלת OOM וכיצד לשלוט בה, ולאחר מכן נראה כיצד OOM Killer מחליט איזו אפליקציה להפסיק.

אחת המשימות העיקריות של לינוקס היא להקצות זיכרון לתהליכים כשהם מבקשים זאת. בדרך כלל, תהליך או יישום מבקשים זיכרון ממערכת ההפעלה, אך אינם משתמשים בו באופן מלא. אם מערכת ההפעלה תחלק זיכרון לכל מי שמבקש אותו אבל אין לו תוכניות להשתמש בו, בקרוב מאוד הזיכרון ייגמר והמערכת תיכשל. כדי להימנע מכך, מערכת ההפעלה שומרת זיכרון לתהליך, אך למעשה אינה משחררת אותו. זיכרון מוקצה רק כאשר תהליך באמת הולך להשתמש בו. קורה שלמערכת ההפעלה אין זיכרון פנוי, אבל היא מקצה זיכרון לתהליך, וכאשר תהליך צריך את זה, מערכת ההפעלה מקצה אותו אם היא יכולה. החיסרון הוא שלפעמים מערכת ההפעלה שומרת זיכרון, אבל בזמן הנכון אין זיכרון פנוי, והמערכת קורסת. OOM ממלא תפקיד חשוב בתרחיש זה ומפסיק תהליכים כדי למנוע מהקרנל להיכנס לפאניקה. כאשר תהליך PostgreSQL נאלץ להסתיים, מופיעה הודעה ביומן:

Out of Memory: Killed process 12345 (postgres).

אם למערכת חסר זיכרון ואין אפשרות לשחרר אותה, הפונקציה נקראת out_of_memory. בשלב זה נותר לה רק דבר אחד לעשות - להשלים תהליך אחד או יותר. האם OOM-killer צריך להפסיק את התהליך באופן מיידי או שהוא יכול לחכות? ברור שכאשר נקרא out_of_memory, זה נובע מהמתנה לפעולת I/O או החלפה לדיסק. לכן, על הרוצח OOM לבצע תחילה בדיקות ועל בסיסן להחליט שיש להפסיק את התהליך. אם כל הבדיקות להלן חיוביות, OOM תסיים את התהליך.

בחירת תהליך

כאשר הזיכרון נגמר, הפונקציה נקראת out_of_memory(). יש לזה פונקציה select_bad_process(), שמקבל הערכה מהפונקציה badness(). התהליך "הגרוע ביותר" יהיה ממוקד. פוּנקצִיָה badness() בוחר תהליך לפי כללים מסוימים.

1. הקרנל זקוק למינימום זיכרון לעצמו.
2. אתה צריך לפנות הרבה זיכרון.
3. אין צורך להפסיק תהליכים המשתמשים בזיכרון מועט.
4. צריך להשלים מינימום תהליכים.
5. אלגוריתמים מורכבים המגדילים את סיכויי ההשלמה לאותם תהליכים שהמשתמש עצמו רוצה להשלים.

לאחר השלמת כל הבדיקות הללו, OOM בוחנת את הציון (oom_score). OOM מקצה oom_score כל תהליך, ולאחר מכן מכפיל את הערך הזה בכמות הזיכרון. תהליכים בעלי ערכים גדולים יותר נוטים יותר ליפול קורבן לרוצח OOM. לתהליכים הקשורים למשתמש השורש יש ציון נמוך יותר וסביר פחות שייאלצו להפסיק.

postgres=# SELECT pg_backend_pid();
pg_backend_pid 
----------------
    3813
(1 row)

מזהה התהליך של Postgres הוא 3813, אז במעטפת אחרת אפשר לקבל את הניקוד באמצעות פרמטר ליבה זה oom_score:

vagrant@vagrant:~$ sudo cat /proc/3813/oom_score
2

אם אתה לא רוצה ש-OOM-Killer יהרוג את התהליך בכלל, יש אפשרות נוספת של ליבה: oom_score_adj. הוסף ערך שלילי גדול כדי להפחית את הסיכויים להשלים תהליך שאתה מעריך.

sudo echo -100 > /proc/3813/oom_score_adj

כדי להגדיר ערך oom_score_adj, הגדר את OOMScoreAdjust בבלוק השירות:

[Service]
OOMScoreAdjust=-1000

או להשתמש oomprotect בקבוצה rcctl.

rcctl set <i>servicename</i> oomprotect -1000

כוח סיום של תהליך

כאשר תהליכים אחד או יותר כבר נבחרו, OOM-Killer קורא לפונקציה oom_kill_task(). פונקציה זו שולחת אות סיום לתהליך. במקרה של מחסור בזיכרון oom_kill() קורא לפונקציה זו כדי לשלוח אות SIGKILL לתהליך. הודעה נכתבת ליומן הליבה.

Out of Memory: Killed process [pid] [name].

כיצד לשלוט ב- OOM-Killer

בלינוקס, אתה יכול להפעיל או להשבית את OOM-Killer (אם כי האחרון אינו מומלץ). כדי להפעיל או לבטל השתמש בפרמטר vm.oom-kill. כדי להפעיל את OOM-Killer בזמן ריצה, הפעל את הפקודה sysctl.

sudo -s sysctl -w vm.oom-kill = 1

כדי להשבית את OOM-Killer, ציין את הערך 0 באותה פקודה:

sudo -s sysctl -w vm.oom-kill = 0

התוצאה של פקודה זו לא תישמר לנצח, אלא רק עד לאתחול הראשון. אם אתה צריך יותר התמדה, הוסף את השורה הזו לקובץ /etc/sysctl.conf:

echo vm.oom-kill = 1 >>/etc/sysctl.conf

דרך נוספת להפעיל ולנטרל היא לכתוב משתנה panic_on_oom. תמיד ניתן לבצע צ'ק אין את הערך /proc.

$ cat /proc/sys/vm/panic_on_oom
0

אם תגדיר את הערך ל-0, אז כאשר הזיכרון נגמר, לא תהיה פאניקה של ליבה.

$ echo 0 > /proc/sys/vm/panic_on_oom

אם תגדיר את הערך ל-1, אז כשהזיכרון ייגמר, תתרחש פאניקה של ליבה.

echo 1 > /proc/sys/vm/panic_on_oom

לא רק ניתן להפעיל ולכבות את OOM-Killer. כבר אמרנו שלינוקס יכולה לשמור יותר זיכרון לתהליכים ממה שזמין מבלי להקצות אותו בפועל, והתנהגות זו נשלטת על ידי פרמטר ליבת לינוקס. המשתנה אחראי לכך vm.overcommit_memory.

אתה יכול לציין את הערכים הבאים עבורו:

0: הקרנל עצמו מחליט אם לשמור יותר מדי זיכרון. זוהי ברירת המחדל ברוב הגרסאות של לינוקס.
1: הקרנל תמיד ישמור זיכרון נוסף. זה מסוכן, מכיוון שהזיכרון עלול להיגמר, מכיוון שסביר להניח שיום אחד התהליכים ידרשו זאת.
2: הקרנל לא ישמור יותר זיכרון מהמצוין בפרמטר overcommit_ratio.

עם פרמטר זה, אתה מציין את אחוז הזיכרון שמותר לשמירת יתר. אם אין מקום לכך, לא מוקצה זיכרון, וההזמנה תידחה. זוהי האפשרות הבטוחה ביותר המומלצת עבור PostgreSQL. OOM-Killer מושפע מאלמנט נוסף - יכולת ההחלפה, הנשלטת על ידי המשתנה cat /proc/sys/vm/swappiness. ערכים אלו מספרים לקרנל כיצד לטפל בהחלפה. ככל שהערך גבוה יותר, כך קטן הסיכוי ש-OOM יסיים את התהליך, אך עקב פעולות I/O יש לכך השפעה שלילית על מסד הנתונים. ולהיפך - ככל שהערך נמוך יותר, כך הסבירות להתערבות OOM-Killer גבוהה יותר, אך גם ביצועי מסד הנתונים גבוהים יותר. ערך ברירת המחדל הוא 60, אך אם כל מסד הנתונים נכנס לזיכרון, עדיף להגדיר את הערך ל-1.

תוצאות של

אל תתנו ל"רוצח" ב-OOM-Killer להפחיד אתכם. במקרה זה, הרוצח יהיה המושיע של המערכת שלך. זה "הורג" את התהליכים הגרועים ביותר ומציל את המערכת מקריסה. כדי למנוע צורך להשתמש ב- OOM-Killer כדי לסיים את PostgreSQL, הגדר ל vm.overcommit_memory ערך 2. זה לא מבטיח ש-OOM-Killer לא יצטרך להתערב, אבל זה יקטין את הסבירות לאלץ את תהליך PostgreSQL להסתיים.

מקור: www.habr.com