פייסבוק הציגה את מנגנון ה-TMO, המאפשר לכם לחסוך 20-32% מהזיכרון בשרתים

מהנדסים מפייסבוק (אסור בפדרציה הרוסית) פרסמו דוח על יישום בשנה שעברה של טכנולוגיית TMO (Transparent Memory Offloading), המאפשרת חיסכון משמעותי ב-RAM בשרתים על ידי העברת נתונים משניים שאינם נדרשים לעבודה לכוננים זולים יותר, כגון NVMe SSD -דיסקים. פייסבוק מעריכה ששימוש ב-TMO יכול לחסוך 20 עד 32% מ-RAM בכל שרת. הפתרון מיועד לשימוש בתשתיות בהן אפליקציות פועלות במכולות מבודדות. רכיבי צד ליבה של TMO כבר כלולים בליבת לינוקס.

בצד ליבת לינוקס, הטכנולוגיה נתמכת על ידי תת-מערכת PSI (Pressure Stall Information), הזמינה החל מהגרסה 4.20. PSI כבר נמצא בשימוש במטפלים שונים עם זיכרון נמוך ומאפשר לנתח מידע על זמן ההמתנה להשגת משאבים שונים (CPU, זיכרון, I/O). עם PSI, מעבדי שטח משתמש יכולים להעריך בצורה מדויקת יותר את רמות העומס של המערכת ודפוסי האטה, מה שמאפשר לזהות חריגות מוקדם, לפני שיש להן השפעה ניכרת על הביצועים.

במרחב המשתמש, TMO מסופק על ידי רכיב Senpai, אשר, באמצעות cgroup2, מתאים באופן דינמי את מגבלת הזיכרון עבור מיכלי יישומים בהתבסס על נתונים המתקבלים מ-PSI. Senpai מנתחת את הסימנים להופעת מחסור במשאבים באמצעות PSI, מעריכה את הרגישות של יישומים להאטות בגישה לזיכרון ומנסה לקבוע את גודל הזיכרון המינימלי הנדרש על ידי המיכל, שבו הנתונים הנדרשים לפעולה נשארים ב-RAM, והנלוות לכך. נתונים שנקבעו במטמון הקבצים או שאינם בשימוש ישיר כרגע, נאלצים לצאת אל מחיצת ההחלפה.

לפיכך, המהות של TMO היא לשמור על תהליכים בדיאטה קפדנית מבחינת צריכת זיכרון, מה שמאלץ החלפה של דפי זיכרון שאינם בשימוש שפינוי שלהם אינו משפיע באופן משמעותי על הביצועים (לדוגמה, דפים עם קוד בשימוש רק במהלך אתחול, ושימוש חד פעמי נתונים במטמון הדיסק). שלא כמו פינוי מידע למחיצת ההחלפה בתגובה ללחץ הזיכרון, ב-TMO הנתונים מפונים על סמך חיזוי יזום.

אחד הקריטריונים לפינוי הוא היעדר גישה לדף הזיכרון למשך 5 דקות. דפים כאלה נקראים דפי זיכרון קר ומהווים בממוצע כ-35% מזיכרון האפליקציה (בהתאם לסוג האפליקציה יש טווח שבין 19% ל-65%). Preemption לוקח בחשבון פעילות הקשורה לדפי זיכרון אנונימיים (זיכרון שהוקצה על ידי האפליקציה) וזיכרון המשמש לאחסון קבצים במטמון (מוקצה על ידי הקרנל). בחלק מהיישומים הצריכה העיקרית היא זיכרון אנונימי, אך באחרות גם מטמון הקבצים חשוב. כדי למנוע חוסר איזון של פינוי מטמון, TMO משתמש באלגוריתם החלפה חדש המפנה דפים אנונימיים ודפים המשויכים למטמון הקבצים באופן פרופורציונלי.

לדחיפת דפים בשימוש נדיר לזיכרון איטי יותר אין השפעה משמעותית על הביצועים, אך יכולה להפחית משמעותית את עלויות החומרה. הנתונים נשטפים לכונני SSD או לאזור החלפה דחוס ב-RAM. מבחינת עלות אחסון בתים של נתונים, השימוש ב-NVMe SSD זול עד פי 10 משימוש בדחיסה ב-RAM.

מקור: OpenNet.ru