מאזן עומסים חדש למעבד מ-MIT

מערכת שננגו מתוכננת לשמש במרכזי נתונים.

/ תמונה מרקו ורץ ' CC BY

לדברי אחד הספקים, מרכזי נתונים שימוש רק 20-40% מכוח המחשוב הזמין. בעומסים גבוהים מחוון זה יכול להגיע ל-60%. חלוקה זו של משאבים מובילה להופעת מה שנקרא "שרתי זומבים". אלו מכונות שיושבות רוב הזמן בחוסר מעש, מבזבזות אנרגיה. כיום 30% מהשרתים בעולם הם ללא עבודה, צורכת חשמל בשווי 30 מיליארד דולר בשנה.

MIT החליטה להילחם בשימוש הלא יעיל במשאבי מחשוב.

צוות הנדסה התפתח מערכת איזון עומסי מעבד בשם Shenango. מטרתו היא לפקח על מצב מאגר המשימות ולהפיץ מחדש תהליכים תקועים (שאינם יכולים לקבל זמן CPU) למכונות פנויות.

איך שננגו עובד

Shenango היא ספריית לינוקס ב-C עם כריכות Rust ו-C++. קוד הפרויקט ויישומי הבדיקה מתפרסמים ב מאגרים ב-GitHub.

הפתרון מבוסס על אלגוריתם IOKernel, הפועל על ליבה ייעודית של מערכת מרובת מעבדים. הוא מנהל בקשות מעבד באמצעות מסגרת DPDK, המאפשר ליישומים לתקשר ישירות עם התקני רשת.

IOKernel מחליט לאילו גרעינים להאציל משימה ספציפית. האלגוריתם מחליט גם כמה ליבות יהיה צורך. עבור כל תהליך נקבעות הליבות העיקריות (מובטחות) ונוספות (ניתנות להתפרצות) - האחרונות מופעלות במקרה של עלייה חדה במספר הבקשות למעבד.

תור הבקשות של IOKernel מאורגן כ חיץ טבעת. כל חמש מיקרו שניות, האלגוריתם בודק אם כל המשימות שהוקצו לליבה הושלמו. לשם כך, הוא משווה את המיקום הנוכחי של ראש החיץ עם המיקום הקודם של זנבו. אם מתברר שהזנב כבר היה בתור בזמן הבדיקה הקודמת, המערכת מציינת את עומס החוצץ ומקצה ליבה נוספת לתהליך.

בעת חלוקת העומס, ניתנת עדיפות לליבות שעליהן אותו תהליך בוצע קודם לכן ונשאר חלקית במטמון, או לליבות סרק כלשהן.

שננגו נוקט בנוסף בגישה עבודה בגניבה. הליבות שהוקצו להפעלת יישום אחד עוקבות אחר מספר המשימות שיש לזה. אם ליבה אחת מסיימת את רשימת המשימות שלה לפני האחרות, אז היא "משחררת" חלק מהעומס מהשכנים שלה.

יתרונות וחסרונות

על על פי מהנדסים מ-MIT, Shenango מסוגלים לעבד חמישה מיליון בקשות בשנייה ולשמור על זמן תגובה ממוצע של 37 מיקרו-שניות. מומחים אומרים שבמקרים מסוימים הטכנולוגיה יכולה להגדיל את שיעור הניצול של המעבדים במרכזי נתונים ל-100%. כתוצאה מכך, מפעילי הדטה סנטרים יוכלו לחסוך ברכישה ובתחזוקה של שרתים.

פוטנציאל פתרון לחגוג ומומחים מאוניברסיטאות אחרות. לדברי פרופסור ממכון קוריאני, מערכת MIT תסייע לצמצם עיכובים בשירותי אינטרנט. לדוגמה, זה יהיה שימושי בחנויות מקוונות. בימי מכירות יש אפילו עיכוב שני בטעינת העמוד приводит לירידה במספר הצפיות באתר ב-11%. חלוקת עומסים מהירה תעזור לשרת יותר לקוחות.

לטכנולוגיה עדיין יש חסרונות - היא לא תומכת בריבוי מעבדים NUMA-מערכות שבהן שבבים מחוברים למודולי זיכרון שונים ואינם "מתקשרים" זה עם זה. במקרה זה, IOKernel יכול לווסת את הפעולה של קבוצה נפרדת של מעבדים, אך לא את כל שבבי השרת.

/ תמונה טים רקמן CC BY

טכנולוגיות דומות

מערכות אחרות לאיזון עומסי מעבד כוללות את Arachne. הוא מחשב כמה ליבות יישום יצטרך כאשר הוא מתחיל, ומפיץ תהליכים לפי מחוון זה. לדברי המחברים, השהיה המקסימלית של אפליקציה ב-Arachne היא כ-10 אלף מיקרו-שניות.

הטכנולוגיה מיושמת כספריית C++ עבור לינוקס, וקוד המקור שלה זמין בכתובת GitHub.

כלי איזון נוסף הוא ZygOS. כמו שננגו, הטכנולוגיה משתמשת בשיטת גניבת העבודה כדי להפיץ מחדש תהליכים. על פי מחברי ZygOS, השהיה הממוצעת של האפליקציה בעת השימוש בכלי היא כ-150 מיקרו-שניות, והמקסימום הוא כ-450 מיקרו-שניות. קוד הפרויקט הוא גם הוא ברשות הציבור.

ממצאים

מרכזי הנתונים המודרניים ממשיכים להתרחב.מגמת העלייה בולטת במיוחד בשוק של מרכזי נתונים בקנה מידה גדול: עכשיו בעולם יש 430 מרכזי נתונים בקנה מידה גדול, אך בשנים הקרובות מספרם עשוי לגדול ב-30%. מסיבה זו, טכנולוגיות איזון עומסי מעבד יהיו מבוקשות מאוד. מערכות כמו Shenango כבר זמינות ליישם תאגידים גדולים, ומספר הכלים הללו רק יגדל בעתיד.

פוסטים מהבלוג הראשון על IaaS ארגוני:

• כיצד לשפר את היעילות האנרגטית של מרכז נתונים
• מה שאתה צריך לדעת על PCI DSS: סקירה סטנדרטית
• העולם לפני ואחרי: איך החיים השתנו עם כניסתו של יום הדגל של ה-DNS
• איך IaaS עוזר לפתח עסקים: שלוש בעיות שהענן יפתור
• בדיקת מערכת דיסקים בענן: יסודות וטיפים
• 9 טיפים מועילים למעבר חלק לענן
• IaaS: צעדים ראשונים לאחר השכרת תשתית ענן

מקור: www.habr.com