אופטימיזציה של הפצת שרתים על פני מדפים

באחד הצ'אטים נשאלתי שאלה:

- האם יש משהו שאני יכול לקרוא על איך לארוז נכון שרתים לתוך מתלים?

הבנתי שאני לא מכיר טקסט כזה, אז כתבתי את שלי.

ראשית, הטקסט הזה עוסק בשרתים פיזיים במרכזי נתונים פיזיים (DCs). שנית, אנו מאמינים שיש די הרבה שרתים: מאות אלפים; עבור מספר קטן יותר הטקסט הזה לא הגיוני. שלישית, אנו רואים שיש לנו שלושה אילוצים: מקום פיזי ב-racks, אספקת חשמל לכל מתלה, ולתת ל-racks לעמוד בשורות כך שנוכל להשתמש במתג ToR אחד כדי לחבר שרתים ב-racks סמוכים.

התשובה לשאלה תלויה מאוד באיזה פרמטר אנחנו מייעלים ובמה אנחנו יכולים לגוון כדי להשיג את התוצאה הטובה ביותר. לדוגמה, אנחנו רק צריכים לתפוס מינימום של מקום כדי להשאיר יותר לצמיחה נוספת. או שאולי יש לנו חופש בבחירת גובה המתלים, הספק לכל מתלה, שקעים ב-PDU, מספר המתלים בקבוצת מתגים (מתג אחד ל-1, 2 או 3 מתלים), אורך החוטים ועבודת משיכה ( זה קריטי בקצוות השורות: עם 10 מתלים בשורה ו-3 מתלים לכל מתג, תצטרך למשוך את החוטים לשורה אחרת או להשתמש פחות ביציאות במתג) וכו' וכו'. סיפורים נפרדים: בחירת שרתים ומבחר DCs, נניח שהם נבחרים.

טוב יהיה להבין חלק מהניואנסים והפרטים, בפרט, הצריכה הממוצעת/המקסימלית של שרתים, וכיצד מספק לנו חשמל. אז אם יש לנו ספק כוח רוסי של 230V ופאזה אחת לכל מתלה, אז מכונה 32A יכולה להתמודד עם ~7kW. נניח שאנו משלמים באופן נומינלי עבור 6 קילוואט לכל מתלה. אם הספק מודד את הצריכה שלנו רק עבור שורה של 10 מתלים, ולא עבור כל מתלה, ואם המכונה מוגדרת בניתוק מותנה של 7 קילוואט, אז מבחינה טכנית נוכל לצרוך 6.9 קילוואט במדף בודד, 5.1 קילוואט באחר ו הכל יהיה בסדר - לא ניתן לעונש.

בדרך כלל המטרה העיקרית שלנו היא למזער עלויות. הקריטריון הטוב ביותר למדידה הוא הפחתה ב-TCO (עלות הבעלות הכוללת). הוא מורכב מהחלקים הבאים:

• CAPEX: רכישת תשתית DC, שרתים, חומרת רשת וכבלים
• OPEX: השכרת DC, צריכת חשמל, תחזוקה. OPEX תלוי בחיי השירות. סביר להניח שזה 3 שנים.

בהתאם לגודל החתיכות הבודדות בעוגה הכוללת, עלינו לייעל את היקר ביותר, ולתת לשאר להשתמש בכל המשאבים הנותרים בצורה יעילה ככל האפשר.

נניח שיש לנו DC קיים, יש גובה מתלה של H יחידות (לדוגמה, H=47), חשמל לכל מתלה Prack (Prack=6kW), והחלטנו להשתמש בשרתים של שתי יחידות h=2U. אנו נוציא מהמתלה 2..4 יחידות עבור מתגים, לוחות טלאים וארגוניות. הָהֵן. מבחינה פיזית, יש לנו שרתי Sh=rounddown((H-2..4)/h) במדף שלנו (כלומר Sh = rounddown((47-4)/2)=21 שרתים לכל מתלה). בואו נזכור את הש.

במקרה הפשוט, כל השרתים במדף זהים. בסך הכל, אם נמלא מתלה בשרתים, אז בכל שרת נוכל להוציא בממוצע את ההספק Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). לשם הפשטות, אנו מתעלמים כאן מצריכת מתגים.

בואו ניקח צעד הצידה ונקבע מהי צריכת השרת המקסימלית Pmax. אם זה מאוד פשוט, מאוד לא יעיל ובטוח לחלוטין, אז אנחנו קוראים את מה שכתוב על ספק הכוח של השרת - זהו זה.

אם זה יותר מורכב ויעיל, אז אנחנו לוקחים את ה-TDP (חבילת עיצוב תרמי) של כל הרכיבים ומסכמים את זה (זה לא מאוד נכון, אבל זה אפשרי).

בדרך כלל אנחנו לא יודעים את ה-TDP של רכיבים (חוץ מהמעבד), אז אנחנו נוקטים בגישה הנכונה ביותר, אבל גם המורכבת ביותר (אנחנו צריכים מעבדה) - אנחנו לוקחים שרת ניסיוני בתצורה הנדרשת ומטעינים אותו, לדוגמה, עם Linpack (מעבד וזיכרון) ו-fio (דיסקים), אנו מודדים צריכה. אם ניקח את זה ברצינות, אנחנו צריכים גם ליצור את הסביבה החמה ביותר במסדרון הקר במהלך הבדיקות, כי זה ישפיע גם על צריכת המאוורר וגם על צריכת המעבד. אנו מקבלים את הצריכה המקסימלית של שרת ספציפי עם תצורה ספציפית בתנאים הספציפיים הללו בעומס הספציפי הזה. אנחנו פשוט מתכוונים שקושחת מערכת חדשה, גרסת תוכנה אחרת ותנאים אחרים עשויים להשפיע על התוצאה.

אז, בחזרה ל-Pserv וכיצד אנו משווים אותו ל-Pmax. זה עניין של להבין איך השירותים עובדים וכמה חזקים העצבים של המנהל הטכני שלך.

אם לא ניקח סיכונים כלל, אנו מאמינים שכל השרתים יכולים להתחיל לצרוך את המקסימום בו זמנית. באותו רגע, קלט אחד לתוך ה-DC עשוי להתרחש. גם בתנאים אלה, Infra חייבת לספק שירות, כך Pserv ≡ Pmax. זוהי גישה שבה אמינות חשובה לחלוטין.

אם המנהל הטכנולוגי חושב לא רק על אבטחה אידיאלית, אלא גם על הכסף של החברה והוא מספיק אמיץ, אז אתה יכול להחליט ש

• אנו מתחילים לנהל את הספקים שלנו, בפרט, אנו אוסרים על תחזוקה מתוזמנת בזמנים של עומס שיא מתוכנן כדי למזער את הירידה בקלט אחד;
• ו/או הארכיטקטורה שלנו מאפשרת לך לאבד מתלה/שורה/DC, אבל השירותים ממשיכים לעבוד;
• ו/או אנו מפזרים את העומס בצורה אופקית על פני המתלים, כך שהשירותים שלנו לעולם לא יקפצו לצריכה מקסימלית במדף אחד ביחד.

כאן זה מאוד שימושי לא רק לנחש, אלא לפקח על הצריכה ולדעת כיצד השרתים צורכים חשמל בפועל בתנאים רגילים ושיא. לכן, לאחר ניתוח מסוים, המנהל הטכנולוגי סוחט את כל מה שיש לו ואומר: "אנחנו מקבלים החלטה מרצון שהממוצע המקסימלי שניתן להשיג של צריכת השרת המקסימלית לכל מדף הוא **כל כך הרבה** מתחת לצריכה המקסימלית", בתנאי Pserv = 0.8* Pmax.

ואז מתלה של 6kW כבר לא יכול להכיל 16 שרתים עם Pmax = 375W, אלא 20 שרתים עם Pserv = 375W * 0.8 = 300W. הָהֵן. 25% יותר שרתים. מדובר בחיסכון גדול מאוד – אחרי הכל, אנחנו צריכים מיד 25% פחות מתלים (ונחסוך גם ב-PDUs, מתגים וכבלים). חסרון רציני של פתרון כזה הוא שעלינו לעקוב כל הזמן שההנחות שלנו עדיין נכונות. שגרסת הקושחה החדשה לא משנה משמעותית את פעולת המאווררים והצריכה, שהפיתוח פתאום עם המהדורה החדשה לא התחיל להשתמש בשרתים בצורה הרבה יותר יעילה (קרא: הם השיגו עומס גדול יותר וצריכה גדולה יותר על השרת). אחרי הכל, אז גם ההנחות הראשוניות וגם המסקנות שלנו הופכות מיד לא נכונות. זהו סיכון שיש לקחת באחריות (או להימנע ולאחר מכן לשלם על מתלים שלא מנוצלים בעליל).

הערה חשובה - כדאי לנסות להפיץ שרתים משירותים שונים בצורה אופקית על פני מתלים, אם אפשר. זה הכרחי כדי שמצבים לא יקרו כאשר אצווה אחת של שרתים מגיעה לשירות אחד, המתלים עמוסים בו אנכית כדי להגביר את ה"צפיפות" (כי זה יותר קל ככה). במציאות, מסתבר שמתלה אחד מלא בשרתים זהים בעומס נמוך של אותו שירות, והשני מלא בשרתים בעומס גבוה באותה מידה. ההסתברות לנפילה השנייה גבוהה משמעותית, כי פרופיל העומס זהה, וכל השרתים יחד במדף זה מתחילים לצרוך את אותה כמות כתוצאה מהעומס המוגבר.

נחזור לחלוקת השרתים ב-racks. בדקנו את שטח המדף הפיזי ומגבלות הספק, עכשיו בואו נסתכל על הרשת. אתה יכול להשתמש במתגים עם יציאות 24/32/48 N (לדוגמה, יש לנו מתגי ToR של 48 יציאות). למרבה המזל, אין הרבה אפשרויות אם אתה לא חושב על כבלים מתפרקים. אנו שוקלים תרחישים שבהם יש לנו מתג אחד לכל מתלה, מתג אחד לשניים או שלושה מתלים בקבוצת Rnet. נראה לי שיותר משלושה מתלים בקבוצה זה כבר יותר מדי, כי... בעיית הכבלים בין המתלים הופכת להרבה יותר גדולה.

לכן, עבור כל תרחיש רשת (1, 2 או 3 מתלים בקבוצה), אנו מפיצים את השרתים בין המתלים:

Srack = min(Sh, rounddown(Prack/Pserv), rounddown(N/Rnet))

לפיכך, לאפשרות עם 2 מתלים בקבוצה:

Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 שרתים לכל מתלה.

אנו שוקלים את האפשרויות הנותרות באותו אופן:

Srack1 = 20
Srack3 = 16

וכמעט הגענו. אנו סופרים את מספר המתלים כדי להפיץ את כל השרתים שלנו S (שיהיה 1000):

R = roundup(S / (Srack * Rnet)) * Rnet

R1 = roundup(1000 / (20 * 1)) * 1 = 50 * 1 = 50 מדפים

R2 = roundup(1000 / (20 * 2)) * 2 = 25 * 2 = 50 מדפים

R3 = roundup(1000 / (16 * 3)) * 3 = 25 * 2 = 63 מתלים

לאחר מכן, אנו מחשבים את ה-TCO עבור כל אפשרות בהתבסס על מספר המתלים, מספר המתגים הנדרש, כבלים וכו'. אנו בוחרים באפשרות שבה TCO נמוך יותר. רווח!

שימו לב שלמרות שמספר המתלים הנדרש עבור אפשרויות 1 ו-2 זהה, המחיר שלהם יהיה שונה, מכיוון מספר המתגים עבור האפשרות השנייה הוא חצי מזה, ואורך הכבלים הנדרשים ארוך יותר.

נ.ב. אם יש לך הזדמנות לשחק עם הכוח לכל מתלה וגובה המתלה, השונות גדלה. אבל ניתן לצמצם את התהליך לזה שתואר לעיל על ידי מעבר פשוט על האפשרויות. כן, יהיו יותר שילובים, אבל עדיין מספר מוגבל מאוד - ניתן להגדיל את אספקת החשמל למתלה לחישוב בשלבים של 1 קילוואט, מתלים טיפוסיים מגיעים במספר מוגבל של גדלים סטנדרטיים: 42U, 45U, 47U, 48U , 52U. וכאן ניתוח What-If של Excel במצב טבלת נתונים יכול לעזור בחישובים. אנו מסתכלים על הצלחות שהתקבלו ובוחרים את המינימום.

מקור: www.habr.com