כיצד תכננו והטמענו רשת חדשה ב-Huawei במשרד במוסקבה, חלק 3: מפעל שרתים

בשני החלקים הקודמים (זמן, два) בדקנו את העקרונות שעל פיהם נבנה המפעל החדש, ודיברנו על הגירה של כל המשרות. עכשיו הגיע הזמן לדבר על מפעל השרתים.

בעבר, לא הייתה לנו תשתית שרת נפרדת: מתגי שרת היו מחוברים לאותה ליבה כמו מתגי הפצת המשתמשים. בקרת הגישה בוצעה באמצעות רשתות וירטואליות (VLANs), ניתוב VLAN בוצע בשלב מסוים - על הליבה (על פי העיקרון עמוד שדרה ממוטט).

תשתית רשת ישנה

במקביל לרשת המשרדים החדשה, החלטנו לבנות עבורו חדר שרתים חדש ומפעל חדש נפרד. התברר שהוא קטן (שלושה ארונות שרת), אך תואם את כל הקנונים: ליבה נפרדת במתגי CE8850, טופולוגיה מרושתת מלאה (עמוד שדרה), מתגי CE6870 בחלק העליון של המדף (ToR), זוג נפרד. של מתגים להתממשקות עם שאר הרשת (דפי גבול). בקיצור, בשר טחון שלם.

רשת של מפעל השרתים החדש

החלטנו לנטוש את השרת SCS לטובת חיבור שרתים ישירות למתגי ToR. למה? יש לנו כבר שני חדרי שרתים שנבנו באמצעות שרת SCS, והבנו שזה:

• לא נוח לשימוש (חיבורים חוזרים רבים, עליך לעדכן בזהירות את יומן הכבלים);
• יקר במונחים של מקום תפוס על ידי לוחות תיקון;
• מהווה מכשול כאשר יש צורך להגביר את מהירות החיבור של שרתים (לדוגמה, מעבר מחיבורי 1 Gbit/s על נחושת ל-10 Gbit/s על אופטי).

במעבר למפעל שרתים חדש, ניסינו להתרחק מחיבור שרתים במהירות של 1 Gbit/s והגבלנו את עצמנו לממשקי 10 Gbit. כמעט כל השרתים הישנים שלא יכולים לעשות זאת עברו וירטואליזציה, והשאר חוברו באמצעות משדרים של גיגה-ביט ליציאות של 10 גיגה-ביט. עשינו את החשבון והחלטנו שזה יהיה זול יותר מהתקנת מתגי גיגה-ביט נפרדים עבורם.

מתגי ToR

כמו כן, בחדר השרתים החדש שלנו, התקנו מתגים נפרדים לניהול מחוץ לפס (OOM) עם 24 יציאות, אחת לכל מתלה. הרעיון הזה התברר כטובה מאוד, אבל לא היו מספיק יציאות, בפעם הבאה נתקין מתגי OOM עם 48 יציאות.

אנו מחברים ממשקים לניהול מרחוק של שרתים כגון iLO, או iBMC במינוח Huawei, לרשת OOM. אם השרת איבד את החיבור העיקרי שלו לרשת, ניתן יהיה להגיע אליו דרך ממשק זה. כמו כן, ממשקי בקרה של מתגי ToR, חיישני טמפרטורה, ממשקי בקרת UPS והתקנים דומים אחרים מחוברים למתגי OOM. רשת OOM נגישה דרך ממשק חומת אש נפרד.

חיבור רשת OOM

זיווג שרת ורשתות משתמשים

במפעל מותאם אישית משתמשים ב-VRF נפרדים למטרות שונות - לחיבור תחנות עבודה של משתמשים, מערכות מעקב וידאו, מערכות מולטימדיה בחדרי ישיבות, לארגון עמדות ואזורי הדגמה וכו'.

קבוצה נוספת של VRFs נוצרה במפעל השרתים:

• לחיבור שרתים רגילים עליהם פרוסים שירותים ארגוניים.
• VRF נפרד, שבתוכו פרוסים שרתים עם גישה מהאינטרנט.
• VRF נפרד עבור שרתי מסד נתונים שאליהם גישה רק שרתים אחרים (לדוגמה, שרתי יישומים).
• VRF נפרד למערכת הדואר שלנו (MS Exchange + Skype for Business).

אז יש לנו קבוצה של VRFs בצד המפעל של המשתמש וקבוצה של VRFs בצד המפעל של השרת. שתי הקבוצות מותקנות באשכולות חומת אש ארגונית (FW). MEs מחוברים למתגי גבול (דפי גבול) הן של מארג השרת והן של מארג המשתמש.

ממשק מפעלים דרך ME - פיזיקה

ממשק מפעלים דרך ME - לוגיקה

איך עברה ההגירה?

במהלך ההגירה חיברנו את מפעלי השרתים החדשים והישנים ברמת קישורי הנתונים, באמצעות טראנקים זמניים. כדי להעביר שרתים הממוקמים ב-VLAN ספציפי, יצרנו תחום גשר נפרד, שכלל את ה-VLAN של מפעל השרתים הישן ואת ה-VXLAN של מפעל השרתים החדש.

התצורה נראית בערך כך, שתי השורות האחרונות הן המפתח:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

הגירה של מכונות וירטואליות

לאחר מכן, באמצעות VMware vMotion, מכונות וירטואליות ב-VLAN זה הועברו מ-hypervisors ישנים (גרסה 5.5) לחדשים (גרסה 6.5). במקביל, שרתי חומרה עברו וירטואליזציה.

כשתנסה שובהגדר את ה-MTU מראש ובדוק את המעבר של מנות גדולות "מקצה לקצה".

ברשת השרת הישנה, ​​השתמשנו בחומת האש הוירטואלית VMware vShield. מכיוון ש-VMware כבר לא תומכת בכלי זה, עברנו מ-vShield לחומת אש של חומרה באותו זמן שהעברנו לחווה הוירטואלית החדשה.

לאחר שלא נותרו שרתים ב-VLAN מסוים ברשת הישנה, ​​החלפנו ניתוב. בעבר הוא בוצע על הליבה הישנה, ​​שנבנתה בטכנולוגיית Collapsed Backbone, ובמפעל השרתים החדש השתמשנו בטכנולוגיית Anycast Gateway.

החלפת ניתוב

לאחר החלפת ניתוב עבור VLAN ספציפי, הוא נותק מתחום הגשר והוצא מהטראנק בין הרשת הישנה לחדשה, כלומר, הוא עבר לחלוטין למפעל השרתים החדש. לפיכך, העברנו כ-20 רשתות VLAN.

אז יצרנו רשת חדשה, שרת חדש וחוות וירטואליזציה חדשה. באחד מהמאמרים הבאים נדבר על מה שעשינו עם Wi-Fi.

מקסים קלוצ'קוב
יועץ בכיר בקבוצת ביקורת רשת ופרויקטים מורכבים
מרכז פתרונות רשת
"מערכות מידע סילון"

מקור: www.habr.com