תשתית IT חדשה למרכז הנתונים של Russian Post

אני בטוח שכל קוראי הבר הזמינו לפחות פעם אחת סחורה מחנויות מקוונות בחו"ל ואז הלכו לקבל חבילות בסניף דואר רוסי. האם אתה יכול לדמיין את היקף המשימה הזו, מנקודת המבט של ארגון הלוגיסטיקה? תכפילו את מספר הקונים במספר הרכישות שלהם, דמיינו מפה של ארצנו העצומה, ועליה יש יותר מ-40 אלף סניפי דואר... אגב, בשנת 2018, דואר רוסית עיבד 345 מיליון חבילות בינלאומיות.

במאמר זה נספר לכם עם אילו בעיות התמודדה פוכטה וכיצד צוות LANIT Integration פתר אותן, תוך יצירת תשתית IT חדשה למרכזי נתונים.

אחד ממרכזי הלוגיסטיקה המודרניים של הדואר הרוסי
 

לפני הפרויקט

בשל הגידול החד במספר החבילות מחנויות זרות בסין, מערב אירופה וצפון אמריקה, העומס על המתקנים הלוגיסטיים של הדואר הרוסי גדל. לכן, נבנו מרכזים לוגיסטיים מהדור החדש, המשתמשים במכונות מיון בעלות ביצועים גבוהים. הם דורשים תמיכה מתשתית המחשוב.

תשתית מרכז הנתונים הייתה מיושנת ולא סיפקה את הביצועים והאמינות הנדרשים בתפעול מערכות המידע הארגוניות. כמו כן, Russian Post חווה חוסר בכוח מחשוב כדי להשיק שירותים חדשים.
 

מרכזי נתונים של לקוחות ובעיותיהם

מרכזי הנתונים של Russian Post משרתים יותר מ-40 מתקנים ו-000 מחלקות טריטוריאליות. מרכזי נתונים מפעילים עשרות שירותים עסקיים 85/XNUMX, כולל שירותי מסחר אלקטרוני.

כיום, ארגונים משתמשים במערכות לאחסון, ניתוח ועיבוד ביג דאטה. עבור מערכות כאלה, השימוש באלגוריתמים של בינה מלאכותית ולמידת מכונה משחק תפקיד חשוב. כיום, אחד המקרים החשובים ביותר עבור מיזם הוא ייעול ניהול הזרימות הלוגיסטיות והאצת שירות הלקוחות בסניפי הדואר.

לפני תחילת פרויקט המודרניזציה, היו כ-3000 מכונות וירטואליות במרכזי הנתונים הראשיים והגיבוי, נפח המידע המאוחסן עלה על 2 פטה-בייט. למרכזי נתונים היה מבנה ניתוב תעבורה מורכב הקשור לחלוקה למקטעים שונים לפי רמות אבטחה.

עם התפתחות האפליקציות והכנסת שירותים חדשים, רוחב הפס הקיים של ציוד הרשת במרכזי הנתונים הפך לבלתי מספק. נדרש מעבר לממשקים במהירויות חדשות: 10 Gbit/s במקום 1 Gbit/s בגישה ו-40 Gbit/s ברמת הליבה, עם יתירות מלאה של ציוד וערוצי תקשורת.

למחלקת אבטחת מידע קיבלה דרישה לחלק את התשתית למקטעים בעלי רמת אבטחת מידע גבוהה של תעבורה ואפליקציות (PN - Private Network ו-DMZ - Demilitarized Zone). התנועה עברה דרך חומות אש (FWUs) שלא היה צורך לסנן. VRF על המתגים לא שימש לתעבורה זו. הכללים על חומת האש היו לא אופטימליים (עשרות אלפי כללים בכל מרכז נתונים).

הגירה חלקה של מכונות וירטואליות (VMs) בין מרכזי נתונים תוך שמירה על כתובת ה-IP והנתיב האופטימלי לתעבורה בין מקטעים, כולל רשת הנתונים הארגונית (CDN), הייתה בלתי אפשרית.

נעשה שימוש ב-MSTP לגיבוי; חלק מהיציאות נחסמו (המתנה חמה). מתגי הליבה והגישה לא שולבו לאשכול כשל, ולא נעשה שימוש בצבירה של ממשק (LAG).

עם כניסתו של מרכז הנתונים השלישי, נדרשה ארכיטקטורה ותצורת ציוד חדשה להפעלת הטבעת בין מרכזי הנתונים (הוצעה EVPN).

לא היה קונספט אחיד לפיתוח מרכזי נתונים, מתועד בצורת פרויקט ומוסכם עם כל מחלקות הלקוח. תיעוד ההפעלה הנוכחי של הרשת לא היה שלם ולא מעודכן.
 

ציפיות של לקוח

צוות הפרויקט עמד בפני המשימות הבאות:

• להכין את תפיסת הארכיטקטורה והפיתוח לבניית תשתית הרשת והשרתים של מרכז הנתונים השלישי;
• לבצע ביקורת תפעולית של הרשת הקיימת של הלקוח;
• להרחיב את קיבולת ליבת הרשת ביותר מ-1500 יציאות 10/40 Gbit/s Ethernet בכל מרכז נתונים (4500 יציאות בסך הכל);
• להבטיח הפעלת טבעת בין שלושה מרכזי נתונים עם יכולת להגביר מהירות עד 80 Gbit/s בכל מקטע על מנת לשלב את משאבי המחשוב של הלקוח ממרכזי נתונים שונים למערכת IT אחת;
• לספק 100% רזרבה כפולה מכל רכיבי הרשת כדי להשיג את היעד Uptime ברמה של 99,995%;
• צמצם את עיכובי התנועה בין מכונות וירטואליות כדי להאיץ את היישומים העסקיים;
• לאסוף נתונים סטטיסטיים, לבצע ניתוח ולבצע אופטימיזציה לאחר מכן של כללי סינון תנועה במרכזי נתונים (בתחילה היו כ-80 כללים);
• לפתח ארכיטקטורת יעד כדי להבטיח העברה חלקה של היישומים העסקיים הקריטיים של הלקוח לכל אחד משלושת מרכזי הנתונים.

אז היה לנו על מה לעבוד.

Оборудование

בואו נסתכל מקרוב באיזה ציוד השתמשנו בפרויקט.

חומת אש (NGWF) USG9560:

• חלוקה לפי VSYS;
• עד 720 Gbps;
• עד 720 מיליון הפעלות בו זמנית;
• 8 חריצים.

 
נתב NE40E-X8:

• קיבולת מיתוג של עד 7,08 Tbit/s;
• ביצועי העברה של עד 2,880 Mpps;
• 8 חריצים לכרטיסי קו (LPU);
• עד 10M BGP IPv4 מסלולים לכל MPU;
• עד 1500K OSPF IPv4 מסלולים לכל MPU;
• עד 3000K - IPv4 FIB (תלוי ב-LPU).

מתגים מסדרת CE12800:

• וירטואליזציה של מכשירים: VS (וירטואליזציה של 1:16), מערכת מתג אשכולות (CSS), סופר וירטואלית (SVF);
• וירטואליזציה של רשת: גישור M-LAG, TRILL, VXLAN ו-VXLAN, QinQ ב-VXLAN, EVN (רשת וירטואלית של Ethernet);
• החל מ-VRP V2, תמיכה ב-EVPN כלולה;
• M-LAG - אנלוגי של vPC (ערוץ יציאות וירטואלי) עבור Cisco Nexus;
• פרוטוקול וירטואלי Spanning Tree (VSTP) - תואם ל-Cisco PVST.

CE12804

CE12808

תוכנה

בפרויקט השתמשנו ב:

• ממיר קבצי תצורת חומת אש מספקים אחרים לפורמט פקודה עבור ציוד חדש;
• סקריפטים קנייניים לאופטימיזציה והמרת תצורות חומת אש.

הופעת הממיר להמרת קבצי תצורה
 
תוכנית ארגון תקשורת בין מרכזי נתונים (EVPN VXLAN)
 

ניואנסים של הקמת ציוד

CE12808
 

• EVPN (סטנדרטי) במקום EVN (קנייני של Huawei) לתקשורת בין מרכזי נתונים:

  ○ L2 על L3 באמצעות iBGP במישור הבקרה;
  ○ אימון MAC והפרסום שלהם באמצעות משפחת iBGP EVPN (מסלולי MAC, סוג 2);
  ○ בנייה אוטומטית של מנהרות VXLAN לשידור / תעבורת חד-שידור לא ידועה (כולל מסלולי שידור מרובה, סוג 3).

• שני מצבי חלוקה ב-VS:

  ○ מבוסס על יציאות (יציאת מצב יציאה) או מבוסס על ASIC (קבוצת מצב יציאה, הצגת יציאות-מפת התקן);
  ○ ממשק יציאות מפוצל 40GE עובד רק ב-Admin VS (ללא קשר למצב יציאה).

USG9560
 

• אפשרות חלוקה לפי VSYS,
• ניתוב דינמי ודליפת מסלול אינם אפשריים בין VSYS!

CE12804
 
כל Active GW (VRRP Master/Master/Master) עם סינון MAC VRRP בין מרכזי נתונים
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

תכנית אינטראקציה של משאבים בין מרכזי נתונים (VXLAN EVPN ו-All Active GW)
 

קשיים בפרויקט

הקושי העיקרי היה הצורך לגבות אפליקציות קיימות באמצעות תשתית מחשוב. ללקוח היו יותר מ-100 אפליקציות שונות, חלקן נכתבו לפני כמעט 10 שנים. לדוגמה, אם עבור Yandex אתה יכול בקלות לכבות כמה מאות מכונות וירטואליות מבלי לפגוע במשתמשי הקצה, אז ב- Russian Post גישה כזו תדרוש פיתוח של מספר יישומים מאפס ושינויים בארכיטקטורה של מערכות מידע ארגוניות. פתרנו את הבעיות שעלו במהלך תהליך ההגירה והאופטימיזציה בשלב של ביקורת משותפת של תשתית המחשוב. כל טכנולוגיות הרשת החדשות לארגון (כגון EVPN) עברו בדיקות מקדימות במעבדה.
 

תוצאות הפרויקט

צוות הפרויקט כלל מומחים "LANIT-אינטגרציה", הלקוח ושותפיו בתפעול תשתית המחשוב. כמו כן הוקמו צוותי תמיכה ייעודיים של ספקים (צ'ק פוינט ו-Huawei). הפרויקט ארך שנתיים. זה מה שנעשה בתקופה הזו.

• פותחה אסטרטגיה לפיתוח רשת מרכזי נתונים, רשת נתונים ארגונית (CDTN) וטבעת בין מרכזי נתונים וסוכמה עם כל מחלקות הלקוח.
• זמינות השירותים עלתה. הדבר צוין על ידי העסק של הלקוח והביא לעלייה גדולה עוד יותר בתנועה עקב הכנסת שירותים חדשים.
• יותר מ-40 כללים הועברו ועברו אופטימיזציה מ-FWSM/ASA ל-USG 000. הקשרים שונים של ASA ב-UGG 9560 שולבו לכדי מדיניות אבטחה אחת.
• התפוקה של יציאות מרכז הנתונים הוגדלה מ-1G ל-10/40G באמצעות שימוש ב-CE12800/CE6850. זה איפשר לבטל עומסי ממשק ואובדן מנות.
• נתבים בדרגת ספק NE40E-X8 כיסו במלואם את הצרכים של מרכז הנתונים ומרכז העברת הנתונים של הלקוח, תוך התחשבות בפיתוח עסקי עתידי.
• שמונה בקשות תכונה חדשות התבקשו עבור USG 9560. מתוכן, שבע כבר הוטמעו ונכללות בגרסה הנוכחית של ה-VRP. 1 FR - ליישום במו"פ של Huawei. זהו אשכול בן שמונה מארז עם יכולת להגדיר את הפונקציונליות הדרושה לסנכרון תצורה ללא סנכרון הפעלה. זה נדרש אם עיכוב התנועה לאחד ממרכזי הנתונים גדול מדי (אדלר - מוסקבה 1300 ק"מ לאורך המסלול הראשי ו-2800 ק"מ לאורך תוואי השמורה).

לפרויקט אין אנלוגים בהשוואה לחברות דואר רוסיות אחרות.

המודרניזציה של תשתית הרשת של מרכזי נתונים פתחה הזדמנויות חדשות לארגון לפתח שירותים דיגיטליים.

• מתן חשבון אישי ואפליקציה לנייד ליחידים ולישויות משפטיות.
• אינטגרציה עם חנויות אלקטרוניות למתן שירותי משלוח סחורות.
• מימוש - אחסון סחורה, גיבוש ואספקת הזמנות מחנויות אלקטרוניקה.
• הרחבת נקודות איסוף ההזמנות, כולל שימוש ברשתות שותפים.
• זרימת מסמכים משמעותית מבחינה משפטית עם צדדים נגדיים. זה יבטל את השליחה האיטית והיקרה של מסמכי נייר.
• קבלת מכתבים רשומים בצורה אלקטרונית עם משלוח הן בצורה אלקטרונית והן בצורת נייר (עם הדפסת פריטים קרוב ככל האפשר לנמען הסופי). שירות מכתבים רשומים אלקטרוניים בפורטל השירותים הציבוריים.
• פלטפורמה למתן שירותי רפואה טלפונית.
• קליטה פשוטה ומשלוח פשוט של דואר רשום באמצעות חתימה אלקטרונית פשוטה.
• דיגיטליזציה של רשת הדואר.
• עיצוב מחדש של שירותי שירות עצמי (טרמינלים ומסופי חבילות).
• יצירת פלטפורמה דיגיטלית לניהול שירות השליחויות ואפליקציה סלולרית חדשה ללקוחות שירותי שליחויות.

בואו לעבוד איתנו!

• מהנדס תשתיות תאגידי
• מהנדס Linux/DevOps מוביל

מקור: www.habr.com