רשת כשירות לארגון גדול: מקרה לא סטנדרטי

כיצד לעדכן ציוד רשת בארגון גדול מבלי להפסיק את הייצור? הוא מדבר על פרויקט רחב היקף במצב "ניתוח לב פתוח". מנהל פרויקטים של Linxdatacenter, אולג פדורוב. 

במהלך השנים האחרונות, זיהינו ביקוש מוגבר של לקוחות לשירותים הקשורים לרכיב הרשת של תשתית ה-IT. הצורך בקישוריות של מערכות IT, שירותים, יישומים, ניטור ומשימות ניהול עסק תפעולי כמעט בכל תחום מאלץ חברות היום להקדיש תשומת לב מוגברת לרשתות.  

מגוון הבקשות נע בין הבטחת סבילות לתקלות רשת ועד ליצירה וניהול של מערכת אוטונומית ללקוח עם רכישת בלוק של כתובות IP, הגדרת פרוטוקולי ניתוב וניהול תעבורה בהתאם למדיניות הארגונית.

כמו כן, ישנה דרישה גוברת לפתרונות מקיפים לבנייה ותחזוקה של תשתית רשת, בעיקר מלקוחות שתשתית הרשת שלהם נוצרת מאפס או מיושנת, הדורשת שינוי רציני. 

מגמה זו עלתה בקנה אחד עם תקופת הפיתוח והמורכבות של תשתית הרשת של Linxdatacenter עצמו. הרחבנו את הגיאוגרפיה של הנוכחות שלנו באירופה על ידי חיבור לאתרים מרוחקים, מה שבתורו דרש שיפור תשתית הרשת. 

החברה השיקה שירות חדש ללקוחות, Network-as-a-Service: אנו מטפלים בכל בעיות הרשת של הלקוחות, ומאפשרים להם להתמקד בליבת העסקים שלהם.

בקיץ 2020 הסתיים הפרויקט הגדול הראשון בכיוון הזה, עליו אני רוצה לדבר. 

בהתחלה 

מתחם תעשייתי גדול פנה אלינו כדי לחדש את חלק הרשת של התשתית באחד ממפעליו. היה צורך להחליף ציוד ישן בציוד חדש, כולל ליבת הרשת.

מודרניזציית הציוד האחרונה בארגון התרחשה לפני כעשר שנים. ההנהלה החדשה של הארגון החליטה לשפר את הקישוריות, החל מעדכון התשתית ברמה הפיזית הבסיסית ביותר. 

הפרויקט התחלק לשני חלקים: שדרוג פארק השרתים וציוד הרשת. אנחנו היינו אחראים על החלק השני. 

הדרישות הבסיסיות לעבודה כללו מזעור זמני השבתה של קווי הייצור של המיזם במהלך ביצוע העבודה (ובאזורים מסוימים ביטול מוחלט של השבתה). כל עצירה פירושה הפסדים כספיים ישירים ללקוח, שלא היו צריכים לקרות בשום פנים ואופן. בשל מצב ההפעלה של המתקן 24x7x365, כמו גם התחשבות בהיעדר מוחלט של תקופות של השבתה מתוכננת בתרגול של הארגון, קיבלנו את המשימה לבצע בעצם ניתוח לב פתוח. זה הפך למאפיין המבחין העיקרי של הפרויקט.

בוא נלך

העבודה תוכננה על פי עקרון התנועה מצמתי רשת מרוחקים מהליבה לקרובים יותר, וכן מאלה שפחות משפיעים על עבודת קווי הייצור לאלו המשפיעים ישירות על עבודה זו. 

לדוגמה, אם ניקח צומת רשת במחלקת המכירות, אז הפרעה בתקשורת כתוצאה מעבודה במחלקה זו לא תשפיע בשום צורה על הייצור. יחד עם זאת, אירוע כזה יסייע לנו כקבלן לבדוק את נכונות הגישה הנבחרת לעבודה ביחידות מסוג זה ולאחר התאמת הפעולות לעבוד על השלבים הבאים של הפרויקט. 

יש צורך לא רק להחליף צמתים וחוטים ברשת, אלא גם להגדיר כראוי את כל הרכיבים לפעולה נכונה של הפתרון בכללותו. התצורות נבדקו כך: כשהתחלנו לעבוד הרחק מהליבה, נראה היה שאנו מעניקים לעצמנו את "הזכות לטעות" מבלי לסכן אזורים קריטיים לתפעול הארגון. 

זיהינו אזורים שאינם משפיעים על תהליך הייצור, וכן אזורים קריטיים - בתי מלאכה, יחידת טעינה ופריקה, מחסנים ועוד. בתחומים מרכזיים סוכם עם הלקוח על זמן ההשבתה המקובל לכל צומת רשת בנפרד: מ-1 ועד 15 דקות. אי אפשר היה להימנע לחלוטין מניתוק צמתי רשת בודדים, שכן הכבל חייב לעבור פיזית מציוד ישן לחדש, ובמהלך תהליך המעבר יש צורך גם להתיר את "זקן" החוטים שנוצרו במהלך מספר שנות פעילות ללא תקין. טיפול (אחת ההשלכות של עבודות מיקור חוץ עבור התקנת קווי כבלים).

העבודה חולקה למספר שלבים.

שלב 1 – ביקורת. הכנה ותיאום גישת תכנון העבודה והערכת מוכנות הצוותים: הלקוח, קבלן ההתקנה והצוות שלנו.

שלב 2 – פיתוח פורמט לביצוע עבודה, עם ניתוח ותכנון מפורט מעמיק. בחרנו בפורמט צ'ק-ליסט עם אינדיקציה מדויקת של סדר ורצף הפעולות, עד לרצף של החלפת כבלי תיקון לפי יציאה.

שלב 3 – ביצוע עבודות בארונות שאינן משפיעות על הייצור. הערכה והתאמת זמני השבתה לשלבי העבודה הבאים.

שלב 4 – ביצוע עבודות בארונות המשפיעות ישירות על הייצור. הערכה והתאמת זמני השבתה לשלב הסופי של העבודה.

שלב 5 – ביצוע עבודות בחדר השרתים להחלפת הציוד הנותר. הפעל על ניתוב על הקרנל החדש.

שלב 6 – מעבר רצוף של ליבת המערכת מתצורות רשת ישנות לחדשות למעבר חלק של כל מכלול המערכת (VLAN, ניתוב וכו'). בשלב זה חיברנו את כל המשתמשים והעברנו את כל השירותים לחומרה החדשה, וידאנו שהחיבור תקין, וידאנו שאף אחד מהשירותים הארגוניים לא הופסק, דאגנו שאם יתרחשו בעיות הם יחוברו ישירות לקרנל, מה שהקל על פתרון בעיות אפשריות והגדרה סופית. 

תסרוקת זקן תיל

הפרויקט התברר כקשה גם בגלל התנאים הראשוניים הקשים. 

ראשית, יש מספר עצום של צמתים וקטעים של הרשת, עם טופולוגיה מורכבת וסיווג של חוטים לפי ייעודם. "זקנים" כאלה היו צריכים להילקח מהארונות ו"לסרוק אותם" בקפידה, להבין איזה חוט הגיע מהיכן ולאן הוא הוביל. 

זה נראה בערך כך:

לכן you

או כך: 

שנית, עבור כל משימה כזו היה צורך להכין קובץ המתאר את התהליך. "אנחנו לוקחים חוט X מיציאה 1 של הציוד הישן, מחברים אותו ליציאה 18 של הציוד החדש." זה נשמע פשוט, אבל כאשר יש לך 48 יציאות סתומות לחלוטין בנתוני המקור שלך, ואין אפשרות השבתה (אנחנו זוכרים בערך 24x7x365), הדרך היחידה לצאת היא לעבוד בבלוקים. ככל שתוכלו לשלוף יותר חוטים מציוד ישן בבת אחת, כך תוכלו לסרוק אותם מהר יותר ולהכניס אותם לחומרת רשת חדשה, תוך הימנעות מתקלות והשבתה ברשת. 

לכן, בשלב ההכנה, חילקנו את הרשת לבלוקים - כל אחד מהם היה שייך ל-VLAN ספציפי. כל יציאה (או תת-קבוצה שלהם) בציוד ישן היא אחד מ-VLAN בטופולוגיית הרשת החדשה. קיבצנו אותם כך: היציאות הראשונות של המתג היו רשתות משתמשים, האמצע - רשתות ייצור, והאחרון - נקודות גישה וקישורים למעלה. 

גישה זו אפשרה לשלוף ולסרוק מציוד ישן לא רק חוט אחד, אלא 1-10, במכה אחת. זה האיץ את תהליך העבודה מספר פעמים.  

אגב, כך נראים החוטים בארונות לאחר הסירוק: 

או, למשל, כך: 

לאחר השלמת השלב השני, לקחנו הפסקה לניתוח שגיאות ודינמיקה של פרויקט. לדוגמה, פגמים קלים צצו מיד עקב אי דיוקים בדיאגרמות הרשת שסופקו לנו (מחבר שגוי בתרשים פירושו כבל תיקון שגוי שנרכש וצורך להחליף אותו). 

ההשהיה הייתה הכרחית, שכן בעבודה מצד השרת, אפילו תקלה קטנה בתהליך לא הייתה מקובלת. אם המטרה הייתה להבטיח זמן השבתה בקטע רשת של לא יותר מ-5 דקות, אז לא ניתן היה לחרוג ממנו. כל חריגה אפשרית מלוח הזמנים הייתה צריכה להיות מוסכם עם הלקוח. 

עם זאת, תכנון מוקדם וחלוקת הפרויקט לבלוקים אפשרו לעמוד בזמן ההשבתה המתוכנן בכל התחומים, וברוב המקרים להימנע מכך לחלוטין. 

אתגר הזמנים - פרויקט תחת COVID 

עם זאת, זה לא היה חף מקשיים נוספים. כמובן, נגיף הקורונה היה אחד המכשולים. 

העבודה הייתה מסובכת בשל העובדה שהמגיפה החלה, ולא ניתן היה שכל המומחים המעורבים בתהליך יהיו נוכחים במהלך העבודה באתר הלקוח. רק עובדי ארגון ההתקנה הורשו להיכנס לאתר, והבקרה בוצעה באמצעות חדר זום - בו היה מהנדס רשת מ- Linxdatacenter, אני כמנהל פרויקט, מהנדס רשת מהלקוח האחראי על העבודה, וכן צוות המבצע עבודות התקנה.

במהלך העבודה התעוררו בעיות לא מובנות וההתאמות היו צריכות להתבצע תוך כדי תנועה. כך ניתן היה למנוע במהירות את השפעת הגורם האנושי (טעויות במעגל, טעויות בקביעת מצב פעילות הממשק וכו').

למרות שמתכונת העבודה מרחוק נראתה יוצאת דופן בתחילת הפרויקט, הסתגלנו במהירות לתנאים החדשים והגענו לשלב הסופי של העבודה. 

השקנו תצורה זמנית של הגדרות רשת כדי לאפשר לשתי ליבות רשת - ישנות וחדשות - לפעול במקביל על מנת להגיע למעבר חלק. עם זאת, התברר ששורה נוספת אחת לא הוסרה מקובץ התצורה של הקרנל החדש, והמעבר לא התרחש. זה אילץ אותנו להשקיע זמן מה בחיפוש אחר הבעיה. 

התברר שהתעבורה הראשית הועברה בצורה נכונה, ותעבורת הבקרה לא הגיעה לצומת דרך הליבה החדשה. הודות לחלוקה ברורה של הפרויקט לשלבים, ניתן היה לזהות במהירות את קטע הרשת בו נוצרה הבעיה, לזהות את הבעיה ולתקן אותה. 

וכתוצאה

תוצאות טכניות של הפרויקט 

קודם כל נוצרה ליבה חדשה של הרשת הארגונית החדשה, שעבורה בנינו טבעות פיזיות/לוגיות. זה נעשה בצורה כזו שלכל מתג ברשת יש "זרוע שנייה". ברשת הישנה חוברו מתגים רבים לליבה לאורך מסלול אחד, זרוע אחת (uplink). אם הוא נשבר, המתג הפך לבלתי נגיש לחלוטין. ואם מספר מתגים היו מחוברים דרך למעלה קישור אחד, אז התאונה תשבית מחלקה או קו ייצור שלם בארגון. 

ברשת חדשה, גם אירוע רשת רציני למדי לא יצליח בשום תרחיש להפיל את כל הרשת או חלק משמעותי ממנה. 

90% מכלל ציוד הרשת עודכן, ממירי מדיה (ממירי מדיה להפצת אותות) הוצאו משימוש, והצורך בקווי מתח ייעודיים להזנת ציוד בוטל על ידי חיבור למתגי PoE, שבהם המתח מסופק באמצעות חוטי Ethernet. 

כמו כן, מסומנים כל החיבורים האופטיים בחדר השרתים ובארונות השטח - בכל צמתי התקשורת המרכזיים. הדבר איפשר להכין תרשים טופולוגי של ציוד וחיבורים ברשת, המשקף את מצבה בפועל כיום. 

תרשים רשת

התוצאה החשובה ביותר במונחים טכניים: עבודות תשתית בקנה מידה גדול למדי בוצעו במהירות, ללא יצירת כל התערבות בעבודת המיזם וכמעט מבלי לשים לב לאנשיו. 

תוצאות עסקיות של הפרויקט

לדעתי, הפרויקט הזה מעניין בעיקר לא מהצד הטכני, אלא מהצד הארגוני. הקושי טמון בעיקר בתכנון וחשיבה על השלבים ליישום משימות הפרויקט. 

הצלחת הפרויקט מאפשרת לנו לומר כי היוזמה שלנו לפיתוח תחום הרשתות בתוך סל השירותים של Linxdatacenter היא הבחירה הנכונה לוקטור הפיתוח של החברה. גישה אחראית לניהול פרויקטים, אסטרטגיה מוכשרת ותכנון ברור אפשרו לנו להשלים את העבודה ברמה הראויה. 

אישור על איכות העבודה הוא בקשה מהלקוח להמשיך לספק שירותים למודרניזציה של הרשת באתרים הנותרים שלו ברוסיה.

מקור: www.habr.com