ניטור במרכז הנתונים: איך שינינו את ה-BMS הישן לחדש. חלק 3

אנו ממשיכים את הסיפור שלנו על איך שינינו את מערכת ה-BMS במרכזי הנתונים שלנו (חלק 1, חלק 2). יחד עם זאת, לא רק החלפנו את הפתרון של ספק אחד באחר, אלא פיתחנו מערכת מאפס שתתאים לדרישות שלנו. בסוף הסיפור שלנו, אנו חולקים את התוצאות של העבודה שנעשתה ופתרונות מעניינים שעשויים להיות שימושיים עבורך.

ממשק חדש

כאן, כמו שאומרים, עדיף לראות פעם אחת.

מתלים.

בואו נסתכל על ההבדלים.

• הראשון הוא красиво בנוחות. שימו לב כמה קל זה הפך לעקוב אחר העומסים על מודולי PDU ("בנקים" או פשוט "בנקים") וסכום העומסים המקבילים של מודולים זוגיים. בדגם המתלה מה-BMS החדש, אנו רואים מיד שמודולי ה-PDU המזווגים התחתונים עמוסים יתר על המידה (הזרם הכולל גבוה מההתראה המותרת של 16A - "כחול"), ועל העליונים יש עומס נמוך. אם אחת מהכניסות מנותקת, כל העומס יעבור לשני, והמודול התחתון שנשאר מופעל יכבה עקב עומס יתר. כדי למנוע את זה, שירות התמיכה של מרכז הנתונים יזהיר את הלקוח מראש וישלח המלצה כיצד לחלק מחדש את העומס.
• תוספת קלה של ציוד. ב-BMS החדש, חיישנים וירטואליים לסכומים של זרמי מודול והספק מתלה כבר מתווספים לתבניות מתלה סטנדרטיות ונוצרים באופן אוטומטי לאחר הוספת PDU למתלה. ב-BMS הישן, היה צורך ליצור אותם באופן ידני ולאחר מכן לגרור אותם אל המפה, מה שהגדיל את הסבירות לטעות בשל "הגורם האנושי".
• היקף בלתי מוגבל ליצירתיות. כעת אין לנו הגבלות בעת יצירת חיישנים וירטואליים. אתה יכול לבנות לחלוטין כל מודל מתמטי של כל משתנים. המשמעות היא שיש לנו את היכולת ליצור חיישנים וירטואליים מורכבים (בעבר יכולנו רק להוסיף ערכים) ולנתח טוב יותר סטטיסטיקות ומגמות בביצועי מערכות הנדסיות. זה משפר את איכות ההחלטות המתקבלות לגבי תצורת המערכת, החלפת ציוד וניהול משאבים. 
• ממשק אינטואיטיבי. בממשק החדש אין עומס של אייקונים, מעריצים מסתובבים, מתגים "קליק". והדבר הנוח ביותר הוא היכולת לציין את המצב של PDU Line A/B בתוך המתלים. ניסינו לעשות משהו דומה ב-BMS הישן, אבל מספר האייקונים הממוזגים לסנטימטר רבוע של המפה אילץ אותנו לנטוש אותו.

עכשיו זה נחמד להסתכל על:

שרת.

שבר של המרכזייה הראשית.

לוח בקרת אוורור.

ואת ה-BMS החדש אפשר לקשט לקראת השנה החדשה  🙂

עמוד אחד – הבנה הדדית ללא מילה וללא מפרט טכני

במשך זמן רב מאוד רצינו ליישם "טריק" נוסף ב-BMS: להרכיב את הפרמטרים העיקריים של מרכז הנתונים בעמוד אחד, כך שמבט אחד במסך יספיק כדי להעריך את מצב המערכות הראשיות. עם זאת, לא הבנו עד הסוף איך זה צריך להיראות.

עוד לפני שהחל פיתוח ה-BMS החדש, ביקרנו בתריסר מרכזי נתונים בהולנד בטיולים. אחת המטרות הייתה לראות דוגמאות ליישום של עמוד כזה.

ואף מרכז נתונים אחד לא הראה לנו את זה - בחלקם זה לא היה שם, באחרים זה "מפותח עכשיו", באחרים זה היה "סוד מסחרי גדול". לכן, בתנאי ההתייחסות שלנו ליצירת BMS חדש, לא היה תיאור מדויק של הדף המאוד חשוב הזה עבורנו.

כתוצאה מכך, הגענו לזה ממש "בדיוק". בדיוק באותו הרגע נאלצתי להתייעץ מרחוק עם עמיתים במרכז הנתונים. זה היה מאוד לא נוח לגלול בין דפי BMS בטלפון בחיפוש אחר נתונים מפוזרים, ולמעשה הגרסה הראשונה שורטטה על מפית עמוד אחד. זה יושם על ידי המפתחים על סמך התמונה. 

בעקבות הדוגמה של עמיתינו ההולנדים הזהירים, לא נדגים את הגרסה הסופית של העמוד הראשי שלנו, במיוחד מכיוון שכל מרכז נתונים הוא ייחודי ואין טעם להעתיק אותו. אבל הבה נתאר שני עקרונות עיקריים של היווצרותו:

1. זוהי טבלה שנועדה להתאים לפורמט של מסך סמארטפון אנכי (או צג, אך שומר על פריסה אנכית), כאשר כל המידע החשוב מוצג על מסך אחד. מעל הטבלה יש "סיכום" של אירועים פעילים, ולכן היה הכי נוח למקם אותם יחד בפורמט אנכי. 
2. סידור התאים בטבלה עוקב אחר הארכיטקטורה של מרכז הנתונים (פיזי או לוגי). נטשנו את סידור המערכות לפי סדר אלפביתי, כפי שהיה רצוי במבט ראשון. הרצף משקף את האסוציאציות החזותיות של אנשי מרכז הנתונים - כאילו הם מנטרים פיזית את כל החדרים והמערכות. כך קל יותר למצוא מידע.

למעשה, כעת לחלוטין כל המאפיינים המרכזיים של מרכז הנתונים מקובצים ומוצגים על מסך אחד של הסמארטפון/צג של המהנדס והמנהל האחראים, תוך יישום קישור לטופוגרפיה הפיזית והלוגית של מרכז הנתונים. 

הנה תמונה של אותה טיוטה ראשונה, אם כי, כמובן, גרסה זו נבחנה מחדש והושגה סופית.

הכרה ותקציר האירוע

בואו נדבר על עוד קונספט חדש עבורנו, שצמח בעקבות פרויקט עדכון מערכת הניטור.

לחיצת יד היא מונח נדיר למדי שהוצע על ידי מפתח ה-BMS החדש. המשמעות היא אישור שהמפעיל ראה את האירוע, הודה בו וקיבל אחריות לפתור אותו.  

המילה תקועה, ועכשיו אנחנו "מכירים" באירועים.

האלגוריתם שנכלל בגרסה הבסיסית של ה-BMS החדש לא התאים לנו. למעשה, אלו היו הערות ליומן האירועים, כלומר, תקריות שנפתרו לא נעלמו מהיומן, ותקריות מקובלות ("מאושרות") לא מוינו מחדשות.

כתוצאה מכך, פותח חלון בשם "סיכום", שבו:

1. רק אירועים פעילים והתקנים במצב שירות מוצגים (ללא התראות כחולות מסחריות).
2. יש הבחנה ברורה בין אירועים חדשים למקובלים.
3. מצוין מי קיבל את האירוע.

אלגוריתם העבודה עבור קציני משמרת ב-BMS החדש הוא כדלקמן:

1. אירועים חדשים כלולים בדוח וממתינים להכרה. הם אינם יכולים לשהות במדור זה זמן רב, על התורן על הציוד לקחת מיד את האחריות על האירוע.
2. העובד לוקח אחריות על האירוע על ידי לחיצה על הסימון מימין. מכיוון שכל העובדים נמצאים בחשבונות ייחודיים, מוצג אוטומטית מי קיבל את האירוע. במידת הצורך, השאירו תגובה.
3. האירוע מועבר למדור "מוכר", שאר הפקידים והמנהל מבינים שהאירוע מטופל על ידי העובד האחראי.

דוגמה לחלון סיכום עם הודעה חדשה שכבר מאושרת.

על ידי חיבור חלון הסיכום עם טבלת עמוד אחד, קיבלנו מלא מסך ראשי מערכת BMS, שבה אתה יכול לראות מיד: 

• מצב מערכות מרכז הנתונים העיקריות;
• נוכחות של אירועים חדשים לא מעובדים;
• נוכחותם של אירועים מקובלים ומידע על מי מבטל אותם באופן ספציפי.

גישה לדפדפן והתראות טלפון קופצות

ממשק האינטרנט, הנגיש מכל מכשיר מכל מקום בעולם, מהווה ניגוד מוחלט ללקוח ה"עבה", שסגור לחלוטין למשתמשים חיצוניים. 

הגישה הישנה טומנת בחובה מגוון של אי נוחות, החל מבעיות בארגון עבודה מרחוק לניטור עובדי שירות ועד לצורך בהתקנת לקוחות "עבים" מערכות הפצה על עמדות העבודה של הצוות במרכז הנתונים.

כעת לכל עמוד ב-BMS יש כתובת ייחודית, המאפשרת לשתף לא רק את הכתובת הישירה של העמוד או המכשיר, אלא גם קישורים לגרפים/דוחות ייחודיים. 

הגישה למערכת מתבצעת כעת באמצעות אימות LDAP דרך Active Directory, מה שמעלה את רמת האבטחה שלה. 

ניידות כיום היא גורם מפתח בעבודה האיכותית של מהנדסים תורנים. בנוסף לניטור הניטור בחדר המשמרת, מהנדסים עושים סיבובים, מבצעים עבודה שוטפת מחוץ ל"חדר התורנות" ובזכות המסך הראשי BMS המותאם למסכים ניידים, לא מאבדים שליטה על הנעשה בחדרי הטורבינות אפילו לשנייה. 

איכות השליטה משתפרת גם הודות לפונקציונליות של צ'אטים בעבודה. הם מאיצים את תהליכי העבודה בכך שהם מאפשרים "לקשר" התכתבויות של מהנדסים תורנים ל-BMS. לדוגמה, אנו משתמשים באפליקציית Teams, המאפשרת לך לנהל התכתבות פנימית ולקבל את כל ההודעות מה-BMS בטלפון שלך בצורה של הודעות Push קופצות, מה שמבטל את הצורך של קצין התורן להסתכל כל הזמן בטלפון מָסָך.

 הודעת דחיפה במסך הסמארטפון.

כך נראות התראות באפליקציית Teams.

במקביל, הודעות קופצות מוגדרות רק עבור הודעות על התרחשות של תקריות, ובכך למזער את גורם הסחת הדעת; הצוות יודע: אם מופיעה הודעת דחיפה של Teams על מסך הסמארטפון, עליהם לעבור לדף BMS ולקבל את האירוע. מעקב אחר הודעות פתרון תקריות מתבצע בדף BMS.

התמונה מציגה את ממשק BMS בסמארטפון.

הסתכמות

בעוד שעלות עדכון BMS מהספק הישן שלנו הייתה דומה לפיתוח מערכת חדשה מאפס (כ-100$), ההבדל בפונקציונליות של המוצרים התברר כעצום. קיבלנו מערכת גמישה המותאמת למשימות ולתהליכים העסקיים שלנו. השגנו גם חיסכון משמעותי בתמיכה שוטפת במערכת ובעלויות השדרוג. 

אבל, כמובן, היו קשיים. 

• ראשית, זלזלנו בכמות השינויים שצריך לבצע בגרסת הבסיס של ה-BMS החדש ולא עמדנו בלוחות הזמנים שסוכמו מראש. מבחינתנו זו לא הייתה בעיה קריטית שכן היינו מבוטחים עד הרגע האחרון ועבדנו על המערכת הישנה והתהליך היה יצירתי, מורכב ולכן לפעמים עבר לאט מהצפוי. בנוסף, תמיד ראינו שהמפתח שלנו עושה כל מאמץ להשיג את התוצאה הטובה ביותר. אבל למעשה, הסיפור התברר כארך מאוד, והמומחים המרכזיים שלנו השקיעו בו הרבה יותר מאמץ וזמן ממה שתכננו. 
• שנית, נזקקנו למספר שלבי בדיקה כדי לנפות באגים באלגוריתם לשמירת מכונות וירטואליות וערוצי תקשורת. בתחילה היו תקלות הן בצד של מערכת ה-BMS והן בצד של הגדרת מכונות וירטואליות והרשת. גם איתור הבאגים הזה לקח זמן. למרבה המזל, סופקה לקבלן פלטפורמת בדיקה בצורת שירות ענן, בה נבדקו בתחילה כל ההגדרות והחידושים.
• שלישית, המערכת שהתקבלה התבררה כקשה יותר לעריכה על ידי משתמש הקצה. אם בעבר מפה הייתה מורכבת מרקע (קובץ גרפי) ואייקונים שקל לשנות או להעביר, כעת מדובר בממשק גרפי מורכב עם אנימציה שדורש כישורי עריכה מסוימים.

העדכון הרדיקלי של מערכת ה-BMS שלנו כבר יכול להיקרא הפרויקט החשוב ביותר של השנה החולפת, אשר ישפיע באופן רציני על איכות הניהול התפעולי של האתרים שלנו בעתיד. 

אנחנו, כמובן, לא זרקנו את שרת הברזל הישן, אלא "הקלנו אותו": ניקינו אותו מאלפי חיישנים וירטואליים ו-PDU "מסחריים" והשארנו בו רק כמה עשרות מהמכשירים הקריטיים ביותר, כמו דיזל. מערכות גנרטורים, UPS, מזגנים, משאבות, חיישני דליפה וטמפרטורות במצב זה, המהירות הקודמת שלו חזרה, והוא יכול להיות "עתודה". אגב, אחרי שהסרנו את ה-PDU מה-BMS הישן, שחררנו כ-1000 רישיונות מיותרים עכשיו, אתה במקרה יודע מה לעשות איתם?

מקור: www.habr.com