ולהדגים, או איך עברנו את ביקורת הקיימות התפעולית ב-Uptime Institute

ראש מחלקת התפעול טיפס אל הפתח של מתקן אחסון הדלק התת-קרקעי כדי להציג את הסימונים על שסתום הסולנואיד.

בתחילת פברואר, מרכז הנתונים Tier III הגדול ביותר שלנו NORD-4 אושר מחדש על ידי מכון Uptime (UI) לתקן קיימות תפעולית. היום נספר לכם על מה מסתכלים המבקרים ואיזה תוצאות סיימנו.

למי שמכיר את מרכזי הנתונים, בואו נעבור בקצרה על החומרה. תקני שכבה מעריך ומאשר מרכזי נתונים בשלושה שלבים:

• פרויקט (עיצוב): חבילת תיעוד הפרויקט נבדקת. כאן הידוע נִדבָּך. ישנם 4 מהם בסך הכל: שכבה I–IV. האחרון הוא, בהתאם, הגבוה ביותר.
• מתקן בנוי (Facility): התשתית ההנדסית של מרכז הנתונים נבדקת ותאימותה לפרויקט. מרכז הנתונים נבדק בעומס תכנוני מלא באמצעות מגוון בדיקות עם התוכן הבא בקירוב: אחד מה-UPS (DGS, צ'ילרים, מזגנים מדויקים, ארונות חלוקה, פסים וכו') הוצא משירות לצורך תחזוקה או תיקון , ואספקת החשמל בעיר כבויה. . מרכזי נתונים מדרג III ומעלה צריכים להיות מסוגלים להתמודד עם המצב ללא כל השפעה על עומס ה-IT.

  ניתן לקחת מתקן אם מרכז הנתונים כבר עבר הסמכת עיצוב.
  NORD-4 קיבלה את תעודת העיצוב שלה בשנת 2015, ואת מתקן בשנת 2016.

• קיימות תפעולית. למעשה, ההסמכה החשובה והמורכבת ביותר. הוא מעריך באופן מקיף את התהליכים והמיומנויות של מפעיל בתחזוקה וניהול של מרכז נתונים עם רמת שכבה מבוססת (כדי לעבור קיימות תפעולית, עליך כבר להיות בעל תעודת מתקן). אחרי הכל, ללא תהליכים תפעוליים מובנים כהלכה וצוות מוסמך, אפילו מרכז נתונים Tier IV יכול להפוך לבניין חסר תועלת עם ציוד יקר מאוד.
  
  יש כאן גם רמות: ברונזה, כסף וזהב. בהסמכה האחרונה סיימנו עם ציון של 88,95 מתוך 100 נקודות אפשריות, וזה כסף. זה נפל מעט מזהב - 1,05 נקודות. 

איך בודקים שהתהליכים הדרושים בנויים ופועלים כמו שצריך? יתר על כן, איך לעשות את זה ביומיים - זה כמה זמן לוקח להסמכה מחדש. בקיצור, ההסמכה מבוססת על השוואה קפדנית של הכתוב בתקנון, סיפורים של "איך הכל עובד" ושיטות עבודה אמיתיות. מידע על האחרון מתקבל ממעברים במרכז הנתונים ומשיחות עם מהנדסי הדטה סנטר - "עימותים", כפי שאנו מכנים אותם בחיבה. זה מה שהם מסתכלים עליו.

קבוצה

קודם כל, מבקרי ממשק משתמש בודקים אם למרכז הנתונים יש מספיק צוות תמיכה. הם לוקחים את טבלת האיוש, לוח התפקידים ובודקים אותו באופן סלקטיבי עם דוחות משמרות ונתוני בקרת גישה כדי לוודא שמספר המהנדסים הדרוש אכן היה באתר באותו יום.

מבקרים גם בוחנים מקרוב את מספר השעות הנוספות. זה קורה לפעמים כשלקוח גדול מגיע ויש להתקין עשרות מתלים בו זמנית. ברגעים כאלה מגיעים לעזרה בחורים ממשמרות אחרות, ועל זה משלמים להם כסף נוסף.

ב-NORD-4 עובדים 7 מהנדסים במשמרת: 6 תורנים ומהנדס בכיר אחד. אלה שעוקבים אחר ניטור 24x7, פוגשים לקוחות, עוזרים בהתקנת ציוד ובקשות שגרתיות אחרות. זוהי השורה הראשונה של תמיכה טכנית ללקוחות. תחומי האחריות שלהם כוללים הקלטת מצבי חירום והסלמה למהנדסים מומחים. עבודת התשתית ההנדסית מפוקחת על ידי אנשים בודדים - קציני תשתיות. גם 24x7.

מנהל הייצור ומנהל האתר של NORD מספר למבקרים כמה אנשים עובדים באתר כרגע.

כאשר המספרים מסודרים, בודקים את הכישורים של הצוות. מבקרים בודקים באופן אקראי את תיקי כוח האדם של מהנדסים כדי לוודא שיש להם את התעודות, התעודות ומסמכי ההרשאה הדרושים (לדוגמה, תעודות בטיחות חשמל) לעבודה בתפקיד נתון.

הם גם בודקים איך אנחנו מאמנים את הצוות שלנו. אפילו במהלך הביקורת האחרונה, המערכת שלנו להכשרת מהנדסים תורנים חדשים הרשימה מומחי ממשק משתמש. אנחנו מבלים להם שלושה חודשים קורס אימון כהתמחות בתשלום, במהלכה אנו מציגים בפניהם את התהליכים והעקרונות של העבודה במרכז הנתונים שלנו.

מהנדסים שכבר עובדים חייבים לעבור הכשרה קבועה, לרבות על עבודה במצבי חירום. המבקרים בהחלט יבדקו את תוכניות ההכשרה והחומרים של הכשרות כאלה, וגם יבחנו מהנדסים באופן אקראי. אף אחד לא יתבקש לעבור לסט גנרטורים של דיזל, אבל הוא יתבקש להגיד לך שלב אחר שלב מה צריך לעשות כאשר אספקת החשמל בעיר כבויה. בהתבסס על תוצאות הביקורת, נביא את כל תכניות ההכשרה והחינוך לסטנדרט אחד, כך שלא יהיו שונים עבור צוותים שונים.

אנו מראים למבקרים את חדר ההפסקה למהנדסי משמרת.

תפעול ותחזוקה של מערכות הנדסיות 

בחלק גדול זה של הביקורת אנו מראים כי כל הציוד והמערכות ההנדסיות מקבלים תחזוקה שוטפת לפי לוח הזמנים המומלץ על ידי הספקים, למחסן יש את חלקי החילוף הדרושים, הסכמי שירות תקפים עם קבלנים, ולכל פעולה עם ציוד יש משלה. נהלים ואלגוריתמים לעבודה על מקרים שונים.

MMS. כאשר אתה מפעיל עשרות UPS, מערכות דיזל, מזגנים ודברים אחרים, אתה צריך לאסוף את כל המידע על המתקן הזה איפשהו. אנו יוצרים בערך את התיק הבא עבור כל ציוד:

• דגם ומספר סידורי;
• צִיוּן;
• מאפיינים טכניים והגדרות;
• מיקום ההתקנה;
• תאריכי ייצור, הפעלה, פקיעת אחריות;
• חוזי שירות;
• לוח זמנים והיסטוריה תחזוקה;
• וכל "ההיסטוריה הרפואית" - תקלות, תיקונים.

איך והיכן לאסוף את כל המידע הזה תלוי כל מפעיל מרכז נתונים שיחליט בעצמו. ממשק המשתמש אינו מוגבל בכלים. זה יכול להיות אקסל פשוט (התחלנו עם זה) או מערכת ניהול תחזוקה בכתב (MMS), כפי שיש לנו עכשיו. דרך אגב, שולחן שירות, חשבונאות מחסן, יומן מקוון, ניטור נכתבים גם בעצמם.

יש כזה "תיק אישי" לכל ציוד.

הדגמנו את השיטות שלנו בהקשר זה, כולל שימוש בדוגמה של תשתית UPS זו (בתמונה), שתרמה את אחד מחלקיה ל-UPS המשרתת את עומס ה-IT. כן, על פי התקן, "תרומה" כזו יכולה להתבצע רק על ידי ציוד תשתית המפעיל מזגנים ותאורת חירום, אך לא עומס ה-IT.

לאחר מכן ביקשו המבקרים להציג את הכרטיס המתאים בדלפק השירות:

ופרופיל UPS ב-MMS:

חלקי חילוף לתחזוקה בזמן ותיקוני חירום של ציוד הנדסי, אנו שומרים על חלקי חילוף ואביזרים משלנו. יש מחסן כללי עם חלקי חילוף גדולים לציוד וארונות קטנים עם חלקי חילוף בחדרי הנדסה (כדי שלא תצטרכו לרוץ רחוק).

בתמונה: אנו בודקים זמינות של חלקי חילוף לסט גנרטור דיזל. ספרנו 12 פילטרים. אחר כך הם בדקו את הנתונים ב-MMS.  

תרגיל דומה בוצע במחסן הראשי, בו מאוחסנים חלקי חילוף גדולים: מדחסים, בקרים, אוטומציה, מאווררים, מכשירי אדים בקיטור ועוד מאות פריטים. כתבנו מחדש את הסימונים באופן סלקטיבי ו"חטפנו" אותם באמצעות MMS.

נתוני מלאי חלקי חילוף. אָדוֹם - זה מה שחסר וצריך לרכוש.

תחזוקה מונעת. בנוסף לתחזוקה ותיקונים, UI ממליץ לבצע תחזוקה מונעת. זה עוזר להפוך תאונה אפשרית לתיקון מתוכנן. עבור כל פרמטר, אנו מגדירים ערכי סף בניטור. אם הם חורגים, האחראים מקבלים אזעקות ומבצעים את הפעולות הנדרשות. לדוגמה, אנחנו:

• אנו בודקים לוחות חשמל באמצעות מדמיה תרמית על מנת לאתר במהירות ליקויים במתקני חשמל: מגע לקוי, התחממות יתר מקומית של מוליך או מפסק. 
• אנו עוקבים אחר מחווני רעידות וצריכה שוטפת של משאבות למערכת הקירור. זה מאפשר לך לזהות סטיות בזמן ולתכנן חלקי חילוף ללא חיפזון.
• אנו מבצעים ניתוחי דלק ושמן של מערכות גנרטורים ומדחסים של דיזל.
• אנו בודקים את הריכוז של גליקול במערכת הקירור.

דיאגרמת רטט משאבה לפני ואחרי תיקון.

עבודה מול קבלנים. תחזוקת ותיקוני הציוד מתבצעים על ידי קבלנים חיצוניים. בצד שלנו, ישנם מומחים נפרדים במערכות גנרטורים של דיזל, מזגנים ו-UPS השולטים בפעולתם. הם בודקים האם יש לקבלנים את הכלים והחומרים הדרושים לעבודות תיקון/תחזוקה, תעודות מקצועיות, תעודות בטיחות בחשמל והיתרים. הם מקבלים כל עבודה.

כך נראית רשימת הבדיקה לקבלת עבודות תחזוקה של מזגן.

במשרד המעבר בודקים האם הכרטיסים הונפקו לנציגים מורשים של קבלנים, האם הם עברו תחזוקה במועד שנקבע והאם קראו את התקנון.

תיעוד. תהליכים מבוססים לתחזוקת מערכות וציוד הם חצי מהקרב. יש לתעד את כל ההליכים המבוצעים על ידי בני אדם במרכז הנתונים. המטרה של זה פשוטה: כדי שהכל לא מוגבל לאדם ספציפי אחד, ובמקרה של תאונה, כל מהנדס יכול לקבל הנחיות ברורות ולבצע את כל הפעולות הנדרשות כדי לחסל אותה.

לממשק המשתמש יש מתודולוגיה משלו לתיעוד כזה.

עבור פעילויות פשוטות וחוזרות על עצמם, נקבעים נהלי הפעלה סטנדרטיים (SOPs). לדוגמה, ישנם SOPs להפעלה/כיבוי של הצ'ילר והגדרת UPS לעקוף.

עבור תחזוקה או פעולות מורכבות, כגון החלפת סוללות ב-UPS, נוצרים נהלי תחזוקה (שיטות נהלים, MOPs). אלה עשויים לכלול SOPs. לכל סוג של ציוד הנדסי חייב להיות MOP משלו.

לבסוף, ישנם נהלי חירום (EOPs) - הוראות למקרה חירום. נערכת רשימה של מצבי חירום ספציפיים ונכתבות עבורם הנחיות. להלן חלק מרשימת מצבי החירום, המפרטת את סימני תאונה, פעולות, אנשים אחראים ואנשים להודיע:

• כיבוי אספקת החשמל בעיר: ערכות גנרטורים של דיזל התחילו/לא התחילו;
• תאונות UPS; 
• תאונות במערכת הניטור של מרכז הנתונים;
• התחממות יתר של חדר המכונות;
• דליפה של מערכת הקירור;
• כשל בציוד רשת ומחשוב;

וכן הלאה.

חיבור נפח כזה של תיעוד הוא משימה עתירת עבודה בפני עצמה. עוד יותר קשה לעדכן אותו (אגב, גם רואי החשבון בודקים את זה). והכי חשוב, על הצוות להכיר את ההנחיות הללו, לעבוד לפיהן ולבצע שיפורים במידת הצורך.

כן, הוראות צריכות להיות זמינות היכן שהן עשויות להידרש, ולא רק לאסוף אבק בארכיונים.

הערות על שינויים בתקנות התחזוקה למערכות הנדסיות של מרכזי נתונים.

במהלך הביקורת הם בוחנים גם תיעוד טכני על מערכות, תיעוד ניהולי ועבודה ופעולות של הפעלת מערכות. 

סימון בזמן שהסתובבו במרכז הנתונים, הם בדקו אותו בכל מקום שהם יכולים להגיע אליו. לאן שלא הצליחו להגיע, הגיעו מסולם מדרגות :). הסתכלנו על נוכחותו בכל מרכזייה, מכונה ושסתום. בדקנו את הייחודיות, החד-משמעות והתאימות לתוכניות הנוכחיות של התיעוד כפי שנבנה. בתמונה למטה: אנו נמצאים בחדר משאבות אחסון הדלק ומשווים את הסימונים על שסתומי הסולנואיד עם התרשים של התיעוד כפי שנבנה. 

הכל הסכים איתה, אבל עם הדיאגרמה האקסונומטרית המקומית ה"דקורטיבית" על הקיר בפרמטר אחד זה לא עלה בקנה אחד.

דיאגרמות של המערכות הממוקמות שם צריכות להתפרסם גם במתחם הדאטה סנטר. במקרה של תאונה, הם עוזרים לך לברר במהירות היכן הכל נמצא ולקבל החלטה מושכלת. התמונה, למשל, מציגה דיאגרמת קו בודד בחדר המרכזיה.

הרלוונטיות של התרשימים נבדקה באופן הבא: הם קראו לסימון האלמנט בתרשים וביקשו להראות אותו "במציאות". 

זה המקום שבו המבקר מצלם את ההגדרות (ההגדרות) של מפסק הקלט הראשי של המרכזייה, על מנת להשוות אותם מאוחר יותר עם האינדיקטורים בתרשים הקו הבודד בנייר ובעותקים אלקטרוניים. באחת המכונות, QF-3, המחוון לא התאים לתרשים הנייר, והרווחנו נקודת עונשין. כעת שני מהנדסים יבדקו האם הסימונים בתרשימים של קו בודד תואמים את העובדה.

זה לא כל מה שבדקו המבקרים מבחינת תהליכי השירות. הנה מה עוד היה על סדר היום:

• מערכת ניטור. כאן הרווחנו הטבות קארמה עם הדמיה טובה, נוכחות של אפליקציה סלולרית ומסכים מצביים המוצבים במסדרונות של מרכזי נתונים. כאן כתבנו בפירוט על איך אנחנו עובדים ניטור.

  
  זהו ה-MCC עם מידע ויזואלי על מצב מערכות ההנדסה הראשיות של NORD-4 ומרכזי הנתונים האחרים שלנו העובדים באתר.

• תכנון מחזור חיים של ציוד הנדסי;
• ניהול יכולת (ניהול יכולת);
• תקציב (דיברנו קצת כאן);
• נוהל ניתוח תאונות;
• תהליך הקבלה, ההפעלה והבדיקה של הציוד (כתבנו על בדיקות כאן).

על מה עוד הסתכל ממשק המשתמש?

אבטחה ובקרת גישה. הביקורת בודקת גם את פעולת מערכות הבטיחות והאבטחה. כך למשל, המבקר ניסה להיכנס לאחד החצרים שבהם לא הייתה לו גישה, ולאחר מכן בדק האם הדבר בא לידי ביטוי במערכת בקרת הכניסה והאם הודיעו על כך לאבטחה (ספוילר - כך היה).

אם במרכזי הנתונים שלנו הדלת לחדר כלשהו נשארת פתוחה יותר משתי דקות, אזי מופעלת התראה בעמדת האבטחה. כדי לבדוק זאת, המבקרים פתחו את אחת הדלתות עם מטף. נכון, מעולם לא קיבלנו צפירה - האבטחה ראתה שמשהו לא בסדר במצלמות הווידאו והגיעו ל"זירת הפשע" מוקדם יותר.

סדר וניקיון. המבקרים מחפשים אבק, קופסאות ציוד מונחות בכאוטיות, ובאיזו תדירות מנקים את המקום. כאן, למשל, התעניינו המבקרים בחפץ לא מזוהה במסדרון האוורור. זהו בלוק ממערכת האוורור, שכבר התכוננה לתפוס את מקומה. אבל בכל זאת ביקשו ממני לחתום.

גם בנושא הסדר במרכז הנתונים - ארונות אלו עם כל הכלים הדרושים לעבודות חירום בציוד ממוקמים בחדר המרכזיה. 

מקום. מרכז הנתונים מוערך על סמך תנאי המיקום - האם ישנם בסיסים צבאיים, שדות תעופה, נהרות, הרי געש וחפצים מסוכנים אחרים בקרבת מקום. בתמונה אנו רק מראים שמאז ההסמכה האחרונה ב-2017, לא צמחו תחנות כוח גרעיניות או מתקני אחסון נפט סביב מרכז הנתונים. אבל שם נבנה מרכז נתונים חדש של NORD-5, שגם יצטרך לעבור את כל הרמות של הסמכת Uptime Institute Tier III. אבל זה סיפור אחר לגמרי).

מקור: www.habr.com