חיי היומיום של מרכז נתונים: דברים קטנים לא ברורים במשך 7 שנות פעילות. והמשך על החולדה

אני אגיד מיד: העכברוש ההיא בשרת שהובא, שנתנו לו תה לפני כמה שנים לאחר התחשמלות, כנראה נמלט. כי פעם ראינו את חברה שלה בסיבוב. ומיד החלטנו להתקין דוחים קוליים.

כעת יש ארץ מקוללת מסביב למרכז הנתונים: ציפורים לא ינחתו על הבניין, וכנראה שכל השומות והתולעים נמלטו. היו מודאגים מכך צליל יכול לגרום לכישלון HDD, אך בדוק, התדרים אינם זהים.

הסיפור הבא הרבה יותר כיף. פעם קיבלנו חתיכת חומרה תמורת כמה מיליון רובל בקופסה עם חיישני הטיה, רטט ולחות. הכל שלם. הסר בזהירות את האריזה, וחתיכת הברזל כפופה. מִיסטִי.

הגוף ישר בקשת. כל כך יפה.

בלש

לא היינו מייחסים לכך חשיבות, כי גוף המתכת המעוקל היה כמעט תמונה עיצובית. כל כך יפה, בלי צ'יפס. ואלמלא חלקי חומרה דומים אחרים בקרבת מקום, אפילו לא היינו חושבים בפירוק שמשהו לא בסדר. אבל בקרבת מקום היו אותם אלה, רק עם צורה גיאומטרית קבועה יותר.

למרבה המזל, פריקת חומרה כזו מצולם (אני ממליץ לכולם להיכנס להרגל הזה), כך שהצלחנו להוכיח ליצרן שזה הגיע ככה. חבילה שלמה וגוף כפוף למשעי אינם מכה מהמובילים. סביר להניח שהיא נפצעה עוד לפני שעזבה לרוסיה.

הספק אומר: "אה, חבר'ה, בואו נשנה את זה עבורכם מיד באחריות." ואז חיכה לנו מארב אפי.

העובדה היא שהמכס מאפשר לנו לייבא ציוד כזה עם מסמכים ללא זכות לייצא. כלומר, אתה יכול להביא אותו, אבל אתה לא יכול למכור אותו למישהו מחוץ לרוסיה. כשאנחנו שולחים בחזרה ספק כוח שרוף, למשל, הכל ברור. זהו חלק חילוף, ספק כוח.

ואז הייתי צריך לשלוח הכל בחזרה:
- חבר'ה, תראו, אנחנו שולחים את חלקת החומרה בחזרה ליצרן.
- כל הציוד?
- כן.
— דגם כזה וכזה?
- כן.
- יכול לעבוד?
- אנחנו לא יודעים, לא הדלקנו את זה.
- אז זה ציוד שלם.
- ובכן, זה לא עובד.
- ובכן, תראה, כל הציוד הוא מהדגם הזה. אין זכויות ייצוא חוזר. לא נאפשר לך להיכנס.

בכלל, היו הרבה כפיפות בטן לפני שהבנו שאנחנו לא מייצאים את זה, אלא מחזירים את זה. בסוף הצלחנו לעשות הכל.

Ещё были бахильницы

ראשית, לפני שנים רבות, היה לנו את האוטומטי הראשון, חלום של מנהל. אתה מעמיס שם חבילה של כיסויי נעליים, הוא פורק אותם בעצמו, פותח אותם ומניח אותם במצב שבו אתה רק צריך לדרוך עליהם. Chp-chpk וזה נעשה.

לאחר כחצי שנה היא לעסה כמאה חפיסות של כיסויי נעליים ונחנקה. התברר שיש כל כך הרבה חלקים נעים שאנחנו צריכים לתקן אותם פעם בחודש בעומס שלנו (יש לנו הרבה מהנדסי לקוחות שמסתובבים במתקן, כי אנחנו מרכז נתונים מסחרי), או שאנחנו צריכים לקנות אחד חדש.

הבעיה השנייה היא שמאוחר יותר, במהלך אחד הניקיונות הרגילים, מצאנו איכשהו "סמרטוט כחול קטן" תלוי על השבכה של אחד המתלים של הבדיקה שלנו. המומחה לזיהוי פלילי, המיוצג על ידי מהנדס X-Team, זיהה שבר מגופת כיסוי הנעל. התברר שנוח ללבוש כיסויי נעליים בקליניקה: הסתובבתי חצי שעה וזה הכל. וכמה מהנדסים יכולים לעבוד עם חומרה כל היום. רגליים מדשדשות. מערבבים הרבה. וכיסויי הנעליים נשחקים לתוך הגזרים הקטנים האלה שעפים מסביב לאולם הטורבינות.

כמעט מיד קנינו כיסוי נעל חדש. לקחנו מארז מגף תרמי: זו מכונה שלתוכה נטען סרט, והיא מכווץ בזהירות את הסרט הזה על גבי הנעל. יפה, יעיל, עמיד. פחות פיזור. היה לנו את זה די הרבה זמן, אבל היינו צריכים להחליף את סרט הכיווץ בערך אחת ל-1-2 שעות, כי הסוליה נטתה ליפול מעצמה.

בהתחלה חשבנו שאין לנו מזל, אבל אנשים איכשהו פותרים את הבעיה הזו. אבל לא. שאלנו את עמיתינו המערביים - אותו סיפור. כתוצאה מכך, הם התחילו לחשוב איך לעשות את זה בדרך כלל. לחזור מאולם הטורבינות לכיסויי נעליים חדשים זה, למען האמת, רעיון כל כך. מצאנו חומרי ניקוי תעשייתיים לאתרי בנייה ולתעשיות. אלה משהו כמו שבילים שלאורכם נכנסת המשמרת לסדנה. שבילים עם צרור רולים מנקים הכל, ועשויים בצורה כזו שבין אם רוצים או לא, זה יתפוס וינקה. הם עולים חצי מיליון עד מיליון רובל. חפרנו ומצאנו את אותו אחד עבור 200 אלף, אבל אתה צריך לשים את הרגל שלך בעצמך. היא דומה בגודלה למכונת צחצוח נעליים. אתה עולה, דוחף את הרגל שלך לשם, היא לועסת אותה ומחזירה אותה נקייה. הם הציבו אותו בכניסה למרכז הנתונים.

זה עובד נהדר חוץ משתי בעיות. הראשון הוא שמהר מאוד התברר שזה נורמלי עבורנו המהנדסים. אבל בפועל, מגוון אנשים מגיעים למרכז הנתונים כדי להסתכל, כולל בכירים בחברות גדולות. עם נעליים עשויות עור מתחת של דרקון. ואפילו למריחת קרם על נעליים, המברשת שלהם עולה יותר מנעלי הספורט שלי, הם בוחרים במיוחד את הזיפים. הם אלה שסירבו להכניס את רגליהם למכשיר הנס שלנו. הבעיה השנייה התעוררה בחורף: כשהנעליים ממש מבולגנות, הן לא מצליחות להוציא הכל מהדריכה העמוקה. ואז אתה מסתובב באולם, משאיר עקבות של אקטופלזמה.

החלטנו בפשטות. שמנו לידו כיסוי נעליים מגולגל. יחד עם זאת, אנחנו צריכים לשכפל הכל לפי התקן.

נוצרה בעיה חדשה. בהתבוננות בהתנהגותם של מהנדסי לקוחות, ראינו את התמונה הבאה: תחילה הם תקעו את רגליהם במכונה לצורך ניקוי, ולאחר מכן חיברו כיסויי נעליים מכיסוי נעל מגולגל. עכשיו הם הציבו שלט שזה או זה או זה, ועדיף לנקות את עצמך, אבל אם עקרונות החיים אוסרים לנקות את הנעליים שלך, אז תלבש כיסויי נעליים. נראה שהכרטיס, שהיה לכמה ימים, אך נמשך זמן רב, היה סגור. הנה המכשיר:

"קו" פעמיים

על פי דרישות PCI DSS, אתה צריך להיות מסוגל להבחין חזותית בין התפקידים של אנשים שנמצאים במרכז הנתונים. בלי להסתכל מקרוב על הפאס ולקרוא שם משהו, אלא ישירות מבחינה ויזואלית, כמו אנשי צבא שמבדילים זה את זה על ידי רצועות הכתפיים שלהם, רק בהירים יותר. החלטנו לא להשוויץ והשתמשנו בשיטת Chatlan הישנה והטובה - בידול צבע של מכנסיים. באופן ספציפי, הם החלו ליצור סרטי מעבר בצבעים שונים. המנהלים שלנו לקחו מיד את גרין כמועדף עליהם.

זה נשמע פשוט, אבל זה גרם לשלוש תופעות בלתי צפויות:

1. היה צורך במכנסיים כדי להחזיר את המעברים האלה באופן אוטומטי כאשר הם שחוקים (אלה דברים שבעצמם מווסתים את אורך הסרט). כתבנו מפרט טכני שלקח בחשבון את כל הרצונות של כל המחלקות. זו הייתה טעות אסטרטגית. צבע, פורמט, חומר, המפשק אינו פלסטיק, חוט הדיג עשוי מתכת כדי להחיל את הלוגו כך שהוא יתפור לסרט. החתיכות התבררו כל כך יקרות שנאלצנו לחתוך את הדרישות ולשנות את הפורמט.
2. ברגע שהבידול של המכנסיים התחיל לעבוד, זה נעשה מאוד נוח. לקבלנים יש סרטים מסוימים, למנהלים חיצוניים יש אחרים ולמנהלים שלנו יש אחרים. אתה יכול לראות למי יש איזה תפקיד. לחשמל - רק אפור, למיזוג - כחול. ואז היינו צריכים סרטים לנהגים (זה תפקיד נפרד, הם יכולים להיכנס לאזור הפריקה, אבל לא יכולים לצאת ממנו אלא בחוץ). נהגים לא צריכים כרטיס. בהתחלה נתנו להם סרטים בלי מעברים. ואז החליטו המאבטחים שזה מוזר לחלוטין ומשפיל את כבודם האנושי של הנהגים. יש להם היגיון צבאי משלהם, אז עכשיו הנהגים באים לקבל כרטיס מיד עם סרט, אבל המעבר הזה לא מאפשר להם ללכת לשום מקום. מבחינת האבטחה, מסתבר כסמן שהביטחון בדקה את האדם הזה.
3. אחד המהנדסים שלנו הציע לייצר סוודרים מדים ירוקים במקום סרט. והוא שלח הצעת רציונליזציה. הם עשו את זה באמצע הדרך: הם השאירו את הכרטיסים עם הסרט, ובנוסף הם בעצם תפרו את סוודרי המדים הירוקים. עכשיו יש לנו מדי מנהל. מאבטחים תמכו בבדיחה וכללו אותה בתקנות. עכשיו זה חובה (מכנסיים, חולצה, סוודר, אבל את הסוודר ניתן להסיר).

הלקוחות שלנו גם התלוננו לעתים קרובות על מסלולים עקומים במפות לפני שנכנסו למרכז הנתונים של Compressor שלנו. אתה מזין את הכתובת, אבל הדרך מוצגת בצורה שגויה. בסופו של דבר נסעו המבקרים בכיוון הלא נכון, כי הייתה שם רכבת, ומאחוריה היה פקק, ולא הייתה דרך להסתובב שם. בהתחלה רצינו לשים שלטים מעל הכביש. בעיר יש שירות כזה - הציבו שלטים נוספים צהובים מתחת לשלטים הרגילים, הם נחשבים פרסומיים. והמחיר עבורם הוא כמו פרסום: בכביש המהיר Entuziastov, שלט אחד עולה מיליון רובל בשנה. במקביל, כתבנו ליאנדקס, והם אפילו הגיבו פתאום. והם הפסיקו לפעול. אתה יכול אפילו לציין את דיודות השער: כניסה דרך חלק, יציאה דרך אחרות.

גוגל, אם אתה קורא אותנו, אז דע: עדיין יש לך בעיה, ואנחנו לא יודעים למי לספר עליה כדי שנוכל להישמע.

מכתבי הזמנה כללו קישורים לא רק לכתובת, אלא לכתובת עם מסלול המבוסס על המיקום הגיאוגרפי של המשתמש. כתוצאה מכך, היו פחות החמצות.

מקרני גובו ופריטים קטנים אחרים

האם אתה יודע מה זה מקרני גובו? גם אנחנו לא ידענו. איכשהו חשבנו איך לסמן את שורות המתלים. המתלים עצמם, כמובן, מסומנים בסימונים מיוחדים לשחרור מהיר, אך ניתן לראות אותם ממרחק של 1-2 מטרים. האולם עצמו הוא 500 מ"ר, כך שיש הרבה מקום ללכת לאיבוד שם. לכן, סוף סוף התחלנו לסמן את השורות. התחילה סיעור מוחות. איך מסמנים, עם מה ואיפה? על הרצפה, על הקיר, שלטים על התקרה וכו'. ואז הקולגה שלנו ראה שבאיקאה היו פעם מדבקות שהתבלו על הרצפה, ואז הופיעו חיצים בהירים. ובכן, החלטנו להפוך את זה בדרך פשוטה: לכו לאיקאה ותוציאו את אחד המקרנים כדי להסתכל. לא הצלחנו להשיג את זה: בזמן שסחבנו את הכיסאות, המוכר שאל מה אנחנו עושים. והוא מיד עזר ואמר שזה גובו. מסתבר שזה לא המקרן עצמו, אלא פלטה או עדשה לתמונה צבעונית. המסנן הזה הוא גובו. מקרן אחד עולה מ-40 אלף רובל (יש מנורה חזקה לשימוש בשעות היום), ויש לנו 14 שורות בכל אחד מארבעת חדרי המכונות. לכן אנחנו שמים עליו מדבקות.

יש לנו גם דיאגרמות על הקירות שדוהות עם השנים. שינינו אותם לכאלה למינציה, עם כיסים "תפורים" מיוחדים עבור אודיטורים. במקרה שלנו, המפקח הוא המהנדס הראשי, שאחריותו כוללת בדיקת הרלוונטיות של כל התוכניות הנמצאות במרכז הנתונים. לכן, כל התוכניות חייבות להיבדק מדי שנה ולחתום על ידי מבקר כזה. והנוכחות של מגזין קטן מיוחד בכיס התרשים מקלה על הליך זה ואינה מצריכה החלפת התרשים עצמו כל שלוש שנים. רווח!

עשינו ניקוי סיבובי של הרצפה המוגבהת בחוץ. יש לנו ניקיון קבוע, יש לנו שיטות וזמני ניקוי. אבל גלגלי המתלים הכבדים משאירים סימנים. עשינו את הניקיון. עכשיו אנחנו עצבניים: זה לא נראה הרבה יותר מסודר, אבל הדגשות הופיעו מזוויות מסוימות עבור אנשים מסוימים, ובכן, שיש להם עטים משלהם שיתאימו לטעמם. עכשיו אנחנו חושבים על זה ומחפשים איזה כימיקל שילבין את הרצפה ויוסיף ברק. כך שגם לנבחרים אין שאלות.

ראית את מתלי הקונסולה? אלה כמו שולחנות מזנון מטיילים, אבל במקום משקאות יש מסוף לחיבור למתלה. אז, על מתלים שלוחים האלה, הגלגלים נופלים ונתקעים, כמו עגלות בסופרמרקט. נמאס לנו להפליא. כתוצאה מכך, הדרך היחידה האפשרית להחיות אותו היא לקנות גלגל חדש. אבל כבר אי אפשר היה להשיג גלגלים במיוחד לדגמים שלנו, ראיינו את כל הקבלנים. כתוצאה מכך, תכננו את המתלה בעצמנו, תוך התמקדות בנוחות התנועה בחדר המכונות ובשמירה על תחזוקה. זה הסתדר טוב מאוד.

היה סיפור עם גרביים סינתטיות. יש דבר כזה - צמידים אנטי סטטיים. זה כאשר אתה הולך למתלה, מחבר את הצמיד לאדמה על המתלה, והוא מתקשר עם מערכת השוואת הפוטנציאל. אז, המתלה מקורקע, אבל יכול להתברר שהמהנדס אינו מקורקע. עמיתים ממקומות עבודה קודמים סיפרו לנו כמה פעמים איך ראו ניצוצות במעקב וידאו, והחלטנו מחטא, לחייב את כולם להשתמש בו ישירות לפי התקנות.

אירועים קריטיים

בנימה חמורה יותר, היה מצב שכל הצ'ילרים נותקו בבת אחת. הצ'ילרים שלנו אינם מוגנים על ידי UPS, מכיוון שאנו מאמינים בפיזיקה, ויש לנו בריכת מים קרים כמאגר טמפרטורה. אם משהו כבה, אתה לא צריך סוללות כדי להפעיל את הצ'ילרים שמקררים את המים, אלא פשוט המים הקרים עצמם, כבר מוכנים. נוח ופשוט, אבל יש ניואנס. הצ'ילרים מצוידים בציוד בטיחות אוטומטי, אשר מכבה אותם במקרה של פרמטרים מסוכנים של רשת החשמל. אם הקלט כבוי, אנו מפעילים את סט גנרטור הדיזל, ואז הצ'ילרים מופעלים מהם. הכל יהיה בסדר אם לא היינו חיים ברוסיה. היו לנו הפסקות רשת פעמים רבות, אבל הכל היה בסדר. אבל יום אחד הייתה קפיצה חדה, קודם למטה, אחר כך בחדות למעלה, ואז שוב למטה - תוך כמה שניות הפרמטרים של הקלט השתנו בערך 4 פעמים. הצ'ילרים כבו, כמובן. תחילה ניסינו להפעיל אותם מרחוק, אבל הם הגנו על עצמם בצורה אמינה מאוד, כמו מקרה חירום. המשמרת נאלצה ללכת עם הרגליים על הגג ולהפעיל אותן ידנית. מה שחשוב, לפי תקן TierIII, מצב כזה הוא סיבה לגיטימית להשבתת מרכז הנתונים. לא הייתה לנו עצירה, כי אנשים על הקרקע עם הראש, ויש תרגיל עם תרגילים. בשביל זה, ממשק המשתמש פשוט דפק אותנו באופן קבוע, כדי להיות בטוח לגבי TIII Operational. אם כבר, העברנו את האישור מחדש של ממשק המשתמש ל-TIII Gold - Operational Sustainability. בשוק המסחרי הרוסי של מרכזי נתונים אין דבר מגניב יותר, מלבד שלנו, רק לאחד יש את אותו הישג מרכז הנתונים. אני מציין שהסמכה מחדש היא קשה יותר מאשר לקבל תעודה מאפס, שכן בודקים את התקופה הקודמת כאילו לא היית עצמך, ודרושות הרבה יותר ראיות.

היה תקרית מעניינת עם המצלמות. החלטנו לחשב מחדש את הנקודות העיוורות ליתר בטחון, שרטטנו צמתים, שרטנו אלכסוני זוויות ראייה על התכנית, ופתאום מצאנו נקודה עיוורת של כ-30 סנטימטר על 15 מטר ממש במרכז אחד האולמות. צר וארוך. אין דבר כזה בחדר הסמוך. התברר שהמצלמה המסתובבת זזה באיטיות לאורך השנים כך שהיא החלה להראות בערך מעלה וחצי שמאלה ממה שצריך במצב הקיצוני.

היה עוד תקרית גדולה בפוסט על החלפת תיקון של DDIBP.

תזכור

• סיור צילום במרכז הנתונים
• איך בנינו и תשתית של מרכז נתונים סובלני לתקלות בדרגת TIER-III
• מרכז נתונים מוגדר תוכנה
• מרכז נתונים במגירה שולחנית
• כיצד אנו מתקינים DDIBP
• הדור החדש של היי-טק DDIBP
• הדואר שלי: [מוגן בדוא"ל]

מקור: www.habr.com