איך פינינו את המשמרת של Yandex

כשהעבודה נכנסת למחשב נייד אחד וניתן לבצעה באופן אוטונומי מאנשים אחרים, אז אין בעיה לעבור למקום מרוחק - פשוט להישאר בבית בבוקר. אבל לא לכולם יש כל כך מזל.

משמרת הכוננות היא צוות של מומחי זמינות שירות (SRE). הוא כולל מנהלים, מפתחים, מנהלים, כמו גם "לוח מחוונים" משותף של 26 לוחות LCD של 55 אינץ' כל אחד. יציבות שירותי החברה ומהירות פתרון הבעיות תלויים בעבודת המשמרת.

היום דמיטרי מליקוב tal10n, מנהל המשמרת התורנית, יספר כיצד תוך ימים ספורים הצליחו להעביר ציוד לביתם ולבסס תהליכי עבודה חדשים. אני נותן לו את רשות הדיבור.

- כשיש לך מלאי אינסופי של זמן, אתה יכול לנוע בנוחות לכל מקום עם כל דבר. אבל ההתפשטות המהירה של נגיף הקורונה הביאה אותנו לתנאים אחרים לגמרי. עובדי Yandex היו בין הראשונים שעברו לעבודה מרחוק - עוד לפני כניסת משטר הבידוד העצמי. זה קרה ככה. ביום חמישי, 12, התבקשתי להעריך את האפשרות להעביר את עבודת הצוות לבית. ביום שישי ה-13 הופיעה המלצה לעבור לעבודה מרחוק. בליל יום שלישי, 17 במרץ, היה לנו הכל מוכן: התורנים עבדו מהבית, הציוד הועבר, התוכנה החסרה נכתבה, התהליכים הוגדרו מחדש. ועכשיו אני אגיד לך איך הצלחנו את זה. אבל ראשית, עליך לזכור את המשימות שהמשמרת פותרת.

מי אנחנו

Yandex היא חברה גדולה עם מאות שירותים. היציבות של החיפוש, העוזרת הקולית וכל שאר המוצרים תלויה לא רק במפתחים. אספקת החשמל במרכז הנתונים עשויה להיות מופרעת. עובד עלול לפגוע בטעות בכבל אופטי בעת החלפת אספלט. לחלופין, ייתכן שיש עלייה בפעילות המשתמש, מה שגורם לצורך דחוף להקצות מחדש קיבולת. יתרה מכך, כולנו חיים בתשתיות גדולות ומורכבות, ושחרור של מוצר אחד עלול להוביל בטעות להתדרדרות של אחר.

26 לוחות בשטח הפתוח שלנו הם אלף וחצי התראות ויותר ממאה תרשימים ופאנלים של השירותים שלנו. בעיקרו של דבר, זהו פאנל אבחון ענק. מנהל תורן מנוסה יכול להבין במהירות את מצבם של רכיבים חשובים על ידי התבוננות בו ויכול לקבוע את הכיוון לחקירת בעיה טכנולוגית. זה לא אומר שאדם צריך להסתכל כל הזמן על כל המכשירים: האוטומציה עצמה תמשוך תשומת לב על ידי שליחת הודעה לממשק המיוחד של קצין התורן, אך ללא פאנל ויזואלי, פתרון הבעיה עשוי להימשך זמן רב.

כאשר מתעוררות בעיות, קצין התורן מעריך תחילה את עדיפותם. לאחר מכן הוא מבודד את הבעיה או ממזער את השפעתה על המשתמשים.

ישנן מספר דרכים סטנדרטיות לבודד את הבעיה. אחד מהם הוא פגיעה בשירותים, כאשר המנהל התורן משבית חלק מהפונקציות שהמשתמשים הכי פחות מבחינים בהן. זה מאפשר לך להפחית באופן זמני את העומס ולהבין מה קרה. אם מתעוררת בעיה במרכז הנתונים, קצין התורן יוצר קשר עם צוות התפעול, מבין את הבעיה, עוקב אחר עיתוי פתרונה ובמידת הצורך מערב צוותים מיוחדים.

כאשר המנהל התורן אינו יכול לבודד בעיה שנוצרה עקב שחרור, הוא מדווח על כך לצוות השירות - והמפתחים מחפשים שגיאות בקוד החדש. אם הם לא יכולים להבין את זה, אזי המנהל מושך מפתחים ממוצרים אחרים או מהנדסי זמינות שירות.

אני יכול לדבר הרבה זמן על איך הכל עובד כאן, אבל אני חושב שכבר העברתי את המהות. המשמרת מרכזת את עבודת כל השירותים ומנטרת בעיות גלובליות. למנהל התורן חשוב שהפאנל האבחוני יהיה לנגד עיניו. לכן, כשאתה עובר לעבודה מרחוק, אתה לא יכול פשוט לתת לכולם מחשב נייד. תרשימים והתראות לא יתאימו על המסך. מה לעשות?

רעיון

במשרד, כל עשרת המנהלים התורנים עובדים במשמרות מאחורי לוח מחוונים אחד, הכולל 26 צגים, שני מחשבים, ארבעה כרטיסי מסך NVIDIA Quadro NVS 810, שני ספקי כוח אל פסק עם מתלה ומספר גישה עצמאית לרשת. היינו צריכים להבטיח שלכולם תהיה הזדמנות לעבוד בבית. פשוט אי אפשר להרכיב קיר כזה בדירה (אשתי תשמח על זה במיוחד), אז החלטנו ליצור גרסה ניידת שאפשר להביא ולהרכיב בבית.

התחלנו להתנסות בתצורה. היינו צריכים להתאים את כל המכשירים בפחות צגים, כך שהדרישה העיקרית למסך הייתה צפיפות פיקסלים גבוהה. מבין מסכי ה-4K הזמינים בסביבה שלנו, בחרנו את Lenovo P27u-10 לבדיקה.

ממחשבים ניידים לקחנו MacBook Pro בגודל 16 אינץ'. יש לו תת-מערכת גרפית חזקה למדי, הנחוצה לעיבוד תמונות במספר צגי 4K, וארבעה מחברי Type-C אוניברסליים. אתה יכול לשאול: למה לא שולחן עבודה? החלפת מחשב נייד בדיוק באותו אחד ממחסן היא הרבה יותר קלה ומהירה מהרכבה והגדרת יחידת מערכת זהה. וזה שוקל פחות.

כעת היינו צריכים להבין כמה מסכים נוכל למעשה לחבר למחשב הנייד. והבעיה כאן היא לא מספר המחברים; יכולנו לגלות זאת רק על ידי בדיקת המערכת המורכבת.

בדיקה

מיקמנו בנוחות את כל התרשימים וההתראות על ארבעה מסכים ואפילו חיברנו אותם למחשב נייד, אבל נתקלנו בבעיה. עיבוד פיקסלים של 4x4K על צגים מחוברים הלחיץ ​​את כרטיס המסך עד כדי כך שהמחשב הנייד התרוקן גם בזמן הטעינה. למרבה המזל, הבעיה נפתרה בעזרת Lenovo ThinkPad Thunderbolt 3 Dock Gen 2. הצלחתי לחבר צג, ספק כוח ואפילו העכבר והמקלדת האהובים עליי לתחנת העגינה.

אבל בעיה נוספת צצה מיד: ה-GPU התנפח כל כך עד שהמחשב הנייד התחמם יתר על המידה, מה שאומר שגם הסוללה התחממה יתר על המידה, שכתוצאה מכך נכנסה למצב מגן והפסיקה לקבל טעינה. באופן כללי, זהו מצב שימושי מאוד המגן מפני מצבים מסוכנים. בחלק מהמקרים הבעיה נפתרה בעזרת מכשיר הייטק - עט כדורי שהונח מתחת ללפטופ לשיפור האוורור. אבל זה לא עזר לכולם, אז גם הגברנו את המהירות של המאוורר הסטנדרטי.

הייתה עוד תכונה אחת לא נעימה. כל התרשימים וההתראות חייבים להיות ממוקמים במקום מוגדר בהחלט. תאר לעצמך שאתה מטיס מטוס לנחיתה - ואז מחווני מהירות, מדי גובה, וריומטרים, מחווני גישה, מצפנים ומחווני מיקום מתחילים לשנות גודל ולקפוץ למקומות שונים. אז החלטנו לעשות אפליקציה שתעזור בזה. בערב אחד כתבנו את זה ב-Electron.js, לקחת מוכן API על יצירה וניהול חלונות. הוספנו מעבד תצורה ועדכון תקופתי שלהם, כמו גם תמיכה במספר מצומצם של צגים. קצת מאוחר יותר הם הוסיפו תמיכה בהגדרות שונות.

הרכבה ומשלוח

עד יום שני, הקוסמים מדלפק העזרה השיגו עבורנו 40 מסכים, עשרה מחשבים ניידים ומספר זהה של תחנות עגינה. אני לא יודע איך הם הצליחו, אבל תודה רבה להם.

נותר רק להעביר את כולו לדירות המנהלים התורנים. ואלה עשר כתובות בחלקים שונים של מוסקבה: דרום, מזרח, מרכז, וגם בלאשיקה, שנמצאת 45 קילומטרים מהמשרד (אגב, מאוחר יותר התווסף מתמחה מסרפוכוב). היה צורך איכשהו לחלק את כל זה בין אנשים, לבנות לוגיסטיקה.

הכנסתי את כל הכתובות במפות שלנו, עדיין יש הזדמנות לייעל את המסלול בין נקודות שונות (השתמשתי בגרסת הבטא החינמית של הכלי לשליחים). חילקנו את הצוות שלנו לארבעה צוותים עצמאיים של שני אנשים, לכל אחד מסלול משלו. הרכב שלי התגלה כמרווח ביותר, אז לקחתי ציוד לארבעה עובדים בבת אחת.

המשלוח כולו לקח שיא של שלוש שעות. יצאנו מהמשרד בעשר ביום שני בערב. באחת בלילה כבר הייתי בבית. עוד באותו לילה יצאנו למשמרת עם ציוד חדש.

והתוצאה הוא ש

במקום קונסולת דיאגנוסטיקה אחת גדולה, הרכבנו בדירה של כל תורן עשרה ניידים יחסית. כמובן, עדיין היו כמה פרטים לסדר. לדוגמה, פעם היה לנו טלפון "ברזל" אחד לקצין התורן להודעות. זה לא עבד בתנאים החדשים, אז הגענו ל"טלפונים וירטואליים" לקצינים בתפקיד (בעיקרון, ערוצים במסנג'ר). היו גם שינויים אחרים. אבל העיקר הוא שבזמן שיא הצלחנו להעביר לא רק אנשים, מה שמפחית את הסיכון להידבקות שלהם, אלא את כל העבודה שלנו הביתה ללא פגיעה בתהליכים וביציבות המוצר. אנחנו עובדים במצב הזה כבר חודש.

להלן תמצאו צילומים של מקומות העבודה האמיתיים של קציני המשמרת שלנו.

מקור: www.habr.com