על מה לחשוב בעת יישום משמרות חובה

מחבר ה-DevOps האפקטיבי Ryn Daniels חולק אסטרטגיות שכל אחד יכול להשתמש בו כדי ליצור רוטציות Oncall טובות יותר, פחות מתסכלות ובר-קיימא.

עם כניסתה של Devops, מהנדסים רבים מארגנים בימינו משמרות בצורה כזו או אחרת, שפעם הייתה באחריותם הבלעדית של מנהלי מערכת או מהנדסי תפעול. להיות בתפקיד, במיוחד בשעות שאינן עובדות, זו לא משימה שרוב האנשים נהנים ממנה. תורנות מוקדמת עלולה לשבש לנו את השינה, להפריע לעבודה הרגילה שאנו מנסים לעשות במהלך היום, ולהפריע לחיינו באופן כללי. ככל שיותר ויותר צוותים משתתפים במשמרות, שאלנו את השאלה: "מה אנחנו כיחידים, צוותים וארגונים יכולים לעשות כדי להפוך את המשמרות לאנושיות יותר ובר-קיימא?"

שמור את השינה שלך

לעתים קרובות הדבר הראשון שאנשים חושבים עליו כשהם חושבים על התורנות הוא שזה ישפיע לרעה על השינה שלהם; אף אחד לא רוצה התראה שתעיר אותם באמצע הלילה. אם הארגון או הצוות שלך גדלים מספיק, אתה יכול להשתמש ברוטציות "עקוב אחרי השמש", כאשר צוותים באזורי זמן מרובים משתתפים באותו סיבוב, עם משמרות עבודה קצרות יותר. כך שכל אזור זמן יהיה בתפקיד רק במהלך העסקים שלו (או לפחות להתעורר) שעות. הקמת רוטציה כזו יכולה לעשות פלאים להפחתת עומס הלילה שהמלווה לוקח על עצמו.

אם אין לך מספיק מהנדסים והחלוקה הגיאוגרפית כדי לתמוך בסיבוב בעקבות השמש, עדיין יש דברים שאתה יכול לעשות כדי להפחית את הסבירות שאנשים יתעוררו שלא לצורך באמצע הלילה. אחרי הכל, זה דבר אחד לקום מהמיטה ב-4 לפנות בוקר כדי לפתור בעיה דחופה מול הלקוח; זה לגמרי אחר להתעורר רק כדי לגלות שאתה מתמודד עם אזעקת שווא. זה יכול לעזור לסקור את כל ההתראות שהגדרת ולשאול את הצוות שלך אילו באמת נדרשות כדי להעיר מישהו אחרי שעות העבודה, והאם ההתראות האלה יכולות לחכות עד הבוקר. זה יכול להיות קשה לגרום לאנשים להסכים לכבות כמה התראות שאינן פועלות, במיוחד אם בעיות שהוחמצו גרמו לבעיות בעבר, אך חשוב לזכור שמהנדס חסר שינה אינו המהנדס היעיל ביותר. הגדר את ההתראות האלה בשעות העבודה כשהן באמת חשובות. רוב כלי ההתראה בימינו מאפשרים לך להגדיר כללים שונים להתראות לאחר שעות העבודה, בין אם זה תקופות התראות של Nagios או הגדרת לוחות זמנים שונים ב-PagerDuty.

שינה, חובה ותרבות צוות

פתרונות אחרים להפרעות שינה כרוכים בשינויים תרבותיים גדולים יותר. אחת הדרכים לפתור בעיה זו היא לעקוב אחר התראות, תוך שימת לב מיוחדת מתי הן מגיעות והאם הן ניתנות לפעולה. Opsweekly הוא כלי שנוצר ופורסם על ידי Etsy המאפשר לצוותים לעקוב ולסווג את ההתראות שהם מקבלים. זה יכול להפיק גרפים המראים כמה התראות העירו אנשים (באמצעות נתוני שינה ממעקבי כושר), כמו גם כמה התראות דרשו למעשה פעולה אנושית. באמצעות טכנולוגיות אלו, תוכל לעקוב אחר יעילות הסיבוב שלך בכוננות והשפעתו על השינה לאורך זמן.

הצוות יכול למלא תפקיד בהבטחת שכל אדם בתפקיד מקבל מספיק מנוחה. צרו תרבות שמעודדת אנשים לדאוג לעצמם: אם אתם מאבדים שינה בגלל שהזעיקו אתכם בלילה, אתם יכולים לישון קצת יותר בבוקר כדי לנסות לפצות על זמן השינה שאבד. חברי הצוות יכולים לדאוג זה לזה: כאשר צוותים חולקים את נתוני השינה שלהם זה עם זה דרך משהו כמו Opsweekly, הם יכולים ללכת לעמיתיהם התורנים ולומר, "היי, נראה שהיה לך לילה קשה עם PagerDuty אתמול בלילה." "האם תרצה שאכסה אותך הלילה כדי שתוכל לנוח קצת?" עודדו אנשים לתמוך זה בזה בדרך זו והרתעו מ"תרבות גיבורים" שבה אנשים ידחפו את עצמם עד הקצה וימנעו מלבקש עזרה.

צמצום ההשפעה של תורנות בעבודה

כאשר מהנדסים עייפים בגלל שהעירו אותם בזמן משמרת, ברור שהם לא יעבדו ב-100% קיבולת במשך היום, אבל גם בלי לקחת בחשבון חוסר שינה, להיות בתפקיד יכול להיות גם השפעות אחרות על העבודה. אחד ההפסדים המשמעותיים ביותר במהלך השירות נובע מגורם ההפרעה, שינוי הקשר: הפרעה בודדת יכולה לגרום לאובדן של לפחות 20 דקות עקב אובדן מיקוד והחלפת הקשר. סביר להניח שלצוותים שלך יהיו מקורות אחרים להפרעות, כגון כרטיסים שנוצרו על ידי צוותים אחרים, בקשות או שאלות המגיעות דרך צ'אט ו/או דוא"ל. בהתאם לעוצמת ההפרעות האחרות הללו, תוכל לשקול להוסיף אותן לרוטציה קיימת בזמן תורן או להגדיר סיבוב שני רק כדי לטפל בבקשות האחרות הללו.

חשוב לקחת זאת בחשבון כאשר אתם מתכננים את העבודה שהצוות יבצע, הן לטווח הארוך והן לטווח הקצר. אם הצוות שלך נוטה לתורנות עבודה אינטנסיבית למדי, עובדה זו צריכה להילקח בחשבון בתכנון ארוך טווח, שכן ייתכן מצב שבו כל הצוות פעיל ביעילות בכל זמן נתון, ולא עושה עבודה אחרת. בתכנון לטווח קצר, אתה עלול לגלות כי התורן אינו מסוגל לעמוד בזמנים בשל אחריותו התורנית - יש לצפות לכך ושאר הצוות צריך להיות מוכן להכיל ולעזור להבטיח את התפקיד מסתיים והתורן נתמך במשימות העבודה שלו. ללא קשר לשאלה אם התורן נקרא, המשמרת התורנית תשפיע על יכולתו של התורן לבצע עבודות אחרות - אל תצפה מהתורן לעבוד לילות כדי להשלים פרויקטים מתוכננים בנוסף להיותו בתפקיד לאחר שעות העבודה.

הצוותים יצטרכו למצוא דרך להתמודד עם העבודה הנוספת שנוצרת בזמן המשמרת. עבודה זו יכולה להיות עבודה אמיתית לתיקון בעיות אמיתיות שזוהו על ידי מערכות ניטור והתראה, או שזו יכולה להיות עבודה לתיקון ניטור והתראות כדי להפחית את מספר ההתראות החיוביות השגויות. לא משנה מה אופי העבודה שנוצרת, חשוב להפיץ את העבודה בצורה הוגנת ובקיימא על פני הצוות. לא כל תורנויות הכוננות נוצרות שוות, וחלקן מורכבות יותר מאחרות, ולכן קביעה שמי שמקבל את ההתראה הוא האחראי להתמודדות עם כל ההשלכות של אותה התראה עלולה להוביל לפיזור לא שווה של העבודה. אולי יותר הגיוני שהאדם התורן יהיה אחראי על תזמון או חלוקת עבודה, מתוך ציפייה ששאר הצוות יהיה מוכן לעזור בהשלמת העבודה שנוצרה.

יצירה ושמירה על איזון בין עבודה לחיים

חשבו על ההשפעה שיש לתורנות על החיים שלכם מחוץ לעבודה. כשאתם בתפקיד, סביר להניח שתרגישו קשורים לטלפון הנייד ולנייד, זה אומר שאתם תמיד נושאים אתכם מחשב נייד ונתב נייד (מודם usb) או פשוט לא יוצאים מהבית/משרד. להיות בכוננות פירושו בדרך כלל לוותר על דברים כמו לראות חברים או משפחה במהלך המשמרת שלך. המשמעות היא שאורך כל משמרת תלוי במספר האנשים בצוות שלך, ותדירות המשמרות עלולה להכביד על אנשים. ייתכן שתצטרך להתנסות באורך ובתזמון המשמרות שלך כדי למצוא לוח זמנים שיתאים לפחות לרוב האנשים המעורבים, שכן לצוותים ולאנשים שונים יהיו סדרי עדיפויות והעדפות שונות.

חיוני להכיר בהשפעה שתהיה למשמרת על חייהם של אנשים, הן ברמת הניהול והן ברמת הפרט. יש לציין שההשפעה תורגש באופן לא פרופורציונלי על ידי אנשים עם פחות פריבילגיה. לדוגמה, אם אתה צריך להשקיע זמן בטיפול בילדים או בני משפחה אחרים, או אם אתה מגלה שרוב עבודות הבית נופלות על הכתפיים שלך, כבר יש לך פחות זמן ואנרגיה מאשר מי שלא עושה זאת. סוג זה של עבודה "משמרת שנייה" או "משמרת שלישית" נוטה להשפיע באופן לא פרופורציונלי על אנשים, ואם אתה מקים רוטציות כוננות עם לוח זמנים או אינטנסיביות שמניחים שלמשתתפים אין חיים אישיים מחוץ למשרד, אתה מגביל את האנשים אשר יכול להשתתף בצוות שלך.

עודדו אנשים לנסות לשמור יותר על לוח הזמנים הקבוע שלהם. כדאי לשקול לספק לצוות נתבים ניידים (מודמים usb) כדי שאנשים יוכלו לצאת מהבית עם המחשב הנייד שלהם ועדיין יש להם מראית עין של חיים. עודדו אנשים להחליף שעות כוננות זה עם זה, במידת הצורך, לפרקי זמן קצרים כדי שאנשים יוכלו ללכת לחדר כושר או לראות רופא בזמן תורנו. אל תיצור תרבות שבה להיות בכוננות אומר שהמהנדסים ממש לא עושים דבר מלבד להיות כוננות. איזון בין עבודה לחיים פרטיים הוא חלק חשוב בכל עבודה, אך במיוחד כאשר אתה שוקל שעות חופש, חברים בכירים יותר בצוות שלך צריכים להוות דוגמה לאחרים במונחים של איזון בין עבודה לחיים, ככל האפשר בזמן המשמרת.

ברמה האישית, אל תשכח להסביר מה המשמעות של להיות במשמרת לחברים, משפחה, שותפים, חיות מחמד וכו' (לחתולים שלך כנראה לא יהיה אכפת מכיוון שהם כבר ערים בארבע לפנות בוקר כשאתה מקבל את ההתראה , למרות שהם בשום אופן לא ירצו לעזור לך לפתור את זה). הקפד להשלים את הזמן האבוד לאחר סיום המשמרת שלך, בין אם זה כדי לראות חברים, משפחה או לישון, למשל. אם אתה יכול, שקול להגדיר אזעקה שקטה (כמו שעון חכם) שיכול להעיר אותך על ידי זמזום פרק כף היד שלך כדי שלא תעיר אף אחד סביבך. מצא דרכים לטפל בעצמך כשאתה באמצע משמרת התורן וכשהיא נגמרת. אולי תרצו להרכיב "ערכת הישרדות תורנית" שתעזור לכם להירגע: האזינו לפלייליסט של המוזיקה האהובה עליכם, קראו את הספר האהוב עליכם או קחו זמן לשחק עם חיית המחמד שלכם. מנהלים צריכים לעודד טיפול עצמי על ידי מתן יום חופש לאנשים לאחר שבוע בתפקיד ולוודא שאנשים יבקשו (ויקבלו) עזרה כשהם זקוקים לה.

שיפור חווית החובה

בסך הכל, התורנות לא צריכה להיראות רק כעבודה נוראית: יש לך את ההזדמנות והאחריות כאדם תורן לעבוד באופן אקטיבי כדי לשפר את האנשים שיהיו בתפקיד בעתיד, מה שאומר שאנשים יקבלו פחות הודעות והן יהיו מדויקות יותר. שוב, מעקב אחר הערך של ההתראות שלך באמצעות משהו כמו Opsweekly יכול לעזור לך להבין מה גורם לך למרגיז את השיחה ולתקן את זה. לגבי התראות לא פעילות, שאלו את עצמכם אם יש דרכים להיפטר מההתראות הללו - אולי זה אומר שהן יתבהרו רק בשעות העבודה, כי יש דברים שאתם פשוט לא צריכים להגיב אליהם באמצע הלילה. אל תחששו למחוק התראות, לשנות אותן או לשנות את שיטת השליחה מ"שלח לטלפון ולאימייל" ל"אימייל בלבד". ניסויים ואיטרציה הם המפתח לשיפור החובה לאורך זמן.

עבור התראות שבאמת ניתנות לפעולה, עליך לשקול כמה קל למהנדס לבצע את הפעולות הנדרשות. לכל התראת ריצה צריך להיות פנקס הפעלה שמתאים לה - שקול להשתמש בכלי כמו nagios-herald כדי להוסיף קישורי פנקס הפעלה להתראות שלך. אם ההתראה פשוטה מספיק כדי שהיא לא זקוקה ל-Runbook, היא כנראה פשוטה מספיק כדי שתוכל להפוך את התגובה לאוטומטית באמצעות משהו כמו מטפלי אירועים של Nagios, מה שחוסך מאנשים את הצורך להתעורר או להפריע לעצמם למשימות אוטומטיות בקלות. גם רונבוקס וגם nagios-herald יכולים לעזור לך להוסיף הקשר בעל ערך להתראות שלך, מה שיעזור לאנשים להגיב אליהם בצורה יעילה יותר. בדוק אם אתה יכול לענות על שאלות נפוצות כמו: מתי בפעם האחרונה התראה זו הופעלה? מי ענה לו בפעם הקודמת, ואילו פעולות הם נקטו בסופו של דבר (אם בכלל)? אילו התראות נוספות מופיעות במקביל לזה והאם הן קשורות? סוג זה של מידע הקשרי מגיע לרוב רק במוחם של אנשים, ולכן עידוד תרבות של תיעוד ושיתוף מידע הקשרי יכול להפחית את כמות התקורה הנדרשת כדי להגיב להתראות.

חלק גדול מהעייפות שמקורה בכוננות היא שהן לעולם לא נגמרות - אם לצוות שלך יש כוננות, לא סביר שהן יסתיימו בכל עת בעתיד הנראה לעין. המשמרות לעולם אינן מסתיימות, ואנחנו עלולים להרגיש שהן תמיד יהיו נוראיות. חוסר התקווה הזה הוא בעיה נפשית גדולה שיכולה לתרום ללחץ ותשישות, כך שהתייחסות לתפיסה (בנוסף למציאות) שחובה תמיד תהיה נוראה היא מקום טוב להתחיל לחשוב על חובתך לטווח הארוך.

כדי לתת לאנשים תקווה שהמצב במשמרת ישתפר אי פעם, יש צורך בצפייה במערכת (אותו מעקב וסיווג תפקידים שהזכרתי קודם). עקוב אחר כמה התראות יש לך, איזה אחוז מהן דורש התערבות מלווה, כמה מהן מעירות אנשים ואז פעל ליצירת תרבות שמעודדת אנשים לעשות דברים טוב יותר. אם יש לך צוות גדול, זה יכול להיות מפתה, ברגע שהשעון שלך מסתיים, להרים ידיים ולהגיד "זו בעיה של קצין תורן עתידי" במקום לחפור לתקן משהו - מי רוצה להוציא יותר מאמץ בתפקיד מאשר מהם נדרש? זה המקום שבו תרבות של אמפתיה יכולה לעשות הבדל גדול, כי אתה לא רק דואג לרווחתך בתפקיד, אלא גם לעמיתיך.

הכל עניין של אמפתיה

אמפתיה היא חלק חשוב ממה שמאפשר לנו להניע ביצועים שמשפרים את חוויית ה-on-call. כמנהל או כחבר, אתה יכול להעריך באופן חיובי או אפילו לתגמל אנשים על התנהגות שהופכת את המשמרת לטוב יותר. תמיכת תפעול היא אחד מאותם תחומים שבהם המהנדסים מרגישים לעתים קרובות שאנשים שמים לב אליהם רק כשמשהו משתבש: אנשים יהיו שם כדי לצעוק עליהם כאשר אתר קורס, אבל הם רק לעתים רחוקות לומדים על המאמצים מאחורי הקלעים שמבצעים מהנדסים השקיעו בשמירה על פעילות האתר בשאר הזמן. הכרה בעבודה יכולה לעשות הרבה, בין אם זה להודות למישהו בפגישה או במייל כללי על שיפור התראה ספציפית, היבט טכני של התורנות, או לתת למישהו זמן לכסות מהנדס אחר במשמרת לזמן מה.

עודדו אנשים להשקיע זמן ומאמץ כדי לשפר את מצבם בכוננות בטווח הארוך. אם לצוות שלך יש כוננות, עליך לתכנן ולתעדף עבודה זו באותו אופן שהיית עובד בכל עבודה אחרת על מפת הדרכים שלך. כוננות הן 90% אנטרופיה, אלא אם תפעל באופן פעיל לשיפורן, הן יחמירו יותר ויותר עם הזמן. עבוד עם הצוות שלך כדי להבין מה מניע ומתגמל אנשים בצורה הטובה ביותר, ולאחר מכן השתמש בזה כדי לעודד אנשים להפחית את רעש ההתראה, לכתוב ספרי ריצה וליצור כלים הפותרים את הבעיות שלהם בכוננות. מה שלא תעשה, אל תסתפק בחובה נוראה כחלק קבוע ממצב העניינים.

מקור: www.habr.com