PagerDuty, או מדוע מחלקת המבצעים לא יכולה לישון בלילה

ככל שהמערכת מורכבת יותר, כך היא מתגברת עם כל מיני התראות. ויש צורך להגיב לאותן התראות, לצבור אותן ולהמחיש אותן. אני חושב שזה מצב שמוכר לרבים עד כדי עצבנות.

הפתרון שיידון בו הוא לא הכי בלתי צפוי, אבל החיפוש לא מחזיר מאמר מלא בנושא זה.

לכן, החלטתי לחלוק את הניסיון של FunCorp ולדבר על איך בנוי תהליך החובה, מי מתקשר, למה ואיך אפשר להסתכל על הכל.

מה זה PagerDuty?

אז, כדי לפתור את כל הבעיות הללו, התחלנו לחפש כלי נוח. לאחר חיפושים, בחרנו ב-PagerDuty. PD נראה לנו כפתרון שלם ותמציתי למדי עם מספר רב של אינטגרציות והגדרות. איך היא?

בקיצור, PagerDuty היא פלטפורמת עיבוד אירועים שיכולה לעבד אירועים נכנסים באמצעות אינטגרציות שונות, להגדיר פקודות תורנות ואז להתריע למהנדס התורן בהתאם לרמת האירוע (ברמה גבוהה - קריאה, ברמה נמוכה - דחיפה מהאפליקציה / SMS).

מי הקצין התורן?

זה כנראה המקום הראשון להתחיל בהגדרת PD.

ב-FunCorp, כמו חברות אחרות, יש תפקיד של כבוד של קצין משמרת. זה מועבר ממהנדס למהנדס פעם ביום. יש מה שנקרא קו תגובה ראשון ושני להתראה מ-PagerDuty. נניח שמגיעה התראה בעדיפות גבוהה, ואם 10 דקות לאחר הקריאה לקצין התורן מהקו הראשון אין תגובה אליה (כלומר, היא לא מועברת למצב אישור או פתרון), השיחה עוברת לשני מהנדס תורן. זה מוגדר ב-PagerDuty עצמו באמצעות מדיניות הסלמה.

אם הקצין השני לא מגיב, ההודעה חוזרת ל הראשי לקצין התורן.

לפיכך, כל התראה נכנסת בעדיפות גבוהה לא יכולה להישאר ללא עיבוד. 

עכשיו בואו נראה מאיפה יכולים להגיע אירועים.

באילו אינטגרציות אנו משתמשים?

PD מקבל אירועים רבים ושונים משירותים שונים. יש לנו כיום כ-25 שירותים כאלה, וכדי לעבד אותם אנו משתמשים בכמה אינטגרציות מוכנות.

• פרומתאוס

מערכת איסוף המדדים העיקרית היא פרומתאוס. הרבה כבר נכתב על זה ב-Habré, אני רק אגיד שיש לנו כמה מהם עבור סביבות שונות: אחד אוסף מדדים ממכונות וירטואליות ומעגנים, אחר משירותי אמזון, השלישי ממכונות חומרה. טלגרף משמשת בעיקר כיצואן מדדים.

• כתובת אימייל

גם כאן, לדעתי, הכל ברור מהכותרת. שילוב זה משמש לשליחת התראות מכמה סקריפטים המבוצעים על ידי cron. PD נותן לך כתובת מסוימת שאליה אתה שולח מכתבים. ביצירת שירות עם אינטגרציה כזו ניתן לקבוע סדרי עדיפויות, באיזה סדר יעבדו אירועים נכנסים, איך בדיוק ליצור התראה (על כל מכתב נכנס, למכתב נכנס + כלל מסוים וכו').

• רפוי

לדעתי שילוב מעניין מאוד. יש מקרים שבהם משהו קורה אך אינו מכוסה על ידי תקריות. לכן, הוספנו אינטגרציה מ-Slack כדי ליצור אירוע. כלומר, אתה יכול לכתוב ל-Slack הארגוני /callofduty הכל איטי וישבר בקרוב והמשטרה תעבד אותו וישלח את האירוע למהנדס התורן.

אנחנו עושים:

אנחנו מבינים:

• API

שילוב HTTP. למעשה, אין כאן שום דבר מעניין במיוחד, רק בקשת POST עם גוף בפורמט JSON. לדוגמה, משהו מעניין: אנו משתמשים בו לניטור חיצוני באמצעות https://www.statuscake.com/. שירות זה בודק את הנגישות של האתרים שלנו ממקומות שונים בעולם. במקרה בו אנו מקבלים קוד תגובה לא מקובל (לדוגמה, 502), נוצר תקרית ואז הכל מתנהל לפי השרשרת שתוארה למעלה. ל-StatusCake עצמו יש את היכולת לנטר כתובות URL פנימיות, תעודת SSL או תפוגה של דומיין.

• LibreNMS

זוהי מערכת ניטור נוספת, תוכלו לקרוא עליה עוד באתר האינטרנט שלהם https://www.librenms.org/. בעזרתו, אנו מפקחים על ממשקי רשת ו-iDRAC משרתים.

היו גם אינטגרציות כמו Datadog, CloudWatch. אתה יכול לראות עוד על מה שקרה להם כאן.

ראיה

מערכת דיווח האירועים העיקרית היא Slack. כל התקריות המגיעות ל-PD נכתבות לצ'אט מיוחד, ואם הסטטוס שלהם משתנה, זה מוצג גם בצ'אט.

כשהתעוררה ההזדמנות להציג נתונים שימושיים על מסכי מוניטורים התלויים מהתקרה, הבנו פתאום שאין לנו (במחלקת devops) מה להציג עליהם. יש גרפאנה נפלאה, אבל היא לא מכסה הכל, והעובדים מגיבים להתראות, לא לתרשימים.

לאחר חיפוש יסודי אך לא מוצלח ב-GitHub אחר "לוח" תמציתי ואינפורמטיבי עבור PD, החלטנו לכתוב משלנו - רק עם מה שהיינו צריכים. למרות שבהתחלה היה רעיון להציג את ממשק ה-PD עצמו, זה נראה אפילו יותר לא נוח.

כדי לכתוב אותו, כל מה שאתה צריך לעשות הוא להשיג מפתח מ-PD עם זכויות קריאה בלבד.
וזה מה שקיבלנו:

המסך מציג את האירועים הפתוחים הנוכחיים, שם המהנדס הנוכחי התורן מלוח הזמנים שנבחר, והשעה ללא אירוע בעדיפות גבוהה (הפאנל עם אירוע בעדיפות גבוהה יודגש באדום).

ראה את המקורות ליישום זה כאן.

כתוצאה מכך, קיבלנו לוח מחוונים נוח לצפייה בכל התקריות שלנו. אשמח אם חלקכם ימצאו את הניסיון שלנו שימושי.

מקור: www.habr.com