איך ביליתי שבוע כמתמחה מהנדס SRE. חובה דרך עיניו של מהנדס תוכנה

מהנדס SRE - חניך

ראשית, הרשו לי להציג את עצמי. אני - @tristan.read, מהנדס חזיתי בקבוצה מוניטור::בריאות GitLab. בשבוע שעבר היה לי הכבוד להתמחות אצל אחד ממהנדסי ה-SRE התורנים שלנו. המטרה הייתה לבחון כיצד הגיב הקצין התורן לתקריות על בסיס יומיומי ולצבור ניסיון בחיים האמיתיים בתפקיד. נרצה שהמהנדסים שלנו יבינו טוב יותר את צרכי המשתמש פונקציות מוניטור::בריאות.

הייתי צריך לעקוב אחרי מהנדס SRE לכל מקום במשך שבוע. כלומר, נכחתי במסירה, עקבתי אחר אותם ערוצי התראה והגבתי לאירועים אם וכאשר התרחשו.

תקריות

היו 2 אירועים תוך שבוע.

1. קריפטומינר

GitLab.com ראה קפיצה בשימוש ביום רביעי GitLab Runner'א, נגרם מניסיונות להשתמש בדקות של הרץ כדי לכרות מטבעות קריפטוגרפיים. התקרית טופלה באמצעות כלי נטרול הפרות משלנו, שעוצר את המשימות של הרץ ומוחק את הפרויקט והחשבון המשויכים אליו.

אם האירוע הזה לא היה מבחינים, כלי אוטומטי היה תופס אותו, אבל במקרה זה, מהנדס SRE הבחין קודם בהפרה. נוצרה משימת אירוע, אך המידע עליה סגור.

2. ירידה בביצועים של יישומים קנריים ועיקריים

התקרית נגרמה על ידי האטות ותדירות מוגברת של שגיאות באפליקציות הקנריות ובאפליקציות האינטרנט הראשיות באתר Gitlab.com. כמה ערכי Apdex הופרו.

משימת אירוע פתוחה: https://gitlab.com/gitlab-com/gl-infra/production/issues/1442

ממצאי מפתח

הנה כמה דברים שלמדתי במהלך השבוע שלי בתפקיד.

1. התראות שימושיות ביותר בעת זיהוי חריגות מהנורמה.

ניתן לחלק התראות למספר סוגים:

• התראות המבוססות על ערך סף מסוים, כגון "התרחשו 10 שגיאות 5xx בשנייה".
• התראות שבהן הסף הוא ערך באחוזים כגון "תדירות של שגיאות 5xx לכל 10% מנפח הבקשות הכולל בזמן נתון".
• התראות המבוססות על ממוצע היסטורי כגון "5xx שגיאות באחוזון 90".

באופן כללי, סוגים 2 ו-3 שימושיים יותר עבור SREs בתפקיד, מכיוון שהם חושפים סטיות מהנורמה בתהליך.

2. התראות רבות לעולם לא מסלימות לאירועים.

מהנדסי SR מתמודדים עם זרם מתמיד של התראות, שרבות מהן אינן קריטיות.

אז למה לא להגביל את ההתראות רק לאלו החשובות באמת? עם זאת, עם גישה זו, ייתכן שלא תזהה את הסימפטומים המוקדמים של מה שיהפוך לבעיה אמיתית המאיימת על נזק גדול.

תפקידו של SRE הכוננות הוא לקבוע אילו התראות מעידות על משהו רציני, והאם יש צורך להסלים ולטפל בהן. אני חושד שזה נובע גם מחוסר הגמישות של ההתראות: מוטב שיהיו כמה רמות או דרכים "חכמות" להגדיר התראות בהתאם למצב שתואר לעיל.

הצעת תכונה: https://gitlab.com/gitlab-org/gitlab/issues/42633

3. ה-SREs שלנו בתפקיד משתמשים בכלים רבים.

פְּנִימִי:

• פרויקט GitLab infra: ספרי הפעלה חיים כאן, משימות/שבועות, משימות תגובה לאירועים.
• בעיות ב-GitLab: מעקב אחר חקירות, סקירות ותחזוקה מתבצע גם בבעיות.
• תוויות GitLab: משימות אוטומציה מופעלות באמצעות תוויות ספציפיות, בהן משתמשים בוטים כדי לעקוב אחר פעילות המשימות.

חיצוני:

• PagerDuty: התראות
• Slack: זרימת ההודעות של PagerDuty/AlertManager עוברת לכאן. שילוב עם פקודות לוכסן לביצוע מגוון משימות, כגון סגירת התראה או הסלמה לאירוע.
• גרפנה: הדמיה של מדדים תוך התמקדות במגמות ארוכות טווח.
• Kibana: נותן הדמיה/חיפוש יומן, יכולת לחפור עמוק יותר לתוך אירועים ספציפיים.
• זום: יש "חדר בריחה" הפועל כל הזמן בזום. זה מאפשר למהנדסי SRE לדון במהירות באירועים מבלי לבזבז זמן יקר ביצירת חדר וקישור משתתפים.

ועוד הרבה רבים אחרים.

4. ניטור GitLab.com עם GitLab הוא נקודת כשל אחת

אם GitLab.com חווה הפסקת שירות גדולה, אנחנו לא רוצים שזה ישפיע על היכולת שלנו לפתור את הבעיה. ניתן לעצור זאת על ידי השקת מופע שני של GitLab לניהול GitLab.com. למעשה, זה כבר עובד עבורנו: https://ops.gitlab.net/.

5. כמה תכונות שכדאי לשקול להוסיף ל-GitLab

• עריכת משימות מרובות משתמשים, בדומה ל-Google Docs. זה יעזור עם משימות על אירועים במהלך אירוע, כמו גם משימות על תחקיר. בשני המקרים, ייתכן שכמה משתתפים יצטרכו להוסיף משהו בזמן אמת.
• הווקס אינטרנט נוספים למשימות. היכולת להפעיל שלבי זרימת עבודה שונים של GitLab מבפנים תעזור להפחית את ההסתמכות שלך על אינטגרציות Slack. למשל, היכולת לאפשר התראה ב-PagerDuty באמצעות פקודת נטוי בבעיית GitLab.
  מסקנה

למהנדסי SRE קשה עם הרבה מורכבויות. זה יהיה נהדר לראות מוצרים נוספים של GitLab מטפלים בבעיות אלו. אנחנו כבר עובדים על כמה תוספות למוצר שיקלו על תהליכי העבודה שהוזכרו לעיל. פרטים זמינים ב מדור חזון מוצר אופ'.

אנו מרחיבים את הצוות בשנת 2020 כדי להפגיש את כל התכונות הנהדרות הללו. אם מעוניין, אנא בדוק משרות פנויות, ואל תהסס לפנות לכל אחד בצוות שלנו בכל שאלה.

מקור: www.habr.com