דיוויד אובריאן (שירוס): מדדים! מדדים! מדדים! חלק 1

דיוויד אובריאן השיק לאחרונה חברה משלו, Xirus (https://xirus.com.au), המתמקדת במוצרי הענן של Microsoft Azure Stack. הם מתוכננים לבנות ולהפעיל באופן עקבי יישומים היברידיים במרכזי נתונים, מיקומי קצה, משרדים מרוחקים ובענן.

דייוויד מאמן אנשים וחברות בכל הקשור ל-Microsoft Azure ו-Azure DevOps (לשעבר VSTS) ועדיין עושה ייעוץ מעשי ו-infracoding. הוא זוכה פרס MVP של Microsoft (Microsoft Most Valuable Professional) מזה 5 שנים ולאחרונה קיבל את פרס Azure MVP. כמארגן שותף של ה-Melbourne Microsoft Cloud and Datacenter Meetup, O'Brien נואם בקביעות בכנסים בינלאומיים, ומשלב את העניין שלו לטייל בעולם עם תשוקה לשיתוף סיפורי IT עם הקהילה. הבלוג של דוד נמצא בכתובת David-obrien.net, הוא גם מפרסם את ההכשרה המקוונת שלו על Pluralsight.

ההרצאה מדברת על החשיבות של מדדים בהבנת מה קורה בסביבה שלך וכיצד האפליקציה שלך מתפקדת. ל-Microsoft Azure יש דרך חזקה וקלה להציג מדדים עבור כל מיני עומסי עבודה, וההרצאה מסבירה כיצד ניתן להשתמש בכולם.

בשעה 3 לפנות בוקר ביום ראשון, בזמן שאתה ישן, אתה פתאום מתעורר בהודעת טקסט: "אפליקציה סופר-קריטית לא מגיבה שוב." מה קורה? איפה ומה הסיבה ל"בלמים"? בהרצאה זו תלמדו על השירותים ש-Microsoft Azure מציעה ללקוחות לאיסוף יומנים ובפרט, מדדים מעומסי העבודה שלכם בענן. דוד יספר לכם באילו מדדים כדאי להתעניין בעבודה על פלטפורמת ענן וכיצד להגיע אליהם. תלמד על כלי קוד פתוח ובניית לוח מחוונים, ובסופו של דבר יהיה לך מספיק ידע כדי ליצור לוחות מחוונים משלך.

ואם יתעוררו שוב ב-3 לפנות בוקר מהודעה שאפליקציה קריטית קרסה, תוכלו להבין במהירות את הסיבה לה.

צהריים טובים, היום נדבר על מדדים. שמי דייוויד אובריאן, אני המייסד והבעלים של חברת ייעוץ אוסטרלית קטנה, Xirus. שוב תודה לך שבאת לכאן לבלות את זמנך איתי. אז למה אנחנו כאן? כדי לדבר על מדדים, או ליתר דיוק, אספר לכם עליהם, ולפני שנעשה משהו, בואו נתחיל עם התיאוריה.

אני אגיד לכם מהם מדדים, מה אפשר לעשות איתם, למה צריך לשים לב, איך לאסוף ולאפשר איסוף מדדים ב-Azure ומהי הדמיה של מדדים. אני אראה לך איך הדברים האלה נראים בענן של מיקרוסופט וכיצד לעבוד עם הענן הזה.

לפני שנתחיל, אבקש הרמת ידיים ממי שמשתמש ב-Microsoft Azure. מי עובד עם AWS? אני רואה מעטים. מה עם גוגל? ALI ענן? איש אחד! גדול. אז מה הם מדדים? ההגדרה הרשמית של המכון הלאומי לתקנים וטכנולוגיה בארה"ב היא: "מדד הוא תקן מדידה המתאר את התנאים והכללים למדידת נכס ומשמש להבנת תוצאות המדידה". מה זה אומר?

ניקח דוגמה של מדד לשינוי שטח הדיסק הפנוי של מכונה וירטואלית. לדוגמה, ניתן לנו את המספר 90, ומספר זה אומר אחוז, כלומר, כמות שטח הדיסק הפנוי היא 90%. אני מציין שלא מאוד מעניין לקרוא את תיאור ההגדרה של מדדים, שלוקח 40 עמודים בפורמט pdf.

עם זאת, המדד אינו אומר כיצד התקבלה תוצאת המדידה, הוא רק מראה את התוצאה הזו. מה עושים עם מדדים?

ראשית, אנו מודדים את הערך של משהו כדי להשתמש בתוצאת המדידה.

לדוגמא, גילינו את כמות השטח הפנוי בדיסק ועכשיו אנחנו יכולים להשתמש בו, להשתמש בזיכרון הזה וכו'. לאחר שקיבלנו את התוצאה המטרית, עלינו לפרש אותה. לדוגמה, המדד החזיר תוצאה של 90. עלינו לדעת מה המספר הזה אומר: כמות השטח הפנוי או כמות שטח הדיסק בשימוש באחוזים או ג'יגה-בייט, חביון רשת שווה ל-90 אלפיות השנייה וכן הלאה, כלומר , עלינו לפרש את המשמעות של הערך המטרי. כדי שמדדים יהיו בעלי משמעות בכלל, לאחר פרשנות של ערך מדד בודד, עלינו לוודא שנאספים מספר ערכים. זה חשוב מאוד מכיוון שאנשים רבים אינם מודעים לצורך לאסוף מדדים. מיקרוסופט הקלה מאוד על איסוף מדדים, אבל זה תלוי בך לוודא שהם נאספים. מדדים אלו נשמרים למשך 41 יום בלבד ונעלמים ביום ה-42. לכן, בהתאם למאפייני הציוד החיצוני או הפנימי שלכם, כדאי לדאוג לשמירת מדדים ליותר מ-41 יום - בצורת יומנים, יומנים וכו'. לפיכך, לאחר האיסוף, כדאי למקם אותם במקום כלשהו המאפשר לך לשלוף את כל הנתונים הסטטיסטיים של השינויים בתוצאות המטריות במידת הצורך. ברגע שאתה שם אותם שם, אתה יכול להתחיל לעבוד איתם ביעילות.

רק לאחר שתשיג את המדדים, תפרש אותם ואיסוף אותם, תוכל ליצור הסכם SLA - רמת שירות. SLA זה עשוי להיות לא בעל חשיבות רבה ללקוחות שלך; הוא חשוב יותר לעמיתיך, למנהלים, לאלה שמתחזקים את המערכת ומודאגים מהפונקציונליות שלה. המדד יכול למדוד את מספר הכרטיסים – למשל מקבלים 5 כרטיסים ביום, ובמקרה הזה הוא מציג את מהירות התגובה לבקשות המשתמש ומהירות פתרון התקלות. מדד לא אמור רק לומר שהאתר שלך נטען תוך 20ms או שמהירות התגובה שלך היא 20ms, מדד הוא יותר מסתם אינדיקטור טכני אחד.

לכן, משימת השיחה שלנו היא להציג בפניכם תמונה מפורטת של מהות המדדים. המדד משמש כך שעל ידי התבוננות בו ניתן לקבל תמונה מלאה של התהליך.

ברגע שיש לנו את המדד, אנחנו יכולים להבטיח ב-99% שהמערכת עובדת, כי זה לא רק מסתכל על קובץ יומן שאומר שהמערכת עובדת. הבטחת זמן פעולה של 99% פירושה, למשל, 99% מהזמן שה-API מגיב במהירות רגילה של 30 אלפיות השנייה. זה בדיוק מה שמעניין את המשתמשים, הקולגות והמנהלים שלך. רבים מלקוחותינו עוקבים אחר יומני שרת האינטרנט, אך הם אינם מבחינים בהם בשגיאות וחושבים שהכל בסדר. לדוגמה, הם רואים מהירות רשת של 200 Mb/s וחושבים: "בסדר, הכל נהדר!" אבל כדי להשיג את ה-200 הללו, המשתמשים צריכים מהירות תגובה של 30 מילישניות, וזהו בדיוק המדד שלא נמדד ולא נאסף בקובצי יומן. יחד עם זאת, המשתמשים מופתעים מכך שהאתר נטען לאט מאוד, מכיוון שאין להם את המדדים הדרושים, הם אינם יודעים את הסיבות להתנהגות זו.

אבל מכיוון שיש לנו SLA של 100% זמן פעולה, לקוחות מתחילים להתלונן כי האתר למעשה קשה מאוד לשימוש. לכן, כדי ליצור SLA אובייקטיבי, יש צורך לראות את התמונה המלאה של התהליך שנוצר על ידי המדדים שנאספו. זו בעיה מתמשכת שיש לי עם כמה ספקים, שכאשר יוצרים SLAs, אין להם מושג מה פירוש המונח "uptime" וברוב המקרים לא מסבירים ללקוחות שלהם איך ה-API שלהם עובד.

אם יצרת שירות, למשל, API עבור אדם שלישי, עליך להבין מה המשמעות של המדד המתקבל של 39,5 - תגובה, תגובה מוצלחת, תגובה במהירות של 20 אלפיות השנייה או במהירות של 5 אלפיות השנייה. זה תלוי בך להתאים את ה-SLA שלהם ל-SLA שלך, למדדים שלך.

לאחר שהבנתם את כל זה, תוכלו להתחיל ליצור לוח מחוונים מהמם. תגיד לי, מישהו כבר השתמש באפליקציית ההדמיה האינטראקטיבית של Grafana? גדול! אני מעריץ גדול של הקוד הפתוח הזה מכיוון שהדבר הזה הוא חינמי וקל לשימוש.

אם עדיין לא השתמשת בגראפנה, אני אגיד לך איך לעבוד איתו. כל מי שנולד בשנות ה-80 וה-90 זוכר כנראה את CareBears? אני לא יודע עד כמה הדובים האלה היו פופולריים ברוסיה, אבל כשזה מגיע למדדים, אנחנו צריכים להיות אותם "דובי טיפול". כפי שאמרתי, אתה צריך תמונה גדולה של איך המערכת כולה עובדת, והיא לא צריכה להיות רק לגבי ה-API שלך, האתר שלך או השירות הפועל במכונה וירטואלית.

עליך לארגן את אוסף המדדים המשקפים באופן מלא את פעולת המערכת כולה. רובכם מפתחי תוכנה, כך שהחיים שלכם משתנים כל הזמן, מסתגלים לדרישות המוצר החדשות, וכמו שאתם עוסקים בתהליכי קידוד, אתם צריכים לדאוג במדדים. אתה צריך לדעת איך המדד קשור לכל שורת קוד שאתה כותב. לדוגמה, בשבוע הבא אתה מתחיל קמפיין שיווקי חדש ומצפה שמספר רב של משתמשים יבקרו באתר שלך. כדי לנתח את האירוע הזה, תזדקק למדדים, וייתכן שתזדקק ללוח מחוונים שלם כדי לעקוב אחר הפעילות של האנשים האלה. תזדקק למדדים כדי להבין עד כמה הקמפיין השיווקי שלך מצליח ואיך הוא באמת מתפקד. הם יעזרו לכם, למשל, לפתח מערכת CRM אפקטיבית - מערכת ניהול קשרי לקוחות.

אז בואו נתחיל עם שירות הענן Azure שלנו. קל מאוד למצוא ולארגן איסוף מדדים מכיוון שיש לו Azure Monitor. צג זה מרכז את ניהול תצורת המערכת שלך. לכל אחד מהאלמנטים של Azure שברצונך להחיל על המערכת שלך יש מדדים רבים מופעלים כברירת מחדל. זוהי אפליקציה חינמית שפועלת ישירות מהקופסה ואינה דורשת הגדרות מקדימות; אינך צריך לכתוב או "להבריג" שום דבר למערכת שלך. אנו נוודא זאת על ידי התבוננות בהדגמה הבאה.

בנוסף, ניתן לשלוח את המדדים הללו ליישומי צד שלישי, כמו מערכת האחסון והניתוח של יומני Splunk, אפליקציית ניהול היומנים מבוססת הענן SumoLogic, כלי עיבוד היומנים ELK ו-IBM Radar. נכון, ישנם הבדלים קלים שתלויים במשאבים שבהם אתה משתמש - מכונה וירטואלית, שירותי רשת, מסדי נתונים של Azure SQL, כלומר, השימוש במדדים שונה בהתאם לפונקציות של סביבת העבודה שלך. אני לא אגיד שההבדלים האלה רציניים, אבל, למרבה הצער, הם עדיין קיימים, ויש לקחת זאת בחשבון. הפעלה ושליחה של מדדים אפשריים בכמה דרכים: דרך פורטל, CLI/Power Shell או שימוש בתבניות ARM.

לפני שאתחיל בהדגמה הראשונה שלי, אענה על כל שאלה שיש לך. אם אין שאלות, בואו נתחיל. המסך מראה כיצד נראה עמוד Azure Monitor. מישהו מכם יכול להגיד שהמסך הזה לא עובד?

אז עכשיו הכל בסדר, אתה יכול לראות איך נראים שירותי המסך. אני יכול לומר שזהו כלי מצוין ופשוט מאוד לעבודה יומיומית. זה יכול לשמש לניטור יישומים, רשתות ותשתיות. לאחרונה, ממשק הניטור שופר, ואם בעבר השירותים היו ממוקמים במקומות שונים, כעת כל המידע על השירותים מאוחד בדף הבית של המוניטור.

טבלת המדדים היא לשונית לאורך הנתיב HomeMonitorMetrics, שאליו אתה יכול לעבור כדי לראות את כל המדדים הזמינים ולבחור את אלה שאתה צריך. אבל אם אתה צריך לאפשר איסוף מדדים, עליך להשתמש בנתיב ספריית ההגדרות HomeMonitorDiagnostic ולסמן את תיבות הסימון של מדדים מופעלים/מושבתים. כברירת מחדל, כמעט כל המדדים מופעלים, אך אם תצטרך להפעיל משהו נוסף, תצטרך לשנות את מצב האבחון ממושבת לזמין.

לשם כך, לחץ על השורה של המדד שנבחר ובכרטיסייה שנפתחת, הפעל מצב אבחון. אם אתה מתכוון לנתח את המדד שנבחר, אז לאחר לחיצה על הקישור הפעל אבחון, עליך לסמן את תיבת הסימון שלח ל-Login Analytics בחלון שמופיע.

Log Analytics דומה קצת ל-Splunk, אבל עולה פחות. שירות זה מאפשר לך לאסוף את כל המדדים, היומנים וכל מה שאתה צריך ולמקם אותם בסביבת העבודה של Log Analytics. השירות משתמש בשפת עיבוד שאילתות KQL מיוחדת - Kusto Quarry Language, נבחן את עבודתו בהדגמה הבאה. לעת עתה, אציין שבעזרתו תוכלו ליצור שאילתות לגבי מדדים, יומנים, מונחים, מגמות, דפוסים וכו'. וליצור לוחות מחוונים.

לכן, אנו מסמנים את תיבת הסימון Send to Log Analytics ואת תיבות הסימון של חלונית LOG: DataPlaneRequests, MongoRequests ו-QueryRuntimeStatistics, ולמטה בחלונית METRIC - תיבת הסימון Requests. לאחר מכן אנו מעניקים שם ושומרים את ההגדרות. בשורת הפקודה, זה מייצג שתי שורות קוד. אגב, מעטפת Azure Cloud במובן זה דומה לגוגל, מה שמאפשר לך גם להשתמש בשורת הפקודה בדפדפן האינטרנט שלך. ל-AWS אין דבר כזה, אז Azure הרבה יותר נוח במובן הזה.

לדוגמה, אני יכול להריץ הדגמה דרך ממשק האינטרנט מבלי להשתמש בקוד כלשהו במחשב הנייד שלי. כדי לעשות זאת, עלי לבצע אימות עם חשבון ה-Azure שלי. לאחר מכן תוכלו להשתמש, למשל, ב-terrafone, אם אתם כבר משתמשים בה, חכו לחיבור לשירות וקבלו את סביבת העבודה של לינוקס בה מיקרוסופט משתמשת כברירת מחדל.

לאחר מכן, אני משתמש ב-Bash, המובנה ב-Azure Cloud Shell. דבר שימושי מאוד הוא ה-IDE המובנה בדפדפן, גרסה קלת משקל של VS Code. לאחר מכן, אני יכול להיכנס לתבנית מדדי השגיאה שלי, לערוך אותה ולהתאים אותה לצרכים שלי.

לאחר שתגדיר איסוף מדדים בתבנית זו, תוכל להשתמש בה כדי ליצור מדדים עבור כל התשתית שלך. לאחר שהחלנו את המדדים, אספנו אותם ואחסנו אותם, נצטרך לדמיין אותם.

Azure Monitor עוסק רק במדדים ואינו מספק תמונה כוללת של תקינות המערכת שלך. ייתכן שיש לך מספר יישומים אחרים הפועלים מחוץ לסביבת Azure. אז אם אתה צריך לנטר את כל התהליכים, להמחיש את כל המדדים שנאספו במקום אחד, אז Azure Monitor לא מתאים לזה.

כדי לפתור בעיה זו, מיקרוסופט מציעה את הכלי Power BI, תוכנה מקיפה לניתוח עסקי הכוללת הדמיה של מגוון רחב של נתונים. זהו מוצר יקר למדי, שעלותו תלויה במערך הפונקציות שאתה צריך. כברירת מחדל, הוא מציע לך 48 סוגי נתונים לעיבוד ומקושר למחסני נתונים של Azure SQL, אחסון אגם נתונים של Azure, שירותי למידת מכונה של Azure ו-Azure Databricks. באמצעות מדרגיות, אתה יכול לקבל נתונים חדשים כל 30 דקות. זה עשוי להספיק או לא להספיק לצרכים שלך אם אתה צריך הדמיית ניטור בזמן אמת. במקרה זה, מומלץ להשתמש באפליקציות כמו הגראפנה שציינתי. בנוסף, תיעוד של מיקרוסופט מתאר את היכולת לשלוח מדדים, יומנים וטבלאות אירועים באמצעות כלי SIEM למערכות ההדמיה Splunk, SumoLogic, ELK ו-IBM מכ"ם.

23:40 דקות

המשך בקרוב מאוד...

כמה מודעות 🙂

תודה שנשארת איתנו. האם אתה אוהב את המאמרים שלנו? רוצים לראות עוד תוכן מעניין? תמכו בנו על ידי ביצוע הזמנה או המלצה לחברים, Cloud VPS למפתחים החל מ-$4.99, אנלוגי ייחודי של שרתים ברמת הכניסה, שהומצא על ידינו עבורכם: כל האמת על VPS (KVM) E5-2697 v3 (6 ליבות) 10GB DDR4 480GB SSD 1Gbps החל מ-$19 או איך לשתף שרת? (זמין עם RAID1 ו-RAID10, עד 24 ליבות ועד 40GB DDR4).

Dell R730xd זול פי 2 במרכז הנתונים Equinix Tier IV באמסטרדם? רק כאן 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV החל מ-$199 בהולנד! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - החל מ-$99! לקרוא על כיצד לבנות תשתיות קורפ. מחלקה עם שימוש בשרתי Dell R730xd E5-2650 v4 בשווי 9000 יורו עבור אגורה?

מקור: www.habr.com