יצירת לוח מחוונים ב-Kibana לניטור יומנים

שלום, שמי אבגני, אני ראש צוות B2B בסיטימוביל. אחת המשימות של הצוות שלנו היא לתמוך באינטגרציות להזמנת מוניות משותפים, וכדי להבטיח שירות יציב עלינו להבין תמיד מה קורה בשירותי המיקרו שלנו. ובשביל זה אתה צריך לפקח כל הזמן על היומנים.

בסיטימוביל אנו משתמשים בערימת ה-ELK (ElasticSearch, Logstash, Kibana) לעבודה עם לוגים, ונפח הנתונים המתקבל שם הוא עצום. במסה זו של בקשות, די קשה למצוא בעיות שעלולות להופיע לאחר פריסת קוד חדש. וכדי לזהות אותם בבירור, ל-Kibana יש קטע לוח מחוונים.

יש לא מעט מאמרים על Habré עם דוגמאות כיצד להגדיר מחסנית ELK לקבלת ואחסון נתונים, אך אין חומרים רלוונטיים ליצירת Dashboard. לכן, אני רוצה להראות כיצד ליצור ייצוג חזותי של נתונים המבוססים על יומנים נכנסים ב-Kibana.

התאמה

כדי להבהיר יותר, יצרתי תמונת Docker עם ELK ו-Filebeat. והניח אחד קטן במיכל программу ב-Go, שבדוגמה שלנו יפיק יומני בדיקה. לא אתאר בפירוט את התצורה של ELK; יש מספיק כתוב על זה ב-Habré.

שיבוט המאגר עם התצורה docker-compose והגדרות ELK, והפעל אותו עם הפקודה docker-compose up. אני לא מוסיף מפתח בכוונה. -dלראות את התהליך של מחסנית ELK.

git clone https://github.com/et-soft/habr-elk
cd habr-elk
docker-compose up

אם הכל מוגדר כהלכה, נראה ערך ביומנים (אולי לא מיד, תהליך השקת מיכל עם כל הערימה עשוי להימשך מספר דקות):

{"type":"log","@timestamp":"2020-09-20T05:55:14Z","tags":["info","http","server","Kibana"],"pid":6,"message":"http server running at http://0:5601"}

לפי הכתובת localhost:5061 Kibana צריך לפתוח.

הדבר היחיד שאנחנו צריכים להגדיר הוא ליצור תבנית אינדקס עבור Kibana עם מידע על אילו נתונים יש להציג. לשם כך, הבה נבצע בקשת סלסול או נבצע סדרה של פעולות בממשק הגרפי.

$ curl -XPOST -D- 'http://localhost:5601/api/saved_objects/index-pattern'
    -H 'Content-Type: application/json'
    -H 'kbn-xsrf: true'
    -d '{"attributes":{"title":"logstash-*","timeFieldName":"@timestamp"}}'

יצירת דפוס אינדקס באמצעות GUI
כדי להגדיר, בחר בקטע Discover בתפריט השמאלי והגע לדף יצירת דפוסי אינדקס.

על ידי לחיצה על כפתור "צור תבנית אינדקס", אנו מועברים לדף יצירת האינדקס. בשדה "שם תבנית אינדקס", הזן "logstash-*". אם הכל מוגדר כהלכה, למטה Kibana יציג את האינדקסים הנופלים תחת הכלל.

בעמוד הבא, בחר את שדה המפתח עם חותמת זמן, במקרה שלנו הוא כן @timestamp.

כתוצאה מכך יופיע דף הגדרות האינדקס, אך לא נדרשות מאיתנו פעולות נוספות כעת.

כעת נוכל לחזור למקטע Discover, שם נראה את ערכי היומן.

לוח ניהול חשבון

בתפריט השמאלי, לחץ על קטע יצירת לוח המחוונים והגיע לעמוד המתאים.

לחץ על "צור לוח מחוונים חדש" והגיע לעמוד להוספת אובייקטים ללוח המחוונים.

לחץ על כפתור "צור חדש", והמערכת תבקש ממך לבחור את סוג תצוגת הנתונים. ישנם מספר רב מהם ב-Kibana, אך נבחן יצירת ייצוג גרפי "סרגל אנכי" ו"טבלת נתונים" טבלאית. סוגים אחרים של מצגת מוגדרים בצורה דומה. 

חלק מהפריטים הזמינים מסומנים ב-B ו-E, מה שמציין שהפורמט הוא ניסיוני או בגרסת ביטא. עם הזמן, הפורמט עשוי להשתנות או להיעלם לחלוטין מ-Kibana.

בר אנכי

עבור הדוגמה של "סרגל אנכי", בואו ניצור היסטוגרמה של היחס בין סטטוסי תגובה מוצלחים ולא מוצלחים של השירות שלנו. לאחר השלמת ההגדרות, נקבל את הגרף הבא:

נסווג כמוצלחות את כל הבקשות עם סטטוס תגובה < 400, וכבעייתית - >= 400.

כדי ליצור תרשים "סרגל אנכי", עלינו לבחור מקור נתונים. בחר את דפוס האינדקס שיצרנו קודם לכן.

כברירת מחדל, לאחר בחירת מקור נתונים, יופיע גרף רציף אחד. בואו נגדיר את זה.

בגוש "דליים", לחץ על כפתור "הוסף", בחר "X-asis" והגדר את ציר ה-X. בואו נתווה את חותמות הזמן של הרשומות הנכנסות ליומן לאורכו. בשדה "צבירה", בחר "היסטוגרמת תאריך", וב"שדה" בחר "@timestamp", המציין שדה זמני. בואו נשאיר את "מרווח מינימלי" במצב "אוטומטי", והוא יתאים אוטומטית לתצוגה שלנו. 

בלחיצה על כפתור "עדכן", נראה גרף עם מספר הבקשות כל 30 שניות.

עכשיו בואו נגדיר את העמודות על ציר Y. כעת נציג את המספר הכולל של בקשות במרווח הזמן שנבחר.

בואו נשנה את ערך ה-"Aggregation" ל-"Sum Bucket", שיאפשר לנו לשלב נתונים מבקשות מוצלחות ולא מוצלחות. בגוש דלי -> צבירה, בחר צבירה לפי "מסננים" והגדר סינון לפי "statusCode >= 400". ובשדה "תווית מותאמת אישית" אנו מציינים את שם המחוון שלנו לתצוגה ברורה יותר במקרא בתרשים וברשימה הכללית.

בלחיצה על כפתור "עדכן" מתחת לבלוק ההגדרות, אנו מקבלים גרף עם שאילתות בעייתיות.

אם תלחצו על העיגול ליד המקרא, יופיע חלון בו תוכלו לשנות את צבע העמודות.

עכשיו בואו נוסיף נתונים על בקשות מוצלחות לתרשים. בקטע "מדדים", לחץ על כפתור "הוסף" ובחר "ציר Y".

במדד שנוצר אנו מבצעים את אותן הגדרות כמו עבור בקשות שגויות. רק בפילטר אנו מציינים "statusCode < 400".

על ידי שינוי צבע העמודה החדשה, אנו מקבלים תצוגה של יחס הבקשות הבעייתיות והמצליחות.

על ידי לחיצה על כפתור "שמור" בחלק העליון של המסך וציון שם, נראה את הגרף הראשון בלוח המחוונים.

טבלת נתונים

כעת נסתכל על תצוגת הטבלה "טבלת נתונים". בואו ניצור טבלה עם רשימה של כל כתובות ה-URL אליהן היו בקשות ומספר הבקשות הללו. כמו בדוגמה של סרגל אנכי, תחילה אנו בוחרים מקור נתונים.

לאחר מכן, תוצג על המסך טבלה עם עמודה אחת, המציגה את מספר הבקשות הכולל עבור מרווח הזמן שנבחר.

נשנה רק את בלוק "דליים". לחץ על כפתור "הוסף" ובחר "פיצול שורות".

בשדה "צבירה", בחר "תנאים". ובשדה "שדה" שמופיע, בחר "url.keyword".

על ידי ציון הערך "URL" בשדה "תווית מותאמת אישית" ולחיצה על "עדכן", נקבל את הטבלה הרצויה עם מספר הבקשות לכל כתובת URL עבור פרק הזמן שנבחר.

בחלק העליון של המסך, לחץ שוב על כפתור "שמור" וציין את שם הטבלה, למשל כתובות אתרים. בוא נחזור ללוח המחוונים ונראה את שתי התצוגות שנוצרו.

עבודה עם לוח מחוונים

בעת יצירת לוח המחוונים, אנו מגדירים רק את פרמטרי התצוגה הבסיסיים בהגדרות אובייקט התצוגה. אין טעם לציין נתונים עבור מסננים באובייקטים, למשל, "טווח תאריכים", "סינון לפי סוכן משתמש", "סינון לפי ארץ הבקשה" וכו'. הרבה יותר נוח לציין את פרק הזמן הרצוי או להגדיר את הסינון הדרוש בלוח השאילתות, הממוקם מעל האובייקטים.

מסננים שנוספו בחלונית זו יוחלו על לוח המחוונים כולו, וכל אובייקטי התצוגה יסדרו מחדש בהתאם לנתונים המסוננים הנוכחיים.

מסקנה

Kibana הוא כלי רב עוצמה המאפשר לך לדמיין כל נתונים בצורה נוחה. ניסיתי להציג את ההגדרה של שני סוגים עיקריים של תצוגה. אבל סוגים אחרים מוגדרים בצורה דומה. ושפע ההגדרות שהשארתי מאחורי הקלעים יאפשר לכם להתאים את התרשימים בצורה גמישה מאוד כך שיתאימו לצרכים שלכם.

מקור: www.habr.com