טיפים וטריקים להמרת נתונים לא מובנים מיומנים ל-ELK Stack באמצעות GROK ב-LogStash

בניית נתונים לא מובנים עם GROK

אם אתה משתמש בערימת Elastic (ELK) ומעוניין למפות יומני Logstash מותאמים אישית ל- Elasticsearch, הפוסט הזה הוא בשבילך.

מחסנית ELK היא ראשי תיבות של שלושה פרויקטים בקוד פתוח: Elasticsearch, Logstash ו-Kibana. יחד הם יוצרים פלטפורמה לניהול יומנים.

• Elasticsearch היא מערכת חיפוש וניתוח.
• לוגסטאש הוא צינור עיבוד נתונים בצד השרת אשר קולט נתונים ממספר מקורות בו-זמנית, הופך אותם, ולאחר מכן שולח אותם ל"סטאש" כגון Elasticsearch.
• קיבאנה מאפשר למשתמשים לדמיין נתונים באמצעות תרשימים וגרפים ב- Elasticsearch.

פעימות הגיע מאוחר יותר והוא שולח נתונים קל משקל. ההקדמה של Beats הפכה את Elk Stack ל- Elastic Stack, אבל זה לא העניין.

מאמר זה עוסק ב-Grok, שהוא תכונה ב-Logstash שיכולה לשנות את היומנים שלך לפני שהם נשלחים ל-stash. למטרותינו, אדבר רק על עיבוד נתונים מ-Logstash לתוך Elasticsearch.

Grok הוא מסנן בתוך Logstash המשמש לניתוח נתונים לא מובנים למשהו מובנה וניתן לשאילתות. הוא יושב על ביטוי רגולרי (רגקס) ומשתמש בדפוסי טקסט כדי להתאים מחרוזות בקובצי יומן.

כפי שנראה בסעיפים הבאים, השימוש בגרוק עושה הבדל גדול בכל הנוגע לניהול יומן יעיל.

ללא Grok נתוני היומן שלך אינם מובנים

ללא Grok, כאשר יומנים נשלחים מ-Logstash אל Elasticsearch ומעובדים ב-Kibana, הם מופיעים רק בערך ההודעה.

חיפוש מידע משמעותי במצב זה קשה מכיוון שכל נתוני היומן מאוחסנים במפתח אחד. עדיף היה אם הודעות היומן היו מאורגנות טוב יותר.

נתונים לא מובנים מיומנים

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

אם תסתכל מקרוב על הנתונים הגולמיים, תראה שהם למעשה מורכבים מחלקים שונים, כל אחד מופרד ברווח.

למפתחים מנוסים יותר, אתה כנראה יכול לנחש מה המשמעות של כל אחד מהחלקים ומהי הודעת היומן הזו מהקריאה ל-API. המצגת של כל פריט מתוארת להלן.

תצוגה מובנית של הנתונים שלנו

• localhost == סביבה
• שיטת GET ==
• ​ /v2/applink/5c2f4bb3e9fda1234edc64d == url
• ​400 == תגובה_סטטוס
• ​46ms == זמן_תגובה
• ​ 5bc6e716b5d6cb35fc9687c0 == user_id

כפי שאנו רואים בנתונים מובנים, יש סדר ללוגים לא מובנים. השלב הבא הוא עיבוד תוכנה של נתונים גולמיים. זה המקום שבו גרוק זורח.

תבניות גרוק

תבניות גרוק מובנות

Logstash מגיע עם למעלה מ-100 תבניות מובנות לבניית נתונים לא מובנים. אתה בהחלט צריך לנצל את זה בכל פעם שאפשר עבור סיסלוגים כלליים כמו apache, linux, haproxy, aws וכן הלאה.

עם זאת, מה קורה כשיש לך יומנים מותאמים אישית כמו בדוגמה למעלה? עליך לבנות תבנית גרוק משלך.

תבניות גרוק מותאמות אישית

אתה צריך לנסות לבנות תבנית גרוק משלך. השתמשתי גרוק באגים и דפוסי גרוק.

שימו לב שתחביר תבנית Grok הוא כדלקמן: %{SYNTAX:SEMANTIC}

הדבר הראשון שניסיתי לעשות היה ללכת לכרטיסייה גילוי באגף גרוק. חשבתי שזה יהיה מגניב אם הכלי הזה יוכל ליצור באופן אוטומטי תבנית גרוק, אבל זה לא היה שימושי מדי מכיוון שהוא מצא רק שתי התאמות.

באמצעות הגילוי הזה, התחלתי ליצור תבנית משלי במפרק הבאגים של Grok באמצעות התחביר שנמצא בדף Elastic Github.

לאחר ששיחקתי עם תחבירים שונים, סוף סוף הצלחתי לבנות את נתוני היומן כמו שרציתי.

קישור לניפוי באגים של גרוק https://grokdebug.herokuapp.com/

טקסט מקורי:

localhost GET /v2/applink/5c2f4bb3e9fda1234edc64d 400 46ms 5bc6e716b5d6cb35fc9687c0

תַבְנִית:

%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}

מה קרה בסוף

{
  "environment": [
    [
      "localhost"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/v2/applink/5c2f4bb3e9fda1234edc64d"
    ]
  ],
  "response_status": [
    [
      "400"
    ]
  ],
  "BASE10NUM": [
    [
      "400"
    ]
  ],
  "response_time": [
    [
      "46ms"
    ]
  ],
  "user_id": [
    [
      "5bc6e716b5d6cb35fc9687c0"
    ]
  ]
}

עם תבנית Grok ונתונים ממופים ביד, השלב האחרון הוא להוסיף אותה ל-Logstash.

עדכון קובץ התצורה Logstash.conf

בשרת שבו התקנת את מחסנית ELK, עבור אל תצורת Logstash:

sudo vi /etc/logstash/conf.d/logstash.conf

הדבק את השינויים.

input { 
  file {
    path => "/your_logs/*.log"
  }
}
filter{
  grok {
    match => { "message" => "%{WORD:environment} %{WORD:method} %{URIPATH:url} %{NUMBER:response_status} %{WORD:response_time} %{USERNAME:user_id}"}
  }
}
output {
  elasticsearch {
    hosts => [ "localhost:9200" ]
  }
}

לאחר שמירת השינויים שלך, הפעל מחדש את Logstash ובדוק את הסטטוס שלו כדי לוודא שהוא עדיין עובד.

sudo service logstash restart
sudo service logstash status

לבסוף, כדי לוודא שהשינויים נכנסו לתוקף, הקפד לעדכן את אינדקס Elasticsearch שלך עבור Logstash ב-Kibana!

עם Grok, נתוני היומן שלך מובנים!

כפי שאנו יכולים לראות בתמונה למעלה, Grok מסוגל להתאים באופן אוטומטי נתוני יומן עם Elasticsearch. זה מקל על ניהול יומנים ושאילתות מידע במהירות. במקום לחפור בקובצי יומן כדי לבצע ניפוי באגים, אתה יכול פשוט לסנן לפי מה שאתה מחפש, כגון סביבה או כתובת אתר.

נסה את ביטויי גרוק! אם יש לך דרך אחרת לעשות זאת או שיש לך בעיות כלשהן עם הדוגמאות למעלה, פשוט כתוב תגובה למטה כדי ליידע אותי.

תודה שקראתם - ובבקשה עקבו אחרי כאן ב-Medium לעוד מאמרים מעניינים בהנדסת תוכנה!

Ресурсы

https://www.elastic.co/blog/do-you-grok-grok
https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns
https://grokdebug.herokuapp.com/

נ.ב. קישור למקור

ערוץ טלגרם מאת Elasticsearch

מקור: www.habr.com