לוקי - איסוף יומנים בגישת פרומתאוס

מצדיעים, חברוביים! לקראת תחילת הרשמה חדשה לקורס "שיטות וכלים של DevOps" הכינו עבורכם תרגום של חומר מעניין.

מאמר זה הוא הקדמה קצרה ללוקי. פרויקט לוקי נתמך על ידי גרפאנה ומכוון לאיסוף ריכוזי של יומנים (משרתים או קונטיינרים).

ההשראה העיקרית ללוקי הייתה פרומתאוס עם הרעיון ליישם את הגישות שלו לניהול יומנים:

• שימוש בתוויות לאחסון נתונים
• צריכת משאבים נמוכה

נחזור לעקרונות של פרומתאוס וניתן כמה דוגמאות לשימוש בו בהקשר של Kubernetes.

כמה מילים על פרומתאוס

כדי להבין היטב איך לוקי עובד, חשוב לקחת צעד אחורה ולבקר קצת בפרומתאוס.

אחד המאפיינים המובהקים של פרומתאוס הוא חילוץ של מדדים מנקודות איסוף (באמצעות יצואנים) ושמירתם ב-TSDB (Time Series Data Base, מסד נתונים של סדרות זמן) בתוספת מטא נתונים בצורת תוויות.

מדוע זה הכרחי

לאחרונה הפכה פרומתאוס לסטנדרט דה פקטו בעולם הקונטיינרים וה-Kubernetes: ההתקנה שלו פשוטה מאוד, ובאשכול Kubernetes יש בתחילה נקודת קצה עבור Prometheus. פרומתאוס יכולה גם לחלץ מדדים מיישומים הפרוסים במיכל תוך שמירה על תוויות ספציפיות. לכן, ניטור יישומים קל מאוד ליישום.

למרבה הצער, עדיין אין פתרון סוהר לניהול יומנים, ואתה צריך למצוא פתרון עבור עצמך:

• שירות ענן מנוהל לריכוז יומנים (AWS, Azure או Google)
• שירות ניטור "ניטור כשירות" (לדוגמה, Datadog)
• יצירת שירות איסוף יומנים משלך.

עבור האפשרות השלישית, השתמשתי באופן מסורתי ב- Elasticsearch, למרות העובדה שלא תמיד הייתי מרוצה ממנה (במיוחד כבדות ומורכבות ההגדרה שלה).

לוקי תוכנן כך שיהיה קל ליישום על פי העקרונות הבאים:

• להיות קל להתחיל
• צורכים מעט משאבים
• עבודה עצמאית ללא תחזוקה מיוחדת
• לשמש כתוספת ל-Prometheus כדי לסייע בחקירות באגים

עם זאת, הפשטות הזו באה על חשבון כמה פשרות. אחד מהם הוא לא להוסיף את התוכן לאינדקס. לכן, חיפוש טקסט אינו יעיל או עשיר במיוחד ואינו מאפשר לשמור סטטיסטיקות על תוכן הטקסט. אבל מכיוון שלוקי רוצה להיות המקבילה וההשלמה ל-grep ל-Prometheus, זה לא חיסרון.

חקירת תקרית

כדי להבין טוב יותר מדוע לוקי אינו זקוק לאינדקס, הבה נחזור לשיטת חקירת האירועים בה השתמשו מפתחי לוקי:

1 התראה → 2 לוח מחוונים → 3 שאילתת אד-הוק → 4 צבירת יומן → 5 מעקב מבוזר → 6 תיקון!
(1 אזהרה → 2 לוח מחוונים → 3 שאילתת אד-הוק → 4 צבירה יומן → 5 מעקב מבוזר → 6 תיקון!)

הרעיון הוא שנקבל איזושהי התראה (Slack Notification, SMS וכו') ואחרי זה:

• תסתכל על לוחות המחוונים של Grafana
• תסתכל על מדדי שירות (לדוגמה, ב-Prometheus)
• הסתכל על ערכי יומן (לדוגמה, ב- Elasticsearch)
• אולי תסתכל על עקבות מבוזרות (ייגר, זיפקין וכו')
• ולבסוף לתקן את הבעיה המקורית.

כאן, במקרה של מחסנית Grafana + Prometheus + Elasticsearch + Zipkin, תצטרך להשתמש בארבעה כלים שונים. כדי לחסוך זמן, זה יהיה נחמד להיות מסוגל לעשות את כל השלבים האלה עם כלי אחד: Grafana. ראוי לציין כי גישה זו למחקר מיושמת בגרפאנה מאז גרסה 6. כך, ניתן לגשת לנתוני פרומתאוס ישירות מגרפאנה.

מסך Explorer מפוצל בין פרומתאוס ללוקי

ממסך זה, תוכלו לצפות ביומנים בלוקי הקשורים למדדי פרומתאוס באמצעות קונספט המסך המפוצל. מאז גרסה 6.5, Grafana מאפשרת לך לנתח את מזהה המעקב בערכים ביומן Loki כדי לעקוב אחר קישורים לכלי המעקב המבוזרים המועדפים עליך (Jaeger).

מבחן מקומי של לוקי

הדרך הקלה ביותר לבדוק את Loki באופן מקומי היא להשתמש ב-docer-compose. הקובץ docker-compose נמצא במאגר Loki. אתה יכול לקבל את המאגר עם הפקודה הבאה git:

$ git clone https://github.com/grafana/loki.git

אז אתה צריך לעבור לספריית הייצור:

$ cd production

לאחר מכן, אתה יכול לקבל את התמונות האחרונות של Docker:

$ docker-compose pull

לבסוף, ערימת Loki מתחילה עם הפקודה הבאה:

$ docker-compose up

אדריכלות לוקי

הנה תרשים קטן עם ארכיטקטורת לוקי:

עקרונות אדריכלות לוקי

לקוח האינטרנט מריץ יישומים על השרת, Promtail אוסף לוגים ושולח אותם ללוקי, לקוח האינטרנט גם שולח מטא נתונים ללוקי. לוקי צובר הכל ומעביר אותו לגרפאנה.
לוקי רץ. כדי להציג את הרכיבים הזמינים, הפעל את הפקודה הבאה:

$ docker ps

במקרה של Docker שהותקן לאחרונה, הפקודה צריכה להחזיר את התוצאה הבאה:

IMAGE               PORTS                  NAMES
grafana/promtail:                          production_promtail_1
grafana/grafana: m  0.0.0.0:3000->3000/tcp production_grafana_1
grafana/loki: late  80/tcp,0.0.0.0:3100... production_loki_1

אנו רואים את המרכיבים הבאים:

• Promtail: סוכן האחראי על ריכוז יומנים
• Grafana: כלי לוח המחוונים המפורסם
• לוקי: דמון ריכוז הנתונים

כחלק מתשתית קלאסית (לדוגמה, המבוססת על מכונות וירטואליות), יש לפרוס את סוכן Promtail בכל מחשב. ניתן להתקין את Grafana ולוקי על אותה מכונה.

פריסה ל-Kubernetes

התקנת רכיבי Loki ב- Kubernetes תהיה כדלקמן:

• daemonSet לפרוס את סוכן Promtail בכל אחת מהמכונות באשכול השרתים
• פריסת לוקי
• והאחרון הוא פריסת גרפאנה.

למרבה המזל, Loki זמין כחבילת Helm, מה שמקל על הפריסה.

התקנה דרך המל

אתה כבר אמור להתקין את Heml. ניתן להוריד אותו ממאגר GitHub של הפרויקט. הוא מותקן על ידי חילוץ הארכיון המתאים לארכיטקטורה שלך והוספת הגה אליו $PATH.

הערה: גרסה 3.0.0 של Helm שוחררה לאחרונה. מכיוון שחלו בו שינויים רבים, מומלץ לקורא להמתין מעט לפני תחילת השימוש בו..

הוספת מקור עבור Helm

הצעד הראשון הוא הוספת מאגר "loki" עם הפקודה הבאה:

$ helm add loki https://grafana.github.io/loki/charts

לאחר מכן, אתה יכול לחפש חבילות בשם "לוקי":

$ helm search loki

תוצאה:

loki/loki       0.17.2 v0.4.0 Loki: like Prometheus, but for logs.
loki/loki-stack 0.19.1 v0.4.0 Loki: like Prometheus, but for logs.
loki/fluent-bit 0.0.2  v0.0.1 Uses fluent-bit Loki go plugin for...
loki/promtail   0.13.1 v0.4.0 Responsible for gathering logs and...

לחבילות אלו יש את התכונות הבאות:

• חבילה לוקי/לוקי תואם רק לשרת Loki
• חבילה לוקי/פלואנט-ביט מאפשר לך לפרוס את DaemonSet באמצעות fluent-bin לאיסוף יומנים במקום Promtail
• חבילה loki/promtail מכיל סוכן איסוף יומנים
• חבילה לוקי/לוקי-מחסנית, מאפשר לך לפרוס מיד את Loki יחד עם Promtail.

מתקין את לוקי

כדי לפרוס את Loki ל-Kubernetes, הפעל את הפקודה הבאה במרחב השמות "ניטור":

$ helm upgrade --install loki loki/loki-stack --namespace monitoring

כדי לשמור בדיסק, הוסף את האפשרות --set loki.persistence.enabled = true:

$ helm upgrade --install loki loki/loki-stack 
              --namespace monitoring 
              --set loki.persistence.enabled=true

הערה: אם אתה רוצה לפרוס את Grafana בו-זמנית, הוסף את הפרמטר --set grafana.enabled = true

כאשר אתה מפעיל פקודה זו, אתה אמור לקבל את הפלט הבא:

LAST DEPLOYED: Tue Nov 19 15:56:54 2019
NAMESPACE: monitoring
STATUS: DEPLOYED
RESOURCES:
==> v1/ClusterRole
NAME AGE
loki-promtail-clusterrole 189d
…
NOTES:
The Loki stack has been deployed to your cluster. Loki can now be added as a datasource in Grafana.
See <a href="http://docs.grafana.org/features/datasources/loki/">http://docs.grafana.org/features/datasources/loki/</a> for more details.

כשמסתכלים על מצב הפודים במרחב השמות "ניטור", אנו יכולים לראות שהכל פרוס:

$ kubectl -n monitoring get pods -l release=loki

תוצאה:

NAME                 READY  STATUS   RESTARTS  AGE
loki-0               1/1    Running  0         147m
loki-promtail-9zjvc  1/1    Running  0         3h25m
loki-promtail-f6brf  1/1    Running  0         11h
loki-promtail-hdcj7  1/1    Running  0         3h23m
loki-promtail-jbqhc  1/1    Running  0         11h
loki-promtail-mj642  1/1    Running  0         62m
loki-promtail-nm64g  1/1    Running  0         24m

כל התרמילים פועלים. עכשיו הגיע הזמן לעשות כמה בדיקות!

מתחבר לגרפאנה

כדי להתחבר לגרפאנה מתחת לקוברנטס, צריך לפתוח מנהרה לתרמיל שלה. להלן הפקודה לפתיחת יציאה 3000 עבור תרמיל Grafana:

$ kubectl -n port-forward monitoring svc/loki-grafana 3000:80

נקודה חשובה נוספת היא הצורך לשחזר את סיסמת המנהל של Grafana. הסיסמה נשמרת בסוד loki-grafana בתחום .data.admin-user בפורמט base64.

כדי לשחזר אותו, עליך להפעיל את הפקודה הבאה:

$ kubectl -n monitoring get secret loki-grafana 
 --template '{{index .data "admin-password" | base64decode}}'; echo

השתמש בסיסמה זו בשילוב עם חשבון מנהל ברירת המחדל (אדמין).

הגדרת מקור הנתונים של לוקי בגרפאנה

קודם כל, ודא שמקור הנתונים של Loki (Configuration / Datasource) נוצר.
הנה דוגמה:

דוגמה להגדרת מקור נתונים עבור לוקי

על ידי לחיצה על "בדיקה" תוכל לבדוק את הקשר עם לוקי.

מגיש בקשות ללוקי

כעת עבור לגרפאנה ועבור לקטע "חקר". בעת קבלת יומנים ממכולות, לוקי מוסיף מטא נתונים מ-Kubernetes. כך, זה הופך להיות אפשרי להציג את היומנים של מיכל מסוים.

לדוגמה, לבחירת יומני מיכל של promtail, תוכל להשתמש בשאילתה הבאה: {container_name = "promtail"}.
אל תשכח לבחור את מקור הנתונים של Loki גם כאן.

שאילתה זו תחזיר פעילות מיכל באופן הבא:

תוצאת שאילתה בגרפאנה

הוספה ללוח המחוונים

החל מ-Grafana 6.4, אפשר לשים פרטי יומן ישירות על לוח המחוונים. לאחר מכן, המשתמש יוכל לעבור במהירות בין מספר הבקשות באתר שלו לעקבות אפליקציות.

להלן דוגמה ללוח מחוונים שמיישם את האינטראקציה הזו:

לוח מחוונים לדוגמא עם מדדי Prometheus ויומני לוקי

העתיד של לוקי

התחלתי להשתמש בלוקי במאי/יוני עם גרסה 0.1. גרסה 1 כבר שוחררה היום, ואפילו 1.1 ו-1.2.

חייבים להודות שגרסה 0.1 לא הייתה יציבה מספיק. אבל 0.3 כבר הראה סימנים אמיתיים של בגרות, והגרסאות הבאות (0.4, ואז 1.0) רק חיזקו את הרושם הזה.

אחרי 1.0.0, לאף אחד לא יכול להיות תירוץ לא להשתמש בכלי הנפלא הזה.

שיפורים נוספים לא צריכים להתייחס ל-Loki, אלא לשילוב שלו עם Grafana המעולה. למעשה, ל-Grafana 6.4 כבר יש אינטגרציה טובה עם לוחות מחוונים.

Grafana 6.5, ששוחרר לאחרונה, משפר עוד יותר אינטגרציה זו על ידי זיהוי אוטומטי של התוכן של יומנים בפורמט JSON.

הסרטון שלהלן מציג דוגמה קטנה למנגנון זה:

שימוש במחרוזות לוקי שניתנו בגרפאנה

אפשר להשתמש באחד משדות ה-JSON, למשל, כדי:

• קישורים לכלי חיצוני
• סינון תוכן יומן

לדוגמה, אתה יכול ללחוץ על traceId כדי לעבור אל Zipkin או Jaeger.

כרגיל, אנו מצפים להערותיכם ומזמינים אתכם סמינר מקוון פתוח, שם נדבר על האופן שבו תעשיית ה-DevOps התפתחה במהלך 2019 ונדון בנתיבי פיתוח אפשריים לשנת 2020.

מקור: www.habr.com