סקירה כללית של Kubecost כדי לחסוך כסף ב-Kubernetes בעננים

נכון לעכשיו, יותר ויותר חברות מעבירות את התשתית שלהן משרתי חומרה ומכונות וירטואליות משלהן לענן. קל להסביר את הפתרון הזה: אין צורך לדאוג לגבי חומרה, האשכול מוגדר בקלות בדרכים רבות ושונות... והכי חשוב, טכנולוגיות קיימות (כמו Kubernetes) מאפשרות פשוט להתאים את כוח המחשוב בהתאם לעומס. .

ההיבט הפיננסי תמיד חשוב. הכלי הנדון במאמר זה נועד לעזור לצמצם תקציבים בעת שימוש בתשתית ענן עם Kubernetes.

מבוא

Kubecost הוא סטארטאפ קליפורני מבית גוגל, יוצר פתרון לחישוב עלויות תשתית בשירותי ענן (בתוך אשכול Kubernetes + משאבים משותפים), חיפוש צווארי בקבוק בהגדרות אשכול ושליחת התראות מתאימות ל-Slack.

יש לנו לקוחות עם Kubernetes הן בענן ה-AWS וה-GCP המוכרים, ולעתים רחוקות יותר עבור קהילת לינוקס, Azure - באופן כללי, בכל הפלטפורמות הנתמכות על ידי Kubecost. עבור חלקם אנו מחשבים בעצמנו את העלויות של שירותים תוך אשכולות (באמצעות שיטה דומה לזו שבה משתמשת Kubecost), וכן עוקבים אחר עלויות התשתית ומנסים לייעל אותן. לכן, הגיוני שהתעניינו באפשרות של אוטומציה של משימות כאלה.

קוד המקור של מודול Kubecost הראשי פתוח תחת התנאים של רישיון הקוד הפתוח (Apache License 2.0). ניתן להשתמש בו באופן חופשי והתכונות הזמינות אמורות להספיק לפרויקטים קטנים. עם זאת, עסקים זה עסקים: שאר המוצר סגור, ניתן להשתמש בו מנויים בתשלום, אשר מרמזים גם על תמיכה מסחרית. בנוסף, הכותבים מציעים רישיון חינם לאשכולות קטנים (אשכול 1 עם 10 צמתים - במהלך כתיבת מאמר זה, מגבלה זו התרחבה ל-20 צמתים) או תקופת ניסיון עם יכולות מלאות למשך חודש.

איך הכל עובד

אז, החלק העיקרי של Kubecost הוא האפליקציה מודל עלות, כתוב ב-Go. תרשים הגה המתאר את המערכת כולה נקרא מנתח עלויות ובבסיסו מכלול מדגם עלות עם Prometheus, Grafana ומספר לוחות מחוונים.

באופן כללי, ל-cost-model יש ממשק אינטרנט משלו, המציג גרפים וסטטיסטיקות מפורטות על עלויות בצורת טבלה, כמו גם, כמובן, טיפים לייעול עלויות. לוחות המחוונים המוצגים בגרפאנה הם שלב מוקדם יותר בפיתוח Kubecost ומכילים נתונים זהים בהרבה למודל העלות, ומשלימים אותם עם הסטטיסטיקה הרגילה על צריכת שטח CPU/זיכרון/רשת/דיסק באשכול ומרכיביו. .

כיצד פועלת Kubecost?

• מודל העלות מקבל מחירים עבור שירותים דרך ה-API של ספקי ענן.
• יתרה מכך, בהתאם לסוג הברזל של הצומת והאזור, העלות לצומת מחושבת.
• בהתבסס על העלות של הפעלת צמתים, כל תרמיל עלים מקבל עלות לשעת שימוש ב-CPU, לכל ג'יגה-בייט זיכרון שנצרך ולשעה לכל ג'יגה-בייט של נתונים מאוחסנים - תלוי בצומת שבו הוא פעל או בסוג האחסון.
• בהתבסס על עלות תפעול הפודים בודדים, התשלום מחושב עבור מרחבי שמות, שירותים, פריסות, StatefulSets.
• הנתונים הסטטיסטיים מחושבים באמצעות מדדים המסופקים על ידי kube-state-metrics ו-node-exporter.

חשוב לקחת בחשבון את זה Kubecost כברירת מחדל סופרת רק משאבים הזמינים ב-Kubernetes. מסדי נתונים חיצוניים, שרתי GitLab, אחסון S3 ושירותים נוספים שאינם נמצאים באשכול (גם אם נמצאים באותו ענן) אינם גלויים אליו. אמנם עבור GCP ו-AWS אתה יכול להוסיף את המפתחות של חשבונות השירות שלך ולחשב הכל ביחד.

התקנה

Kubecost דורש:

• Kubernetes גרסה 1.8 ומעלה;
• קובייה-מצב-מדדי;
• פרומתאוס;
• יצואנית צמתים.

כך קרה שבאשכולות שלנו כל התנאים הללו התקיימו מראש, אז התברר שמספיק רק לציין את נקודת הקצה הנכונה לגישה לפרמתאוס. עם זאת, התרשים הרשמי של kubecost Helm מכיל את כל מה שאתה צריך כדי לרוץ על אשכול חשוף.

ישנן מספר דרכים להתקין את Kubecost:

1. שיטת התקנה סטנדרטית המתוארת ב הוראות באתר המפתח. חובה הוסף את מאגר מנתח העלויות ל- Helm, ולאחר מכן התקן את התרשים. כל מה שנותר הוא להעביר את היציאה שלך ולהתאים את ההגדרות למצב הרצוי באופן ידני (דרך kubectl) ו/או באמצעות ממשק האינטרנט של מודל העלות.

   אפילו לא ניסינו את השיטה הזו, מכיוון שאנחנו לא משתמשים בתצורות מוכנות של צד שלישי, אבל זה נראה כמו אפשרות טובה "פשוט נסה את זה בעצמך". אם כבר התקנת חלק ממרכיבי המערכת או שאתה רוצה כוונון עדין יותר, עדיף לשקול את הנתיב השני.

2. השתמש בעצם אותו תרשים, אבל הגדר והתקן אותו בעצמך בכל דרך נוחה.

   כפי שכבר ציינו, בנוסף ל-kubecost עצמו, גרף זה מכיל גרפים של Grafana ו-Prometheus, אותם ניתן גם להתאים לפי רצונכם.

   זמין בטבלה values.yaml עבור מנתח עלויות מאפשר לך להגדיר:

   • רשימה של רכיבי מנתח עלויות שיש לפרוס;
   • נקודת הקצה שלך עבור פרומתאוס (אם כבר יש לך);
   • דומיינים והגדרות כניסה אחרות עבור מודל עלות ו-Grafana;
   • הערות לתרמילים;
   • הצורך בשימוש באחסון קבוע ובגודלו.

   רשימה מלאה של אפשרויות תצורה זמינות עם תיאורים זמינה ב תיעוד.

   מכיוון ש-kubecost בגרסה הבסיסית שלו לא יכול להגביל את הגישה, תצטרך להגדיר באופן מיידי את basic-auth עבור פאנל האינטרנט.

3. להתקנה רק ליבת המערכת - מודל עלות. לשם כך, עליך להתקין את Prometheus באשכול ולציין את הערך המתאים של הכתובת שלו במשתנה prometheusEndpoint עבור הלם. אחרי זה - להגיש בקשה סט של תצורות YAML באשכול.

   שוב, תצטרך להוסיף ידנית את Ingress עם אימות בסיסי. לבסוף, תצטרך להוסיף קטע לאיסוף מדדי מודל עלות ב extraScrapeConfigs בתצורת פרומתאוס:

   - job_name: kubecost
     honor_labels: true
     scrape_interval: 1m
     scrape_timeout: 10s
     metrics_path: /metrics
     scheme: http
     dns_sd_configs:
     - names:
       - <адрес вашего сервиса kubecost>
       type: 'A'
       port: 9003

מה אנחנו מקבלים?

עם התקנה מלאה, עומד לרשותנו פאנל האינטרנט kubecost ו-Grafana עם סט לוחות מחוונים.

עלות כוללת, המוצג במסך הראשי, מציג למעשה את העלות המשוערת של המשאבים לחודש. זֶה צָפוּי מחיר המשקף את עלות השימוש באשכול (לחודש) ברמת צריכת המשאב הנוכחית.

מדד זה נועד יותר לניתוח הוצאות וייעולן. זה לא מאוד נוח להסתכל על סך העלויות של יולי מופשט ב-kubecost: תצטרך לעשות זאת ללכת לחיוב. אבל אתה יכול לראות עלויות מחולקות לפי מרחבי שמות, תוויות, תרמילים למשך 1/2/7/30/90 ימים, שהחיוב לא יראה לך לעולם.

אם כבר מדברים תוויות. עליך לעבור מיד להגדרות ולהגדיר את שמות התוויות שישמשו כקטגוריות נוספות לעלויות קיבוץ:

אתה יכול לתלות עליהם כל תוויות - נוח אם כבר יש לך מערכת תיוג משלך.

גם שם אתה יכול לשנות את הכתובת של נקודת הקצה של ה-API שאליה מתחבר מודל העלות, להתאים את גודל ההנחה ב-GCP ולהגדיר מחירים משלך למשאבים ולמטבע למדידה שלהם (מסיבה כלשהי התכונה לא משפיעה על העלות הכוללת).

Kubecost יכול להראות מגוון בעיות באשכול (ואפילו מתריע במקרה של סכנה). למרבה הצער, האפשרות אינה ניתנת להגדרה, ולכן, אם יש לך סביבות למפתחים ואתה משתמש בהן, תראה כל הזמן משהו כזה:

כלי חשוב - חיסכון באשכול. הוא מודד את פעילות הפוד (צריכת משאבים, כולל רשתות), וגם מחשב כמה כסף ובמה אפשר לחסוך.

אולי נראה שטיפים לאופטימיזציה ברורים למדי, אבל הניסיון מצביע על כך שעדיין יש על מה להסתכל. בפרט, מנוטרת פעילות הרשת של פודים (Kubecost מציעה לשים לב לאלה שאינם פעילים), הזיכרון המבוקש והממשי וצריכת ה-CPU מושווה, כמו גם ה-CPU המשמש את צמתי האשכול (מרמז על קריסת מספר צמתים לאחד), דיסק עומס ועוד כמה עשרות פרמטרים.

כמו בכל בעיית אופטימיזציה, אופטימיזציה של משאבים על סמך נתוני Kubecost דורשת: לטפל בזהירות. לדוגמה, Cluster Savings מציע למחוק צמתים, בטענה שזה בטוח, אבל לא לוקח בחשבון את נוכחותם של בוררי צמתים וכתמים בתרמילים הפרוסים עליהם שאינם זמינים בצמתים אחרים. ובכלל, אפילו מחברי המוצר שלהם מאמר אחרון (אגב, זה יכול להועיל מאוד למי שמתעניין בנושא הפרוייקט) מומלץ לא למהר לטובה לייעול עלויות, אלא לגשת לנושא בשיקול דעת.

תוצאות של

לאחר שימוש ב-kubecost במשך חודש בכמה פרויקטים, אנו יכולים להסיק שזהו כלי מעניין (וגם קל ללמידה והתקנה) לניתוח ואופטימיזציה של עלויות עבור שירותי ספקי ענן המשמשים לאשכולות Kubernetes. החישובים מתבררים כמדויקים מאוד: בניסויים שלנו הם עולים בקנה אחד עם מה שהספקים דרשו בפועל.

יש גם כמה חסרונות: יש באגים לא קריטיים, ובמקומות מסוימים הפונקציונליות לא מכסה את הצרכים הספציפיים לפרויקטים מסוימים. עם זאת, אם אתה צריך להבין במהירות לאן הולך הכסף ומה ניתן "לקצץ" כדי להפחית באופן עקבי את החשבון עבור שירותי ענן ב-5-30% (זה מה שקרה במקרה שלנו), זו אפשרות מצוינת .

נ.ב.

קרא גם בבלוג שלנו:

• «קנה מידה אוטומטי וניהול משאבים ב-Kubernetes (סקירה כללית ודוח וידאו)";
• «Kubernetes adventure Dailymotion: יצירת תשתית בעננים + מקומית";
• «עצות וטריקים של Kubernetes: על הקצאת צמתים וטעינת יישומי אינטרנט".

מקור: www.habr.com