ढगांमध्ये कुबर्नेट्सवर पैसे वाचवण्यासाठी कुबेकोस्ट पुनरावलोकन

सध्या, अधिकाधिक कंपन्या हार्डवेअर सर्व्हर आणि त्यांच्या स्वत: च्या व्हर्च्युअल मशीनवरून त्यांच्या पायाभूत सुविधा क्लाउडवर हस्तांतरित करत आहेत. हे समाधान समजावून सांगणे सोपे आहे: हार्डवेअरबद्दल काळजी करण्याची गरज नाही, क्लस्टर सहजपणे अनेक प्रकारे कॉन्फिगर केले जाते... आणि सर्वात महत्त्वाचे म्हणजे, विद्यमान तंत्रज्ञान (कुबर्नेट्स सारखे) लोडवर अवलंबून फक्त संगणकीय शक्ती मोजणे शक्य करते. .

आर्थिक बाजू नेहमीच महत्त्वाची असते. Kubernetes सह क्लाउड इन्फ्रास्ट्रक्चर वापरताना बजेट कमी करण्यात मदत करण्यासाठी या लेखात चर्चा केलेले टूल डिझाइन केले आहे.

परिचय

कुबेकोस्ट Google कडून कॅलिफोर्नियातील एक स्टार्टअप आहे, क्लाउड सेवांमध्ये (कुबर्नेट्स क्लस्टर + सामायिक संसाधनांमध्ये) पायाभूत सुविधांच्या खर्चाची गणना करण्यासाठी, क्लस्टर सेटिंग्जमध्ये अडथळे शोधण्यासाठी आणि स्लॅकला योग्य सूचना पाठवण्यासाठी एक उपाय तयार करतो.

आमच्याकडे परिचित AWS आणि GCP क्लाउड दोन्हीमध्ये Kubernetes सह क्लायंट आहेत आणि, क्वचितच Linux समुदायासाठी, Azure - सर्वसाधारणपणे, Kubecost द्वारे समर्थित सर्व प्लॅटफॉर्मवर. त्यांपैकी काहींसाठी, आम्ही इंट्रा-क्लस्टर सेवांच्या खर्चाची स्वतः गणना करतो (कुबेकोस्ट द्वारे वापरल्या जाणार्‍या पद्धतीचा वापर करून), आणि पायाभूत सुविधांच्या खर्चाचे निरीक्षण करतो आणि त्यांना अनुकूल करण्याचा प्रयत्न करतो. म्हणून, हे तार्किक आहे की आम्हाला अशा कार्ये स्वयंचलित करण्याच्या शक्यतेमध्ये स्वारस्य आहे.

मुख्य कुबेकोस्ट मॉड्यूलचा स्त्रोत कोड मुक्त स्त्रोत परवान्याच्या अटींनुसार खुला आहे (अपाचे परवाना 2.0). ते मुक्तपणे वापरले जाऊ शकते आणि उपलब्ध वैशिष्ट्ये लहान प्रकल्पांसाठी पुरेशी असावीत. तथापि, व्यवसाय हा व्यवसाय आहे: उर्वरित उत्पादन बंद आहे, ते द्वारे वापरले जाऊ शकते सशुल्क सदस्यता, जे व्यावसायिक समर्थन देखील सूचित करते. याव्यतिरिक्त, लेखक लहान क्लस्टरसाठी विनामूल्य परवाना देतात (1 नोडसह 10 क्लस्टर - हा लेख लिहिण्याच्या दरम्यान, ही मर्यादा 20 नोड्सपर्यंत वाढली आहे) किंवा 1 महिन्यासाठी पूर्ण क्षमतेसह चाचणी कालावधी.

सर्वकाही कसे कार्य करते

तर, कुबेकोस्टचा मुख्य भाग अनुप्रयोग आहे किंमत-मॉडेल, Go मध्ये लिहिले आहे. संपूर्ण प्रणालीचे वर्णन करणारा हेल्म चार्ट म्हणतात खर्च विश्लेषक आणि त्याच्या केंद्रस्थानी प्रोमिथियस, ग्राफाना आणि अनेक डॅशबोर्डसह किंमत-मॉडेलची असेंब्ली आहे.

साधारणपणे बोलायचे झाल्यास, खर्च-मॉडेलचा स्वतःचा वेब इंटरफेस असतो, जो टॅब्युलर स्वरूपात खर्चांवरील आलेख आणि तपशीलवार आकडेवारी तसेच, अर्थातच, खर्च ऑप्टिमाइझ करण्यासाठी टिपा दर्शवितो. Grafana मध्ये सादर केलेले डॅशबोर्ड हे Kubecost च्या विकासाचा एक पूर्वीचा टप्पा आहे आणि त्यात खर्च-मॉडेल सारखाच डेटा असतो, क्लस्टर आणि त्याच्या घटकांमधील CPU/मेमरी/नेटवर्क/डिस्क स्पेसच्या वापरावरील नेहमीच्या आकडेवारीसह त्यांना पूरक. .

कुबेकोस्ट कसे कार्य करते?

• कॉस्ट-मॉडेल क्लाउड प्रदात्यांच्या API द्वारे सेवांसाठी किंमती प्राप्त करते.
• पुढे, नोड आणि प्रदेशाच्या लोह प्रकारावर अवलंबून, प्रति नोडची किंमत मोजली जाते.
• नोड्स चालवण्याच्या किमतीच्या आधारावर, प्रत्येक लीफ पॉडला CPU वापराचा प्रति तास, वापरलेल्या मेमरीच्या प्रति गीगाबाइट आणि संचयित केलेल्या डेटाच्या प्रति तास प्रति गीगाबाइटचा खर्च येतो - तो ज्या नोडवर चालत होता किंवा स्टोरेजच्या वर्गावर अवलंबून असतो.
• वैयक्तिक पॉड्स चालविण्याच्या खर्चावर आधारित, नेमस्पेस, सेवा, उपयोजन, स्टेटफुल सेटसाठी देयक मोजले जाते.
• क्यूबे-स्टेट-मेट्रिक्स आणि नोड-निर्यातकर्त्याद्वारे प्रदान केलेल्या मेट्रिक्सचा वापर करून आकडेवारीची गणना केली जाते.

हे लक्षात घेणे महत्वाचे आहे की कुबेकोस्ट डीफॉल्टनुसार केवळ कुबर्नेट्समध्ये उपलब्ध संसाधनांची गणना करते. बाह्य डेटाबेस, GitLab सर्व्हर, S3 स्टोरेज आणि इतर सेवा ज्या क्लस्टरमध्ये नाहीत (जरी त्याच क्लाउडमध्ये आहेत) ते दृश्यमान नाहीत. जरी GCP आणि AWS साठी तुम्ही तुमच्या सेवा खात्यांच्या की जोडू शकता आणि सर्वकाही एकत्रितपणे मोजू शकता.

सेटिंग

Kubecost आवश्यक आहे:

• Kubernetes आवृत्ती 1.8 आणि उच्च;
• कुबे-स्टेट-मेट्रिक्स;
• प्रोमिथियस;
• नोड-निर्यातकर्ता.

असे घडले की आमच्या क्लस्टर्समध्ये या सर्व अटी अगोदरच पूर्ण केल्या गेल्या होत्या, म्हणून असे दिसून आले की प्रोमिथियसमध्ये प्रवेश करण्यासाठी योग्य शेवटचा बिंदू निर्दिष्ट करणे पुरेसे आहे. तथापि, अधिकृत क्यूबेकोस्ट हेल्म चार्टमध्ये आपल्याला बेअर क्लस्टरवर चालविण्यासाठी आवश्यक असलेली प्रत्येक गोष्ट समाविष्ट आहे.

कुबेकोस्ट स्थापित करण्याचे अनेक मार्ग आहेत:

1. मध्ये वर्णन केलेली मानक स्थापना पद्धत सूचना विकसकाच्या वेबसाइटवर. आवश्यक हेल्ममध्ये खर्च-विश्लेषक भांडार जोडा आणि नंतर चार्ट स्थापित करा. तुमचे पोर्ट फॉरवर्ड करणे आणि सेटिंग्ज मॅन्युअली (kubectl द्वारे) आणि/किंवा कॉस्ट-मॉडेल वेब इंटरफेस वापरून अ‍ॅडजस्ट करणे बाकी आहे.

   आम्ही ही पद्धत वापरूनही पाहिली नाही, कारण आम्ही तृतीय-पक्ष तयार-मेड कॉन्फिगरेशन वापरत नाही, परंतु "फक्त स्वतःसाठी प्रयत्न करा" पर्याय चांगला दिसतो. जर तुमच्याकडे आधीपासून सिस्टमचे काही घटक स्थापित केले असतील किंवा तुम्हाला अधिक फाइन-ट्यूनिंग हवे असेल, तर दुसरा मार्ग विचारात घेणे चांगले.

2. मूलत: वापरा समान चार्ट, परंतु ते स्वतः कॉन्फिगर करा आणि स्थापित करा कोणत्याही सोयीस्कर मार्गाने.

   आधीच नमूद केल्याप्रमाणे, कुबेकोस्ट व्यतिरिक्त, या चार्टमध्ये ग्राफाना आणि प्रोमिथियस चार्ट आहेत, जे इच्छेनुसार सानुकूलित केले जाऊ शकतात.

   चार्टवर उपलब्ध values.yaml किंमत-विश्लेषक आपल्याला कॉन्फिगर करण्याची परवानगी देतो:

   • खर्च-विश्लेषक घटकांची यादी ज्यांना तैनात करणे आवश्यक आहे;
   • प्रोमिथियससाठी तुमचा शेवटचा बिंदू (जर तुमच्याकडे आधीपासूनच असेल तर);
   • कॉस्ट-मॉडेल आणि ग्राफानासाठी डोमेन आणि इतर प्रवेश सेटिंग्ज;
   • शेंगा साठी भाष्य;
   • कायमस्वरूपी स्टोरेज आणि त्याचा आकार वापरण्याची गरज.

   वर्णनासह उपलब्ध कॉन्फिगरेशन पर्यायांची संपूर्ण यादी मध्ये उपलब्ध आहे दस्तऐवजीकरण.

   kubecost त्याच्या मूळ आवृत्तीमध्ये प्रवेश प्रतिबंधित करू शकत नाही, तुम्हाला वेब पॅनेलसाठी त्वरित मूलभूत-ऑथ कॉन्फिगर करणे आवश्यक आहे.

3. स्थापित करा फक्त सिस्टम कोर - किंमत-मॉडेल. हे करण्यासाठी, तुमच्याकडे क्लस्टरमध्ये प्रोमिथियस स्थापित केलेले असणे आवश्यक आहे आणि व्हेरिएबलमध्ये त्याच्या पत्त्याचे संबंधित मूल्य निर्दिष्ट करणे आवश्यक आहे. prometheusEndpoint हेल्म साठी. त्यानंतर - अर्ज करा YAML कॉन्फिगरेशनचा संच क्लस्टर मध्ये.

   पुन्हा, तुम्हाला बेसिक-ऑथसह स्वहस्ते इंग्रेस जोडावे लागेल. शेवटी, तुम्हाला खर्च-मॉडेल मेट्रिक्स गोळा करण्यासाठी एक विभाग जोडावा लागेल extraScrapeConfigs प्रोमिथियस कॉन्फिगरेशनमध्ये:

   - job_name: kubecost
     honor_labels: true
     scrape_interval: 1m
     scrape_timeout: 10s
     metrics_path: /metrics
     scheme: http
     dns_sd_configs:
     - names:
       - <адрес вашего сервиса kubecost>
       type: 'A'
       port: 9003

आम्हाला काय मिळते?

पूर्ण स्थापनेसह, आमच्याकडे डॅशबोर्डच्या संचासह kubecost आणि Grafana वेब पॅनेल आहे.

एकूण किंमत, मुख्य स्क्रीनवर प्रदर्शित, प्रत्यक्षात महिन्यासाठी संसाधनांची अंदाजे किंमत दर्शविते. या प्रक्षेपित संसाधनाच्या वापराच्या वर्तमान स्तरावर क्लस्टर (प्रति महिना) वापरण्याची किंमत प्रतिबिंबित करते.

हे मेट्रिक खर्चाचे विश्लेषण करण्यासाठी आणि त्यांना ऑप्टिमाइझ करण्यासाठी अधिक आहे. क्यूबेकॉस्टमध्ये अमूर्त जुलैसाठी एकूण खर्च पाहणे फार सोयीचे नाही: तुम्हाला हे करावे लागेल बिलिंग वर जा. परंतु तुम्ही 1/2/7/30/90 दिवसांसाठी नेमस्पेसेस, लेबल्स, पॉड्सनुसार तुटलेली किंमत पाहू शकता, जे बिलिंग तुम्हाला कधीही दाखवणार नाही.

च्या बोलणे लेबल. तुम्ही ताबडतोब सेटिंग्जमध्ये जाऊन लेबलांची नावे सेट केली पाहिजे जी खर्चाच्या गटासाठी अतिरिक्त श्रेणी म्हणून वापरली जातील:

तुम्ही त्यावर कोणतेही लेबल टांगू शकता - तुमच्याकडे आधीच तुमची स्वतःची लेबलिंग प्रणाली असल्यास सोयीस्कर.

तसेच तेथे तुम्ही API एंडपॉईंटचा पत्ता बदलू शकता ज्याशी किंमत-मॉडेल कनेक्ट होते, GCP मध्ये सूट आकार समायोजित करू शकता आणि त्यांच्या मोजमापासाठी संसाधने आणि चलनांसाठी स्वतःच्या किंमती सेट करू शकता (काही कारणास्तव वैशिष्ट्य एकूण किंमत प्रभावित करत नाही).

कुबेकोस्ट विविध दर्शवू शकतात क्लस्टरमधील समस्या (आणि धोक्याच्या बाबतीत देखील सतर्क). दुर्दैवाने, पर्याय कॉन्फिगर करण्यायोग्य नाही, आणि म्हणूनच, जर तुमच्याकडे विकासकांसाठी वातावरण असेल आणि ते वापरत असतील, तर तुम्हाला सतत असे काहीतरी दिसेल:

एक महत्त्वाचे साधन - क्लस्टर बचत. हे पॉड्सच्या क्रियाकलापाचे मोजमाप करते (नेटवर्कसह संसाधनांचा वापर), आणि आपण किती पैसे आणि काय वाचवू शकता याची देखील गणना करते.

असे दिसते की ऑप्टिमायझेशन टिपा अगदी स्पष्ट आहेत, परंतु अनुभव सूचित करतो की अद्याप पाहण्यासारखे काहीतरी आहे. विशेषतः, पॉड्सच्या नेटवर्क क्रियाकलापाचे निरीक्षण केले जाते (कुबेकॉस्ट निष्क्रियतेकडे लक्ष देण्यास सूचित करते), विनंती केलेली आणि वास्तविक मेमरी आणि CPU वापराची तुलना केली जाते, तसेच क्लस्टर नोड्सद्वारे वापरलेले CPU (अनेक नोड्स एकामध्ये कोसळणे सुचवते), डिस्क लोड आणि आणखी काही डझन पॅरामीटर्स.

कोणत्याही ऑप्टिमायझेशन समस्येप्रमाणे, कुबेकोस्ट डेटावर आधारित संसाधने ऑप्टिमाइझ करण्यासाठी आवश्यक आहे: सावधगिरीने उपचार करा. उदाहरणार्थ, क्लस्टर सेव्हिंग्स नोड्स हटवण्याचा सल्ला देते, ते सुरक्षित असल्याचा दावा करते, परंतु इतर नोड्सवर उपलब्ध नसलेल्या पॉड्समध्ये नोड-निवडक आणि डागांची उपस्थिती लक्षात घेत नाही. आणि सर्वसाधारणपणे, त्यांच्या उत्पादनाचे लेखक देखील अलीकडील लेख (तसे, ज्यांना प्रकल्पाच्या विषयात रस आहे त्यांच्यासाठी हे खूप उपयुक्त ठरू शकते) खर्च ऑप्टिमायझेशनमध्ये घाई न करण्याची शिफारस केली जाते, परंतु या समस्येकडे विचारपूर्वक संपर्क साधण्याची शिफारस केली जाते.

परिणाम

एक-दोन प्रोजेक्ट्सवर महिनाभर kubecost वापरल्यानंतर, आम्ही असा निष्कर्ष काढू शकतो की हे Kubernetes क्लस्टर्ससाठी वापरल्या जाणार्‍या क्लाउड प्रदात्यांच्या सेवांसाठी खर्चाचे विश्लेषण आणि ऑप्टिमाइझ करण्यासाठी एक मनोरंजक (आणि शिकण्यास आणि स्थापित करणे देखील सोपे) साधन आहे. गणना अगदी अचूक असल्याचे दिसून आले: आमच्या प्रयोगांमध्ये ते प्रदात्यांसाठी आवश्यक असलेल्या गोष्टींशी जुळले.

काही तोटे देखील आहेत: गैर-गंभीर बग आहेत आणि काही ठिकाणी कार्यक्षमता काही प्रकल्पांच्या विशिष्ट गरजा पूर्ण करत नाही. तथापि, जर तुम्हाला त्वरीत समजून घ्यायचे असेल की पैसे कुठे जात आहेत आणि क्लाउड सेवांचे बिल सातत्याने 5-30% कमी करण्यासाठी काय "कट" केले जाऊ शकते (आमच्या बाबतीत असेच घडले आहे), हा एक चांगला पर्याय आहे .

PS

आमच्या ब्लॉगवर देखील वाचा:

• «कुबर्नेट्समध्ये ऑटोस्केलिंग आणि संसाधन व्यवस्थापन (विहंगावलोकन आणि व्हिडिओ अहवाल)";
• «कुबर्नेट्स अॅडव्हेंचर डेलीमोशन: क्लाउड्स + ऑन-प्रिमाइसेसमध्ये पायाभूत सुविधा निर्माण करणे";
• «Kubernetes टिपा आणि युक्त्या: नोड वाटप आणि वेब अनुप्रयोग लोड बद्दल».

स्त्रोत: www.habr.com