बादलों में कुबेरनेट्स पर पैसे बचाने के लिए क्यूबकॉस्ट समीक्षा

वर्तमान में, अधिक से अधिक कंपनियां अपने बुनियादी ढांचे को हार्डवेयर सर्वर और अपनी वर्चुअल मशीनों से क्लाउड पर स्थानांतरित कर रही हैं। इस समाधान को समझाना आसान है: हार्डवेयर के बारे में चिंता करने की कोई आवश्यकता नहीं है, क्लस्टर को कई अलग-अलग तरीकों से आसानी से कॉन्फ़िगर किया गया है... और सबसे महत्वपूर्ण बात यह है कि मौजूदा प्रौद्योगिकियां (जैसे कुबेरनेट्स) लोड के आधार पर कंप्यूटिंग शक्ति को स्केल करना संभव बनाती हैं .

वित्तीय पहलू हमेशा महत्वपूर्ण होता है. इस आलेख में चर्चा किया गया टूल कुबेरनेट्स के साथ क्लाउड इंफ्रास्ट्रक्चर का उपयोग करते समय बजट को कम करने में मदद करने के लिए डिज़ाइन किया गया है।

परिचय

क्यूबकोस्ट Google का एक कैलिफ़ोर्नियाई स्टार्टअप है, जो क्लाउड सेवाओं (कुबेरनेट्स क्लस्टर + साझा संसाधनों के भीतर) में बुनियादी ढांचे की लागत की गणना करने, क्लस्टर सेटिंग्स में बाधाओं की खोज करने और स्लैक को उचित सूचनाएं भेजने के लिए एक समाधान तैयार कर रहा है।

हमारे पास परिचित एडब्ल्यूएस और जीसीपी क्लाउड दोनों में कुबेरनेट्स के साथ ग्राहक हैं, और, लिनक्स समुदाय के लिए, एज़्योर - सामान्य तौर पर, क्यूबकोस्ट द्वारा समर्थित सभी प्लेटफार्मों पर। उनमें से कुछ के लिए, हम स्वयं इंट्रा-क्लस्टर सेवाओं की लागतों की गणना करते हैं (क्यूबेकॉस्ट द्वारा उपयोग की जाने वाली विधि का उपयोग करके), और बुनियादी ढांचे की लागतों की निगरानी भी करते हैं और उन्हें अनुकूलित करने का प्रयास करते हैं। इसलिए, यह तर्कसंगत है कि हम ऐसे कार्यों को स्वचालित करने की संभावना में रुचि रखते थे।

मुख्य क्यूबेकॉस्ट मॉड्यूल का स्रोत कोड ओपन सोर्स लाइसेंस (अपाचे लाइसेंस 2.0) की शर्तों के तहत खुला है। इसका उपयोग स्वतंत्र रूप से किया जा सकता है और उपलब्ध सुविधाएँ छोटी परियोजनाओं के लिए पर्याप्त होनी चाहिए। हालाँकि, व्यवसाय व्यवसाय है: शेष उत्पाद बंद है, इसका उपयोग किया जा सकता है सशुल्क सदस्यता, जो व्यावसायिक समर्थन भी दर्शाता है। इसके अलावा, लेखक छोटे समूहों के लिए एक मुफ्त लाइसेंस (1 नोड्स वाला 10 क्लस्टर - इस लेख के लेखन के दौरान, यह सीमा 20 नोड्स तक विस्तारित हो गई है) या 1 महीने के लिए पूर्ण क्षमताओं के साथ एक परीक्षण अवधि की पेशकश करते हैं।

सब कुछ कैसे काम करता है

तो, क्यूबकोस्ट का मुख्य भाग एप्लिकेशन है लागत-मॉडल, गो में लिखा है। संपूर्ण सिस्टम का वर्णन करने वाले हेल्म चार्ट को कहा जाता है लागत-विश्लेषक और इसके मूल में प्रोमेथियस, ग्राफाना और कई डैशबोर्ड के साथ एक लागत-मॉडल की एक असेंबली है।

सामान्यतया, लागत-मॉडल का अपना वेब इंटरफ़ेस होता है, जो सारणीबद्ध रूप में लागत पर ग्राफ़ और विस्तृत आँकड़े दिखाता है, साथ ही, लागत को अनुकूलित करने के लिए युक्तियाँ भी दिखाता है। ग्राफाना में प्रस्तुत डैशबोर्ड क्यूबकोस्ट के विकास में एक प्रारंभिक चरण है और इसमें लागत-मॉडल के समान डेटा शामिल है, जो क्लस्टर और उसके सीपीयू/मेमोरी/नेटवर्क/डिस्क स्थान की खपत पर सामान्य आंकड़ों के साथ पूरक है। अवयव।

क्यूबकोस्ट कैसे काम करता है?

• लागत-मॉडल क्लाउड प्रदाताओं के एपीआई के माध्यम से सेवाओं के लिए कीमतें प्राप्त करता है।
• इसके अलावा, नोड के लौह प्रकार और क्षेत्र के आधार पर, प्रति नोड लागत की गणना की जाती है।
• चलने वाले नोड्स की लागत के आधार पर, प्रत्येक लीफ पॉड को प्रति घंटे सीपीयू उपयोग, प्रति गीगाबाइट मेमोरी खपत, और प्रति घंटे प्रति गीगाबाइट संग्रहीत डेटा की लागत मिलती है - यह उस नोड पर निर्भर करता है जिस पर यह चल रहा था या भंडारण की श्रेणी।
• व्यक्तिगत पॉड्स के संचालन की लागत के आधार पर, नामस्थानों, सेवाओं, परिनियोजन, स्टेटफुलसेट्स के लिए भुगतान की गणना की जाती है।
• सांख्यिकी की गणना क्यूब-स्टेट-मेट्रिक्स और नोड-एक्सपोर्टर द्वारा प्रदान किए गए मेट्रिक्स का उपयोग करके की जाती है।

यह विचार करना महत्वपूर्ण है कि क्यूबकोस्ट डिफ़ॉल्ट रूप से केवल कुबेरनेट्स में उपलब्ध संसाधनों की गणना करता है. बाहरी डेटाबेस, GitLab सर्वर, S3 स्टोरेज और अन्य सेवाएँ जो क्लस्टर में नहीं हैं (भले ही एक ही क्लाउड में स्थित हों) इसे दिखाई नहीं देती हैं। हालाँकि GCP और AWS के लिए आप अपने सेवा खातों की कुंजियाँ जोड़ सकते हैं और सब कुछ एक साथ गणना कर सकते हैं।

स्थापना

क्यूबकोस्ट की आवश्यकता है:

• कुबेरनेट्स संस्करण 1.8 और उच्चतर;
• क्यूब-स्टेट-मेट्रिक्स;
• प्रोमेथियस;
• नोड-निर्यातक.

ऐसा हुआ कि हमारे समूहों में ये सभी शर्तें पहले से पूरी की गईं, इसलिए यह पता चला कि प्रोमेथियस तक पहुंच के लिए सही समापन बिंदु निर्दिष्ट करना ही पर्याप्त था। हालाँकि, आधिकारिक क्यूबकोस्ट हेल्म चार्ट में वह सब कुछ शामिल है जो आपको नंगे क्लस्टर पर चलाने के लिए आवश्यक है।

क्यूबकोस्ट को स्थापित करने के कई तरीके हैं:

1. मानक स्थापना विधि में वर्णित है निर्देश डेवलपर की वेबसाइट पर। आवश्यक हेल्म में लागत-विश्लेषक भंडार जोड़ें, और फिर चार्ट स्थापित करें. जो कुछ बचा है वह आपके पोर्ट को अग्रेषित करना और सेटिंग्स को वांछित स्थिति में मैन्युअल रूप से (kubectl के माध्यम से) और/या लागत-मॉडल वेब इंटरफ़ेस का उपयोग करके समायोजित करना है।

   हमने इस पद्धति को आज़माया भी नहीं है, क्योंकि हम तृतीय-पक्ष तैयार कॉन्फ़िगरेशन का उपयोग नहीं करते हैं, लेकिन यह एक अच्छा "बस इसे अपने लिए आज़माएँ" विकल्प जैसा दिखता है। यदि आपके पास पहले से ही कुछ सिस्टम घटक स्थापित हैं या आप अधिक फ़ाइन-ट्यूनिंग चाहते हैं, तो दूसरे पथ पर विचार करना बेहतर है।

2. अनिवार्य रूप से प्रयोग करें वही चार्ट, लेकिन इसे स्वयं कॉन्फ़िगर और इंस्टॉल करें किसी भी सुविधाजनक तरीके से.

   जैसा कि पहले ही उल्लेख किया गया है, क्यूबकोस्ट के अलावा, इस चार्ट में ग्राफाना और प्रोमेथियस चार्ट शामिल हैं, जिन्हें इच्छानुसार अनुकूलित भी किया जा सकता है।

   चार्ट पर उपलब्ध है values.yaml लागत-विश्लेषक के लिए आपको कॉन्फ़िगर करने की अनुमति देता है:

   • लागत-विश्लेषक घटकों की एक सूची जिन्हें तैनात करने की आवश्यकता है;
   • प्रोमेथियस के लिए आपका समापन बिंदु (यदि आपके पास पहले से ही एक है);
   • लागत-मॉडल और ग्राफाना के लिए डोमेन और अन्य प्रवेश सेटिंग्स;
   • पॉड्स के लिए एनोटेशन;
   • स्थायी भंडारण और उसके आकार का उपयोग करने की आवश्यकता।

   विवरण के साथ उपलब्ध कॉन्फ़िगरेशन विकल्पों की पूरी सूची यहां उपलब्ध है प्रलेखन.

   चूँकि kubecost अपने मूल संस्करण में पहुंच को प्रतिबंधित नहीं कर सकता है, इसलिए आपको वेब पैनल के लिए तुरंत basic-auth को कॉन्फ़िगर करने की आवश्यकता होगी।

3. स्थापित करने के लिए केवल सिस्टम कोर - लागत-मॉडल। ऐसा करने के लिए, आपके पास क्लस्टर में प्रोमेथियस स्थापित होना चाहिए और चर में इसके पते का संबंधित मान निर्दिष्ट करना होगा prometheusEndpoint हेल्म के लिए. उसके बाद - आवेदन करें YAML कॉन्फ़िगरेशन का सेट क्लस्टर में.

   फिर, आपको बेसिक-ऑथ के साथ इनग्रेस को मैन्युअल रूप से जोड़ना होगा। अंत में, आपको लागत-मॉडल मेट्रिक्स एकत्र करने के लिए एक अनुभाग जोड़ना होगा extraScrapeConfigs प्रोमेथियस कॉन्फ़िगरेशन में:

   - job_name: kubecost
     honor_labels: true
     scrape_interval: 1m
     scrape_timeout: 10s
     metrics_path: /metrics
     scheme: http
     dns_sd_configs:
     - names:
       - <адрес вашего сервиса kubecost>
       type: 'A'
       port: 9003

हमें क्या मिलता है?

पूर्ण इंस्टॉलेशन के साथ, हमारे पास डैशबोर्ड के सेट के साथ क्यूबकोस्ट और ग्राफाना वेब पैनल उपलब्ध है।

कुल लागत, मुख्य स्क्रीन पर प्रदर्शित, वास्तव में महीने के लिए संसाधनों की अनुमानित लागत को दर्शाता है। यह अनुमान मूल्य संसाधन खपत के वर्तमान स्तर पर क्लस्टर (प्रति माह) का उपयोग करने की लागत को दर्शाता है।

यह मीट्रिक खर्चों का विश्लेषण करने और उन्हें अनुकूलित करने के लिए अधिक है। क्यूबकोस्ट में जुलाई के लिए कुल लागत को देखना बहुत सुविधाजनक नहीं है: आपको ऐसा करना होगा बिलिंग पर जाएं. लेकिन आप 1/2/7/30/90 दिनों के लिए नामस्थान, लेबल, पॉड द्वारा विभाजित लागत देख सकते हैं, जो बिलिंग आपको कभी नहीं दिखाएगी।

की बात हो रही लेबल. आपको तुरंत सेटिंग्स में जाना चाहिए और उन लेबलों के नाम सेट करना चाहिए जिनका उपयोग लागतों को समूहीकृत करने के लिए अतिरिक्त श्रेणियों के रूप में किया जाएगा:

आप उन पर कोई भी लेबल लटका सकते हैं - यदि आपके पास पहले से ही अपना स्वयं का लेबलिंग सिस्टम है तो सुविधाजनक है।

इसके अलावा वहां आप एपीआई एंडपॉइंट का पता बदल सकते हैं जिससे लागत-मॉडल कनेक्ट होता है, जीसीपी में छूट का आकार समायोजित कर सकते हैं और उनके माप के लिए संसाधनों और मुद्रा के लिए अपनी कीमतें निर्धारित कर सकते हैं (किसी कारण से यह सुविधा कुल लागत को प्रभावित नहीं करती है)।

क्यूबकोस्ट विभिन्न दिखा सकता है क्लस्टर में समस्याएँ (और खतरे की स्थिति में सतर्क भी रहें)। दुर्भाग्य से, विकल्प कॉन्फ़िगर करने योग्य नहीं है, और इसलिए, यदि आपके पास डेवलपर्स के लिए वातावरण है और उनका उपयोग करते हैं, तो आपको लगातार कुछ इस तरह दिखाई देगा:

एक महत्वपूर्ण उपकरण - क्लस्टर बचत. यह पॉड्स की गतिविधि (नेटवर्क सहित संसाधनों की खपत) को मापता है, और यह भी गणना करता है कि आप कितना पैसा और किस पर बचत कर सकते हैं।

ऐसा लग सकता है कि अनुकूलन युक्तियाँ बिल्कुल स्पष्ट हैं, लेकिन अनुभव बताता है कि अभी भी कुछ देखना बाकी है। विशेष रूप से, पॉड्स की नेटवर्क गतिविधि की निगरानी की जाती है (क्यूबेकॉस्ट निष्क्रिय पॉड्स पर ध्यान देने का सुझाव देता है), अनुरोधित और वास्तविक मेमोरी और सीपीयू खपत की तुलना की जाती है, साथ ही क्लस्टर नोड्स द्वारा उपयोग किए जाने वाले सीपीयू (कई नोड्स को एक में समेटने का सुझाव दिया जाता है), डिस्क लोड और कुछ दर्जन से अधिक पैरामीटर।

किसी भी अनुकूलन मुद्दे की तरह, क्यूबेकॉस्ट डेटा के आधार पर संसाधनों के अनुकूलन के लिए निम्न की आवश्यकता होती है: सावधानी से व्यवहार करें. उदाहरण के लिए, क्लस्टर सेविंग्स नोड्स को हटाने का सुझाव देता है, यह दावा करते हुए कि यह सुरक्षित है, लेकिन उन पर तैनात पॉड्स में नोड-चयनकर्ताओं और दागों की उपस्थिति को ध्यान में नहीं रखता है जो अन्य नोड्स पर उपलब्ध नहीं हैं। और सामान्य तौर पर, यहां तक ​​कि उत्पाद के लेखक भी अपने में हालिया लेख (वैसे, यह उन लोगों के लिए बहुत उपयोगी हो सकता है जो परियोजना के विषय में रुचि रखते हैं) यह अनुशंसा की जाती है कि लागत अनुकूलन में जल्दबाजी न करें, बल्कि मुद्दे पर सोच-समझकर विचार करें।

परिणाम

कुछ परियोजनाओं पर एक महीने तक क्यूबेकॉस्ट का उपयोग करने के बाद, हम यह निष्कर्ष निकाल सकते हैं कि यह कुबेरनेट्स क्लस्टर के लिए उपयोग किए जाने वाले क्लाउड प्रदाताओं की सेवाओं के लिए लागत का विश्लेषण और अनुकूलन करने के लिए एक दिलचस्प (और सीखने और स्थापित करने में भी आसान) उपकरण है। गणनाएँ बहुत सटीक निकलीं: हमारे प्रयोगों में वे प्रदाताओं की वास्तव में आवश्यकता के अनुरूप थीं।

कुछ नकारात्मक पहलू भी हैं: गैर-महत्वपूर्ण बग हैं, और कुछ स्थानों पर कार्यक्षमता कुछ परियोजनाओं के लिए विशिष्ट आवश्यकताओं को कवर नहीं करती है। हालाँकि, यदि आपको तुरंत यह समझने की आवश्यकता है कि पैसा कहाँ जा रहा है और क्लाउड सेवाओं के बिल को लगातार 5-30% तक कम करने के लिए क्या "कटौती" की जा सकती है (हमारे मामले में यही हुआ है), तो यह एक बढ़िया विकल्प है .

पुनश्च

हमारे ब्लॉग पर भी पढ़ें:

• «कुबेरनेट्स में ऑटोस्केलिंग और संसाधन प्रबंधन (अवलोकन और वीडियो रिपोर्ट)";
• «कुबेरनेट्स एडवेंचर डेलीमोशन: क्लाउड + ऑन-प्रिमाइसेस में बुनियादी ढांचे का निर्माण";
• «कुबेरनेट्स टिप्स और ट्रिक्स: नोड आवंटन और वेब एप्लिकेशन लोड के बारे में'.

स्रोत: www.habr.com