ক্লাউডে কুবারনেটে অর্থ সাশ্রয়ের জন্য কুবেকোস্ট পর্যালোচনা

বর্তমানে, আরও অনেক কোম্পানি তাদের পরিকাঠামো হার্ডওয়্যার সার্ভার এবং তাদের নিজস্ব ভার্চুয়াল মেশিন থেকে ক্লাউডে স্থানান্তর করছে। এই সমাধানটি ব্যাখ্যা করা সহজ: হার্ডওয়্যার নিয়ে চিন্তা করার দরকার নেই, ক্লাস্টারটি সহজেই বিভিন্ন উপায়ে কনফিগার করা হয়েছে... এবং সবচেয়ে গুরুত্বপূর্ণভাবে, বিদ্যমান প্রযুক্তিগুলি (যেমন কুবারনেটস) লোডের উপর নির্ভর করে সহজভাবে কম্পিউটিং শক্তি স্কেল করা সম্ভব করে তোলে। .

আর্থিক দিক সবসময় গুরুত্বপূর্ণ। এই নিবন্ধে আলোচনা করা টুলটি Kubernetes-এর সাথে ক্লাউড অবকাঠামো ব্যবহার করার সময় বাজেট কমাতে সাহায্য করার জন্য ডিজাইন করা হয়েছে।

ভূমিকা

কুবেকোস্ট হল Google-এর একটি ক্যালিফোর্নিয়ান স্টার্টআপ, ক্লাউড পরিষেবাগুলিতে পরিকাঠামোর খরচ গণনা করার জন্য একটি সমাধান তৈরি করে (একটি Kubernetes ক্লাস্টার + শেয়ার্ড রিসোর্সের মধ্যে), ক্লাস্টার সেটিংসে বাধাগুলি অনুসন্ধান করা এবং স্ল্যাকে উপযুক্ত বিজ্ঞপ্তি পাঠানো৷

আমাদের কাছে পরিচিত AWS এবং GCP ক্লাউড এবং Azure-তে কুবারনেটের ক্লায়েন্ট রয়েছে, যা লিনাক্স সম্প্রদায়ের জন্য আরও বিরল - সাধারণভাবে, Kubecost দ্বারা সমর্থিত সমস্ত প্ল্যাটফর্মে। তাদের মধ্যে কিছুর জন্য, আমরা নিজেরাই ইন্ট্রা-ক্লাস্টার পরিষেবাগুলির খরচ গণনা করি (কুবেকোস্ট দ্বারা ব্যবহৃত পদ্ধতির মতো একটি পদ্ধতি ব্যবহার করে), এবং অবকাঠামোগত খরচগুলিও নিরীক্ষণ করি এবং সেগুলি অপ্টিমাইজ করার চেষ্টা করি। অতএব, এটা যৌক্তিক যে আমরা এই ধরনের কাজগুলি স্বয়ংক্রিয় করার সম্ভাবনায় আগ্রহী ছিলাম।

মূল Kubecost মডিউলের সোর্স কোড ওপেন সোর্স লাইসেন্সের শর্তাবলীর অধীনে খোলা আছে (Apache License 2.0)। এটি অবাধে ব্যবহার করা যেতে পারে এবং উপলব্ধ বৈশিষ্ট্যগুলি ছোট প্রকল্পের জন্য যথেষ্ট হওয়া উচিত। তবে ব্যবসা হচ্ছে ব্যবসা: বাকি পণ্য বন্ধ, এটি দ্বারা ব্যবহার করা যেতে পারে প্রদত্ত সাবস্ক্রিপশন, যা বাণিজ্যিক সমর্থনও বোঝায়। এছাড়াও, লেখকরা ছোট ক্লাস্টারগুলির জন্য একটি বিনামূল্যে লাইসেন্স অফার করেন (1টি নোড সহ 10টি ক্লাস্টার - এই নিবন্ধটি লেখার সময়, এই সীমাটি 20টি নোডে প্রসারিত হয়েছে) বা 1 মাসের জন্য সম্পূর্ণ ক্ষমতা সহ একটি ট্রায়াল সময়কাল।

কিভাবে সবকিছু কাজ করে

সুতরাং, Kubecost এর প্রধান অংশ হল অ্যাপ্লিকেশন খরচ-মডেল, Go লেখা। একটি হেলম চার্ট যা সমগ্র সিস্টেমকে বর্ণনা করে তাকে বলা হয় খরচ বিশ্লেষক এবং এর মূল অংশে প্রমিথিউস, গ্রাফানা এবং বেশ কয়েকটি ড্যাশবোর্ড সহ একটি খরচ-মডেল থেকে একটি সমাবেশ।

সাধারণভাবে বলতে গেলে, খরচ-মডেলের নিজস্ব ওয়েব ইন্টারফেস রয়েছে, যা ট্যাবুলার আকারে খরচের উপর গ্রাফ এবং বিস্তারিত পরিসংখ্যান দেখায়, সেইসাথে, অবশ্যই, খরচ অপ্টিমাইজ করার জন্য টিপস। Grafana-এ উপস্থাপিত ড্যাশবোর্ডগুলি হল Kubecost-এর বিকাশের একটি পূর্ববর্তী পর্যায় এবং এতে খরচ-মডেলের মতো একই ডেটা রয়েছে, যা ক্লাস্টারে CPU/মেমরি/নেটওয়ার্ক/ডিস্ক স্পেস খরচের স্বাভাবিক পরিসংখ্যানের সাথে সম্পূরক করে। উপাদান

Kubecost কিভাবে কাজ করে?

• কস্ট-মডেল ক্লাউড প্রদানকারীদের API-এর মাধ্যমে পরিষেবার জন্য মূল্য গ্রহণ করে।
• আরও, নোডের লোহার প্রকার এবং অঞ্চলের উপর নির্ভর করে, প্রতি নোডের খরচ গণনা করা হয়।
• নোড চালানোর খরচের উপর ভিত্তি করে, প্রতিটি লিফ পড প্রতি ঘন্টায় CPU ব্যবহারের খরচ, প্রতি গিগাবাইট মেমরি খরচ করে এবং প্রতি ঘন্টায় প্রতি গিগাবাইট ডেটা সঞ্চয় করে - এটি যে নোডটিতে চলছিল বা স্টোরেজের ক্লাসের উপর নির্ভর করে।
• পৃথক পড পরিচালনার খরচের উপর ভিত্তি করে, নেমস্পেস, পরিষেবা, স্থাপনা, স্টেটফুলসেটগুলির জন্য অর্থপ্রদান গণনা করা হয়।
• কুবে-স্টেট-মেট্রিক্স এবং নোড-রপ্তানিকারক দ্বারা প্রদত্ত মেট্রিক্স ব্যবহার করে পরিসংখ্যান গণনা করা হয়।

এটা বিবেচনা করা গুরুত্বপূর্ণ যে Kubecost ডিফল্টরূপে শুধুমাত্র Kubernetes-এ উপলব্ধ সম্পদ গণনা করে. বহিরাগত ডাটাবেস, গিটল্যাব সার্ভার, S3 স্টোরেজ এবং অন্যান্য পরিষেবা যা ক্লাস্টারে নেই (এমনকি একই ক্লাউডে অবস্থিত হলেও) এটি দৃশ্যমান নয়। যদিও GCP এবং AWS-এর জন্য আপনি আপনার পরিষেবা অ্যাকাউন্টের কী যোগ করতে পারেন এবং সবকিছু একসাথে গণনা করতে পারেন।

বিন্যাস

Kubecost প্রয়োজন:

• Kubernetes সংস্করণ 1.8 এবং উচ্চতর;
• kube-রাষ্ট্র-মেট্রিক্স;
• প্রমিথিউস;
• নোড-রপ্তানিকারক।

এটি তাই ঘটেছে যে আমাদের ক্লাস্টারগুলিতে এই সমস্ত শর্তগুলি আগেই পূরণ করা হয়েছিল, তাই এটি প্রমাণিত হয়েছিল যে প্রমিথিউসে অ্যাক্সেসের জন্য সঠিক শেষ পয়েন্টটি নির্দিষ্ট করা যথেষ্ট ছিল। যাইহোক, অফিসিয়াল কিউবেকোস্ট হেলম চার্টে একটি বেয়ার ক্লাস্টারে চালানোর জন্য আপনার যা দরকার তা রয়েছে।

Kubecost ইনস্টল করার বিভিন্ন উপায় আছে:

1. স্ট্যান্ডার্ড ইনস্টলেশন পদ্ধতি বর্ণিত নির্দেশাবলী বিকাশকারীর ওয়েবসাইটে। প্রয়োজনীয় হেলমে খরচ-বিশ্লেষক সংগ্রহস্থল যোগ করুন, এবং তারপর চার্ট ইনস্টল করুন. যা অবশিষ্ট থাকে তা হল আপনার পোর্ট ফরোয়ার্ড করা এবং সেটিংসকে ম্যানুয়ালি (kubectl এর মাধ্যমে) এবং/অথবা খরচ-মডেল ওয়েব ইন্টারফেস ব্যবহার করে পছন্দসই অবস্থায় সামঞ্জস্য করা।

   আমরা এই পদ্ধতিটিও চেষ্টা করিনি, যেহেতু আমরা তৃতীয় পক্ষের তৈরি কনফিগারেশন ব্যবহার করি না, তবে এটি একটি ভাল "শুধু নিজের জন্য চেষ্টা করুন" বিকল্পের মতো দেখাচ্ছে। আপনার যদি ইতিমধ্যে সিস্টেমের কিছু উপাদান ইনস্টল করা থাকে বা আপনি আরও সূক্ষ্ম-টিউনিং চান তবে দ্বিতীয় পথটি বিবেচনা করা ভাল।

2. অপরিহার্যভাবে ব্যবহার করুন একই চার্ট, কিন্তু কনফিগার করুন এবং এটি নিজেই ইনস্টল করুন যেকোনো সুবিধাজনক উপায়ে।

   ইতিমধ্যেই উল্লেখ করা হয়েছে, কিউবেকোস্ট ছাড়াও, এই চার্টে গ্রাফানা এবং প্রমিথিউস চার্ট রয়েছে, যা পছন্দসই হিসাবে কাস্টমাইজ করা যেতে পারে।

   চার্টে উপলব্ধ values.yaml খরচ-বিশ্লেষক আপনাকে কনফিগার করতে দেয়:

   • ব্যয়-বিশ্লেষক উপাদানগুলির একটি তালিকা যা স্থাপন করা প্রয়োজন;
   • প্রমিথিউসের জন্য আপনার শেষ পয়েন্ট (যদি আপনার ইতিমধ্যেই থাকে);
   • খরচ-মডেল এবং Grafana-এর জন্য ডোমেইন এবং অন্যান্য প্রবেশ সেটিংস;
   • পডের জন্য টীকা;
   • স্থায়ী স্টোরেজ এবং এর আকার ব্যবহার করার প্রয়োজন।

   বর্ণনা সহ উপলব্ধ কনফিগারেশন বিকল্পগুলির একটি সম্পূর্ণ তালিকা পাওয়া যায় ডকুমেন্টেশন.

   যেহেতু kubecost এর মৌলিক সংস্করণে অ্যাক্সেস সীমাবদ্ধ করতে পারে না, তাই আপনাকে অবিলম্বে ওয়েব প্যানেলের জন্য মৌলিক-প্রমাণ কনফিগার করতে হবে।

3. স্থাপন করা শুধুমাত্র সিস্টেম কোর - খরচ মডেল। এটি করার জন্য, আপনাকে অবশ্যই ক্লাস্টারে প্রমিথিউস ইনস্টল করতে হবে এবং ভেরিয়েবলে এর ঠিকানার সংশ্লিষ্ট মান উল্লেখ করতে হবে। prometheusEndpoint হেলমের জন্য। এর পরে - আবেদন করুন YAML কনফিগারেশনের সেট ক্লাস্টারে

   আবার, আপনাকে ম্যানুয়ালি মৌলিক-প্রমাণ সহ Ingress যোগ করতে হবে। অবশেষে, আপনাকে খরচ-মডেল মেট্রিক্স সংগ্রহের জন্য একটি বিভাগ যোগ করতে হবে extraScrapeConfigs প্রমিথিউস কনফিগারেশনে:

   - job_name: kubecost
     honor_labels: true
     scrape_interval: 1m
     scrape_timeout: 10s
     metrics_path: /metrics
     scheme: http
     dns_sd_configs:
     - names:
       - <адрес вашего сервиса kubecost>
       type: 'A'
       port: 9003

আমরা কি পেতে পারি?

সম্পূর্ণ ইনস্টলেশনের সাথে, আমাদের হাতে রয়েছে কিউবেকোস্ট এবং গ্রাফানা ওয়েব প্যানেল এবং ড্যাশবোর্ডের একটি সেট।

মোট খরচ, প্রধান স্ক্রিনে প্রদর্শিত, প্রকৃতপক্ষে মাসের জন্য সম্পদের আনুমানিক খরচ দেখায়। এই অনুমানযোগ্য সম্পদ ব্যবহারের বর্তমান স্তরে ক্লাস্টার (প্রতি মাসে) ব্যবহারের খরচ প্রতিফলিত করে।

এই মেট্রিক ব্যয় বিশ্লেষণ এবং তাদের অপ্টিমাইজ করার জন্য আরও বেশি। কুবেকোস্টে বিমূর্ত জুলাইয়ের জন্য মোট খরচগুলি দেখা খুব সুবিধাজনক নয়: আপনাকে এটি করতে হবে বিলিং এ যান. কিন্তু আপনি 1/2/7/30/90 দিনের জন্য নেমস্পেস, লেবেল, পড দ্বারা বিভক্ত খরচ দেখতে পাচ্ছেন, যা আপনাকে কখনই দেখাবে না।

কোনো কিছু সম্পর্কে বলতে গেলে লেবেল. আপনাকে অবিলম্বে সেটিংসে যেতে হবে এবং লেবেলগুলির নাম সেট করতে হবে যা গ্রুপিং খরচের জন্য অতিরিক্ত বিভাগ হিসাবে ব্যবহার করা হবে:

আপনি তাদের উপর যেকোন লেবেল ঝুলিয়ে রাখতে পারেন - আপনার যদি ইতিমধ্যে আপনার নিজস্ব লেবেলিং সিস্টেম থাকে তবে সুবিধাজনক৷

এছাড়াও সেখানে আপনি API এন্ডপয়েন্টের ঠিকানা পরিবর্তন করতে পারেন যার সাথে খরচ-মডেল সংযোগ করে, GCP-এ ছাড়ের আকার সামঞ্জস্য করুন এবং তাদের পরিমাপের জন্য সম্পদ এবং মুদ্রার জন্য আপনার নিজস্ব মূল্য সেট করুন (কোন কারণে বৈশিষ্ট্যটি মোট খরচকে প্রভাবিত করে না)।

কুবেকোস্ট বিভিন্ন দেখাতে পারে ক্লাস্টারে সমস্যা (এবং এমনকি বিপদের ক্ষেত্রে সতর্ক)। দুর্ভাগ্যবশত, বিকল্পটি কনফিগারযোগ্য নয়, এবং সেইজন্য, আপনার যদি বিকাশকারীদের জন্য পরিবেশ থাকে এবং সেগুলি ব্যবহার করেন, আপনি ক্রমাগত এইরকম কিছু দেখতে পাবেন:

একটি গুরুত্বপূর্ণ হাতিয়ার - ক্লাস্টার সঞ্চয়. এটি পডের ক্রিয়াকলাপ পরিমাপ করে (নেটওয়ার্ক সংস্থান সহ সংস্থানগুলির ব্যবহার), এবং আপনি কত টাকা সঞ্চয় করতে পারেন এবং কী কী তাও গণনা করে৷

এটা মনে হতে পারে যে অপ্টিমাইজেশান টিপস বেশ সুস্পষ্ট, কিন্তু অভিজ্ঞতা বলে যে এখনও কিছু দেখার আছে। বিশেষত, পডগুলির নেটওয়ার্ক কার্যকলাপ পর্যবেক্ষণ করা হয় (কুবেকোস্ট নিষ্ক্রিয়গুলির দিকে মনোযোগ দেওয়ার পরামর্শ দেয়), অনুরোধ করা এবং প্রকৃত মেমরি এবং সিপিইউ খরচ তুলনা করা হয়, সেইসাথে ক্লাস্টার নোডগুলির দ্বারা ব্যবহৃত CPU (একটি নোডকে ভেঙে ফেলার পরামর্শ দেয়), ডিস্ক লোড এবং আরও কয়েক ডজন পরামিতি।

যেকোন অপ্টিমাইজেশান সমস্যার মতো, কুবেকোস্ট ডেটার উপর ভিত্তি করে সংস্থানগুলি অপ্টিমাইজ করার প্রয়োজন: সাবধানতার সাথে আচরণ করুন. উদাহরণস্বরূপ, ক্লাস্টার সেভিংস নোডগুলি মুছে ফেলার পরামর্শ দেয়, দাবি করে যে এটি নিরাপদ, কিন্তু নোড-নির্বাচকদের উপস্থিতি এবং অন্যান্য নোডে উপলব্ধ নয় এমন পডগুলিতে নোড-নির্বাচকদের উপস্থিতি বিবেচনা করে না। এবং সাধারণভাবে, এমনকি তাদের মধ্যে পণ্য লেখক সাম্প্রতিক নিবন্ধ (যাইহোক, যারা প্রকল্পের বিষয়ে আগ্রহী তাদের জন্য এটি খুবই উপযোগী হতে পারে) খরচ অপ্টিমাইজেশানের দিকে তাড়াহুড়ো না করার পরামর্শ দেওয়া হচ্ছে, কিন্তু চিন্তাভাবনা করে সমস্যাটির সাথে যোগাযোগ করুন।

ফলাফল

কয়েকটা প্রজেক্টে এক মাসের জন্য kubecost ব্যবহার করার পর, আমরা উপসংহারে পৌঁছাতে পারি যে এটি Kubernetes ক্লাস্টারগুলির জন্য ব্যবহৃত ক্লাউড প্রদানকারীদের পরিষেবার জন্য খরচ বিশ্লেষণ এবং অপ্টিমাইজ করার জন্য একটি আকর্ষণীয় (এবং শেখা এবং ইনস্টল করাও সহজ) টুল। গণনাগুলি খুব নির্ভুল হতে দেখা গেছে: আমাদের পরীক্ষায় তারা সরবরাহকারীদের আসলে যা প্রয়োজন তার সাথে মিলে গেছে।

এছাড়াও কিছু খারাপ দিক রয়েছে: অ-সমালোচনামূলক বাগ রয়েছে এবং কিছু জায়গায় কার্যকারিতা কিছু প্রকল্পের জন্য নির্দিষ্ট প্রয়োজনীয়তাগুলিকে কভার করে না। যাইহোক, আপনি যদি দ্রুত বুঝতে চান যে অর্থ কোথায় যাচ্ছে এবং ক্লাউড পরিষেবাগুলির বিল ধারাবাহিকভাবে 5-30% কমাতে কী "কাটা" যেতে পারে (আমাদের ক্ষেত্রে এটি ঘটেছিল), এটি একটি দুর্দান্ত বিকল্প .

দ্রষ্টব্য

আমাদের ব্লগেও পড়ুন:

• «কুবারনেটে অটোস্কেলিং এবং রিসোর্স ম্যানেজমেন্ট (পর্যালোচনা এবং ভিডিও রিপোর্ট)";
• «কুবারনেটস অ্যাডভেঞ্চার ডেইলিমোশন: ক্লাউড + অন-প্রাঙ্গনে অবকাঠামো তৈরি করা";
• «Kubernetes টিপস এবং কৌশল: নোড বরাদ্দ এবং ওয়েব অ্যাপ্লিকেশন লোড সম্পর্কে».

উত্স: www.habr.com