একটি কুবারনেটস ক্লাস্টার পর্যবেক্ষণ: প্রমিথিউসের একটি ওভারভিউ এবং ভূমিকা

কুবারনেটস পর্যবেক্ষণের ধারণাটি বিবেচনা করুন, প্রমিথিউস টুলের সাথে পরিচিত হন এবং সতর্কতা সম্পর্কে কথা বলুন।

পর্যবেক্ষণের বিষয় বিশাল, এটি একটি নিবন্ধে বিচ্ছিন্ন করা যাবে না। এই পাঠ্যটির উদ্দেশ্য হল সরঞ্জাম, ধারণা এবং পদ্ধতির একটি ওভারভিউ প্রদান করা।

নিবন্ধের উপাদান থেকে একটি চাপা হয় স্কুল "স্লার্ম" এর খোলা বক্তৃতা. আপনি যদি একটি সম্পূর্ণ কোর্স করতে চান - একটি কোর্সের জন্য সাইন আপ করুন Kubernetes এ পরিকাঠামো পর্যবেক্ষণ এবং লগিং.

একটি Kubernetes ক্লাস্টারে কি নিরীক্ষণ করা হয়

শারীরিক সার্ভার Kubernetes ক্লাস্টার তার সার্ভারে স্থাপন করা হলে, আপনি তাদের স্বাস্থ্য নিরীক্ষণ করতে হবে. Zabbix এই কাজটি পরিচালনা করে; আপনি যদি তার সাথে কাজ করেন তবে আপনার অস্বীকার করার দরকার নেই, কোনও দ্বন্দ্ব থাকবে না। এটি Zabbix যা আমাদের সার্ভারের অবস্থা নিরীক্ষণ করে।

আসুন ক্লাস্টার স্তরে নিরীক্ষণের দিকে এগিয়ে যাই।

নিয়ন্ত্রণ সমতল উপাদান: API, সময়সূচী এবং অন্যান্য। সর্বনিম্নভাবে, আপনাকে নিশ্চিত করতে হবে যে সার্ভার বা etcd-এর API 0-এর বেশি। Etcd অনেক মেট্রিক্স ফেরত দিতে পারে: যে ডিস্কগুলিতে এটি ঘুরছে, তার etcd ক্লাস্টারের স্বাস্থ্য এবং অন্যান্য দ্বারা।

ডকশ্রমিক অনেক দিন আগে আবির্ভূত হয়েছে এবং প্রত্যেকেই এর সমস্যা সম্পর্কে ভালভাবে সচেতন: প্রচুর কন্টেইনার হিমায়িত এবং অন্যান্য সমস্যা তৈরি করে। অতএব, ডকার নিজেই, একটি সিস্টেম হিসাবে, অন্তত প্রাপ্যতার জন্য নিয়ন্ত্রণ করা উচিত।

ডিএনএস যদি ক্লাস্টারে DNS বন্ধ হয়ে যায়, তাহলে পুরো ডিসকভারি পরিষেবাটি এর পরে বন্ধ হয়ে যাবে, পড থেকে পডগুলিতে কলগুলি কাজ করা বন্ধ করে দেবে। আমার অনুশীলনে, এই জাতীয় কোনও সমস্যা ছিল না, তবে এর অর্থ এই নয় যে ডিএনএসের অবস্থা পর্যবেক্ষণ করার দরকার নেই। অনুরোধ লেটেন্সি এবং কিছু অন্যান্য মেট্রিক্স CoreDNS এ ট্র্যাক করা যেতে পারে।

প্রবেশ প্রজেক্টের এন্ট্রি পয়েন্ট হিসাবে প্রবেশের প্রাপ্যতা (ইনগ্রেস কন্ট্রোলার সহ) নিয়ন্ত্রণ করা প্রয়োজন।

ক্লাস্টারের প্রধান উপাদানগুলি ভেঙে দেওয়া হয়েছে - এখন আসুন বিমূর্তকরণের স্তরে নেমে যাই।

দেখে মনে হবে যে অ্যাপ্লিকেশনগুলি পডগুলিতে চলে, যার অর্থ তাদের নিয়ন্ত্রণ করা দরকার, কিন্তু বাস্তবে তা নয়। শুঁটি ক্ষণস্থায়ী: আজ তারা এক সার্ভারে চলে, কাল অন্য সার্ভারে; আজ তাদের মধ্যে 10টি, আগামীকাল 2টি। অতএব, কেউ পোডগুলি পর্যবেক্ষণ করে না। একটি মাইক্রোসার্ভিস আর্কিটেকচারের মধ্যে, সামগ্রিকভাবে অ্যাপ্লিকেশনটির প্রাপ্যতা নিয়ন্ত্রণ করা আরও গুরুত্বপূর্ণ। বিশেষ করে, পরিষেবার শেষ পয়েন্টগুলির প্রাপ্যতা পরীক্ষা করুন: কিছু কাজ করে? যদি আবেদন পাওয়া যায়, তাহলে এর পিছনে কী ঘটে, এখন কতগুলি প্রতিলিপি রয়েছে - এইগুলি দ্বিতীয় আদেশের প্রশ্ন। পৃথক দৃষ্টান্ত নিরীক্ষণ করার কোন প্রয়োজন নেই.

শেষ স্তরে, আপনাকে নিজেই অ্যাপ্লিকেশনটির ক্রিয়াকলাপ নিয়ন্ত্রণ করতে হবে, ব্যবসায়িক মেট্রিক্স নিতে হবে: অর্ডারের সংখ্যা, ব্যবহারকারীর আচরণ এবং আরও অনেক কিছু।

প্রমিথিউস

ক্লাস্টার নিরীক্ষণের জন্য সর্বোত্তম ব্যবস্থা প্রমিথিউস. আমি এমন কোন টুলের কথা জানি না যা প্রমিথিউসের সাথে মান এবং ব্যবহারের সহজতার দিক দিয়ে মেলে। এটি নমনীয় পরিকাঠামোর জন্য দুর্দান্ত, তাই যখন তারা "কুবারনেটস মনিটরিং" বলে, তখন তারা সাধারণত প্রমিথিউসকে বোঝায়।

প্রমিথিউসের সাথে শুরু করার জন্য কয়েকটি বিকল্প রয়েছে: হেলম ব্যবহার করে, আপনি একটি নিয়মিত প্রমিথিউস বা প্রমিথিউস অপারেটর ইনস্টল করতে পারেন।

1. নিয়মিত প্রমিথিউস। তার সাথে সবকিছু ঠিক আছে, কিন্তু আপনাকে ConfigMap কনফিগার করতে হবে - আসলে, টেক্সট-ভিত্তিক কনফিগারেশন ফাইলগুলি লিখুন, যেমন আমরা আগে করেছি, মাইক্রোসার্ভিস আর্কিটেকচারের আগে।
2. প্রমিথিউস অপারেটরটি একটু বেশি বিস্তৃত, অভ্যন্তরীণ যুক্তির দিক থেকে একটু বেশি জটিল, তবে এটির সাথে কাজ করা সহজ: আলাদা অবজেক্ট রয়েছে, ক্লাস্টারে বিমূর্ততা যুক্ত করা হয়েছে, তাই সেগুলি নিয়ন্ত্রণ এবং কনফিগার করতে অনেক বেশি সুবিধাজনক।

পণ্য বোঝার জন্য, আমি প্রথমে নিয়মিত প্রমিথিউস ইনস্টল করার পরামর্শ দিই। আপনাকে কনফিগারের মাধ্যমে সবকিছু কনফিগার করতে হবে, তবে এটি উপকারী হবে: আপনি কী কী এবং কীভাবে এটি কনফিগার করা হয়েছে তা খুঁজে বের করবেন। প্রমিথিউস অপারেটরে, আপনি অবিলম্বে একটি বিমূর্ত উচ্চতায় উঠে যান, যদিও আপনি চাইলে গভীরতার মধ্যেও যেতে পারেন।

প্রমিথিউস কুবারনেটসের সাথে ভালভাবে সংহত: এটি API সার্ভারের সাথে অ্যাক্সেস এবং ইন্টারঅ্যাক্ট করতে পারে।

প্রমিথিউস জনপ্রিয়, যে কারণে বিপুল সংখ্যক অ্যাপ্লিকেশন এবং প্রোগ্রামিং ভাষা এটি সমর্থন করে। সমর্থন প্রয়োজন, যেহেতু প্রমিথিউসের নিজস্ব মেট্রিক্স ফর্ম্যাট রয়েছে এবং এটি স্থানান্তর করার জন্য, আপনার হয় অ্যাপ্লিকেশনের ভিতরে একটি লাইব্রেরি বা একটি তৈরি রপ্তানিকারক প্রয়োজন৷ এবং এই ধরনের রপ্তানিকারক বেশ কয়েকটি আছে। উদাহরণস্বরূপ, পোস্টগ্রেএসকিউএল এক্সপোর্টার রয়েছে: এটি পোস্টগ্রেএসকিউএল থেকে ডেটা নেয় এবং এটিকে প্রমিথিউস ফর্ম্যাটে রূপান্তর করে যাতে প্রমিথিউস এটির সাথে কাজ করতে পারে।

প্রমিথিউসের স্থাপত্য

প্রমিথিউস সার্ভার পিছনের প্রান্ত, প্রমিথিউসের মস্তিষ্ক। মেট্রিক্স এখানে সংরক্ষিত এবং প্রক্রিয়া করা হয়.

মেট্রিক্স টাইম সিরিজ ডাটাবেসে (টিএসডিবি) সংরক্ষণ করা হয়। টিএসডিবি একটি পৃথক ডাটাবেস নয়, তবে গো ভাষার একটি প্যাকেজ যা প্রমিথিউসে এম্বেড করা আছে। মোটামুটিভাবে বলতে গেলে, সবকিছুই এক বাইনারিতে।

টিএসডিবিতে দীর্ঘ সময়ের জন্য ডেটা সংরক্ষণ করবেন না

প্রমিথিউস অবকাঠামো মেট্রিক্সের দীর্ঘমেয়াদী স্টোরেজের জন্য উপযুক্ত নয়। ডিফল্ট ধরে রাখার সময়কাল 15 দিন। আপনি এই সীমা অতিক্রম করতে পারেন, কিন্তু মনে রাখবেন: আপনি TSDB-এ যত বেশি ডেটা সঞ্চয় করবেন এবং যত বেশি সময় করবেন, তত বেশি সম্পদ ব্যবহার করবে। প্রমিথিউসে ঐতিহাসিক তথ্য সংরক্ষণ করা খারাপ অভ্যাস হিসাবে বিবেচিত হয়।

আপনার যদি বিশাল ট্র্যাফিক থাকে, মেট্রিকের সংখ্যা প্রতি সেকেন্ডে কয়েক হাজার হয়, তাহলে ডিস্কের স্থান বা সময়ের দ্বারা তাদের স্টোরেজ সীমাবদ্ধ করা ভাল। সাধারণত, "হট ডেটা" মাত্র কয়েক ঘন্টার মধ্যে TSDB, মেট্রিক্সে সংরক্ষণ করা হয়। দীর্ঘ সঞ্চয়স্থানের জন্য, বাহ্যিক সঞ্চয়স্থান সেই ডেটাবেসগুলিতে ব্যবহৃত হয় যা এর জন্য সত্যিই উপযুক্ত, উদাহরণস্বরূপ, InfluxDB, ClickHouse এবং আরও অনেক কিছু। আমি ClickHouse সম্পর্কে আরো ভাল পর্যালোচনা দেখেছি.

প্রমিথিউস সার্ভার মডেলে কাজ করে টান: সে মেট্রিক্সের জন্য সেই শেষ পয়েন্টগুলিতে যায় যা আমরা তাকে দিয়েছি। তারা বলেছিল: "এপিআই সার্ভারে যান", এবং সে সেখানে প্রতি সেকেন্ডের n-তম সংখ্যায় যায় এবং মেট্রিক্স নেয়।

স্ক্র্যাপিং পিরিয়ডের মধ্যে উপস্থিত হতে পারে এমন একটি ছোট জীবনকাল (চাকরি বা ক্রন জব) সহ বস্তুগুলির জন্য, একটি পুশগেটওয়ে উপাদান রয়েছে। স্বল্প-মেয়াদী বস্তুর মেট্রিকগুলি এতে ঠেলে দেওয়া হয়: কাজটি বেড়েছে, একটি ক্রিয়া সম্পাদন করেছে, পুশগেটওয়েতে মেট্রিক্স পাঠানো হয়েছে এবং সম্পূর্ণ হয়েছে৷ কিছুক্ষণ পরে, প্রমিথিউস তার নিজস্ব গতিতে নেমে আসবে এবং পুশগেটওয়ে থেকে এই মেট্রিক্সগুলি তুলে নেবে।

প্রমিথিউসে বিজ্ঞপ্তিগুলি কনফিগার করার জন্য একটি পৃথক উপাদান রয়েছে - সতর্কতা ব্যবস্থাপক. এবং সতর্ক করার নিয়ম। উদাহরণস্বরূপ, সার্ভার API 0 হলে আপনাকে একটি সতর্কতা তৈরি করতে হবে। ইভেন্টটি ফায়ার হলে, সতর্কতা আরও প্রেরণের জন্য সতর্কতা পরিচালকের কাছে পাঠানো হয়। সতর্কতা ব্যবস্থাপকের বেশ নমনীয় রাউটিং সেটিংস রয়েছে: সতর্কতার একটি গ্রুপ প্রশাসকদের টেলিগ্রাম চ্যাটে, আরেকটি ডেভেলপারদের চ্যাটে এবং তৃতীয়টি অবকাঠামো কর্মীদের চ্যাটে পাঠানো যেতে পারে। বিজ্ঞপ্তিগুলি স্ল্যাক, টেলিগ্রাম, ইমেল এবং অন্যান্য চ্যানেলে পাঠানো যেতে পারে।

এবং অবশেষে, আমি আপনাকে প্রমিথিউস হত্যাকারী বৈশিষ্ট্য সম্পর্কে বলব - আবিষ্কার. প্রমিথিউসের সাথে কাজ করার সময়, আপনাকে নিরীক্ষণের জন্য বস্তুর নির্দিষ্ট ঠিকানা নির্দিষ্ট করতে হবে না, তাদের ধরন সেট করার জন্য এটি যথেষ্ট। অর্থাৎ, আপনাকে "এখানে আইপি ঠিকানা আছে, এখানে পোর্ট - মনিটর" লিখতে হবে না, পরিবর্তে, আপনাকে এই বস্তুগুলি খুঁজে বের করার নীতিগুলি নির্ধারণ করতে হবে (লক্ষ্যমাত্রা - লক্ষ্য)। প্রমিথিউস নিজেই, বর্তমানে কোন বস্তুগুলি সক্রিয় রয়েছে তার উপর নির্ভর করে, প্রয়োজনীয়গুলি টেনে আনে এবং সেগুলিকে নিরীক্ষণে যুক্ত করে।

এই পদ্ধতিটি কুবারনেটস কাঠামোর সাথে ভালভাবে খাপ খায়, যেখানে সবকিছুই ভাসছে: আজ 10টি সার্ভার আছে, আগামীকাল 3টি। প্রতিবার সার্ভারের আইপি ঠিকানা নির্দিষ্ট না করার জন্য, তারা একবার লিখেছিল কিভাবে এটি খুঁজে পাওয়া যায় - এবং ডিসকভারিং এটি করবে .

প্রমিথিউসের ভাষা বলা হয় PromQL. এই ভাষা ব্যবহার করে, আপনি নির্দিষ্ট মেট্রিক্সের মান পেতে পারেন এবং তারপরে তাদের রূপান্তর করতে পারেন, তাদের উপর ভিত্তি করে বিশ্লেষণাত্মক গণনা তৈরি করতে পারেন।

https://prometheus.io/docs/prometheus/latest/querying/basics/

Простой запрос

    container_memory_usage_bytes

Математические операции

    container_memory_usage_bytes / 1024 / 1024

Встроенные функции

    sum(container_memory_usage_bytes) / 1024 / 1024

Уточнение запроса

    100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)

প্রমিথিউস ওয়েব ইন্টারফেস

প্রমিথিউসের নিজস্ব, মোটামুটি সংক্ষিপ্ত ওয়েব ইন্টারফেস রয়েছে। শুধুমাত্র ডিবাগ বা প্রদর্শনের জন্য উপযুক্ত।

এক্সপ্রেশন লাইনে, আপনি PromQL ভাষায় একটি প্রশ্ন লিখতে পারেন।

সতর্কতা ট্যাবে সতর্ক করার নিয়ম রয়েছে এবং তাদের তিনটি স্থিতি রয়েছে:

1. নিষ্ক্রিয় - যদি এই মুহুর্তে সতর্কতা সক্রিয় না হয়, অর্থাৎ, এটির সাথে সবকিছু ঠিক আছে এবং এটি কাজ করেনি;
2. মুলতুবি - এটি যদি সতর্কতা কাজ করে, তবে পাঠানো এখনও পাস হয়নি। বিলম্বটি নেটওয়ার্ক ব্লিঙ্কিংয়ের জন্য ক্ষতিপূরণের জন্য সেট করা হয়েছে: যদি নির্দিষ্ট পরিষেবাটি এক মিনিটের মধ্যে বেড়ে যায়, তবে এখনও অ্যালার্ম বাজানো উচিত নয়;
3. গুলি চালানো হল তৃতীয় অবস্থা যখন সতর্কতা আলো জ্বলে এবং বার্তা পাঠায়।

স্ট্যাটাস মেনুতে আপনি প্রমিথিউস কী তা সম্পর্কে তথ্যের অ্যাক্সেস পাবেন। লক্ষ্যে (লক্ষ্য) একটি রূপান্তরও রয়েছে, যা আমরা উপরে বলেছি।

প্রমিথিউস ইন্টারফেসের আরও বিশদ বিবরণের জন্য, দেখুন কুবারনেটস ক্লাস্টার পর্যবেক্ষণের উপর স্লার্মের বক্তৃতায়.

Grafana সঙ্গে একীকরণ

প্রমিথিউস ওয়েব ইন্টারফেসে, আপনি সুন্দর এবং বোধগম্য গ্রাফগুলি পাবেন না যেখান থেকে আপনি ক্লাস্টারের অবস্থা সম্পর্কে একটি উপসংহার টানতে পারেন। তাদের নির্মাণের জন্য, প্রমিথিউস গ্রাফনার সাথে একত্রিত হয়। আমরা এই ধরনের ড্যাশবোর্ড পেতে.

প্রমিথিউস এবং গ্রাফানা ইন্টিগ্রেশন সেট আপ করা মোটেও কঠিন নয়, আপনি ডকুমেন্টেশনে নির্দেশাবলী পেতে পারেন: প্রমিথিউসের জন্য গ্রাফানা সমর্থনঠিক আছে, আমি এটি দিয়ে শেষ করব।

নিম্নলিখিত নিবন্ধগুলিতে, আমরা পর্যবেক্ষণের বিষয়টি চালিয়ে যাব: আমরা গ্রাফানা লোকি এবং বিকল্প সরঞ্জামগুলি ব্যবহার করে লগ সংগ্রহ এবং বিশ্লেষণ করার বিষয়ে কথা বলব।

লেখক: মার্সেল ইব্রেভ, প্রত্যয়িত কুবারনেটস প্রশাসক, কোম্পানিতে প্র্যাকটিস ইঞ্জিনিয়ার সাউথব্রিজ, স্পিকার এবং কোর্স ডেভেলপার স্লর্ম।

উত্স: www.habr.com