থানোস - পরিমাপযোগ্য প্রমিথিউস

নিবন্ধটির অনুবাদটি কোর্সের শিক্ষার্থীদের জন্য বিশেষভাবে প্রস্তুত করা হয়েছিল "DevOps অনুশীলন এবং সরঞ্জাম".

ফ্যাবিয়ান রেইনার্টজ একজন সফটওয়্যার ডেভেলপার, গো ফ্যানাটিক এবং সমস্যা সমাধানকারী। তিনি প্রমিথিউসের রক্ষণাবেক্ষণকারী এবং কুবারনেটেস এসআইজি ইন্সট্রুমেন্টেশনের সহ-প্রতিষ্ঠাতা। অতীতে, তিনি সাউন্ডক্লাউডের একজন প্রোডাকশন ইঞ্জিনিয়ার ছিলেন এবং CoreOS-এ মনিটরিং টিমের নেতৃত্ব দিয়েছিলেন। বর্তমানে গুগলে কাজ করছেন।

বারটেক প্লটকা - ইমপ্রোবেবল এ ইনফ্রাস্ট্রাকচার ইঞ্জিনিয়ার। তিনি নতুন প্রযুক্তি এবং বিতরণ সিস্টেমের সমস্যাগুলির প্রতি অনুরাগী। ইন্টেলে তার নিম্ন-স্তরের প্রোগ্রামিং অভিজ্ঞতা, মেসোসে অবদানকারীর অভিজ্ঞতা এবং ইমপ্রোবেবলে বিশ্বমানের SRE উৎপাদনের অভিজ্ঞতা রয়েছে। মাইক্রোসার্ভিসের জগতের উন্নতিতে নিযুক্ত। তার তিনটি প্রেম হল গোলং, ওপেন সোর্স এবং ভলিবল।

আমাদের ফ্ল্যাগশিপ প্রোডাক্ট SpatialOS-এর দিকে তাকিয়ে আপনি অনুমান করতে পারেন যে ইমপ্রোবেবলের কয়েক ডজন কুবারনেটস ক্লাস্টার সহ একটি অত্যন্ত গতিশীল গ্লোবাল ক্লাউড অবকাঠামো প্রয়োজন। আমরা প্রথম যারা মনিটরিং সিস্টেম ব্যবহার শুরু করেছি প্রমিথিউস. প্রমিথিউস লক্ষ লক্ষ রিয়েল-টাইম মেট্রিক্স ট্র্যাক করতে সক্ষম এবং আপনার প্রয়োজনীয় তথ্য বের করার জন্য একটি শক্তিশালী ক্যোয়ারী ভাষা নিয়ে আসে।

প্রমিথিউসের সরলতা এবং নির্ভরযোগ্যতা এটির অন্যতম প্রধান সুবিধা। যাইহোক, একটি নির্দিষ্ট স্কেল পাস করার পরে, আমরা বেশ কিছু অসুবিধার সম্মুখীন হয়েছি। এসব সমস্যা সমাধানে আমরা উন্নয়ন করেছি Thanos সীমাহীন ঐতিহাসিক ডেটা স্টোরেজ সহ বিদ্যমান প্রমিথিউস ক্লাস্টারগুলিকে একটি একক মনিটরিং সিস্টেমে নির্বিঘ্নে রূপান্তর করার জন্য ইমপ্রোবেবল দ্বারা তৈরি একটি ওপেন সোর্স প্রকল্প। Thanos Github এ উপলব্ধ এখানে.

Improbable থেকে সর্বশেষ খবরের সাথে আপ টু ডেট থাকুন।

থানোসের সাথে আমাদের লক্ষ্য

একটি নির্দিষ্ট স্কেলে, সমস্যাগুলি দেখা দেয় যা ভ্যানিলা প্রমিথিউসের ক্ষমতার বাইরে। কিভাবে নিরাপদে এবং অর্থনৈতিকভাবে ঐতিহাসিক তথ্য পেটাবাইট সংরক্ষণ করতে? এই প্রশ্নের উত্তর সময় আপস ছাড়া করা যেতে পারে? একটি একক API অনুরোধের সাথে বিভিন্ন প্রমিথিউস সার্ভারে অবস্থিত সমস্ত মেট্রিক্স অ্যাক্সেস করা কি সম্ভব? প্রমিথিউস HA এর সাথে সংগৃহীত প্রতিলিপিকৃত ডেটা মার্জ করার কোন উপায় আছে কি?

এই সমস্যাগুলি সমাধান করার জন্য, আমরা থানোস তৈরি করেছি। নিম্নলিখিত বিভাগগুলি বর্ণনা করে যে আমরা কীভাবে এই সমস্যাগুলির সাথে যোগাযোগ করেছি এবং আমরা যে লক্ষ্যগুলি অনুসরণ করেছি তা ব্যাখ্যা করি৷

একাধিক প্রমিথিউস দৃষ্টান্ত থেকে তথ্য অনুসন্ধান করুন (গ্লোবাল কোয়েরি)

প্রমিথিউস শার্ডিংয়ের জন্য একটি কার্যকরী পদ্ধতির প্রস্তাব দেয়। এমনকি একটি একক প্রমিথিউস সার্ভার প্রায় সমস্ত ব্যবহারের ক্ষেত্রে অনুভূমিক শার্ডিংয়ের জটিলতা থেকে ব্যবহারকারীদের মুক্ত করার জন্য যথেষ্ট মাপযোগ্যতা প্রদান করে।

যদিও এটি একটি দুর্দান্ত স্থাপনার মডেল, এটি প্রায়শই একটি একক API বা UI - গ্লোবাল ভিউ-এর মাধ্যমে বিভিন্ন প্রমিথিউস সার্ভারে ডেটা অ্যাক্সেস করতে হয়। অবশ্যই, একটি Grafana প্যানেলে একাধিক অনুরোধ প্রদর্শন করা সম্ভব, তবে প্রতিটি অনুরোধ শুধুমাত্র একটি প্রমিথিউস সার্ভারে করা যেতে পারে। অন্যদিকে, থানোসের সাথে আপনি একাধিক প্রমিথিউস সার্ভার থেকে অনুসন্ধান এবং ডেটা সংগ্রহ করতে পারেন কারণ সেগুলি একই প্রান্ত থেকে অ্যাক্সেসযোগ্য।

এর আগে, অসম্ভাব্য-এ বিশ্বব্যাপী দৃষ্টিভঙ্গি পাওয়ার জন্য, আমরা আমাদের প্রমিথিউস দৃষ্টান্তগুলিকে বহু-স্তরে সংগঠিত করেছি হায়ারার্কিক্যাল ফেডারেশন. এর অর্থ হল একটি প্রমিথিউস মেটা সার্ভার তৈরি করা যা প্রতিটি "পাতা" সার্ভার থেকে মেট্রিক্সের একটি অংশ সংগ্রহ করে।

এই পদ্ধতি সমস্যাযুক্ত প্রমাণিত হয়েছে. এটি একটি আরও জটিল কনফিগারেশনের ফলে, ব্যর্থতার একটি অতিরিক্ত সম্ভাব্য বিন্দু যোগ করে, এবং ফেডারেটেড এন্ডপয়েন্টকে শুধুমাত্র প্রয়োজনীয় ডেটা সরবরাহ করতে জটিল নিয়ম প্রয়োগ করে। উপরন্তু, এই ধরনের ফেডারেশন আপনাকে সত্যিকারের বৈশ্বিক ভিউ পেতে দেয় না, যেহেতু একটি একক API অনুরোধ থেকে সমস্ত ডেটা পাওয়া যায় না।

এর সাথে ঘনিষ্ঠভাবে সম্পর্কিত উচ্চ-প্রাপ্যতা (HA) প্রমিথিউস সার্ভারগুলিতে সংগৃহীত ডেটার একক দৃশ্য। প্রমিথিউস এইচএ মডেল স্বাধীনভাবে দুইবার ডেটা সংগ্রহ করে, যা যতটা সহজ হয়। যাইহোক, উভয় স্ট্রিমের সম্মিলিত এবং অনুলিপিকৃত উপস্থাপনা ব্যবহার করা অনেক বেশি সুবিধাজনক হবে।

অবশ্যই, অত্যন্ত উপলব্ধ প্রমিথিউস সার্ভারের প্রয়োজন আছে। Improbable-এ, আমরা প্রতি মিনিটে ডেটা নিরীক্ষণের বিষয়ে সত্যিই সিরিয়াস, কিন্তু প্রতি ক্লাস্টারে একটি করে প্রমিথিউস উদাহরণ থাকা ব্যর্থতার একক পয়েন্ট। যেকোন কনফিগারেশন ত্রুটি বা হার্ডওয়্যার ব্যর্থতার ফলে গুরুত্বপূর্ণ ডেটা নষ্ট হতে পারে। এমনকি একটি সাধারণ স্থাপনার ফলে মেট্রিক্স সংগ্রহে সামান্য ত্রুটি দেখা দিতে পারে কারণ পুনঃসূচনা স্ক্র্যাপিং ব্যবধানের চেয়ে উল্লেখযোগ্যভাবে দীর্ঘ হতে পারে।

ঐতিহাসিক তথ্যের নির্ভরযোগ্য সঞ্চয়

মেট্রিক্সের সস্তা, দ্রুত এবং দীর্ঘমেয়াদী সঞ্চয়স্থান আমাদের স্বপ্ন (প্রমিথিউস ব্যবহারকারীদের সংখ্যাগরিষ্ঠ দ্বারা ভাগ করা)। অসম্ভাব্য-এ, আমরা মেট্রিক্স ধরে রাখার সময়সীমা নয় দিনের জন্য সেট করতে বাধ্য হয়েছিলাম (প্রমিথিউস 1.8 এর জন্য)। এটি আমরা কতটা পিছনে তাকাতে পারি তার সুস্পষ্ট সীমা যোগ করে।

প্রমিথিউস 2.0 এই বিষয়ে উন্নত হয়েছে, কারণ টাইম সিরিজের সংখ্যা আর সার্ভারের সামগ্রিক কর্মক্ষমতাকে প্রভাবিত করে না (নীচে দেখুন)। প্রমিথিউস 2 সম্পর্কে কুবেকন মূল বক্তব্য) যাইহোক, প্রমিথিউস স্থানীয় ড্রাইভে ডেটা সঞ্চয় করে। যদিও অত্যন্ত দক্ষ ডেটা সংকোচন একটি স্থানীয় SSD-এর ব্যবহারকে ব্যাপকভাবে হ্রাস করতে পারে, শেষ পর্যন্ত ঐতিহাসিক ডেটার পরিমাণের একটি সীমা রয়েছে যা সংরক্ষণ করা যেতে পারে।

উপরন্তু, Improbable এ আমরা নির্ভরযোগ্যতা, সরলতা এবং খরচ সম্পর্কে যত্নশীল। বড় স্থানীয় ড্রাইভগুলি বজায় রাখা এবং ব্যাক আপ করা আরও কঠিন। তাদের খরচ বেশি হয় এবং আরও ব্যাকআপ টুলের প্রয়োজন হয়, ফলে অপ্রয়োজনীয় জটিলতা দেখা দেয়।

ডাউনস্যাম্পলিং

আমরা ঐতিহাসিক ডেটা নিয়ে কাজ শুরু করার সাথে সাথেই আমরা বুঝতে পেরেছি যে বড় O-এর সাথে মৌলিক অসুবিধা রয়েছে যা আমরা যদি সপ্তাহ, মাস এবং বছর ধরে ডেটা নিয়ে কাজ করি তাহলে প্রশ্নগুলিকে ধীর এবং ধীর করে তোলে৷

এই সমস্যার আদর্শ সমাধান হবে ডাউনস্যাম্পলিং (ডাউনস্যাম্পলিং) - সিগন্যালের স্যাম্পলিং ফ্রিকোয়েন্সি হ্রাস করা। ডাউনস্যাম্পলিং এর মাধ্যমে, আমরা একটি বৃহত্তর সময়ের পরিসরে "ডাউনস্কেল" করতে পারি এবং একই সংখ্যক নমুনা বজায় রাখতে পারি, যা আমাদের প্রশ্নগুলিকে প্রতিক্রিয়াশীল রাখবে।

পুরানো ডেটা ডাউনস্যাম্পলিং যে কোনও দীর্ঘমেয়াদী স্টোরেজ সমাধানের একটি অনিবার্য প্রয়োজনীয়তা এবং ভ্যানিলা প্রমিথিউসের বাইরে যায়।

অতিরিক্ত লক্ষ্য

থানোস প্রকল্পের মূল লক্ষ্যগুলির মধ্যে একটি ছিল বিদ্যমান প্রমিথিউস ইনস্টলেশনের সাথে নিরবচ্ছিন্ন একীকরণ। দ্বিতীয় লক্ষ্য ছিল প্রবেশের ন্যূনতম বাধা সহ সহজ অপারেশন। ছোট এবং বড় উভয় ব্যবহারকারীর জন্য যেকোনো নির্ভরতা সহজেই সন্তুষ্ট হওয়া উচিত, যা একটি নগণ্য অন্তর্নিহিত খরচও বোঝায়।

থানোস স্থাপত্য

আমরা পূর্ববর্তী বিভাগে আমাদের লক্ষ্যগুলি তালিকাভুক্ত করার পরে, আসুন সেগুলি নিয়ে কাজ করি এবং দেখি থানোস কীভাবে এই সমস্যাগুলি সমাধান করে।

গ্লোবাল ভিউ

বিদ্যমান প্রমিথিউস দৃষ্টান্তগুলির উপরে একটি বিশ্বব্যাপী দৃষ্টিভঙ্গি পেতে, আমাদের সমস্ত সার্ভারের সাথে একটি একক অনুরোধ এন্ট্রি পয়েন্ট লিঙ্ক করতে হবে। থানোস উপাদানটি ঠিক এটিই করে। সাইডকার. এটি প্রতিটি প্রমিথিউস সার্ভারের পাশে স্থাপন করা হয় এবং জিআরপিসি স্টোর API-এর মাধ্যমে স্থানীয় প্রমিথিউস ডেটা পরিবেশনকারী প্রক্সি হিসাবে কাজ করে, যা আপনাকে টাইমস্ট্যাম্প এবং সময় সীমা অনুসারে টাইম সিরিজ ডেটা নির্বাচন করতে দেয়।

অন্য দিকে একটি অনুভূমিকভাবে স্কেলযোগ্য, স্টেটলেস কোয়েরিয়ার উপাদান যা স্ট্যান্ডার্ড প্রমিথিউস HTTP API-এর মাধ্যমে PromQL প্রশ্নের উত্তর দেওয়ার চেয়ে সামান্য বেশি করে। উপাদান Querier, Sidecar এবং অন্যান্য Thanos মাধ্যমে যোগাযোগ গসিপ প্রোটোকল.

1. Querier, একটি অনুরোধ পাওয়ার পরে, সংশ্লিষ্ট স্টোর API সার্ভারের সাথে সংযোগ স্থাপন করে, অর্থাৎ আমাদের Sidecars-এর সাথে, এবং সংশ্লিষ্ট Prometheus সার্ভার থেকে টাইম সিরিজ ডেটা গ্রহণ করে।
2. এর পরে, এটি প্রতিক্রিয়াগুলিকে একত্রিত করে এবং তাদের উপর একটি PromQL ক্যোয়ারী চালায়। Querier নন-ওভারল্যাপিং ডেটা এবং Prometheus HA সার্ভার থেকে সদৃশ ডেটা উভয়ই একত্রিত করতে পারে।

এটি আমাদের ধাঁধার মূল অংশটি সমাধান করে - বিচ্ছিন্ন প্রমিথিউস সার্ভার থেকে ডেটা একক দৃশ্যে একত্রিত করে। আসলে, Thanos শুধুমাত্র এই সুযোগের জন্য ব্যবহার করা যেতে পারে। বিদ্যমান প্রমিথিউস সার্ভারে কোনো পরিবর্তনের প্রয়োজন নেই!

সীমাহীন স্টোরেজ সময়!

যাইহোক, শীঘ্রই বা পরে আমরা এমন ডেটা সংরক্ষণ করতে চাই যা স্বাভাবিক প্রমিথিউস ধরে রাখার সময় অতিক্রম করে। ঐতিহাসিক তথ্য সংরক্ষণের জন্য, আমরা অবজেক্ট স্টোরেজ বেছে নিয়েছি। এটি যেকোনো ক্লাউডের পাশাপাশি অন-প্রিমিসেস ডেটা সেন্টারে ব্যাপকভাবে পাওয়া যায় এবং এটি খুবই সাশ্রয়ী। উপরন্তু, সুপরিচিত S3 API এর মাধ্যমে প্রায় যেকোনো অবজেক্ট স্টোরেজ পাওয়া যায়।

প্রমিথিউস প্রায় প্রতি দুই ঘণ্টায় RAM থেকে ডিস্কে ডেটা লেখেন। সংরক্ষিত ডেটা ব্লকে একটি নির্দিষ্ট সময়ের জন্য সমস্ত ডেটা থাকে এবং এটি অপরিবর্তনীয়। এটি খুব সুবিধাজনক, যেহেতু থানোস সাইডকার কেবল প্রমিথিউস ডেটা ডিরেক্টরি দেখতে পারে এবং নতুন ব্লকগুলি উপস্থিত হওয়ার সাথে সাথে সেগুলিকে অবজেক্ট স্টোরেজ বালতিতে লোড করতে পারে।

ডিস্কে লেখার সাথে সাথে অবজেক্ট স্টোরেজে লোড করা "স্ক্র্যাপার" সরলতা (প্রমিথিউস এবং থানোস সাইডকার) অক্ষত রাখে। এটি সিস্টেমের রক্ষণাবেক্ষণ, খরচ এবং নকশাকে সহজ করে।

আপনি দেখতে পাচ্ছেন, ডেটা ব্যাক আপ করা খুবই সহজ। কিন্তু অবজেক্ট স্টোরেজে ডেটা জিজ্ঞাসা করার বিষয়ে কী?

থানোস স্টোর কম্পোনেন্ট অবজেক্ট স্টোর থেকে ডেটা পাওয়ার জন্য প্রক্সি হিসেবে কাজ করে। Thanos Sidecar এর মত, এটি গসিপ ক্লাস্টারে অংশগ্রহণ করে এবং স্টোর API প্রয়োগ করে। সুতরাং, বিদ্যমান কোয়েরিরা এটিকে সাইডকার হিসাবে বিবেচনা করতে পারে, সময় সিরিজের ডেটার আরেকটি উত্স হিসাবে - কোনও বিশেষ কনফিগারেশনের প্রয়োজন নেই।

টাইম সিরিজ ডেটা ব্লকগুলি বেশ কয়েকটি বড় ফাইল নিয়ে গঠিত। চাহিদা অনুযায়ী তাদের লোড করা বরং অদক্ষ হবে এবং স্থানীয়ভাবে তাদের ক্যাশে করার জন্য প্রচুর পরিমাণে মেমরি এবং ডিস্কের স্থান প্রয়োজন।

পরিবর্তে, স্টোর গেটওয়ে জানে কিভাবে প্রমিথিউস স্টোরেজ ফরম্যাট পরিচালনা করতে হয়। একটি স্মার্ট ক্যোয়ারী প্ল্যানারকে ধন্যবাদ এবং ব্লকগুলির শুধুমাত্র প্রয়োজনীয় সূচক অংশগুলিকে ক্যাশ করার জন্য, অবজেক্ট স্টোরেজ ফাইলগুলির জন্য ন্যূনতম সংখ্যক HTTP অনুরোধে জটিল অনুরোধগুলি হ্রাস করা সম্ভব হয়েছে। এইভাবে, অনুরোধের সংখ্যা চার থেকে ছয়টি মাত্রায় কমানো সম্ভব এবং একটি প্রতিক্রিয়া সময় অর্জন করা সম্ভব যা সাধারণত স্থানীয় SSD-তে ডেটার জন্য অনুরোধ থেকে আলাদা করা কঠিন।

উপরের চিত্রে যেমন দেখানো হয়েছে, Thanos Querier প্রমিথিউস স্টোরেজ ফরম্যাট ব্যবহার করে এবং সংশ্লিষ্ট ডেটা পাশাপাশি রেখে অবজেক্ট স্টোরেজে ডেটার জন্য প্রতি অনুরোধের খরচ উল্লেখযোগ্যভাবে হ্রাস করে। এই পদ্ধতি ব্যবহার করে, আমরা ন্যূনতম সংখ্যক বাল্ক অপারেশনে অনেক একক অনুরোধ একত্রিত করতে পারি।

কম্প্যাকশন এবং ডাউনস্যাম্পলিং

টাইম সিরিজ ডেটার একটি নতুন ব্লক অবজেক্ট স্টোরে সফলভাবে লোড হওয়ার পরে, আমরা এটিকে "ঐতিহাসিক" ডেটা হিসাবে বিবেচনা করি, যা স্টোর গেটওয়ের মাধ্যমে অবিলম্বে উপলব্ধ।

যাইহোক, কিছু সময়ের পরে, একটি উত্স থেকে ব্লকগুলি (প্রমিথিউস সহ সাইডকার) জমা হয় এবং আর সূচকের সম্পূর্ণ সম্ভাবনা ব্যবহার করে না। এই সমস্যা সমাধানের জন্য, আমরা কমপ্যাক্টর নামে আরেকটি উপাদান চালু করেছি। এটি কেবল স্থানীয় প্রমিথিউস কমপ্যাকশন প্রক্রিয়াটিকে বস্তুর স্টোরেজের ঐতিহাসিক ডেটাতে প্রয়োগ করে এবং একটি সাধারণ পর্যায়ক্রমিক ব্যাচের কাজ হিসাবে চালানো যেতে পারে।

দক্ষ সংকোচনের কারণে, দীর্ঘ সময়ের জন্য স্টোরেজ অনুসন্ধান করা ডেটা আকারের ক্ষেত্রে কোনও সমস্যা তৈরি করে না। যাইহোক, এক বিলিয়ন মান আনপ্যাক করার এবং একটি ক্যোয়ারী প্রসেসরের মাধ্যমে চালানোর সম্ভাব্য খরচ অনিবার্যভাবে ক্যোয়ারী সম্পাদনের সময় নাটকীয়ভাবে বৃদ্ধির দিকে নিয়ে যাবে। অন্যদিকে, যেহেতু স্ক্রিনে পিক্সেল প্রতি শত শত ডেটা পয়েন্ট রয়েছে, তাই সম্পূর্ণ রেজোলিউশনে ডেটা রেন্ডার করাও অসম্ভব হয়ে পড়ে। এইভাবে, ডাউনস্যাম্পলিং কেবল সম্ভব নয়, তবে নির্ভুলতার লক্ষণীয় ক্ষতির দিকে পরিচালিত করবে না।

ডেটা ডাউনস্যাম্পলিং এর জন্য, কম্প্যাক্টর ক্রমাগত পাঁচ মিনিট এবং এক ঘন্টার রেজোলিউশনে ডেটা একত্রিত করে। TSDB XOR কম্প্রেশনের সাথে এনকোড করা প্রতিটি কাঁচা খণ্ডের জন্য, বিভিন্ন ধরনের একত্রিত ডেটা সংরক্ষণ করা হয়, যেমন একটি ব্লকের জন্য ন্যূনতম, সর্বোচ্চ বা যোগফল। এটি Querier কে স্বয়ংক্রিয়ভাবে একটি সমষ্টি নির্বাচন করতে দেয় যা একটি প্রদত্ত PromQL ক্যোয়ারির জন্য উপযুক্ত।

ব্যবহারকারীর হ্রাসকৃত নির্ভুলতা ডেটা ব্যবহার করার জন্য কোনও বিশেষ কনফিগারেশনের প্রয়োজন নেই। ব্যবহারকারীর জুম ইন এবং আউট করার সাথে সাথে Querier স্বয়ংক্রিয়ভাবে বিভিন্ন রেজোলিউশন এবং কাঁচা ডেটার মধ্যে সুইচ করে। যদি ইচ্ছা হয়, ব্যবহারকারী অনুরোধে "পদক্ষেপ" প্যারামিটারের মাধ্যমে সরাসরি এটি নিয়ন্ত্রণ করতে পারে।

যেহেতু এক গিগাবাইটের স্টোরেজ খরচ কম, তাই থানোস ডিফল্টরূপে মূল ডেটা সংরক্ষণ করে, পাঁচ মিনিট এবং এক ঘণ্টার রেজোলিউশনের ডেটা। আসল ডেটা মুছে ফেলার দরকার নেই।

রেকর্ডিং নিয়ম

এমনকি থানোসের সাথে, রেকর্ডিং নিয়মগুলি পর্যবেক্ষণ স্ট্যাকের একটি অপরিহার্য অংশ। তারা জটিলতা, বিলম্বিতা এবং অনুরোধের খরচ কমায়। এগুলি ব্যবহারকারীদের মেট্রিক্স দ্বারা সমষ্টিগত ডেটা পেতেও সুবিধাজনক৷ থানোস প্রমিথিউসের ভ্যানিলা দৃষ্টান্তের উপর ভিত্তি করে তৈরি করা হয়েছে, তাই বিদ্যমান প্রমিথিউস সার্ভারে রেকর্ডিং নিয়ম এবং সতর্কতা নিয়মগুলি রাখা সম্পূর্ণরূপে গ্রহণযোগ্য। যাইহোক, কিছু ক্ষেত্রে এটি যথেষ্ট নাও হতে পারে:

• বিশ্বব্যাপী সতর্কতা এবং নিয়ম (উদাহরণস্বরূপ, একটি সতর্কতা যখন একটি পরিষেবা তিনটি ক্লাস্টারের মধ্যে দুটির বেশি বন্ধ থাকে)।
• স্থানীয় স্টোরেজের বাইরে ডেটার জন্য নিয়ম।
• সমস্ত নিয়ম এবং সতর্কতা এক জায়গায় সংরক্ষণ করার ইচ্ছা।

এই সমস্ত ক্ষেত্রে, থানোসে রুলার নামে একটি পৃথক উপাদান রয়েছে যা থানোস কোয়েরির মাধ্যমে নিয়ম এবং সতর্কতা মূল্যায়ন করে। একটি সুপরিচিত StoreAPI প্রদান করে, ক্যোয়ারী নোড নতুনভাবে গণনা করা মেট্রিক্স অ্যাক্সেস করতে পারে। পরবর্তীতে, এগুলি অবজেক্ট স্টোরেজেও সংরক্ষণ করা হয় এবং স্টোর গেটওয়ের মাধ্যমে উপলব্ধ করা হয়।

থানোসের ক্ষমতা

Thanos আপনার প্রয়োজন অনুযায়ী কাস্টমাইজ করা যথেষ্ট নমনীয়। প্লেইন প্রমিথিউস থেকে মাইগ্রেট করার সময় এটি বিশেষভাবে কার্যকর। আসুন একটি ছোট উদাহরণ ব্যবহার করে থানোস উপাদান সম্পর্কে আমরা যা শিখেছি তা দ্রুত পর্যালোচনা করি। আপনার ভ্যানিলা প্রমিথিউসকে "সীমাহীন মেট্রিক স্টোরেজ" এর জগতে কীভাবে আনবেন তা এখানে রয়েছে:

1. আপনার প্রমিথিউস সার্ভারে থানোস সাইডকার যোগ করুন - উদাহরণস্বরূপ, কুবারনেটস পডে একটি প্রতিবেশী পাত্র।
2. ডেটা দেখতে একাধিক Thanos Querier প্রতিলিপি স্থাপন করুন। এই মুহুর্তে, Scraper এবং Querier এর মধ্যে গসিপ সেট আপ করা সহজ। উপাদানগুলির মিথস্ক্রিয়া পরীক্ষা করতে, 'thanos_cluster_members' মেট্রিক ব্যবহার করুন।

সম্ভাব্য প্রমিথিউস HA প্রতিলিপিগুলি থেকে বিশ্বব্যাপী দৃশ্য এবং নির্বিঘ্ন ডেটা ডিডপ্লিকেশন প্রদানের জন্য একা এই দুটি পদক্ষেপই যথেষ্ট! আপনার ড্যাশবোর্ডগুলিকে HTTP কোয়েরিয়ার এন্ডপয়েন্টের সাথে সংযুক্ত করুন বা সরাসরি Thanos UI ইন্টারফেস ব্যবহার করুন৷

যাইহোক, আপনার যদি মেট্রিক্স ব্যাকআপ এবং দীর্ঘমেয়াদী ধরে রাখার প্রয়োজন হয় তবে আপনাকে আরও তিনটি পদক্ষেপ নিতে হবে:

1. একটি AWS S3 বা GCS বালতি তৈরি করুন। এই বালতিতে ডেটা কপি করতে Sidecar সেট আপ করুন। আপনি এখন স্থানীয় ডেটা সঞ্চয়স্থান কমাতে পারেন।
2. একটি স্টোর গেটওয়ে স্থাপন করুন এবং এটিকে একটি বিদ্যমান গসিপ ক্লাস্টারের সাথে সংযুক্ত করুন৷ এখন আপনি ব্যাকআপে ডেটাতে অনুরোধ পাঠাতে পারেন!
3. কমপ্যাকশন এবং ডাউনস্যাম্পলিং ব্যবহার করে দীর্ঘ সময়ের জন্য ক্যোয়ারী কর্মক্ষমতা উন্নত করতে কমপ্যাক্টর স্থাপন করুন।

আপনি আরো জানতে চান, আমাদের এ কটাক্ষপাত নির্দ্বিধায় kubernetes উদ্ভাসিত উদাহরণ и শুরু হচ্ছে!

মাত্র পাঁচটি ধাপে, আমরা প্রমিথিউসকে একটি শক্তিশালী মনিটরিং সিস্টেমে পরিণত করেছি যেখানে একটি বিশ্বব্যাপী দৃশ্য, সীমাহীন স্টোরেজ সময় এবং মেট্রিক্সের সম্ভাব্য উচ্চ প্রাপ্যতা রয়েছে।

অনুরোধ টানুন: আমরা আপনাকে প্রয়োজন!

Thanos শুরু থেকে একটি ওপেন সোর্স প্রকল্প হয়েছে. প্রমিথিউসের সাথে নিরবচ্ছিন্ন একীকরণ এবং থানোসের শুধুমাত্র একটি অংশ ব্যবহার করার ক্ষমতা এটিকে আপনার মনিটরিং সিস্টেমকে অনায়াসে স্কেল করার জন্য একটি দুর্দান্ত পছন্দ করে তোলে।

আমরা সবসময় GitHub পুল অনুরোধ এবং সমস্যা স্বাগত জানাই. ইতিমধ্যে, গিথুব ইস্যু বা স্ল্যাকের মাধ্যমে আমাদের সাথে নির্দ্বিধায় যোগাযোগ করুন অসম্ভব-ইং #থানোসআপনার যদি প্রশ্ন বা প্রতিক্রিয়া থাকে, বা আপনার অভিজ্ঞতা শেয়ার করতে চান! আপনি যদি ইমপ্রোবেবল এ আমরা যা করি তা পছন্দ করলে নির্দ্বিধায় আমাদের সাথে যোগাযোগ করুন - আমরা সবসময় খালি আছে!

কোর্স সম্পর্কে আরও জানুন.

উত্স: www.habr.com