লগ ইন কুবারনেটস: ইএফকে বনাম পিএলজি

ডিস্ট্রিবিউটেড সিস্টেমের ক্রমবর্ধমান জটিলতার সাথে ক্রমবর্ধমান ক্লাউড সমাধানের জন্য পর্যবেক্ষণ একটি অত্যন্ত গুরুত্বপূর্ণ উপাদান হয়ে উঠেছে। তাদের আচরণ বোঝা দরকার। আমাদের প্রয়োজন পরিমাপযোগ্য সরঞ্জাম যা সমস্ত পরিষেবা থেকে ডেটা সংগ্রহ করতে পারে - এবং পারফরম্যান্স বিশ্লেষণ, ত্রুটি প্রদর্শন, প্রাপ্যতা এবং লগ সহ বিশেষজ্ঞদের একটি একক ইন্টারফেস সরবরাহ করতে পারে।

এই একই সরঞ্জাম দক্ষ এবং উত্পাদনশীল হতে হবে. এই নিবন্ধে, আমরা দুটি জনপ্রিয় প্রযুক্তির স্ট্যাক দেখব: EFK (Elasticsearch) এবং PLG (Loki) এবং তাদের স্থাপত্য এবং পার্থক্য বিশ্লেষণ করব।

EFK স্ট্যাক

আপনি ইতিমধ্যে খুব জনপ্রিয় ELK বা EFK শুনে থাকতে পারেন। স্ট্যাকের বেশ কয়েকটি পৃথক অংশ রয়েছে: ইলাস্টিকসার্চ (অবজেক্ট স্টোরেজ), লগস্ট্যাশ বা ফ্লুয়েন্টডি (লগগুলির সংগ্রহ এবং একত্রীকরণ) এবং ভিজ্যুয়ালাইজেশনের জন্য কিবানা।

একটি সাধারণ কর্মপ্রবাহ এই মত দেখায়:

Elasticsearch - রিয়েল-টাইম অনুসন্ধান এবং বিশ্লেষণ সহ অবজেক্ট স্টোরেজ বিতরণ করা হয়েছে। লগের মতো আধা-গঠিত ডেটার জন্য একটি চমৎকার সমাধান। তথ্যটি JSON নথি হিসাবে সংরক্ষণ করা হয়, রিয়েল টাইমে সূচিত করা হয় এবং ক্লাস্টার নোড জুড়ে বিতরণ করা হয়। পূর্ণ-পাঠ্য অনুসন্ধানের জন্য সমস্ত অনন্য শব্দ এবং সম্পর্কিত নথি সমন্বিত একটি উল্টানো সূচক ব্যবহার করা হয়, যা পরিবর্তে Apache Lucene সার্চ ইঞ্জিনের উপর ভিত্তি করে।

সাবলীল ডি এটি একটি ডেটা সংগ্রাহক যা ডেটা সংগ্রহ এবং ব্যবহার করার সাথে সাথে একত্রিত করে। এটি যতটা সম্ভব JSON-এ ডেটা সংগঠিত করার চেষ্টা করে। এর আর্কিটেকচার এক্সটেনসিবল, আরও আছে শত শত বিভিন্ন এক্সটেনশন, সম্প্রদায় দ্বারা সমর্থিত, সব অনুষ্ঠানের জন্য।

Kibana টাইম সিরিজ বিশ্লেষণ, গ্রাফ, মেশিন লার্নিং এবং আরও অনেক কিছুর মতো বিভিন্ন অতিরিক্ত বৈশিষ্ট্য সহ ইলাস্টিক সার্চের জন্য একটি ডেটা ভিজ্যুয়ালাইজেশন টুল।

ইলাস্টিক সার্চ আর্কিটেকচার

ইলাস্টিকসার্চ ক্লাস্টার ডেটা এর সমস্ত নোড জুড়ে সংরক্ষিত থাকে। প্রাপ্যতা এবং স্থিতিস্থাপকতা উন্নত করতে ক্লাস্টারে একাধিক নোড রয়েছে। যেকোন নোড সমস্ত ক্লাস্টারের ভূমিকা পালন করতে পারে, কিন্তু বড়, মাপযোগ্য স্থাপনায়, নোডগুলি সাধারণত পৃথক কাজগুলি বরাদ্দ করা হয়।

ক্লাস্টার নোড প্রকার:

• মাস্টার নোড - ক্লাস্টার পরিচালনা করে, আপনার কমপক্ষে তিনটি প্রয়োজন, একটি সর্বদা সক্রিয় থাকে;
• ডেটা নোড - সূচীকৃত ডেটা সঞ্চয় করে এবং তাদের সাথে বিভিন্ন কাজ সম্পাদন করে;
• ইনজেস্ট নোড - ইনডেক্স করার আগে ডেটা ট্রান্সফর্মেশনের জন্য পাইপলাইনগুলি সংগঠিত করে;
• সমন্বয়কারী নোড - অনুরোধ রাউটিং, অনুসন্ধান প্রক্রিয়াকরণ পর্যায়ে হ্রাস, বাল্ক ইনডেক্সিং সমন্বয়;
• সতর্কতা নোড - বিজ্ঞপ্তি টাস্ক চালু করা;
• মেশিন লার্নিং নোড - মেশিন লার্নিং কাজ প্রক্রিয়াকরণ।

নীচের চিত্রটি দেখায় যে কীভাবে ডেটা টিকে থাকে এবং উচ্চতর ডেটা প্রাপ্যতা অর্জনের জন্য নোড জুড়ে প্রতিলিপি করা হয়।

প্রতিটি প্রতিরূপের ডেটা একটি উল্টানো সূচকে সংরক্ষণ করা হয়, নীচের চিত্রটি দেখায় যে এটি কীভাবে ঘটে:

বিন্যাস

বিস্তারিত দেখা যাবে এখানে, আমি হেলম চার্ট ব্যবহার করব:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

পিএলজি স্ট্যাক

আপনি যদি এই সংক্ষিপ্ত রূপটি খুঁজে না পান তবে অবাক হবেন না, কারণ এটি Grafana Loki নামে বেশি পরিচিত। যাই হোক না কেন, এই স্ট্যাকটি জনপ্রিয়তা অর্জন করছে কারণ এটি ভালভাবে সামঞ্জস্য করা প্রযুক্তিগত সমাধান ব্যবহার করে। আপনি ইতিমধ্যেই একটি জনপ্রিয় ভিজ্যুয়ালাইজেশন টুল Grafana সম্পর্কে শুনেছেন। এর নির্মাতারা, প্রমিথিউস দ্বারা অনুপ্রাণিত হয়ে, একটি অনুভূমিকভাবে মাপযোগ্য, উচ্চ-কার্যকারিতা লগ একত্রীকরণ সিস্টেম তৈরি করেছেন। লোকি শুধুমাত্র মেটাডেটা সূচী করে, জার্নালগুলি নয়, এই প্রযুক্তিগত সমাধানটি ব্যবহার করা সহজ এবং সাশ্রয়ী করে তুলেছে।

প্রমটেল - অপারেটিং সিস্টেম থেকে লোকি ক্লাস্টারে লগ পাঠানোর জন্য একজন এজেন্ট। গ্রাফানা লোকি থেকে ডেটার উপর ভিত্তি করে একটি ভিজ্যুয়ালাইজেশন টুল।

লোকি প্রমিথিউসের মতো একই নীতিতে নির্মিত, তাই এটি কুবারনেটস লগ সংরক্ষণ এবং পার্স করার জন্য উপযুক্ত।

লোকি স্থাপত্য

Loki একটি একক প্রক্রিয়া বা একাধিক প্রক্রিয়া হিসাবে চালানো যেতে পারে, অনুভূমিক স্কেলিং করার অনুমতি দেয়।

এটি একটি মনোলিথিক অ্যাপ্লিকেশন এবং একটি মাইক্রোসার্ভিস হিসাবে উভয়ই কাজ করতে পারে। একটি একক প্রক্রিয়া হিসাবে চলমান স্থানীয় উন্নয়ন বা সূক্ষ্ম-দানা পর্যবেক্ষণের জন্য দরকারী হতে পারে। শিল্প বাস্তবায়ন এবং পরিমাপযোগ্য কাজের চাপের জন্য, মাইক্রোসার্ভিস বিকল্পটি ব্যবহার করার পরামর্শ দেওয়া হয়। ডেটা লেখা এবং পড়ার পথগুলিকে আলাদা করা হয়েছে, যাতে এটি প্রয়োজন অনুসারে সূক্ষ্মভাবে টিউন করা যায় এবং স্কেল করা যায়।

আসুন বিস্তারিত ছাড়াই লগ সংগ্রহের সিস্টেমের আর্কিটেকচারটি দেখি:

এবং এখানে বর্ণনা (মাইক্রোসার্ভিস আর্কিটেকচার):

উপাদান:

প্রমটেল - নোডগুলিতে ইনস্টল করা একটি এজেন্ট (পরিষেবার একটি সেট হিসাবে), এটি কার্যগুলি থেকে লগগুলি সরিয়ে দেয় এবং মেটাডেটা পেতে কুবারনেটস API অ্যাক্সেস করে যা লগগুলি চিহ্নিত করতে ব্যবহৃত হবে৷ এটি তারপর লগটি প্রধান লোকি পরিষেবাতে পাঠায়। মেটাডেটা মিলের জন্য, একই ট্যাগিং নিয়ম প্রমিথিউসের মতো সমর্থিত।

পরিবেশক - পরিষেবা পরিবেশক, বাফার হিসাবে কাজ করে। লক্ষ লক্ষ রেকর্ড প্রসেস করতে, এটি ইনকামিং ডেটা প্যাক করে, এটি আসার সাথে সাথে এটিকে ব্লকে সংকুচিত করে। একাধিক ডেটা সিঙ্ক একই সময়ে চলছে, কিন্তু একই ইনকামিং ডেটা স্ট্রিমের লগগুলি এর সমস্ত ব্লকের জন্য শুধুমাত্র একটিতে শেষ হওয়া উচিত। এটি রিসিভার এবং ক্রমিক হ্যাশিংয়ের একটি রিং হিসাবে সংগঠিত হয়। ত্রুটি সহনশীলতা এবং অপ্রয়োজনীয়তার জন্য, এটি n বার করা হয় (3 যদি কনফিগার করা না থাকে)।

ingester - পরিষেবা গ্রহণকারী। তথ্য ব্লক যোগ লগ সঙ্গে সংকুচিত আসা. ব্লকটি পর্যাপ্ত আকারের হওয়ার সাথে সাথে ব্লকটি ডাটাবেসে ফ্লাশ করা হয়। মেটাডেটা সূচীতে যায়, এবং লগ ব্লক থেকে ডেটা অংশে যায় (সাধারণত অবজেক্ট স্টোরেজ)। রিসেট করার পরে, রিসিভার একটি নতুন ব্লক তৈরি করে যেখানে নতুন রেকর্ড যোগ করা হবে।

সূচক - ডাটাবেস, DynamoDB, Cassandra, Google BigTable এবং আরও অনেক কিছু।

খন্ডে - সংকুচিত আকারে লগের ব্লক, সাধারণত অবজেক্ট স্টোরেজে সংরক্ষণ করা হয়, উদাহরণস্বরূপ, S3।

প্রশ্নকারী একটি পড়ার পথ যা সমস্ত নোংরা কাজ করে। এটি টাইম রেঞ্জ এবং টাইমস্ট্যাম্প দেখে এবং তারপরে মিলগুলি দেখার জন্য সূচকটি দেখে। এর পরে, এটি ডেটার ব্লকগুলি পড়ে এবং ফলাফল পেতে সেগুলিকে ফিল্টার করে।

এখন কাজের সবকিছু দেখা যাক।

বিন্যাস

Kubernetes এ ইনস্টল করার সবচেয়ে সহজ উপায় হল হেলম ব্যবহার করা। আমরা অনুমান করি যে আপনি ইতিমধ্যে এটি ইনস্টল এবং কনফিগার করেছেন (এবং তৃতীয় সংস্করণ! প্রায়. অনুবাদক)

আমরা একটি সংগ্রহস্থল যোগ করি এবং আমরা একটি স্ট্যাক রাখি।

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

নীচে Etcd এর জন্য Prometheus এবং Etcd পড লগের জন্য Loki মেট্রিক্সের ডেটা দেখানো একটি উদাহরণ ড্যাশবোর্ড।

এবং এখন আসুন উভয় সিস্টেমের আর্কিটেকচার নিয়ে আলোচনা করি, পাশাপাশি একে অপরের সাথে তাদের ক্ষমতা তুলনা করি।

তুলনা

কোয়েরি ভাষা

ইলাস্টিকসার্চ সম্পূর্ণ টেক্সট অনুসন্ধান ক্ষমতা প্রদানের জন্য কোয়েরি ডিএসএল এবং লুসিন কোয়েরি ভাষা ব্যবহার করে। এটি বিস্তৃত অপারেটর সমর্থন সহ একটি প্রতিষ্ঠিত শক্তিশালী সার্চ ইঞ্জিন। এটির সাহায্যে, আপনি প্রসঙ্গ দ্বারা অনুসন্ধান করতে পারেন এবং প্রাসঙ্গিকতা অনুসারে সাজাতে পারেন৷

রিং এর অন্য দিকে লোকির LogQL, PromQL এর উত্তরসূরী (প্রমিথিউস কোয়েরি ভাষা)। এটি ফিল্টার এবং লগ ডেটা নির্বাচন করতে লগ লেবেল ব্যবহার করে। বর্ণনা অনুযায়ী কিছু অপারেটর এবং পাটিগণিত ব্যবহার করা সম্ভব এখানে, কিন্তু ক্ষমতার দিক থেকে, এটি ইলাস্টিক ভাষার থেকে পিছিয়ে আছে।

যেহেতু লোকিতে অনুরোধগুলি লেবেলের সাথে যুক্ত, সেগুলি মেট্রিক্সের সাথে সম্পর্কযুক্ত করা সহজ, ফলস্বরূপ, তাদের সাথে অপারেশনাল মনিটরিং সংগঠিত করা সহজ।

মাপযোগ্যতা

উভয় স্ট্যাকই অনুভূমিকভাবে স্কেলযোগ্য, কিন্তু লোকির সাথে এটি সহজ কারণ এটিতে আলাদা পড়ার এবং লেখার পাথ রয়েছে এবং এটির একটি মাইক্রোসার্ভিস আর্কিটেকচার রয়েছে। Loki আপনার প্রয়োজন অনুযায়ী কাস্টমাইজ করা যেতে পারে এবং লগ ডেটার খুব বড় ভলিউমের জন্য ব্যবহার করা যেতে পারে।

বহু মালিকানা

ক্লাস্টার মাল্টি-টেনেন্সি হল OPEX হ্রাসের জন্য একটি সাধারণ থিম, উভয় স্ট্যাকই মাল্টি-টেনেন্সি প্রদান করে। ইলাস্টিকসার্চের জন্য বেশ কিছু আছে উপায় গ্রাহক বিচ্ছেদ: গ্রাহক প্রতি পৃথক সূচক, গ্রাহক-ভিত্তিক রাউটিং, গ্রাহক অনন্য ক্ষেত্র, অনুসন্ধান ফিল্টার। লোকির আছে সমর্থন HTTP X-Scope-OrgID হেডার হিসেবে।

খরচ

লোকি খুবই সাশ্রয়ী এই কারণে যে এটি ডেটা সূচক করে না, শুধুমাত্র মেটাডেটা। এইভাবে, স্টোরেজ সঞ্চয় এবং মেমরি (ক্যাশে), যেহেতু অবজেক্ট স্টোরেজ ব্লক স্টোরেজ থেকে সস্তা, যা ইলাস্টিকসার্চ ক্লাস্টারে ব্যবহৃত হয়।

উপসংহার

EFK স্ট্যাকটি বিভিন্ন উদ্দেশ্যে ব্যবহার করা যেতে পারে, সর্বাধিক নমনীয়তা এবং বিশ্লেষণ, ভিজ্যুয়ালাইজেশন এবং প্রশ্নের জন্য একটি সমৃদ্ধ কিবানা ইন্টারফেস প্রদান করে। এটি মেশিন লার্নিং ক্ষমতার সাথে আরও উন্নত করা যেতে পারে।

মেটাডেটা আবিষ্কারের পদ্ধতির কারণে কুবারনেটস ইকোসিস্টেমে লোকি স্ট্যাকটি কার্যকর। আপনি Grafana এবং লগগুলিতে টাইম সিরিজের উপর ভিত্তি করে নিরীক্ষণের জন্য সহজেই ডেটা পারস্পরিক সম্পর্ক করতে পারেন।

যখন খরচ এবং দীর্ঘমেয়াদী লগ ধরে রাখার কথা আসে, তখন লোকি ক্লাউডে প্রবেশের জন্য একটি চমৎকার পছন্দ।

বাজারে আরো বিকল্প আছে - কিছু আপনার জন্য ভাল হতে পারে. উদাহরণস্বরূপ, GKE এর একটি স্ট্যাকড্রাইভার ইন্টিগ্রেশন রয়েছে যা একটি দুর্দান্ত পর্যবেক্ষণ সমাধান প্রদান করে। আমরা এই নিবন্ধে আমাদের বিশ্লেষণে তাদের অন্তর্ভুক্ত করিনি।

রেফারেন্স:

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

নিবন্ধটি কর্মচারীদের দ্বারা হাবরের জন্য অনুবাদ এবং প্রস্তুত করা হয়েছিল স্লার্ম প্রশিক্ষণ কেন্দ্র — নিবিড়, ভিডিও কোর্স এবং অনুশীলনকারীদের কাছ থেকে কর্পোরেট প্রশিক্ষণ (কুবারনেটস, ডিওঅপস, ডকার, অ্যানসিবল, সিফ, এসআরই, চতুর)

উত্স: www.habr.com