Kubernetes উপর কাফকা ভাল?

শুভেচ্ছা, হাবর!

এক সময়ে, আমরাই প্রথম রাশিয়ান বাজারে বিষয়টির সাথে পরিচয় করিয়ে দিয়েছিলাম কাফকা এবং চালিয়ে যান ট্র্যাক এর উন্নয়নের জন্য। বিশেষ করে, আমরা কাফকা এবং এর মধ্যে মিথস্ক্রিয়ার বিষয় খুঁজে পেয়েছি Kubernetes. পর্যবেক্ষণযোগ্য (এবং বেশ সতর্ক) একটি নিবন্ধ এই বিষয়টি গত বছরের অক্টোবরে গুয়েন শাপিরার লেখকের অধীনে কনফ্লুয়েন্ট ব্লগে প্রকাশিত হয়েছিল। আজ আমরা জোহান গাইগারের এপ্রিল থেকে একটি সাম্প্রতিক নিবন্ধের প্রতি আপনার দৃষ্টি আকর্ষণ করতে চাই, যিনি যদিও শিরোনামে একটি প্রশ্ন চিহ্ন ছাড়াই, বিষয়টিকে আরও সারগর্ভভাবে পরীক্ষা করেছেন, আকর্ষণীয় লিঙ্ক সহ পাঠ্যটির সাথে। আপনি যদি পারেন আমাদের "বিশৃঙ্খলা বানর" এর বিনামূল্যে অনুবাদ ক্ষমা করুন!

ভূমিকা

Kubernetes স্টেটলেস ওয়ার্কলোড পরিচালনা করার জন্য ডিজাইন করা হয়েছে। সাধারণত, এই ধরনের কাজের চাপগুলি একটি মাইক্রোসার্ভিস আর্কিটেকচারের আকারে উপস্থাপিত হয়, তারা হালকা ওজনের, অনুভূমিকভাবে ভালভাবে স্কেল করে, 12-ফ্যাক্টর অ্যাপ্লিকেশনের নীতিগুলি অনুসরণ করে এবং সার্কিট ব্রেকার এবং বিশৃঙ্খলা বানরের সাথে কাজ করতে পারে।

অন্যদিকে, কাফকা মূলত একটি বিতরণ করা ডাটাবেস হিসেবে কাজ করে। সুতরাং, কাজ করার সময়, আপনাকে রাষ্ট্রের সাথে মোকাবিলা করতে হবে এবং এটি একটি মাইক্রোসার্ভিসের চেয়ে অনেক ভারী। কুবারনেটস স্টেটফুল লোড সমর্থন করে, কিন্তু কেলসি হাইটাওয়ার দুটি টুইটে উল্লেখ করেছে, সেগুলি যত্ন সহকারে পরিচালনা করা উচিত:

কিছু লোক মনে করে যে আপনি যদি কুবারনেটসকে একটি রাষ্ট্রীয় কাজের চাপে নিয়ে যান, তবে এটি একটি সম্পূর্ণরূপে পরিচালিত ডাটাবেসে পরিণত হয় যা RDS-এর প্রতিদ্বন্দ্বী। এটা ভুল. হতে পারে, আপনি যদি যথেষ্ট পরিশ্রম করেন, অতিরিক্ত উপাদান যোগ করেন এবং SRE ইঞ্জিনিয়ারদের একটি দলকে আকর্ষণ করেন, তাহলে আপনি Kubernetes-এর উপরে RDS তৈরি করতে সক্ষম হবেন।

আমি সর্বদা সুপারিশ করি যে Kubernetes-এ স্টেটফুল ওয়ার্কলোড চালানোর সময় সবাই চরম সতর্কতা অবলম্বন করুন। "আমি কি কুবারনেটে স্টেটফুল ওয়ার্কলোড চালাতে পারি" জিজ্ঞাসা করে এমন বেশিরভাগ লোকেরই কুবারনেটসের সাথে পর্যাপ্ত অভিজ্ঞতা নেই এবং প্রায়শই তারা যে কাজের চাপ সম্পর্কে জিজ্ঞাসা করছেন তার সাথে।

তাহলে, আপনার কি কুবারনেটে কাফকা চালানো উচিত? পাল্টা প্রশ্ন: কাফকা কি কুবারনেটস ছাড়া আরও ভাল কাজ করবে? এই কারণেই আমি এই নিবন্ধে হাইলাইট করতে চাই কিভাবে কাফকা এবং কুবারনেটস একে অপরের পরিপূরক, এবং তাদের সংমিশ্রণে কী ক্ষতি হতে পারে।

সমাপ্তির সময়

আসুন মৌলিক জিনিস সম্পর্কে কথা বলি - রানটাইম পরিবেশ নিজেই

প্রক্রিয়া

কাফকার দালালরা সিপিইউ বান্ধব। TLS কিছু ওভারহেড প্রবর্তন করতে পারে। যাইহোক, কাফকা ক্লায়েন্টরা যদি এনক্রিপশন ব্যবহার করে তবে তারা আরও বেশি CPU নিবিড় হতে পারে, তবে এটি ব্রোকারদের প্রভাবিত করে না।

স্মৃতি

কাফকার দালালরা স্মৃতি খায়। JVM স্তূপের আকার সাধারণত 4-5 GB এর মধ্যে সীমাবদ্ধ থাকে, তবে আপনার অনেক সিস্টেম মেমরিরও প্রয়োজন হবে যেহেতু কাফকা পৃষ্ঠার ক্যাশে খুব বেশি ব্যবহার করে। Kubernetes-এ, ধারক সংস্থান সেট করুন এবং সেই অনুযায়ী অনুরোধ সীমা।

তথ্য দোকান

পাত্রে ডেটা স্টোরেজ ক্ষণস্থায়ী - পুনঃসূচনা করার সময় ডেটা হারিয়ে যায়। কাফকা ডেটার জন্য আপনি একটি ভলিউম ব্যবহার করতে পারেন emptyDir, এবং প্রভাব অনুরূপ হবে: আপনার ব্রোকার ডেটা সম্পূর্ণ হওয়ার পরে হারিয়ে যাবে। আপনার বার্তাগুলি এখনও প্রতিলিপি হিসাবে অন্যান্য ব্রোকারগুলিতে সংরক্ষণ করা যেতে পারে। অতএব, পুনরায় আরম্ভ করার পরে, ব্যর্থ ব্রোকারকে প্রথমে সমস্ত ডেটা প্রতিলিপি করতে হবে এবং এই প্রক্রিয়াটি অনেক সময় নিতে পারে।

এই কারণে আপনার দীর্ঘমেয়াদী ডেটা স্টোরেজ ব্যবহার করা উচিত। এটিকে XFS ফাইল সিস্টেমের সাথে অ-স্থানীয় দীর্ঘমেয়াদী স্টোরেজ বা, আরও স্পষ্টভাবে, ext4 হতে দিন। NFS ব্যবহার করবেন না। আমি তোমাকে সতর্ক করেছিলাম. NFS সংস্করণ v3 বা v4 কাজ করবে না। সংক্ষেপে, কাফকা ব্রোকারটি ক্র্যাশ হয়ে যাবে যদি এটি NFS-এ "স্টুপিড রিনেম" সমস্যার কারণে ডেটা ডিরেক্টরি মুছে ফেলতে না পারে। আমি যদি এখনও আপনাকে বোঝাতে না পারি, খুব সাবধানে এই নিবন্ধটি পড়ুন. ডেটা স্টোরটি অ-স্থানীয় হওয়া উচিত যাতে কুবারনেটস পুনরায় চালু বা স্থানান্তর করার পরে আরও নমনীয়ভাবে একটি নতুন নোড বেছে নিতে পারে।

নেটওয়ার্কের

বেশিরভাগ বিতরণ করা সিস্টেমের মতো, কাফকার কর্মক্ষমতা ন্যূনতম এবং ব্যান্ডউইথ সর্বাধিক পর্যন্ত নেটওয়ার্ক লেটেন্সি রাখার উপর অত্যন্ত নির্ভরশীল। একই নোডে সমস্ত ব্রোকার হোস্ট করার চেষ্টা করবেন না, কারণ এটি প্রাপ্যতা হ্রাস করবে। একটি Kubernetes নোড ব্যর্থ হলে, সমগ্র কাফকা ক্লাস্টার ব্যর্থ হবে। এছাড়াও, সমগ্র ডেটা সেন্টার জুড়ে কাফকা ক্লাস্টার ছড়িয়ে দেবেন না। কুবারনেটস ক্লাস্টারের ক্ষেত্রেও একই কথা। এই ক্ষেত্রে একটি ভাল আপস হল বিভিন্ন প্রাপ্যতা অঞ্চল বেছে নেওয়া।

কনফিগারেশন

নিয়মিত ইশতেহার

Kubernetes ওয়েবসাইট আছে খুব ভাল গাইড ম্যানিফেস্ট ব্যবহার করে কিভাবে ZooKeeper কনফিগার করবেন সে সম্পর্কে। যেহেতু ZooKeeper কাফকার অংশ, এটি পরিচিত হওয়ার জন্য এটি একটি ভাল জায়গা যার সাথে কুবারনেটেস ধারণা এখানে প্রযোজ্য। একবার আপনি এটি বুঝতে পারলে, আপনি একটি কাফকা ক্লাস্টারের সাথে একই ধারণাগুলি ব্যবহার করতে পারেন।

• তলদেশে: একটি পড হল কুবারনেটসের সবচেয়ে ছোট স্থাপনযোগ্য একক। একটি পডে আপনার কাজের চাপ থাকে এবং পডটি নিজেই আপনার ক্লাস্টারের একটি প্রক্রিয়ার সাথে মিলে যায়। একটি পডে এক বা একাধিক পাত্র থাকে। প্রতিটি ZooKeeper সার্ভার এবং কাফকা ক্লাস্টারের প্রতিটি ব্রোকার একটি পৃথক পডে চলবে।
• স্টেটফুল সেট: একটি StatefulSet হল একটি Kubernetes অবজেক্ট যা একাধিক স্টেটফুল ওয়ার্কলোড পরিচালনা করে এবং এই ধরনের কাজের চাপের জন্য সমন্বয় প্রয়োজন। স্টেটফুলসেটগুলি পডের ক্রম এবং তাদের স্বতন্ত্রতার বিষয়ে গ্যারান্টি প্রদান করে।
• মাথাবিহীন সেবা: পরিষেবাগুলি আপনাকে যৌক্তিক নাম ব্যবহার করে ক্লায়েন্টদের থেকে পডগুলিকে আলাদা করার অনুমতি দেয়৷ এই ক্ষেত্রে Kubernetes লোড ব্যালেন্সিং জন্য দায়ী. যাইহোক, ZooKeeper এবং Kafka-এর মতো স্টেটফুল ওয়ার্কলোড পরিচালনা করার সময়, ক্লায়েন্টদের একটি নির্দিষ্ট উদাহরণের সাথে যোগাযোগ করতে হবে। এখানেই হেডলেস পরিষেবাগুলি কাজে আসে: এই ক্ষেত্রে, ক্লায়েন্টের এখনও একটি যৌক্তিক নাম থাকবে, তবে আপনাকে সরাসরি পডের সাথে যোগাযোগ করতে হবে না।
• দীর্ঘমেয়াদী স্টোরেজ ভলিউম: উপরে উল্লিখিত অ-স্থানীয় ব্লক ক্রমাগত স্টোরেজ কনফিগার করার জন্য এই ভলিউমগুলির প্রয়োজন।

মধ্যে ইয়োলেন Kubernetes-এ কাফকার সাথে শুরু করতে আপনাকে সাহায্য করার জন্য ম্যানিফেস্টের একটি বিস্তৃত সেট প্রদান করে।

হেলম চার্ট

Helm হল একটি Kubernetes-এর প্যাকেজ ম্যানেজার যা yum, apt, Homebrew বা Chocolatey-এর মতো OS প্যাকেজ পরিচালকদের সাথে তুলনা করা যেতে পারে। এটি হেলম চার্টে বর্ণিত পূর্বনির্ধারিত সফ্টওয়্যার প্যাকেজগুলি ইনস্টল করা সহজ করে তোলে। একটি সু-নির্বাচিত হেলম চার্ট কুবারনেটসে কাফকা ব্যবহার করার জন্য সমস্ত পরামিতি সঠিকভাবে কনফিগার করার কঠিন কাজটিকে সহজ করে তোলে। বেশ কয়েকটি কাফকা ডায়াগ্রাম রয়েছে: অফিসিয়ালটি অবস্থিত ইনকিউবেটর অবস্থায়, থেকে একটি আছে মিলিয়া একীভূত, আরও একজন - থেকে Bitnami.

অপারেটার

হেলমের কিছু ত্রুটি থাকার কারণে, আরেকটি টুল যথেষ্ট জনপ্রিয়তা অর্জন করছে: কুবারনেটস অপারেটর। অপারেটর শুধুমাত্র কুবারনেটসের জন্য সফ্টওয়্যার প্যাকেজ করে না, তবে আপনাকে এই ধরনের সফ্টওয়্যার স্থাপন এবং এটি পরিচালনা করার অনুমতি দেয়।

তালিকার মধ্যে প্রযোজ্য আশ্চর্যজনক অপারেটর কাফকার জন্য দুটি অপারেটর উল্লেখ করা হয়েছে। তাদের একজন - স্ট্রিমজি. স্ট্রিমজির মাধ্যমে, আপনার কাফকা ক্লাস্টারকে কয়েক মিনিটের মধ্যে চালু করা সহজ। কার্যত কোন কনফিগারেশনের প্রয়োজন নেই, উপরন্তু, অপারেটর নিজেই কিছু চমৎকার বৈশিষ্ট্য প্রদান করে, উদাহরণস্বরূপ, ক্লাস্টারের মধ্যে পয়েন্ট-টু-পয়েন্ট TLS এনক্রিপশন। সঙ্গমও প্রদান করে নিজস্ব অপারেটর.

উৎপাদনশীলতা

আপনার কাফকা উদাহরণ বেঞ্চমার্ক করে কর্মক্ষমতা পরীক্ষা করা গুরুত্বপূর্ণ। সমস্যা হওয়ার আগে এই ধরনের পরীক্ষাগুলি আপনাকে সম্ভাব্য বাধাগুলি খুঁজে পেতে সাহায্য করবে। সৌভাগ্যবশত, কাফকা ইতিমধ্যে দুটি কর্মক্ষমতা পরীক্ষার সরঞ্জাম সরবরাহ করে: kafka-producer-perf-test.sh и kafka-consumer-perf-test.sh. তাদের সক্রিয় ব্যবহার করুন. রেফারেন্সের জন্য, আপনি বর্ণিত ফলাফলগুলি উল্লেখ করতে পারেন এই পোস্ট জে ক্রেপস, বা ফোকাস করুন এই পর্যালোচনা অ্যামাজন এমএসকে স্টিফেন মারেক।

অপারেশন

পর্যবেক্ষণ

সিস্টেমে স্বচ্ছতা খুব গুরুত্বপূর্ণ - অন্যথায় আপনি এটিতে কী ঘটছে তা বুঝতে পারবেন না। আজ একটি কঠিন টুলকিট রয়েছে যা ক্লাউড নেটিভ স্টাইলে মেট্রিক্স-ভিত্তিক পর্যবেক্ষণ প্রদান করে। এই উদ্দেশ্যে দুটি জনপ্রিয় হাতিয়ার হল প্রমিথিউস এবং গ্রাফানা। প্রমিথিউস একটি JMX রপ্তানিকারক ব্যবহার করে সমস্ত জাভা প্রসেস (কাফকা, জুকিপার, কাফকা কানেক্ট) থেকে মেট্রিক্স সংগ্রহ করতে পারে - সহজ উপায়ে। আপনি যদি cAdvisor মেট্রিক্স যোগ করেন, তাহলে Kubernetes-এ সম্পদগুলি কীভাবে ব্যবহার করা হয় তা আপনি আরও সম্পূর্ণরূপে বুঝতে পারবেন।

কাফকার জন্য গ্রাফানা ড্যাশবোর্ডের একটি খুব সুবিধাজনক উদাহরণ স্ট্রিমজির রয়েছে। এটি মূল মেট্রিকগুলিকে কল্পনা করে, উদাহরণস্বরূপ, আন্ডার-প্রতিলিপিকৃত সেক্টর বা যেগুলি অফলাইন রয়েছে সেগুলি সম্পর্কে৷ সেখানে সবকিছু খুব পরিষ্কার। এই মেট্রিক্স সম্পদের ব্যবহার এবং কর্মক্ষমতা তথ্য, সেইসাথে স্থিতিশীলতা সূচক দ্বারা পরিপূরক হয়। তাই আপনি বেসিক কাফকা ক্লাস্টার মনিটরিং পাবেন কিছুই না!

উত্স: streamzi.io/docs/master/#kafka_dashboard

ক্লায়েন্ট মনিটরিং (ভোক্তা এবং প্রযোজকদের মেট্রিক্স), সেইসাথে লেটেন্সি মনিটরিং (এর জন্য আছে গর্ত করা) এবং এন্ড-টু-এন্ড মনিটরিং - এই ব্যবহারের জন্য কাফকা মনিটর.

লগিং

লগিং আরেকটি গুরুত্বপূর্ণ কাজ। নিশ্চিত করুন যে আপনার কাফকা ইনস্টলেশনের সমস্ত পাত্রে লগ ইন করা আছে stdout и stderr, এবং এছাড়াও নিশ্চিত করুন যে আপনার Kubernetes ক্লাস্টার একটি কেন্দ্রীয় লগিং পরিকাঠামোতে সমস্ত লগ একত্রিত করে, যেমন Elasticsearch.

কার্যকরী টেস্টিং

আপনার পোডগুলি স্বাভাবিকভাবে চলছে কিনা তা পরীক্ষা করার জন্য কুবারনেটস সজীবতা এবং প্রস্তুতির প্রোব ব্যবহার করে। যদি লাইভনেস চেক ব্যর্থ হয়, Kubernetes সেই কন্টেইনারটি বন্ধ করে দেবে এবং তারপর সেই অনুযায়ী পুনরায় চালু করার নীতি সেট করা থাকলে স্বয়ংক্রিয়ভাবে এটি পুনরায় চালু করবে। প্রস্তুতি পরীক্ষা ব্যর্থ হলে, Kubernetes পরিষেবার অনুরোধ থেকে পডকে বিচ্ছিন্ন করে। সুতরাং, এই জাতীয় ক্ষেত্রে, ম্যানুয়াল হস্তক্ষেপের আর প্রয়োজন নেই, যা একটি বড় প্লাস।

আপডেট রোল আউট

StatefulSets স্বয়ংক্রিয় আপডেট সমর্থন করে: আপনি যদি RollingUpdate কৌশল নির্বাচন করেন, Kafka-এর অধীনে প্রত্যেকটি পালাক্রমে আপডেট করা হবে। এইভাবে, ডাউনটাইম শূন্যে হ্রাস করা যেতে পারে।

স্কেলিং

একটি কাফকা ক্লাস্টার স্কেল করা একটি সহজ কাজ নয়। যাইহোক, Kubernetes একটি নির্দিষ্ট সংখ্যক প্রতিলিপিতে পড স্কেল করা খুব সহজ করে তোলে, যার অর্থ আপনি যত খুশি কাফকা ব্রোকারকে ঘোষণামূলকভাবে সংজ্ঞায়িত করতে পারেন। এই ক্ষেত্রে সবচেয়ে কঠিন বিষয় হল স্কেল আপ করার পরে বা স্কেল ডাউন করার আগে সেক্টরগুলিকে পুনরায় বরাদ্দ করা। আবার, কুবারনেটস আপনাকে এই কাজে সাহায্য করবে।

প্রশাসন

আপনার কাফকা ক্লাস্টার পরিচালনার সাথে সম্পর্কিত কাজগুলি, যেমন বিষয়গুলি তৈরি করা এবং সেক্টরগুলিকে পুনরায় বরাদ্দ করা, আপনার পডগুলিতে কমান্ড লাইন ইন্টারফেসটি খোলার মাধ্যমে বিদ্যমান শেল স্ক্রিপ্টগুলি ব্যবহার করে করা যেতে পারে। যাইহোক, এই সমাধান খুব সুন্দর নয়। Strimzi একটি ভিন্ন অপারেটর ব্যবহার করে বিষয় পরিচালনা সমর্থন করে। এখানে উন্নতির কিছু জায়গা আছে।

ব্যাকআপ এবং পুনঃস্থাপন

এখন কাফকার প্রাপ্যতাও নির্ভর করবে কুবারনেটসের প্রাপ্যতার উপর। যদি আপনার Kubernetes ক্লাস্টার ব্যর্থ হয়, তাহলে সবচেয়ে খারাপ পরিস্থিতিতে, আপনার Kafka ক্লাস্টারও ব্যর্থ হবে। মারফির আইন অনুসারে, এটি অবশ্যই ঘটবে এবং আপনি ডেটা হারাবেন। এই ধরনের ঝুঁকি কমাতে, একটি ভাল ব্যাকআপ ধারণা আছে. আপনি MirrorMaker ব্যবহার করতে পারেন, এর জন্য S3 ব্যবহার করা আরেকটি বিকল্প, যেমনটি এতে বর্ণিত হয়েছে পোস্ট জাল্যান্ডো থেকে।

উপসংহার

ছোট থেকে মাঝারি আকারের কাফকা ক্লাস্টারগুলির সাথে কাজ করার সময়, কুবারনেটস ব্যবহার করা অবশ্যই মূল্যবান কারণ এটি অতিরিক্ত নমনীয়তা প্রদান করে এবং অপারেটরের অভিজ্ঞতাকে সরল করে। আপনার যদি খুব গুরুত্বপূর্ণ অ-কার্যকর লেটেন্সি এবং/অথবা থ্রুপুট প্রয়োজনীয়তা থাকে, তাহলে অন্য কিছু স্থাপনার বিকল্প বিবেচনা করা ভাল হতে পারে।

উত্স: www.habr.com