শুধুমাত্র প্রক্রিয়াকরণ নয়: আমরা কীভাবে কাফকা স্ট্রীমস থেকে একটি বিতরণ করা ডাটাবেস তৈরি করেছি এবং এটি কী এসেছিল

হে হাবর!

আমরা আপনাকে মনে করিয়ে দিচ্ছি যে বইটি অনুসরণ করে কাফকা আমরা লাইব্রেরি সম্পর্কে একটি সমান আকর্ষণীয় কাজ প্রকাশ করেছি কাফকা স্ট্রীমস API.

আপাতত, সম্প্রদায় শুধু এই শক্তিশালী টুলের সীমা শিখছে। সুতরাং, সম্প্রতি একটি নিবন্ধ প্রকাশিত হয়েছে, যার অনুবাদ আমরা আপনাকে পরিচয় করিয়ে দিতে চাই। তার নিজের অভিজ্ঞতা থেকে, লেখক বলেছেন কীভাবে কাফকা স্ট্রিমগুলিকে একটি বিতরণকৃত ডেটা স্টোরেজে পরিণত করা যায়। পড়া ভোগ!

অ্যাপাচি লাইব্রেরি কাফকা প্রবাহ Apache Kafka এর উপরে ডিস্ট্রিবিউটেড স্ট্রিম প্রসেসিংয়ের জন্য এন্টারপ্রাইজগুলিতে বিশ্বব্যাপী ব্যবহৃত হয়। এই ফ্রেমওয়ার্কের একটি কম মূল্যহীন দিক হল যে এটি আপনাকে থ্রেড প্রক্রিয়াকরণের উপর ভিত্তি করে উত্পাদিত স্থানীয় অবস্থা সংরক্ষণ করতে দেয়।

এই নিবন্ধে, আমি আপনাকে বলব যে কীভাবে আমাদের কোম্পানি ক্লাউড অ্যাপ্লিকেশন সুরক্ষার জন্য একটি পণ্য বিকাশ করার সময় এই সুযোগটি লাভজনকভাবে ব্যবহার করতে পেরেছিল। কাফকা স্ট্রীমস ব্যবহার করে, আমরা শেয়ার্ড স্টেট মাইক্রোসার্ভিস তৈরি করেছি, যার প্রত্যেকটিই সিস্টেমে বস্তুর অবস্থা সম্পর্কে নির্ভরযোগ্য তথ্যের একটি ত্রুটি-সহনশীল এবং অত্যন্ত উপলব্ধ উৎস হিসেবে কাজ করে। আমাদের জন্য, এটি নির্ভরযোগ্যতা এবং সমর্থনের সহজতার দিক থেকে একটি ধাপ এগিয়ে।

আপনি যদি একটি বিকল্প পদ্ধতিতে আগ্রহী হন যা আপনাকে আপনার বস্তুর আনুষ্ঠানিক অবস্থা সমর্থন করার জন্য একটি একক কেন্দ্রীয় ডাটাবেস ব্যবহার করতে দেয়, তবে এটি পড়ুন, এটি আকর্ষণীয় হবে...

কেন আমরা ভেবেছিলাম যে আমাদের ভাগ করা রাষ্ট্রের সাথে কাজ করার উপায় পরিবর্তন করার সময় এসেছে

আমাদের এজেন্ট রিপোর্টের উপর ভিত্তি করে বিভিন্ন বস্তুর অবস্থা বজায় রাখা দরকার ছিল (উদাহরণস্বরূপ: সাইটটি কি আক্রমণের অধীনে ছিল)? কাফকা স্ট্রিমগুলিতে স্থানান্তরিত হওয়ার আগে, আমরা প্রায়শই রাষ্ট্র পরিচালনার জন্য একটি একক কেন্দ্রীয় ডাটাবেসের (+ পরিষেবা API) উপর নির্ভর করতাম। এই পদ্ধতির তার অসুবিধা আছে: তারিখ নিবিড় পরিস্থিতিতে সামঞ্জস্য বজায় রাখা এবং সিঙ্ক্রোনাইজেশন একটি বাস্তব চ্যালেঞ্জ হয়ে ওঠে। ডাটাবেস একটি বাধা হয়ে যেতে পারে বা শেষ হতে পারে জাতি শর্ত এবং অনির্দেশ্যতায় ভোগে।

চিত্র 1: একটি সাধারণ বিভক্ত-রাষ্ট্রের দৃশ্যকল্প যা রূপান্তরের আগে দেখা যায়
কাফকা এবং কাফকা স্ট্রীম: এজেন্টরা API এর মাধ্যমে তাদের মতামত যোগাযোগ করে, আপডেট করা অবস্থা একটি কেন্দ্রীয় ডাটাবেসের মাধ্যমে গণনা করা হয়

শেয়ার্ড স্টেট মাইক্রোসার্ভিস তৈরি করা সহজ করে কাফকা স্ট্রীমসের সাথে দেখা করুন

প্রায় এক বছর আগে, আমরা এই সমস্যাগুলি মোকাবেলা করার জন্য আমাদের ভাগ করা রাষ্ট্রীয় পরিস্থিতিতে কঠোর নজর দেওয়ার সিদ্ধান্ত নিয়েছি। আমরা অবিলম্বে কাফকা স্ট্রীমগুলি চেষ্টা করার সিদ্ধান্ত নিয়েছি - আমরা জানি এটি কতটা মাপযোগ্য, অত্যন্ত উপলব্ধ এবং ত্রুটি-সহনশীল, এটির কী সমৃদ্ধ স্ট্রিমিং কার্যকারিতা রয়েছে (রূপান্তরগুলি, রাষ্ট্রীয় সহ)। কাফকার মেসেজিং সিস্টেম কতটা পরিপক্ক এবং নির্ভরযোগ্য হয়ে উঠেছে তা বলার অপেক্ষা রাখে না।

আমাদের তৈরি প্রতিটি রাষ্ট্রীয় মাইক্রোসার্ভিস একটি মোটামুটি সহজ টপোলজি সহ একটি কাফকা স্ট্রীমস উদাহরণের উপরে তৈরি করা হয়েছিল। এটি 1) একটি উত্স 2) একটি ক্রমাগত কী-মানের স্টোর সহ একটি প্রসেসর 3) একটি সিঙ্ক নিয়ে গঠিত:

চিত্র 2: রাষ্ট্রীয় মাইক্রোসার্ভিসের জন্য আমাদের স্ট্রিমিং উদাহরণগুলির ডিফল্ট টপোলজি। উল্লেখ্য যে এখানে একটি সংগ্রহস্থল রয়েছে যেখানে পরিকল্পনা মেটাডেটা রয়েছে।

এই নতুন পদ্ধতিতে, এজেন্টরা বার্তা রচনা করে যেগুলি উত্স বিষয়ের মধ্যে খাওয়ানো হয়, এবং ভোক্তারা - বলুন, একটি মেল বিজ্ঞপ্তি পরিষেবা - সিঙ্কের (আউটপুট বিষয়) মাধ্যমে গণনাকৃত ভাগ করা অবস্থা গ্রহণ করে৷

চিত্র 3: শেয়ার্ড মাইক্রোসার্ভিসেস সহ একটি দৃশ্যের জন্য নতুন উদাহরণ টাস্ক ফ্লো: 1) এজেন্ট একটি বার্তা তৈরি করে যা কাফকা উত্স বিষয়ে পৌঁছায়; 2) শেয়ার্ড স্টেট সহ একটি মাইক্রোসার্ভিস (কাফকা স্ট্রীমস ব্যবহার করে) এটিকে প্রক্রিয়া করে এবং গণনাকৃত অবস্থাকে চূড়ান্ত কাফকা বিষয়ে লিখে দেয়; যার পরে 3) গ্রাহকরা নতুন রাষ্ট্র গ্রহণ করে

আরে, এই অন্তর্নির্মিত কী-মানের দোকান আসলে খুব দরকারী!

উপরে উল্লিখিত হিসাবে, আমাদের শেয়ার্ড স্টেট টপোলজিতে একটি মূল-মূল্যের দোকান রয়েছে। আমরা এটি ব্যবহার করার জন্য বেশ কয়েকটি বিকল্প খুঁজে পেয়েছি, এবং তাদের মধ্যে দুটি নীচে বর্ণিত হয়েছে।

বিকল্প #1: গণনার জন্য একটি মূল-মান স্টোর ব্যবহার করুন

আমাদের প্রথম কী-মানের স্টোরে আমাদের গণনার জন্য প্রয়োজনীয় সহায়ক ডেটা রয়েছে। উদাহরণস্বরূপ, কিছু ক্ষেত্রে ভাগ করা রাষ্ট্র "সংখ্যাগরিষ্ঠ ভোট" নীতি দ্বারা নির্ধারিত হয়েছিল। রিপোজিটরি কিছু বস্তুর স্থিতির সব সাম্প্রতিক এজেন্ট রিপোর্ট ধারণ করতে পারে। তারপরে, যখন আমরা একটি এজেন্ট বা অন্যের কাছ থেকে একটি নতুন প্রতিবেদন পেয়েছি, তখন আমরা এটি সংরক্ষণ করতে পারি, অন্যান্য সমস্ত এজেন্টের কাছ থেকে একই বস্তুর অবস্থা সম্পর্কে রিপোর্ট পুনরুদ্ধার করতে পারি এবং গণনাটি পুনরাবৃত্তি করতে পারি।
নীচের চিত্র 4 দেখায় কিভাবে আমরা কী/মান স্টোরটিকে প্রসেসরের প্রক্রিয়াকরণ পদ্ধতিতে প্রকাশ করেছি যাতে নতুন বার্তাটি প্রক্রিয়া করা যায়।

দৃষ্টান্ত 4: আমরা প্রসেসরের প্রক্রিয়াকরণ পদ্ধতির জন্য কী-মান স্টোরে অ্যাক্সেস খুলি (এর পরে, প্রতিটি স্ক্রিপ্ট যা ভাগ করা রাজ্যের সাথে কাজ করে সেই পদ্ধতিটি অবশ্যই প্রয়োগ করতে হবে doProcess)

বিকল্প #2: কাফকা স্ট্রিমগুলির উপরে একটি CRUD API তৈরি করা

আমাদের বেসিক টাস্ক ফ্লো প্রতিষ্ঠা করার পর, আমরা আমাদের শেয়ার করা স্টেট মাইক্রোসার্ভিসের জন্য একটি RESTful CRUD API লেখার চেষ্টা শুরু করেছি। আমরা কিছু বা সমস্ত বস্তুর অবস্থা পুনরুদ্ধার করতে সক্ষম হতে চেয়েছিলাম, সেইসাথে একটি বস্তুর অবস্থা সেট বা অপসারণ করতে সক্ষম হতে চাই (ব্যাকএন্ড সমর্থনের জন্য দরকারী)।

সমস্ত Get State API-কে সমর্থন করার জন্য, যখনই আমাদের প্রক্রিয়াকরণের সময় রাষ্ট্র পুনঃগণনা করার প্রয়োজন হয়, আমরা এটিকে একটি অন্তর্নির্মিত কী-মান স্টোরে দীর্ঘ সময়ের জন্য সংরক্ষণ করি। এই ক্ষেত্রে, কাফকা স্ট্রীমগুলির একটি একক উদাহরণ ব্যবহার করে এই জাতীয় API বাস্তবায়ন করা বেশ সহজ হয়ে যায়, যেমনটি নীচের তালিকায় দেখানো হয়েছে:

চিত্র 5: একটি বস্তুর পূর্বনির্ধারিত অবস্থা পেতে অন্তর্নির্মিত কী-মান স্টোর ব্যবহার করে

API-এর মাধ্যমে একটি বস্তুর অবস্থা আপডেট করাও কার্যকর করা সহজ। মূলত, আপনাকে যা করতে হবে তা হল একটি কাফকা প্রযোজক তৈরি করা এবং একটি রেকর্ড তৈরি করতে এটি ব্যবহার করুন যাতে নতুন রাজ্য রয়েছে। এটি নিশ্চিত করে যে API এর মাধ্যমে উত্পন্ন সমস্ত বার্তা অন্যান্য প্রযোজকদের (যেমন এজেন্টদের) কাছ থেকে প্রাপ্ত হিসাবে একইভাবে প্রক্রিয়া করা হবে।

চিত্র 6: আপনি কাফকা প্রযোজক ব্যবহার করে একটি বস্তুর অবস্থা সেট করতে পারেন

ছোট জটিলতা: কাফকার অনেক পার্টিশন আছে

এরপরে, আমরা প্রসেসিং লোড বিতরণ করতে এবং দৃশ্যকল্পে শেয়ার্ড-স্টেট মাইক্রোসার্ভিসের একটি ক্লাস্টার প্রদান করে প্রাপ্যতা উন্নত করতে চেয়েছিলাম। সেটআপটি একটি হাওয়া ছিল: একবার আমরা একই অ্যাপ্লিকেশন আইডি (এবং একই বুটস্ট্র্যাপ সার্ভার) এর অধীনে চালানোর জন্য সমস্ত দৃষ্টান্ত কনফিগার করেছিলাম, বাকি প্রায় সবকিছুই স্বয়ংক্রিয়ভাবে সম্পন্ন হয়েছিল। আমরা আরও উল্লেখ করেছি যে প্রতিটি উৎসের বিষয় একাধিক পার্টিশন নিয়ে গঠিত হবে, যাতে প্রতিটি উদাহরণকে এই ধরনের পার্টিশনের একটি উপসেট বরাদ্দ করা যায়।

আমি আরও উল্লেখ করব যে স্টেট স্টোরের একটি ব্যাকআপ কপি তৈরি করা সাধারণ অভ্যাস যাতে, উদাহরণস্বরূপ, ব্যর্থতার পরে পুনরুদ্ধারের ক্ষেত্রে, এই অনুলিপিটিকে অন্য উদাহরণে স্থানান্তর করা হয়। কাফকা স্ট্রীমসের প্রতিটি স্টেট স্টোরের জন্য, একটি পরিবর্তন লগ (যা স্থানীয় আপডেট ট্র্যাক করে) সহ একটি প্রতিলিপি করা বিষয় তৈরি করা হয়। এইভাবে, কাফকা ক্রমাগত রাষ্ট্রীয় দোকান ব্যাক আপ. অতএব, এক বা অন্য কাফকা স্ট্রীমস উদাহরণের ব্যর্থতার ক্ষেত্রে, রাষ্ট্রীয় স্টোরটি অন্য একটি উদাহরণে দ্রুত পুনরুদ্ধার করা যেতে পারে, যেখানে সংশ্লিষ্ট পার্টিশনগুলি যাবে। আমাদের পরীক্ষায় দেখা গেছে যে এটি কয়েক সেকেন্ডের মধ্যে সম্পন্ন হয়, এমনকি যদি দোকানে লক্ষ লক্ষ রেকর্ড থাকে।

শেয়ার্ড স্টেট সহ একটি একক মাইক্রোসার্ভিস থেকে মাইক্রোসার্ভিসের ক্লাস্টারে চলে যাওয়া, গেট স্টেট এপিআই বাস্তবায়ন করা কম তুচ্ছ হয়ে যায়। নতুন পরিস্থিতিতে, প্রতিটি মাইক্রোসার্ভিসের স্টেট স্টোরে সামগ্রিক ছবির শুধুমাত্র একটি অংশ থাকে (যেসব বস্তুর কী একটি নির্দিষ্ট পার্টিশনে ম্যাপ করা হয়েছিল)। আমাদের নির্ধারণ করতে হয়েছিল কোন উদাহরণে আমাদের প্রয়োজনীয় বস্তুর অবস্থা রয়েছে এবং আমরা থ্রেড মেটাডেটার উপর ভিত্তি করে এটি করেছি, যেমনটি নীচে দেখানো হয়েছে:

চিত্র 7: স্ট্রীম মেটাডেটা ব্যবহার করে, আমরা নির্ধারণ করি কোন দৃষ্টান্ত থেকে কাঙ্খিত বস্তুর অবস্থা অনুসন্ধান করতে হবে; একটি অনুরূপ পদ্ধতি GET ALL API এর সাথে ব্যবহার করা হয়েছিল

প্রধান ফলাফল

কাফকা স্ট্রীমসের স্টেট স্টোরগুলি ডি ফ্যাক্টো ডিস্ট্রিবিউটেড ডাটাবেস হিসাবে কাজ করতে পারে,

• ক্রমাগত কাফকা প্রতিলিপি
• একটি CRUD API সহজেই এই ধরনের সিস্টেমের উপরে তৈরি করা যেতে পারে
• একাধিক পার্টিশন পরিচালনা করা একটু বেশি জটিল
• সহায়ক ডেটা সঞ্চয় করতে স্ট্রিমিং টপোলজিতে এক বা একাধিক স্টেট স্টোর যুক্ত করাও সম্ভব। এই বিকল্পটি এর জন্য ব্যবহার করা যেতে পারে:
• স্ট্রিম প্রক্রিয়াকরণের সময় গণনার জন্য প্রয়োজনীয় ডেটার দীর্ঘমেয়াদী সঞ্চয়
• ডেটার দীর্ঘমেয়াদী সঞ্চয়স্থান যা পরবর্তী সময়ে স্ট্রিমিং দৃষ্টান্তের ব্যবস্থা করা হলে উপযোগী হতে পারে
• অনেক বেশি...

এই এবং অন্যান্য সুবিধাগুলি কাফকা স্ট্রীমগুলিকে আমাদের মতো একটি বিতরণ ব্যবস্থায় বিশ্বব্যাপী রাষ্ট্র বজায় রাখার জন্য উপযুক্ত করে তোলে। কাফকা স্ট্রীমস উৎপাদনে অত্যন্ত নির্ভরযোগ্য বলে প্রমাণিত হয়েছে (এটি স্থাপন করার পর থেকে আমাদের কার্যত কোনো বার্তার ক্ষতি হয়নি), এবং আমরা নিশ্চিত যে এর ক্ষমতা সেখানে থামবে না!

উত্স: www.habr.com