বইটি "কাফকা স্ট্রিমস ইন অ্যাকশন। রিয়েল-টাইম কাজের জন্য অ্যাপ্লিকেশন এবং মাইক্রোসার্ভিস"

হ্যালো হাব্রিটিস! এই বইটি যেকোন ডেভেলপারের জন্য উপযুক্ত যারা স্ট্রিমিং বুঝতে চায়। বিতরণকৃত প্রোগ্রামিং বোঝা আপনাকে কাফকা এবং কাফকা স্ট্রীমগুলি আরও ভালভাবে বুঝতে সাহায্য করবে। কাফকা ফ্রেমওয়ার্কটি নিজেই জানা ভাল হবে, তবে এটি প্রয়োজনীয় নয়: আপনার যা প্রয়োজন তা আমি আপনাকে বলব। অভিজ্ঞ কাফকা ডেভেলপাররা এবং নতুনরা এই বইটির সাথে কাফকা স্ট্রীমস লাইব্রেরি ব্যবহার করে কীভাবে আকর্ষণীয় স্ট্রিমিং অ্যাপ্লিকেশন তৈরি করতে হয় তা শিখবে। মধ্যবর্তী থেকে উন্নত জাভা ডেভেলপাররা, যারা সিরিয়ালাইজেশনের মত ধারণার সাথে ইতিমধ্যেই পরিচিত, তারা শিখবে কিভাবে কাফকা স্ট্রীমস অ্যাপ্লিকেশন তৈরিতে তাদের দক্ষতা প্রয়োগ করতে হয়। বইটির সোর্স কোড জাভা 8 এ লেখা এবং জাভা 8 ল্যাম্বডা এক্সপ্রেশন সিনট্যাক্স ব্যাপকভাবে ব্যবহার করে, তাই ল্যাম্বডা ফাংশন (এমনকি একটি ভিন্ন প্রোগ্রামিং ভাষায়) কীভাবে কাজ করতে হয় তা জেনে রাখা কাজে আসবে।

উদ্ধৃতি. 5.3। একত্রীকরণ এবং উইন্ডো অপারেশন

এই বিভাগে, আমরা কাফকা স্ট্রীমসের সবচেয়ে প্রতিশ্রুতিশীল অংশগুলি অন্বেষণে এগিয়ে যাব। এখনও পর্যন্ত আমরা কাফকা স্ট্রীমগুলির নিম্নলিখিত দিকগুলি কভার করেছি:

• প্রক্রিয়াকরণ টপোলজি তৈরি;
• স্ট্রিমিং অ্যাপ্লিকেশনে রাষ্ট্র ব্যবহার করে;
• ডেটা স্ট্রিম সংযোগগুলি সম্পাদন করা;
• ইভেন্ট স্ট্রীম (KStream) এবং আপডেট স্ট্রীম (KTable) এর মধ্যে পার্থক্য।

নিম্নলিখিত উদাহরণগুলিতে, আমরা এই সমস্ত উপাদানগুলি একসাথে সংগ্রহ করব। আপনি উইন্ডো অপারেশন সম্পর্কেও শিখবেন, স্ট্রিমিং অ্যাপ্লিকেশনগুলির আরেকটি দুর্দান্ত বৈশিষ্ট্য। আমাদের প্রথম উদাহরণ একটি সাধারণ সমষ্টি হবে।

5.3.1। শিল্প দ্বারা শেয়ার বিক্রয়ের সমষ্টি

স্ট্রিমিং ডেটা নিয়ে কাজ করার সময় একত্রিতকরণ এবং গ্রুপিং গুরুত্বপূর্ণ সরঞ্জাম। ব্যক্তিগত রেকর্ডগুলি আসার সাথে সাথে গবেষণা করা প্রায়শই যথেষ্ট নয়। ডেটা থেকে অতিরিক্ত তথ্য বের করতে, সেগুলিকে গোষ্ঠীবদ্ধ এবং একত্রিত করতে হবে।

এই উদাহরণে, আপনি একজন ডে ট্রেডার হিসাবে পোশাক পরবেন যিনি একাধিক শিল্প জুড়ে কোম্পানির স্টক বিক্রয় ট্র্যাক করতে হবে। বিশেষ করে, আপনি প্রতিটি শিল্পে সর্বাধিক শেয়ার বিক্রয় সহ পাঁচটি কোম্পানিতে আগ্রহী।

এই ধরনের একত্রিতকরণের জন্য, ডেটাকে পছন্দসই ফর্মে (সাধারণ শর্তে) অনুবাদ করার জন্য পরবর্তী কয়েকটি ধাপের প্রয়োজন হবে।

1. একটি বিষয়-ভিত্তিক উত্স তৈরি করুন যা কাঁচা স্টক ট্রেডিং তথ্য প্রকাশ করে। আমাদের শেয়ারভলিউম টাইপের একটি বস্তুর সাথে স্টক ট্রানজেকশন টাইপের একটি বস্তুকে ম্যাপ করতে হবে। আসল বিষয়টি হ'ল স্টক লেনদেন অবজেক্টে বিক্রয় মেটাডেটা রয়েছে এবং আমাদের শুধুমাত্র বিক্রি হওয়া শেয়ারের সংখ্যার ডেটা প্রয়োজন।
2. শেয়ার চিহ্ন দ্বারা শেয়ার ভলিউম ডেটা গ্রুপ করুন। একবার প্রতীক দ্বারা গোষ্ঠীবদ্ধ হয়ে গেলে, আপনি এই ডেটাটিকে স্টক বিক্রয় ভলিউমের সাবটোটালে সঙ্কুচিত করতে পারেন। মনে রাখবেন KStream.groupBy পদ্ধতি KGroupedStream প্রকারের একটি উদাহরণ প্রদান করে। এবং আপনি পরবর্তী KGroupedStream.reduce পদ্ধতিতে কল করে একটি KTable উদাহরণ পেতে পারেন।

KGroupedStream ইন্টারফেস কি?

KStream.groupBy এবং KStream.groupByKey পদ্ধতি একটি KGroupedStream উদাহরণ প্রদান করে। KGroupedStream হল কী দ্বারা গোষ্ঠীবদ্ধ হওয়ার পরে ঘটনাগুলির স্ট্রিমের একটি মধ্যবর্তী উপস্থাপনা। এটি মোটেও তার সাথে সরাসরি কাজ করার জন্য ডিজাইন করা হয়নি। পরিবর্তে, KGroupedStream একত্রীকরণ ক্রিয়াকলাপের জন্য ব্যবহৃত হয় যা সর্বদা একটি KTable হিসাবে পরিণত হয়। এবং যেহেতু অ্যাগ্রিগেশন অপারেশনের ফলাফল হল একটি KTable এবং তারা একটি স্টেট স্টোর ব্যবহার করে, তাই এটা সম্ভব যে ফলাফলের সমস্ত আপডেট পাইপলাইনের নিচে পাঠানো হয় না।

KTable.groupBy পদ্ধতি একটি অনুরূপ KGroupedTable প্রদান করে - কী দ্বারা পুনর্গঠিত আপডেটগুলির একটি মধ্যবর্তী উপস্থাপনা।

আসুন একটি ছোট বিরতি নিন এবং চিত্রটি দেখুন। 5.9, যা দেখায় আমরা কী অর্জন করেছি। এই টপোলজি এখন আপনার কাছে পরিচিত হওয়া উচিত।

আসুন এখন এই টপোলজির কোডটি দেখে নেওয়া যাক (এটি src/main/java/bbejeck/chapter_5/AggregationsAndReducingExample.java এ পাওয়া যাবে) (তালিকা 5.2)।

উপরের কোডটি তার সংক্ষিপ্ততা এবং বেশ কয়েকটি লাইনে সম্পাদিত কর্মের বিশাল পরিমাণের জন্য উল্লেখযোগ্য। আপনি builder.stream পদ্ধতির প্রথম প্যারামিটারে নতুন কিছু লক্ষ্য করতে পারেন: AutoOffsetReset.EARLIEST গণনাকৃত প্রকারের মান (সেখানে সর্বশেষও আছে), যা Consumed.withOffsetResetPolicy পদ্ধতি ব্যবহার করে সেট করা হয়েছে। এই গণনাকৃত প্রকারটি প্রতিটি KStream বা KTable-এর জন্য অফসেট রিসেট কৌশল নির্দিষ্ট করতে ব্যবহার করা যেতে পারে এবং কনফিগারেশন থেকে অফসেট রিসেট সেটিং-এর উপর অগ্রাধিকার নেয়।

GroupByKey এবং GroupBy

KStream ইন্টারফেসে রেকর্ডগুলিকে গ্রুপ করার জন্য দুটি পদ্ধতি রয়েছে: GroupByKey এবং GroupBy। উভয়ই কে-গ্রুপড টেবিল ফেরত দেয়, তাই আপনি হয়তো ভাবছেন তাদের মধ্যে পার্থক্য কী এবং কখন কোনটি ব্যবহার করবেন?

GroupByKey পদ্ধতিটি ব্যবহৃত হয় যখন KStream-এর কীগুলি ইতিমধ্যেই খালি থাকে না। আরও গুরুত্বপূর্ণ, "পুনর্বিভাগের প্রয়োজন" পতাকা কখনই সেট করা হয়নি।

GroupBy পদ্ধতি অনুমান করে যে আপনি গোষ্ঠীকরণের জন্য কীগুলি পরিবর্তন করেছেন, তাই পুনরায় বিভাজন পতাকা সত্য হিসাবে সেট করা হয়েছে। যোগদান, সমষ্টি ইত্যাদির পরে GroupBy পদ্ধতি স্বয়ংক্রিয়ভাবে পুনরায় বিভাজন করবে।
সারাংশ: যখনই সম্ভব আপনার GroupByKey ব্যবহার করা উচিত, GroupBy নয়।

mapValues ​​এবং groupBy পদ্ধতিগুলি যা করে তা পরিষ্কার, তাই আসুন sum() পদ্ধতিটি দেখে নেওয়া যাক (src/main/java/bbejeck/model/ShareVolume.java এ পাওয়া গেছে) (তালিকা 5.3)।

ShareVolume.sum পদ্ধতি শেয়ার বিক্রয় ভলিউমের সাবটোটাল প্রদান করে এবং সমগ্র গণনা চেইনের ফলাফল হল একটি KTable অবজেক্ট। . এখন আপনি বুঝতে পারছেন KTable কী ভূমিকা পালন করে। যখন ShareVolume অবজেক্ট আসে, সর্বশেষ আপ-টু-ডেট আপডেটটি সংশ্লিষ্ট KTable অবজেক্টে সংরক্ষণ করা হয়। এটা মনে রাখা গুরুত্বপূর্ণ যে সমস্ত আপডেটগুলি পূর্ববর্তী শেয়ার ভলিউমকেটেবলে প্রতিফলিত হয়েছে, তবে সবগুলি আরও পাঠানো হবে না।

তারপরে আমরা এই KTable ব্যবহার করি প্রতিটি শিল্পে সর্বাধিক পরিমাণের স্টক বিক্রয় সহ পাঁচটি কোম্পানি পেতে সমষ্টিগত (শেয়ারের সংখ্যা অনুসারে)। এই ক্ষেত্রে আমাদের ক্রিয়াগুলি প্রথম সমষ্টির সময় ক্রিয়াগুলির অনুরূপ হবে৷

1. শিল্প অনুসারে পৃথক শেয়ার ভলিউম অবজেক্টগুলিকে গোষ্ঠীভুক্ত করার জন্য অন্য গ্রুপবাই অপারেশন করুন।
2. ShareVolume অবজেক্টের সারসংক্ষেপ করতে এগিয়ে যান। এইবার একত্রিতকরণ বস্তুটি একটি নির্দিষ্ট আকারের অগ্রাধিকার সারি। শুধুমাত্র সবচেয়ে বেশি বিক্রি হওয়া পাঁচটি কোম্পানিই এই নির্দিষ্ট আকারের সারিতে রয়েছে।
3. পূর্ববর্তী আইটেম থেকে একটি স্ট্রিং মান থেকে সারি ম্যাপ করুন এবং শিল্প দ্বারা শিল্প দ্বারা পাঁচটি শীর্ষ-বিক্রয় স্টক ফেরত দিন।
4. বিষয়ের স্ট্রিং আকারে ফলাফল লিখুন।

ডুমুর উপর. চিত্র 5.10 একটি ডেটা ফ্লো টপোলজি গ্রাফ দেখায়। আপনি দেখতে পাচ্ছেন, প্রক্রিয়াকরণের দ্বিতীয় রাউন্ডটি বেশ সহজ।

এখন, এই দ্বিতীয় প্রক্রিয়াকরণ বৃত্তের গঠন স্পষ্টভাবে বোঝার পরে, আমরা এর উত্স কোডটি উল্লেখ করতে পারি (আপনি এটি src/main/java/bbejeck/chapter_5/AggregationsAndReducingExample.java ফাইলটিতে পাবেন) (তালিকা 5.4)।

এই ইনিশিয়ালাইজারের একটি নির্দিষ্ট সারি ভেরিয়েবল আছে। এটি একটি java.util.TreeSet এর জন্য একটি কাস্টম অ্যাডাপ্টার অবজেক্ট যা বিক্রি হওয়া শেয়ারের সংখ্যার নিচের ক্রম অনুসারে শীর্ষ N ফলাফলগুলি ট্র্যাক রাখতে ব্যবহৃত হয়।

আপনি ইতিমধ্যেই groupBy এবং mapValues-এ কলগুলি দেখেছেন, তাই আমরা সেগুলি নিয়ে থাকব না (আমরা KTable.toStream পদ্ধতিতে কল করছি কারণ KTable.print পদ্ধতিটি বাতিল করা হয়েছে)। কিন্তু আপনি এখনও aggregate() এর KTable সংস্করণটি দেখেননি, তাই আমরা এটি নিয়ে আলোচনা করার জন্য একটু সময় ব্যয় করব।

আপনি মনে রাখবেন, KTable ভিন্ন যে একই কী সহ রেকর্ডগুলিকে আপডেট হিসাবে বিবেচনা করা হয়। KTable পুরানো এন্ট্রিকে নতুন দিয়ে প্রতিস্থাপন করে। একত্রীকরণ একইভাবে কাজ করে: একই কী সহ সর্বশেষ রেকর্ডগুলি একত্রিত করা হয়। যখন একটি এন্ট্রি আসে, এটি একটি অ্যাডার ব্যবহার করে FixedSizePriorityQueue ক্লাসের একটি উদাহরণে যোগ করা হয় (সমষ্টিগত পদ্ধতিতে কলের দ্বিতীয় প্যারামিটার), কিন্তু যদি একই কী সহ অন্য একটি এন্ট্রি ইতিমধ্যেই বিদ্যমান থাকে, তাহলে পুরানো এন্ট্রিটি ব্যবহার করে সরানো হয় বিয়োগকারী (সমষ্টিগত পদ্ধতিতে কলের তৃতীয় প্যারামিটার)।

এর মানে হল যে আমাদের অ্যাগ্রিগেটর, FixedSizePriorityQueue, একটি কী দিয়ে সমস্ত মান একত্রিত করে না, কিন্তু সবচেয়ে বেশি ট্রেড করা ধরনের স্টকের একটি রোলিং সমষ্টি N পরিমাণ সঞ্চয় করে। প্রতিটি ইনকামিং এন্ট্রিতে এখন পর্যন্ত বিক্রি হওয়া শেয়ারের মোট সংখ্যা রয়েছে। KTable আপনাকে তথ্য দেবে যে কোন স্টক বর্তমানে সবচেয়ে বেশি বিক্রি হচ্ছে, প্রতিটি আপডেটের রোলিং এগ্রিগেশনের প্রয়োজন নেই।

আমরা দুটি গুরুত্বপূর্ণ জিনিস করতে শিখেছি:

• KTable-এ তাদের সাধারণ কী দ্বারা গ্রুপ মানগুলি;
• এই গোষ্ঠীবদ্ধ মানগুলির উপর দরকারী ক্রিয়াকলাপগুলি সঞ্চালন করুন, যেমন কনভল্যুশন এবং অ্যাগ্রিগেশন।

এই ক্রিয়াকলাপগুলি কীভাবে সম্পাদন করতে হয় তা জানা কাফকা স্ট্রীমস অ্যাপ্লিকেশনের মাধ্যমে স্থানান্তরিত ডেটার অর্থ বোঝা এবং এটি কী তথ্য প্রকাশ করে তা বোঝার জন্য গুরুত্বপূর্ণ।

আমরা এই বইটিতে আগে আলোচিত কিছু মূল ধারণাগুলিকে একত্রিত করেছি। অধ্যায় 4-এ, আমরা আলোচনা করেছি যে একটি স্ট্রিমিং অ্যাপ্লিকেশনের জন্য কতটা দোষ-সহনশীল, স্থানীয় রাষ্ট্র গুরুত্বপূর্ণ। এই অধ্যায়ের প্রথম উদাহরণটি দেখায় যে কেন স্থানীয় রাষ্ট্র এত গুরুত্বপূর্ণ—এটি আপনাকে ইতিমধ্যে কোন তথ্য দেখেছে তার ট্র্যাক রাখতে দেয়। স্থানীয় অ্যাক্সেস নেটওয়ার্ক বিলম্ব এড়ায়, অ্যাপ্লিকেশনটিকে আরও কার্যকরী এবং ত্রুটি-প্রতিরোধী করে তোলে।

কোনো রোলআপ বা একত্রীকরণ অপারেশন সম্পাদন করার সময়, আপনাকে অবশ্যই স্টেট স্টোরের নাম উল্লেখ করতে হবে। ভাঁজ এবং সামগ্রিক ক্রিয়াকলাপগুলি একটি KTable উদাহরণ প্রদান করে, এবং KTable একটি স্টেট স্টোর ব্যবহার করে পুরানো ফলাফলগুলিকে নতুন দিয়ে প্রতিস্থাপন করতে। আপনি যেমন দেখেছেন, সমস্ত আপডেট পাইপলাইনের নীচে পাঠানো হয় না এবং এটি গুরুত্বপূর্ণ, যেহেতু একত্রীকরণ ক্রিয়াকলাপগুলি সংক্ষিপ্ত তথ্য পাওয়ার জন্য ডিজাইন করা হয়েছে। আপনি স্থানীয় অবস্থা প্রয়োগ না করলে, KTable সমস্ত সমষ্টি এবং হ্রাসের ফলাফল আরও পাঠাবে।

এর পরে, আমরা একটি নির্দিষ্ট সময়ের মধ্যে একত্রিতকরণের মতো ক্রিয়াকলাপগুলি দেখব - তথাকথিত উইন্ডোিং অপারেশন।

5.3.2। উইন্ডো অপারেশন

পূর্ববর্তী বিভাগে, আমরা "স্লাইডিং" কনভোলিউশন এবং একত্রিতকরণের সাথে পরিচিত হয়েছি। অ্যাপ্লিকেশানটি ক্রমাগত স্টক বিক্রয়ের পরিমাণ বাড়িয়েছে, তারপরে এক্সচেঞ্জে সর্বাধিক বিক্রিত পাঁচটি স্টক একত্রিত হয়েছে।

কখনও কখনও এই ধরনের ক্রমাগত একত্রিতকরণ এবং ফলাফলের আবর্তন প্রয়োজন। এবং কখনও কখনও আপনাকে শুধুমাত্র একটি নির্দিষ্ট সময়ের মধ্যে অপারেশন করতে হবে। উদাহরণস্বরূপ, গত 10 মিনিটে একটি নির্দিষ্ট কোম্পানির শেয়ারের সাথে কতগুলি বিনিময় লেনদেন করা হয়েছে তা গণনা করা। অথবা গত 15 মিনিটে কতজন ব্যবহারকারী একটি নতুন ব্যানার বিজ্ঞাপনে ক্লিক করেছেন। একটি অ্যাপ্লিকেশন বারবার এই ধরনের ক্রিয়াকলাপ সম্পাদন করতে পারে, তবে ফলাফল শুধুমাত্র নির্দিষ্ট সময়ের ব্যবধানের সাথে সম্পর্কিত (টাইম উইন্ডো)।

ক্রেতা দ্বারা বিনিময় লেনদেন গণনা

নিম্নলিখিত উদাহরণে, আমরা বেশ কয়েকটি ব্যবসায়ীর জন্য স্টক এক্সচেঞ্জের লেনদেন ট্র্যাক করব - হয় বড় প্রতিষ্ঠান বা স্মার্ট একা ফাইন্যান্সার।

এই ট্র্যাকিং জন্য দুটি সম্ভাব্য কারণ আছে. তাদের মধ্যে একটি হল বাজারের নেতারা কী ক্রয়/বিক্রয় করছেন তা জানা প্রয়োজন। যদি এই বড় খেলোয়াড় এবং পরিশীলিত বিনিয়োগকারীরা নিজেদের জন্য একটি সুযোগ দেখতে পান, তাহলে তাদের কৌশল অনুসরণ করা বোধগম্য। দ্বিতীয় কারণ হল ভিতরের তথ্য ব্যবহার করে অবৈধ লেনদেনের সম্ভাব্য লক্ষণগুলি লক্ষ্য করার ইচ্ছা। এটি করার জন্য, আপনাকে গুরুত্বপূর্ণ প্রেস রিলিজের সাথে বড় সেলস স্পাইকের পারস্পরিক সম্পর্ক বিশ্লেষণ করতে হবে।

এই ট্র্যাকিং নিম্নলিখিত পদক্ষেপ নিয়ে গঠিত:

• স্টক-লেনদেনের বিষয় থেকে পড়ার জন্য একটি থ্রেড তৈরি করা;
• ক্রেতা আইডি এবং স্টক প্রতীক দ্বারা আগত রেকর্ড গোষ্ঠীবদ্ধ করা। groupBy পদ্ধতিতে কল করা KGroupedStream ক্লাসের একটি উদাহরণ প্রদান করে;
• KGroupedStream.windowedBy পদ্ধতি একটি টাইম উইন্ডো দ্বারা আবদ্ধ ডেটার একটি স্ট্রীম প্রদান করে, যা উইন্ডোযুক্ত একত্রিতকরণের অনুমতি দেয়। উইন্ডোর প্রকারের উপর নির্ভর করে, হয় একটি TimeWindowedKStream অথবা একটি SessionWindowedKStream প্রদান করা হয়;
• একত্রীকরণ অপারেশনের জন্য লেনদেনের সংখ্যা। উইন্ডো ডেটাফ্লো নির্ধারণ করে যে এই গণনায় একটি নির্দিষ্ট রেকর্ড অন্তর্ভুক্ত করা হয়েছে কিনা;
• একটি বিষয়ে ফলাফল লেখা বা বিকাশের সময় কনসোলে আউটপুট করা।

এই অ্যাপ্লিকেশনের টপোলজি সহজ, কিন্তু এর চাক্ষুষ ছবি আঘাত করে না। চলুন ডুমুর তাকান. 5.11।

এর পরে, আমরা উইন্ডো অপারেশনগুলির কার্যকারিতা এবং সংশ্লিষ্ট কোডটি দেখব।

জানালার ধরন

কাফকা স্রোতে তিন ধরনের উইন্ডো রয়েছে:

• সেশন;
• "টম্বলিং" (গড়াচ্ছে);
• স্লাইডিং / "জাম্পিং" (স্লাইডিং / হপিং)।

কোনটি বেছে নেবেন তা ব্যবসার প্রয়োজনীয়তার উপর নির্ভর করে। টাম্বলিং এবং জাম্পিং উইন্ডোগুলি সময়-সীমিত, যখন সেশন-উইন্ডোগুলি সময়-সীমাবদ্ধ, সেশন(গুলি) সময়কাল শুধুমাত্র ব্যবহারকারী কতটা সক্রিয় তা দ্বারা নির্ধারিত হয়। মনে রাখা প্রধান জিনিস হল যে সমস্ত উইন্ডোর ধরন এন্ট্রির তারিখ/সময় স্ট্যাম্পের উপর ভিত্তি করে, সিস্টেমের সময় নয়।

এর পরে, আমরা প্রতিটি উইন্ডো প্রকারের সাথে আমাদের টপোলজি বাস্তবায়ন করি। সম্পূর্ণ কোডটি শুধুমাত্র প্রথম উদাহরণে দেখানো হবে, উইন্ডো অপারেশনের ধরন ব্যতীত অন্য ধরনের উইন্ডোজের জন্য কিছুই পরিবর্তন হবে না।

সেশন উইন্ডোজ

সেশন উইন্ডো অন্য সব ধরনের উইন্ডো থেকে খুব আলাদা। ব্যবহারকারীর কার্যকলাপ (বা আপনি যে সত্তার ক্রিয়াকলাপ ট্র্যাক করতে চান) সেগুলি সময়ের দ্বারা এতটা সীমাবদ্ধ নয়। সেশন উইন্ডোগুলি নিষ্ক্রিয়তার সময়কাল দ্বারা সীমাবদ্ধ করা হয়।

চিত্র 5.12 সেশন উইন্ডোর ধারণাটি ব্যাখ্যা করে। ছোট সেশনটি তার বাম দিকের সেশনের সাথে একত্রিত হবে। এবং ডানদিকের অধিবেশনটি আলাদা হবে কারণ এটি দীর্ঘ সময়ের নিষ্ক্রিয়তা অনুসরণ করে। সেশন উইন্ডোগুলি ব্যবহারকারীর কর্মের উপর ভিত্তি করে, তবে এন্ট্রিটি কোন সেশনের অন্তর্গত তা নির্ধারণ করতে এন্ট্রিগুলি থেকে তারিখ/সময় স্ট্যাম্প ব্যবহার করে৷

বিনিময় লেনদেন ট্র্যাক করতে সেশন উইন্ডো ব্যবহার করে

আসুন বিনিময় লেনদেন সম্পর্কে তথ্য ক্যাপচার করতে সেশন উইন্ডো ব্যবহার করি। সেশন উইন্ডোর বাস্তবায়ন তালিকা 5.5 এ দেখানো হয়েছে (যা src/main/java/bbejeck/chapter_5/CountingWindowingAndKTableJoinExample.java এ পাওয়া যাবে)।

আপনি ইতিমধ্যেই এই টপোলজির বেশিরভাগ অপারেশন দেখেছেন, তাই এখানে আবার পর্যালোচনা করার দরকার নেই। তবে এখানে কয়েকটি নতুন উপাদান রয়েছে, যা আমরা এখন আলোচনা করব।

যেকোন groupBy অপারেশন সাধারণত একত্রিতকরণ অপারেশন (সমষ্টি, রোলআপ, বা গণনা) সম্পাদন করে। আপনি হয় একটি চলমান মোট ক্রমবর্ধমান একত্রীকরণ বা একটি উইন্ডোযুক্ত একত্রীকরণ করতে পারেন যা একটি নির্দিষ্ট সময়ের উইন্ডোর মধ্যে রেকর্ড বিবেচনা করে।

তালিকা 5.5-এর কোডটি সেশন উইন্ডোর মধ্যে লেনদেনের সংখ্যা গণনা করে। ডুমুর উপর. 5.13 এই ক্রিয়াগুলি ধাপে ধাপে বিশ্লেষণ করা হয়।

windowedBy(SessionWindows.with(twentySeconds).until(20Minutes)) কল করে আমরা 15 সেকেন্ডের ঘুমের ব্যবধান এবং 20 মিনিটের একটি সংরক্ষণ ব্যবধান সহ একটি সেশন উইন্ডো তৈরি করি। 20 সেকেন্ডের একটি নিষ্ক্রিয় ব্যবধানের অর্থ হল যে অ্যাপ্লিকেশনটি বর্তমান (সক্রিয়) সেশনে বর্তমান সেশনের শেষ বা শুরু হওয়ার XNUMX সেকেন্ডের মধ্যে উপস্থিত হওয়া যেকোনো এন্ট্রি অন্তর্ভুক্ত করবে।

এর পরে, আমরা সেশন উইন্ডোতে কোন একত্রীকরণ ক্রিয়াকলাপ সম্পাদন করতে হবে তা নির্দিষ্ট করি - এই ক্ষেত্রে, গণনা। যদি ইনকামিং লেখাটি নিষ্ক্রিয় ব্যবধানের বাইরে যায় (তারিখ/সময় স্ট্যাম্পের উভয় পাশে), তাহলে অ্যাপ্লিকেশনটি একটি নতুন সেশন তৈরি করে। একটি অধ্যবসায়ের ব্যবধান মানে একটি নির্দিষ্ট সময়ের জন্য একটি সেশনকে জীবিত রাখা এবং দেরী ডেটার জন্য অনুমতি দেয় যা সেশনের নিষ্ক্রিয় সময়কাল অতিক্রম করে তবে এখনও সংযুক্ত করা যেতে পারে। উপরন্তু, একত্রীকরণের ফলে নতুন অধিবেশনের শুরু এবং সমাপ্তি প্রাচীনতম এবং সর্বশেষ তারিখ/সময় স্ট্যাম্পের সাথে মিলে যায়।

সেশনগুলি কীভাবে কাজ করে তা দেখতে গণনা পদ্ধতি থেকে কয়েকটি এন্ট্রি দেখি (সারণী 5.1)।

যখন রেকর্ড আসে, আমরা একই কী সহ ইতিমধ্যে বিদ্যমান সেশনগুলি সন্ধান করি, শেষ সময় বর্তমান তারিখ/টাইম স্ট্যাম্পের চেয়ে কম - নিষ্ক্রিয় ব্যবধান, এবং বর্তমান তারিখ/টাইম স্ট্যাম্প + নিষ্ক্রিয় ব্যবধানের চেয়ে বেশি শুরুর সময়। এই মাথায় রেখে, টেবিল থেকে চারটি এন্ট্রি। 5.1 নিম্নরূপ একটি একক অধিবেশনে একত্রীকরণ.

1. রেকর্ড 1 প্রথমে আসে, তাই শুরুর সময় শেষ সময়ের সমান এবং 00:00:00 হয়।

2. পরবর্তী রেকর্ড 2 আসে, এবং আমরা সেশনগুলি খুঁজি যা 23:59:55 এর আগে শেষ হয় না এবং 00:00:35 এর পরে শুরু হয় না। আমরা রেকর্ড 1 এবং সেশন 1 এবং 2 একত্রিত করি :1।

3. রেকর্ড 3 আসে, আমরা 00:00:30 এবং 00:01:10 এর মধ্যে সেশন খুঁজি এবং কোনটিই পাই না। আমরা কী 123-345-654,FFBE-এর জন্য একটি দ্বিতীয় সেশন যোগ করি, 00:00:50 এ শুরু এবং শেষ হয়।

4. রেকর্ড 4 আসে এবং আমরা 23:59:45 এবং 00:00:25 এর মধ্যে সেশন খুঁজছি। এই সময় উভয় সেশন পাওয়া যায় - 1 এবং 2। তিনটি সেশনই একটিতে মিলিত হয়, শুরুর সময় 00:00:00 এবং শেষ সময় 00:00:15।

এখানে এই বিভাগ থেকে মনে রাখা কিছু গুরুত্বপূর্ণ বিষয় আছে:

• সেশনগুলি নির্দিষ্ট আকারের উইন্ডো নয়। একটি সেশনের সময়কাল একটি নির্দিষ্ট সময়ের মধ্যে কার্যকলাপ দ্বারা নির্ধারিত হয়;
• ডেটার তারিখ/সময় স্ট্যাম্পগুলি নির্ধারণ করে যে ঘটনাটি বিদ্যমান সেশনের মধ্যে পড়ে নাকি একটি নিষ্ক্রিয় সময়ের মধ্যে।

এর পরে, আমরা পরবর্তী ধরণের উইন্ডো নিয়ে আলোচনা করব - "টম্বল" উইন্ডোজ।

"টম্বলিং" জানালা

"টাম্বলিং" উইন্ডোগুলি একটি নির্দিষ্ট সময়ের মধ্যে ঘটে যাওয়া ঘটনাগুলিকে ক্যাপচার করে। কল্পনা করুন যে আপনাকে প্রতি 20 সেকেন্ডে একটি নির্দিষ্ট কোম্পানির সমস্ত বিনিময় লেনদেন ক্যাপচার করতে হবে, যাতে আপনি এই সময়ের জন্য সমস্ত ইভেন্ট সংগ্রহ করেন। 20-সেকেন্ডের ব্যবধানের শেষে, উইন্ডোটি "টম্বল" করে এবং একটি নতুন 20-সেকেন্ডের পর্যবেক্ষণ ব্যবধানে স্যুইচ করে। চিত্র 5.14 এই পরিস্থিতিকে চিত্রিত করে।

আপনি দেখতে পাচ্ছেন, গত 20 সেকেন্ডে প্রাপ্ত সমস্ত ইভেন্ট উইন্ডোতে অন্তর্ভুক্ত করা হয়েছে। এই সময়ের পরে, একটি নতুন উইন্ডো তৈরি করা হয়।

লিস্টিং 5.6 কোড দেখায় যা প্রতি 20 সেকেন্ডে স্টক লেনদেন ক্যাপচার করতে টাম্বলিং উইন্ডোর ব্যবহার প্রদর্শন করে (src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java এ পাওয়া যায়)।

TimeWindows.of পদ্ধতিতে কল করার এই সামান্য পরিবর্তনের সাথে, একটি টাম্বলিং উইন্ডো ব্যবহার করা যেতে পারে। এই উদাহরণে, till() পদ্ধতিতে কোন কল নেই, তাই 24 ঘন্টার ডিফল্ট সংরক্ষণ ব্যবধান ব্যবহার করা হবে।

অবশেষে, উইন্ডো অপশনের শেষ দিকে এগিয়ে যাওয়ার সময়, উইন্ডোজ হপিং।

স্লাইডিং ("জাম্পিং") জানালা

স্লাইডিং/হপিং জানালাগুলি আছড়ে পড়া জানালার মতো, তবে সামান্য পার্থক্য সহ। সাম্প্রতিক ঘটনাগুলি পরিচালনা করার জন্য একটি নতুন উইন্ডো তৈরি করার আগে স্লাইডিং উইন্ডোগুলি একটি সময়ের ব্যবধান শেষ হওয়ার জন্য অপেক্ষা করে না। তারা উইন্ডোর সময়কালের চেয়ে কম সময়ের ব্যবধানের পরে নতুন গণনা শুরু করে।

"টাম্বলিং" এবং "জাম্পিং" উইন্ডোর মধ্যে পার্থক্য বোঝাতে, আসুন স্টক লেনদেন গণনার উদাহরণে ফিরে যাই। আমাদের লক্ষ্য এখনও লেনদেনের সংখ্যা গণনা করা, কিন্তু আমরা কাউন্টার আপডেট করার আগে সব সময় অপেক্ষা করতে চাই না। পরিবর্তে, আমরা অল্প ব্যবধানে কাউন্টার আপডেট করব। উদাহরণস্বরূপ, আমরা এখনও প্রতি 20 সেকেন্ডে লেনদেনের সংখ্যা গণনা করব, তবে প্রতি 5 সেকেন্ডে কাউন্টারটি আপডেট করব, যেমন চিত্রে দেখানো হয়েছে। 5.15। এই ক্ষেত্রে, আমাদের কাছে ওভারল্যাপিং ডেটা সহ তিনটি ফলাফল উইন্ডো রয়েছে।

তালিকা 5.7 স্লাইডিং উইন্ডো সেট করার জন্য কোড দেখায় (src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java এ পাওয়া যায়)।

অ্যাডভান্সবাই() পদ্ধতিতে কল যোগ করে একটি টাম্বলিং উইন্ডোকে হপিং উইন্ডোতে রূপান্তর করা যেতে পারে। দেখানো উদাহরণে, সংরক্ষণ ব্যবধান হল 15 মিনিট।

আপনি এই বিভাগে দেখেছেন কিভাবে একটি সমষ্টির ফলাফল টাইম উইন্ডোতে সীমাবদ্ধ করা যায়। বিশেষ করে, আমি চাই আপনি এই বিভাগ থেকে নিম্নলিখিত তিনটি জিনিস মনে রাখবেন:

• সেশন উইন্ডোর আকার সময়কাল দ্বারা নয়, ব্যবহারকারীর কার্যকলাপ দ্বারা সীমাবদ্ধ;
• "টম্বল" উইন্ডোগুলি একটি নির্দিষ্ট সময়ের মধ্যে ইভেন্টগুলির একটি ধারণা দেয়;
• "জাম্পিং" উইন্ডোগুলির সময়কাল স্থির করা হয়েছে, তবে সেগুলি প্রায়শই আপডেট করা হয় এবং সমস্ত উইন্ডোতে ওভারল্যাপিং এন্ট্রি থাকতে পারে৷

এর পরে, আমরা শিখব কিভাবে একটি KTable কে সংযোগের জন্য KStream-এ রূপান্তর করতে হয়।

5.3.3। KStream এবং KTable অবজেক্ট সংযোগ করা হচ্ছে

অধ্যায় 4-এ, আমরা দুটি কে-স্ট্রিম অবজেক্টের সংযোগ নিয়ে আলোচনা করেছি। এখন আমাদের শিখতে হবে কিভাবে KTable এবং KStream সংযোগ করতে হয়। নিম্নলিখিত সহজ কারণে এটি প্রয়োজন হতে পারে। KStream হল একটি রেকর্ড স্ট্রীম এবং KTable হল একটি রেকর্ড আপডেট স্ট্রীম, কিন্তু কখনও কখনও KTable থেকে আপডেট সহ রেকর্ড স্ট্রীমে অতিরিক্ত প্রসঙ্গ যোগ করার প্রয়োজন হতে পারে।

আসুন এক্সচেঞ্জ লেনদেনের সংখ্যার ডেটা নেওয়া যাক এবং প্রাসঙ্গিক শিল্পের বিনিময় সংবাদের সাথে তাদের একত্রিত করি। আপনার কাছে ইতিমধ্যেই থাকা কোডটি দিয়ে এটি অর্জন করতে আপনাকে যা করতে হবে তা এখানে।

1. KStream-এ এক্সচেঞ্জ লেনদেনের সংখ্যার তথ্য সহ একটি KTable অবজেক্টকে রূপান্তর করুন, এবং তারপর প্রদত্ত স্টক প্রতীকের সাথে সংশ্লিষ্ট শিল্প নির্দেশ করে একটি কী দিয়ে কীটি প্রতিস্থাপন করুন।
2. একটি KTable অবজেক্ট তৈরি করুন যা একটি বিনিময় সংবাদ বিষয় থেকে ডেটা পড়ে। এই নতুন KTable শিল্প দ্বারা শ্রেণীবদ্ধ করা হবে.
3. শিল্প দ্বারা বিনিময় লেনদেনের সংখ্যার তথ্য সহ সংবাদ আপডেট সংযুক্ত করুন।

এখন দেখা যাক কিভাবে এই কর্ম পরিকল্পনা বাস্তবায়ন করা যায়।

KTable কে KStream এ রূপান্তর করা হচ্ছে

KTable কে KStream-এ রূপান্তর করতে আপনাকে নিম্নলিখিতগুলি করতে হবে।

1. KTable.toStream() পদ্ধতিতে কল করুন।
2. KStream.map পদ্ধতিতে কল করে, শিল্পের নামের সাথে কী প্রতিস্থাপন করুন, এবং তারপর Windowed উদাহরণ থেকে TransactionSummary অবজেক্টটি পুনরুদ্ধার করুন।

আমরা এই ক্রিয়াকলাপগুলিকে নিম্নরূপ চেইন করব (কোডটি src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java এ পাওয়া যাবে) (তালিকা 5.8)।

যেহেতু আমরা KStream.map অপারেশন করছি, ফিরে আসা KStream দৃষ্টান্তের জন্য পুনরায় বিভাজন করা হয় যখন এটি একটি সংযোগে ব্যবহার করা হয়।

আমরা রূপান্তর প্রক্রিয়া সম্পন্ন করেছি, পরবর্তীতে আমাদের স্টক নিউজ পড়ার জন্য একটি KTable অবজেক্ট তৈরি করতে হবে।

স্টক সংবাদের জন্য একটি KTable তৈরি করা হচ্ছে

সৌভাগ্যবশত, একটি KTable অবজেক্ট তৈরি করার জন্য কোডের একটি লাইনই যথেষ্ট (এই কোডটি src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java) (তালিকা 5.9) এ পাওয়া যাবে।

এটি লক্ষণীয় যে কোনও Serde বস্তুর প্রয়োজন নেই, যেহেতু স্ট্রিং Serde সেটিংসে ব্যবহৃত হয়। এছাড়াও, প্রারম্ভিক গণনা ব্যবহারের জন্য ধন্যবাদ, টেবিলটি একেবারে শুরুতে রেকর্ডে পূর্ণ।

এখন আমরা চূড়ান্ত ধাপে যেতে পারি - সংযোগ।

লেনদেন গণনা ডেটার সাথে সংবাদ আপডেট লিঙ্ক করা

সংযোগ তৈরি করা কঠিন নয়। প্রাসঙ্গিক শিল্পের জন্য কোনও স্টক সংবাদ না থাকলে আমরা একটি বাম যোগদান ব্যবহার করব (আপনি src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java-এ কোডটি খুঁজে পেতে পারেন) (তালিকা 5.10-XNUMX)।

এই leftJoin অপারেটর বেশ সহজ. অধ্যায় 4-এ যোগদানের বিপরীতে, JoinWindow পদ্ধতি ব্যবহার করা হয় না কারণ যখন একটি KStream-KTable যোগদান করা হয়, তখন KTable-এ প্রতিটি কী-র জন্য শুধুমাত্র একটি এন্ট্রি থাকে। এই ধরনের সংযোগ সময়ের মধ্যে সীমাবদ্ধ নয়: এন্ট্রিটি হয় KTable-এ বিদ্যমান বা এটি বিদ্যমান নেই। মূল টেকঅ্যাওয়ে: KTable অবজেক্ট ব্যবহার করে, আপনি কম ঘন ঘন আপডেট হওয়া রেফারেন্স ডেটা সহ একটি KStream সমৃদ্ধ করতে পারেন।

এবং এখন আমরা KStream থেকে ইভেন্টগুলিকে সমৃদ্ধ করার আরও কার্যকর উপায় দেখব।

5.3.4। GlobalKTable অবজেক্ট

আপনি যেমন বুঝতে পেরেছেন, ইভেন্ট স্ট্রীমগুলিকে সমৃদ্ধ করার বা সেগুলির সাথে প্রসঙ্গ যোগ করার প্রয়োজন রয়েছে৷ অধ্যায় 4-এ, আপনি দুটি KStream অবজেক্টের সংযোগ দেখেছেন, এবং পূর্ববর্তী বিভাগে, আপনি KStream এবং KTable-এর সংযোগ দেখেছেন। এই সমস্ত ক্ষেত্রে, একটি নতুন প্রকার বা মানের কী ম্যাপ করার সময় ডেটা স্ট্রীমটি পুনরায় বিভাজন করা আবশ্যক। কখনও কখনও পুনরায় বিভাজন স্পষ্টভাবে করা হয়, এবং কখনও কখনও কাফকা স্ট্রীমস স্বয়ংক্রিয়ভাবে এটি করে। পুনরায় বিভাজন করা আবশ্যক কারণ কীগুলি পরিবর্তিত হয়েছে এবং রেকর্ডগুলি অবশ্যই নতুন পার্টিশনে শেষ হবে বা যোগদান সম্ভব হবে না (এটি অধ্যায় 4, বিভাগ 4.2.4-এ "ডেটা রিপার্টিশনিং" এ আলোচনা করা হয়েছে)।

পুনরায় বিভাজন একটি মূল্য আছে

রি-পার্টিশনিং একটি খরচে আসে - মধ্যবর্তী বিষয় তৈরি করার জন্য অতিরিক্ত সম্পদ খরচ, অন্য বিষয়ে ডুপ্লিকেট ডেটা সংরক্ষণ করা; এর অর্থ হল সেই বিষয়ে লেখা এবং পড়ার কারণে বিলম্ব বৃদ্ধি। এছাড়াও, আপনি যদি একাধিক দিক বা মাত্রায় যোগদান করতে চান, তাহলে আপনাকে চেইন জয়েন করতে হবে, নতুন কী দিয়ে ম্যাপ রেকর্ড করতে হবে এবং পুনরায় পার্টিশন প্রক্রিয়া চালাতে হবে।

ছোট ডেটাসেটের সাথে সংযোগ করা হচ্ছে

কিছু ক্ষেত্রে, রেফারেন্স ডেটার পরিমাণ যেখানে একটি সংযোগের পরিকল্পনা করা হয়েছে তা তুলনামূলকভাবে কম, যাতে প্রতিটি নোডে স্থানীয়ভাবে এর সম্পূর্ণ অনুলিপিগুলি ভালভাবে ফিট হতে পারে। এই ধরনের পরিস্থিতিতে, কাফকা স্ট্রিম গ্লোবালকেটেবল ক্লাস প্রদান করে।

GlobalKTable উদাহরণগুলি অনন্য কারণ অ্যাপ্লিকেশনটি প্রতিটি নোডে সমস্ত ডেটা প্রতিলিপি করে। এবং যেহেতু প্রতিটি নোডের সমস্ত ডেটা রয়েছে, তাই রেফারেন্স ডেটা কী দ্বারা ইভেন্ট স্ট্রীমকে পার্টিশন করার দরকার নেই যাতে এটি সমস্ত পার্টিশনে উপলব্ধ থাকে। এছাড়াও আপনি GlobalKTable অবজেক্ট ব্যবহার করে চাবিহীন সংযোগ করতে পারেন। এই সম্ভাবনা প্রদর্শনের জন্য আগের উদাহরণগুলির একটিতে ফিরে যাওয়া যাক।

গ্লোবালকেটেবল অবজেক্টের সাথে KStream অবজেক্টকে সংযুক্ত করা হচ্ছে

উপধারা 5.3.2-এ, আমরা ক্রেতাদের দ্বারা বিনিময় লেনদেনের একটি উইন্ডোযুক্ত সমষ্টি সম্পাদন করেছি। এই সমষ্টির ফলাফলগুলি এইরকম কিছু দেখায়:

{customerId='074-09-3705', stockTicker='GUTM'}, 17
{customerId='037-34-5184', stockTicker='CORK'}, 16

যদিও এই ফলাফলগুলি প্রত্যাশিত উদ্দেশ্য পূরণ করেছে, গ্রাহকের নাম এবং সম্পূর্ণ কোম্পানির নামও প্রদর্শিত হলে এটি আরও সুবিধাজনক হবে৷ একটি গ্রাহকের নাম এবং একটি কোম্পানির নাম যোগ করতে, আপনি সাধারণ যোগদান করতে পারেন, তবে আপনাকে দুটি কী ম্যাপিং এবং পুনরায় পার্টিশন করতে হবে। GlobalKTable এর মাধ্যমে, আপনি এই ধরনের অপারেশনের খরচ এড়াতে পারেন।

এটি করার জন্য, আমরা তালিকা 5.11-5 থেকে কাউন্টস্ট্রিম অবজেক্টটি ব্যবহার করব (সংশ্লিষ্ট কোডটি src/main/java/bbejeck/chapter_XNUMX/GlobalKTableExample.java-এ পাওয়া যাবে) এবং এটি দুটি GlobalKTable অবজেক্টের সাথে সংযুক্ত করব।

আমরা এটি আগে আলোচনা করেছি, তাই আমি নিজেকে পুনরাবৃত্তি করব না। কিন্তু নোট করুন যে toStream(.map ফাংশনে কোডটি ইনলাইন ল্যাম্বডা এক্সপ্রেশনের পরিবর্তে পঠনযোগ্যতার জন্য একটি ফাংশন অবজেক্টে বিমূর্ত করা হয়েছে।

পরবর্তী ধাপ হল দুটি GlobalKTable উদাহরণ ঘোষণা করা (এই কোডটি src/main/java/bbejeck/chapter_5/GlobalKTableExample.java এ পাওয়া যাবে) (তালিকা 5.12-XNUMX)।

উল্লেখ্য যে বিষয়ের নাম গণনাকৃত প্রকার ব্যবহার করে বর্ণনা করা হয়েছে।

এখন যেহেতু আমরা সমস্ত উপাদান প্রস্তুত করেছি, শুধুমাত্র সংযোগ কোড লিখতে বাকি আছে (যা src/main/java/bbejeck/chapter_5/GlobalKTableExample.java এ পাওয়া যাবে) (তালিকা 5.13-XNUMX)।

যদিও এই কোডে দুটি যোগ রয়েছে, তবে সেগুলিকে একটি চেইন হিসাবে সংগঠিত করা হয়েছে কারণ তাদের কোনটিই আলাদাভাবে ব্যবহার করা হয় না। ফলাফল সম্পূর্ণ অপারেশন শেষে প্রদর্শিত হয়.

আপনি যখন উপরের জয়েন অপারেশন চালাবেন, আপনি এইরকম ফলাফল পাবেন:

{customer='Barney, Smith' company="Exxon", transactions= 17}

সারাংশ পরিবর্তিত হয় নি, কিন্তু এই ফলাফল আরো বোধগম্য চেহারা.

আপনি যদি অধ্যায় 4 গণনা করেন, আপনি ইতিমধ্যেই বিভিন্ন ধরনের যোগদানের কাজ দেখেছেন। তারা টেবিলে তালিকাভুক্ত করা হয়. 5.2। এই সারণী কাফকা স্ট্রীমসের সংস্করণ 1.0.0 হিসাবে সংযোগ প্রতিফলিত করে; ভবিষ্যত রিলিজে কিছু পরিবর্তন হতে পারে।

উপসংহারে, আমি আপনাকে মূল জিনিসটি মনে করিয়ে দিচ্ছি: আপনি স্থানীয় অবস্থা ব্যবহার করে ইভেন্ট স্ট্রীম (KStream) এবং আপডেট স্ট্রিম (KTable) সংযোগ করতে পারেন। উপরন্তু, রেফারেন্স ডেটার আকার খুব বড় না হলে, আপনি GlobalKTable অবজেক্ট ব্যবহার করতে পারেন। গ্লোবালকেটেবল কাফকা স্ট্রীমস অ্যাপ্লিকেশনের প্রতিটি নোডে সমস্ত পার্টিশনের প্রতিলিপি করে, এইভাবে নিশ্চিত করে যে সমস্ত ডেটা উপলব্ধ, তা নির্বিশেষে কোন পার্টিশনের সাথে মিল রয়েছে।

এর পরে, আমরা কাফকা স্ট্রীমস বৈশিষ্ট্যটি দেখতে পাব, যা আপনাকে কাফকা বিষয় থেকে ডেটা ব্যবহার না করেই রাজ্যের পরিবর্তনগুলি পর্যবেক্ষণ করতে দেয়।

5.3.5। অনুরোধযোগ্য রাষ্ট্র

আমরা এর আগে কয়েকটি রাষ্ট্রীয় ক্রিয়াকলাপ করেছি এবং সর্বদা ফলাফলগুলি কনসোলে (উন্নয়নের উদ্দেশ্যে) লগ ইন করেছি বা একটি বিষয়ে (উৎপাদনের উদ্দেশ্যে) লগ ইন করেছি৷ একটি বিষয়ের ফলাফল লেখার সময়, আপনাকে সেগুলি দেখতে একটি কাফকা ভোক্তা ব্যবহার করতে হবে।

এই বিষয়গুলি থেকে ডেটা পড়াকে এক ধরণের বস্তুগত দৃষ্টিভঙ্গি হিসাবে বিবেচনা করা যেতে পারে। আমাদের কাজের জন্য, আমরা উইকিপিডিয়া থেকে একটি বস্তুগত দৃশ্যের সংজ্ঞা ব্যবহার করতে পারি: “... একটি ফিজিক্যাল ডাটাবেস অবজেক্ট যেখানে একটি প্রশ্নের ফলাফল রয়েছে। উদাহরণস্বরূপ, এটি দূরবর্তী ডেটার একটি স্থানীয় অনুলিপি, বা সারি এবং/অথবা একটি টেবিলের কলামের একটি উপসেট বা জয়েন ফলাফল, বা সমষ্টি দ্বারা প্রাপ্ত একটি পিভট টেবিল হতে পারে" (https://en.wikipedia.org/wiki /বস্তুগত_দর্শন)।

কাফকা স্ট্রীমস আপনাকে স্টেট স্টোরগুলিতে ইন্টারেক্টিভ কোয়েরি চালানোর অনুমতি দেয়, যা আপনাকে সরাসরি এই বাস্তবায়িত দৃশ্যগুলি পড়তে দেয়। এটা মনে রাখা গুরুত্বপূর্ণ যে স্টেট স্টোরের ক্যোয়ারীটি শুধুমাত্র পঠনযোগ্য অপারেশন। এটি নিশ্চিত করে যে আপনার অ্যাপ্লিকেশান ডেটা প্রক্রিয়াকরণের সময় ঘটনাক্রমে রাষ্ট্রকে অসামঞ্জস্যপূর্ণ করার বিষয়ে চিন্তা করতে হবে না।

রাষ্ট্রীয় দোকানে সরাসরি অনুসন্ধান করার ক্ষমতা গুরুত্বপূর্ণ। এর মানে হল যে আপনি প্রথমে কাফকা গ্রাহকের কাছ থেকে ডেটা না পেয়ে ড্যাশবোর্ড অ্যাপ্লিকেশন তৈরি করতে পারেন। এটি অ্যাপ্লিকেশনটির দক্ষতাও বাড়ায়, কারণ এটি আবার ডেটা লেখার প্রয়োজন নেই:

• তথ্যের স্থানীয়তার কারণে, তারা দ্রুত অ্যাক্সেস করা যেতে পারে;
• ডেটার ডুপ্লিকেশন বাদ দেওয়া হয়, যেহেতু সেগুলি বাহ্যিক স্টোরেজে লেখা হয় না।

প্রধান জিনিসটি আমি আপনাকে মনে রাখতে চাই যে আপনি আবেদন থেকে সরাসরি রাজ্যকে জিজ্ঞাসা করতে পারেন। এটি আপনাকে যে সম্ভাবনাগুলি দেয় তা অত্যধিক মূল্যায়ন করা যায় না। কাফকা থেকে ডেটা গ্রহণ এবং অ্যাপ্লিকেশনের জন্য ডেটাবেসে রেকর্ড সংরক্ষণ করার পরিবর্তে, আপনি একই ফলাফলের সাথে রাষ্ট্রীয় স্টোরগুলিতে অনুসন্ধান করতে পারেন। স্টেট স্টোরে প্রশ্ন করার অর্থ হল কম কোড (কোন ভোক্তা নেই) এবং কম সফ্টওয়্যার (ফলাফল সঞ্চয় করার জন্য ডাটাবেস টেবিলের প্রয়োজন নেই)।

আমরা এই অধ্যায়ে অনেক তথ্য কভার করেছি, তাই আমরা কিছুক্ষণের জন্য স্টেট স্টোরগুলিতে ইন্টারেক্টিভ প্রশ্নগুলির আলোচনা বন্ধ করব। তবে চিন্তা করবেন না: অধ্যায় 9-এ, আমরা ইন্টারেক্টিভ প্রশ্নগুলির সাথে একটি সাধারণ ড্যাশবোর্ড অ্যাপ্লিকেশন তৈরি করব। এটি ইন্টারেক্টিভ প্রশ্নগুলি প্রদর্শন করতে এবং কাফকা স্ট্রিম অ্যাপ্লিকেশনগুলিতে কীভাবে সেগুলি যুক্ত করতে হয় তা প্রদর্শন করতে এই এবং পূর্ববর্তী অধ্যায়গুলির কিছু উদাহরণ ব্যবহার করবে।

সারাংশ

• KStream অবজেক্ট ইভেন্টের স্ট্রীম উপস্থাপন করে, ডাটাবেস সন্নিবেশের সাথে তুলনীয়। KTable অবজেক্ট আপডেট স্ট্রীম উপস্থাপন করে, অনেকটা ডাটাবেসের আপডেটের মত। KTable বস্তুর আকার বৃদ্ধি পায় না, পুরানো রেকর্ড নতুন দ্বারা প্রতিস্থাপিত হয়।
• একত্রীকরণ ক্রিয়াকলাপের জন্য KTable অবজেক্টের প্রয়োজন।
• উইন্ডো করা আপনাকে টাইম বিনে সমষ্টিগত ডেটা ভাঙ্গার অনুমতি দেয়।
• গ্লোবালকেটেবল অবজেক্টের জন্য ধন্যবাদ, রেফারেন্স ডেটা অ্যাপ্লিকেশনের যে কোনও জায়গায় অ্যাক্সেস করা যেতে পারে, পার্টিশন নির্বিশেষে।
• KStream, KTable এবং GlobalKTable অবজেক্টের মধ্যে সংযোগ সম্ভব।

এখন পর্যন্ত, আমরা উচ্চ-স্তরের DSL KStream ব্যবহার করে কাফকা স্ট্রীমস অ্যাপ্লিকেশন তৈরির উপর ফোকাস করেছি। যদিও উচ্চ-স্তরের পদ্ধতি আপনাকে ঝরঝরে এবং সংক্ষিপ্ত প্রোগ্রাম তৈরি করতে দেয়, তবে এটির ব্যবহার একটি নির্দিষ্ট আপস প্রতিনিধিত্ব করে। DSL KStream এর সাথে কাজ করার অর্থ হল কম নিয়ন্ত্রণের খরচে কোডকে আরও সংক্ষিপ্ত করা। পরবর্তী অধ্যায়ে, আমরা নিম্ন-স্তরের হ্যান্ডলার নোড এপিআই দেখব এবং অন্যান্য ট্রেড-অফ চেষ্টা করব। প্রোগ্রামগুলি এখন পর্যন্ত যতটা ছিল তার চেয়ে দীর্ঘ হয়ে যাবে, তবে আমরা প্রায় যে কোনও হ্যান্ডলার নোড তৈরি করতে সক্ষম হব যা আমাদের প্রয়োজন হতে পারে।

→ বইটি সম্পর্কে আরও বিস্তারিত এখানে পাওয়া যাবে প্রকাশকের ওয়েবসাইট

→ Khabrozhiteli এর জন্য, কুপনে 25% ছাড় - কাফকা প্রবাহ

→ বইটির কাগজের সংস্করণের জন্য অর্থ প্রদানের পরে, একটি ই-বুক ই-মেইলে পাঠানো হয়।

উত্স: www.habr.com