पुस्तक "काफ्का स्ट्रीम्स इन एक्शन। वास्तविक समय के काम के लिए एप्लिकेशन और माइक्रोसर्विसेज"

नमस्कार, खाब्रो निवासियों! यह पुस्तक किसी भी डेवलपर के लिए उपयुक्त है जो थ्रेड प्रोसेसिंग को समझना चाहता है। वितरित प्रोग्रामिंग को समझने से आपको काफ्का और काफ्का स्ट्रीम को बेहतर ढंग से समझने में मदद मिलेगी। काफ्का ढांचे को जानना अच्छा होगा, लेकिन यह आवश्यक नहीं है: मैं आपको वह सब कुछ बताऊंगा जो आपको चाहिए। अनुभवी काफ्का डेवलपर्स और नौसिखिए समान रूप से इस पुस्तक में काफ्का स्ट्रीम लाइब्रेरी का उपयोग करके दिलचस्प स्ट्रीम प्रोसेसिंग एप्लिकेशन बनाना सीखेंगे। मध्यवर्ती और उन्नत जावा डेवलपर्स पहले से ही क्रमबद्धता जैसी अवधारणाओं से परिचित हैं, काफ्का स्ट्रीम एप्लिकेशन बनाने के लिए अपने कौशल को लागू करना सीखेंगे। पुस्तक का स्रोत कोड जावा 8 में लिखा गया है और जावा 8 लैम्ब्डा एक्सप्रेशन सिंटैक्स का महत्वपूर्ण उपयोग करता है, इसलिए लैम्ब्डा फ़ंक्शंस (यहां तक ​​कि किसी अन्य प्रोग्रामिंग भाषा में भी) के साथ कैसे काम करना है, यह जानना काम आएगा।

अंश. 5.3. एकत्रीकरण और विंडोिंग संचालन

इस अनुभाग में, हम काफ्का स्ट्रीम के सबसे आशाजनक भागों का पता लगाने के लिए आगे बढ़ेंगे। अब तक हमने काफ्का स्ट्रीम के निम्नलिखित पहलुओं को कवर किया है:

• एक प्रोसेसिंग टोपोलॉजी बनाना;
• स्ट्रीमिंग अनुप्रयोगों में राज्य का उपयोग करना;
• डेटा स्ट्रीम कनेक्शन निष्पादित करना;
• इवेंट स्ट्रीम (केस्ट्रीम) और अपडेट स्ट्रीम (केटेबल) के बीच अंतर।

निम्नलिखित उदाहरणों में हम इन सभी तत्वों को एक साथ लाएंगे। आप स्ट्रीमिंग एप्लिकेशन की एक और बेहतरीन सुविधा विंडोिंग के बारे में भी जानेंगे। हमारा पहला उदाहरण एक सरल एकत्रीकरण होगा.

5.3.1. उद्योग क्षेत्र द्वारा स्टॉक बिक्री का एकत्रीकरण

स्ट्रीमिंग डेटा के साथ काम करते समय एकत्रीकरण और समूहीकरण महत्वपूर्ण उपकरण हैं। व्यक्तिगत अभिलेखों के प्राप्त होते ही उनकी जांच अक्सर अपर्याप्त होती है। डेटा से अतिरिक्त जानकारी निकालने के लिए उन्हें समूहित करना और संयोजित करना आवश्यक है।

इस उदाहरण में, आप एक दैनिक व्यापारी की पोशाक पहनेंगे जिसे कई उद्योगों में कंपनियों के शेयरों की बिक्री की मात्रा को ट्रैक करने की आवश्यकता है। विशेष रूप से, आप प्रत्येक उद्योग में सबसे बड़ी शेयर बिक्री वाली पांच कंपनियों में रुचि रखते हैं।

इस तरह के एकत्रीकरण के लिए डेटा को वांछित रूप में (सामान्य शब्दों में कहें तो) अनुवाद करने के लिए निम्नलिखित कई चरणों की आवश्यकता होगी।

1. एक विषय-आधारित स्रोत बनाएं जो कच्ची स्टॉक ट्रेडिंग जानकारी प्रकाशित करता हो। हमें StockTransaction प्रकार के ऑब्जेक्ट को ShareVolume प्रकार के ऑब्जेक्ट में मैप करना होगा। मुद्दा यह है कि स्टॉकट्रांसएक्शन ऑब्जेक्ट में बिक्री मेटाडेटा होता है, लेकिन हमें केवल बेचे जाने वाले शेयरों की संख्या के बारे में डेटा की आवश्यकता होती है।
2. शेयर वॉल्यूम डेटा को स्टॉक चिह्न के आधार पर समूहित करें। एक बार प्रतीक द्वारा समूहीकृत करने के बाद, आप इस डेटा को स्टॉक बिक्री मात्रा के उप-योग में संक्षिप्त कर सकते हैं। यह ध्यान देने योग्य है कि KStream.groupBy विधि KGroupedStream प्रकार का एक उदाहरण लौटाती है। और आप KGroupedStream.reduce विधि को आगे कॉल करके KTable उदाहरण प्राप्त कर सकते हैं।

KGroupedStream इंटरफ़ेस क्या है?

KStream.groupBy और KStream.groupByKey विधियाँ KGroupedStream का एक उदाहरण लौटाती हैं। KGroupedStream कुंजियों द्वारा समूहीकृत करने के बाद घटनाओं की एक धारा का एक मध्यवर्ती प्रतिनिधित्व है। यह इसके साथ सीधे काम करने के लिए बिल्कुल भी अभिप्रेत नहीं है। इसके बजाय, KGroupedStream का उपयोग एकत्रीकरण संचालन के लिए किया जाता है, जिसका परिणाम हमेशा KTable होता है। और चूंकि एकत्रीकरण संचालन का परिणाम एक KTable है और वे एक स्टेट स्टोर का उपयोग करते हैं, इसलिए यह संभव है कि परिणामस्वरूप सभी अपडेट पाइपलाइन के नीचे नहीं भेजे जाते हैं।

KTable.groupBy विधि एक समान KGroupedTable लौटाती है - कुंजी द्वारा पुनर्समूहित अद्यतनों की धारा का एक मध्यवर्ती प्रतिनिधित्व।

आइए एक छोटा ब्रेक लें और चित्र देखें। 5.9, जो दर्शाता है कि हमने क्या हासिल किया है। यह टोपोलॉजी आपको पहले से ही बहुत परिचित होनी चाहिए।

आइए अब इस टोपोलॉजी के लिए कोड देखें (यह फ़ाइल src/main/java/bbejeck/chapter_5/AggregationsAndReusingExample.java फ़ाइल में पाया जा सकता है) (लिस्टिंग 5.2)।

दिया गया कोड इसकी संक्षिप्तता और कई पंक्तियों में किए गए कार्यों की बड़ी मात्रा से अलग है। आप बिल्डर.स्ट्रीम विधि के पहले पैरामीटर में कुछ नया देख सकते हैं: एनम प्रकार का मान AutoOffsetReset.EARLIEST (एक नवीनतम भी है), Consumed.withOffsetResetPolicy विधि का उपयोग करके सेट किया गया है। इस गणना प्रकार का उपयोग प्रत्येक केस्ट्रीम या केटेबल के लिए ऑफसेट रीसेट रणनीति निर्दिष्ट करने के लिए किया जा सकता है और कॉन्फ़िगरेशन से ऑफसेट रीसेट विकल्प पर प्राथमिकता लेता है।

ग्रुपबायकी और ग्रुपबाय

KStream इंटरफ़ेस में रिकॉर्ड्स को समूहीकृत करने की दो विधियाँ हैं: GroupByKey और GroupBy। दोनों एक KGroupedTable लौटाते हैं, इसलिए आप सोच रहे होंगे कि उनके बीच क्या अंतर है और कब किसका उपयोग करना है?

GroupByKey विधि का उपयोग तब किया जाता है जब KStream में कुंजियाँ पहले से ही खाली नहीं होती हैं। और सबसे महत्वपूर्ण बात, "पुन: विभाजन की आवश्यकता है" ध्वज कभी सेट नहीं किया गया था।

GroupBy विधि मानती है कि आपने ग्रुपिंग कुंजियाँ बदल दी हैं, इसलिए पुनर्विभाजन ध्वज सत्य पर सेट है। GroupBy विधि के बाद जुड़ाव, एकत्रीकरण आदि करने से स्वचालित पुन: विभाजन हो जाएगा।
सारांश: जब भी संभव हो, आपको GroupBy के बजाय GroupByKey का उपयोग करना चाहिए।

यह स्पष्ट है कि मैपवैल्यूज़ और ग्रुपबाय विधियाँ क्या करती हैं, तो आइए sum() विधि पर एक नज़र डालें (src/main/java/bbejeck/model/ShareVolume.java में पाई गई) (लिस्टिंग 5.3)।

ShareVolume.sum विधि स्टॉक बिक्री की मात्रा का कुल योग लौटाती है, और गणना की पूरी श्रृंखला का परिणाम एक KTable ऑब्जेक्ट है . अब आप समझ गए हैं कि KTable क्या भूमिका निभाती है। जब ShareVolume ऑब्जेक्ट आते हैं, तो संबंधित KTable ऑब्जेक्ट नवीनतम वर्तमान अपडेट को संग्रहीत करता है। यह याद रखना महत्वपूर्ण है कि सभी अपडेट पिछले shareVolumeKTable में प्रतिबिंबित होते हैं, लेकिन सभी आगे नहीं भेजे जाते हैं।

फिर हम प्रत्येक उद्योग में कारोबार किए गए शेयरों की उच्चतम मात्रा वाली पांच कंपनियों तक पहुंचने के लिए (कारोबार किए गए शेयरों की संख्या के आधार पर) एकत्र करने के लिए इस केटेबल का उपयोग करते हैं। इस मामले में हमारे कार्य पहले एकत्रीकरण के समान होंगे।

1. उद्योग के अनुसार अलग-अलग ShareVolume ऑब्जेक्ट को समूहीकृत करने के लिए एक अन्य ग्रुपबाय ऑपरेशन निष्पादित करें।
2. ShareVolume ऑब्जेक्ट का सारांश प्रारंभ करें। इस बार एकत्रीकरण वस्तु एक निश्चित आकार की प्राथमिकता कतार है। इस निश्चित आकार की कतार में, सबसे अधिक मात्रा में बेचे गए शेयरों वाली केवल पांच कंपनियों को बरकरार रखा गया है।
3. पिछले पैराग्राफ से कतारों को एक स्ट्रिंग मान पर मैप करें और उद्योग द्वारा संख्या के आधार पर शीर्ष पांच सबसे अधिक कारोबार वाले स्टॉक लौटाएं।
4. विषय के अनुसार परिणामों को स्ट्रिंग रूप में लिखें।

चित्र में. चित्र 5.10 डेटा प्रवाह टोपोलॉजी ग्राफ़ दिखाता है। जैसा कि आप देख सकते हैं, प्रसंस्करण का दूसरा दौर काफी सरल है।

अब जब हमें प्रसंस्करण के इस दूसरे दौर की संरचना की स्पष्ट समझ हो गई है, तो हम इसके स्रोत कोड की ओर रुख कर सकते हैं (आप इसे फ़ाइल src/main/java/bbejeck/chapter_5/AggregationsAndReductionExample.java फ़ाइल में पाएंगे) (लिस्टिंग 5.4) .

इस इनिशियलाइज़र में एक फिक्स्डक्यू वैरिएबल शामिल है। यह एक कस्टम ऑब्जेक्ट है जो java.util.TreeSet के लिए एक एडाप्टर है जिसका उपयोग कारोबार किए गए शेयरों के अवरोही क्रम में शीर्ष एन परिणामों को ट्रैक करने के लिए किया जाता है।

आप पहले ही ग्रुपबाय और मैपवैल्यूज़ कॉल देख चुके हैं, इसलिए हम उनमें नहीं जाएंगे (हम KTable.toStream विधि को कॉल कर रहे हैं क्योंकि KTable.print विधि अप्रचलित है)। लेकिन आपने अभी तक एग्रीगेट() का केटेबल संस्करण नहीं देखा है, इसलिए हम उस पर चर्चा करने में थोड़ा समय व्यतीत करेंगे।

जैसा कि आपको याद है, KTable को जो चीज़ अलग बनाती है वह यह है कि समान कुंजियों वाले रिकॉर्ड को अद्यतन माना जाता है। KTable पुरानी प्रविष्टि को एक नई प्रविष्टि से बदल देता है। एकत्रीकरण एक समान तरीके से होता है: एक ही कुंजी के साथ नवीनतम रिकॉर्ड एकत्र किए जाते हैं। जब कोई रिकॉर्ड आता है, तो इसे एक योजक (एग्रीगेट मेथड कॉल में दूसरा पैरामीटर) का उपयोग करके फिक्स्डसाइजप्रायरिटीक्यू क्लास इंस्टेंस में जोड़ा जाता है, लेकिन यदि उसी कुंजी के साथ एक और रिकॉर्ड पहले से मौजूद है, तो पुराने रिकॉर्ड को एक सबट्रैक्टर (तीसरा पैरामीटर) का उपयोग करके हटा दिया जाता है समग्र विधि कॉल)।

इसका मतलब यह है कि हमारा एग्रीगेटर, फिक्स्डसाइजप्रायरिटीक्यू, सभी मूल्यों को एक कुंजी के साथ एकत्रित नहीं करता है, बल्कि एन सबसे अधिक कारोबार वाले प्रकार के शेयरों की मात्रा का एक चलती योग संग्रहीत करता है। प्रत्येक आने वाली प्रविष्टि में अब तक बेचे गए शेयरों की कुल संख्या शामिल है। KTable आपको प्रत्येक अद्यतन के रोलिंग एकत्रीकरण की आवश्यकता के बिना, इस बारे में जानकारी देगा कि वर्तमान में किन कंपनियों के शेयरों का सबसे अधिक कारोबार होता है।

हमने दो महत्वपूर्ण चीजें करना सीखा:

• एक सामान्य कुंजी द्वारा KTable में समूह मान;
• इन समूहीकृत मानों पर रोलअप और एकत्रीकरण जैसे उपयोगी संचालन करें।

काफ्का स्ट्रीम एप्लिकेशन के माध्यम से स्थानांतरित होने वाले डेटा के अर्थ को समझने और इसमें क्या जानकारी है, यह समझने के लिए इन ऑपरेशनों को करने का तरीका जानना महत्वपूर्ण है।

हमने इस पुस्तक में पहले चर्चा की गई कुछ प्रमुख अवधारणाओं को भी एक साथ लाया है। अध्याय 4 में, हमने चर्चा की कि स्ट्रीमिंग एप्लिकेशन के लिए दोष-सहिष्णु, स्थानीय स्थिति कितनी महत्वपूर्ण है। इस अध्याय में पहला उदाहरण प्रदर्शित करता है कि स्थानीय राज्य इतना महत्वपूर्ण क्यों है - यह आपको उस जानकारी पर नज़र रखने की क्षमता देता है जो आपने पहले ही देखी है। स्थानीय पहुंच नेटवर्क विलंब से बचाती है, जिससे एप्लिकेशन अधिक प्रदर्शनशील और त्रुटि-प्रतिरोधी बन जाती है।

कोई भी रोलअप या एकत्रीकरण ऑपरेशन करते समय, आपको राज्य स्टोर का नाम निर्दिष्ट करना होगा। रोलअप और एकत्रीकरण संचालन एक KTable उदाहरण लौटाते हैं, और KTable पुराने परिणामों को नए के साथ बदलने के लिए राज्य भंडारण का उपयोग करता है। जैसा कि आपने देखा है, सभी अपडेट पाइपलाइन के नीचे नहीं भेजे जाते हैं, और यह महत्वपूर्ण है क्योंकि एकत्रीकरण संचालन को सारांश जानकारी तैयार करने के लिए डिज़ाइन किया गया है। यदि आप स्थानीय स्थिति लागू नहीं करते हैं, तो KTable सभी एकत्रीकरण और रोलअप परिणामों को अग्रेषित करेगा।

इसके बाद, हम एक विशिष्ट अवधि के भीतर एकत्रीकरण जैसे संचालन करने पर ध्यान देंगे - तथाकथित विंडोिंग ऑपरेशन।

5.3.2. विंडो संचालन

पिछले अनुभाग में, हमने स्लाइडिंग कनवल्शन और एकत्रीकरण का परिचय दिया था। एप्लिकेशन ने स्टॉक बिक्री की मात्रा का निरंतर रोल-अप किया, जिसके बाद एक्सचेंज पर पांच सबसे अधिक कारोबार वाले शेयरों का एकत्रीकरण किया गया।

कभी-कभी परिणामों का ऐसा निरंतर एकत्रीकरण और रोल-अप आवश्यक होता है। और कभी-कभी आपको केवल एक निश्चित अवधि में ही संचालन करने की आवश्यकता होती है। उदाहरण के लिए, गणना करें कि पिछले 10 मिनट में किसी विशेष कंपनी के शेयरों के साथ कितने विनिमय लेनदेन किए गए। या पिछले 15 मिनट में कितने उपयोगकर्ताओं ने नए विज्ञापन बैनर पर क्लिक किया। एक एप्लिकेशन ऐसे ऑपरेशन कई बार कर सकता है, लेकिन ऐसे परिणाम के साथ जो केवल निर्दिष्ट समय अवधि (टाइम विंडो) पर लागू होते हैं।

खरीदार द्वारा विनिमय लेनदेन की गिनती

अगले उदाहरण में, हम कई व्यापारियों के बीच स्टॉक लेनदेन को ट्रैक करेंगे - या तो बड़े संगठन या स्मार्ट व्यक्तिगत फाइनेंसर।

इस ट्रैकिंग के दो संभावित कारण हैं. उनमें से एक यह जानने की जरूरत है कि बाजार के नेता क्या खरीद/बेच रहे हैं। यदि इन बड़े खिलाड़ियों और परिष्कृत निवेशकों को अवसर दिखता है, तो उनकी रणनीति का पालन करना समझ में आता है। दूसरा कारण अवैध अंदरूनी व्यापार के किसी भी संभावित संकेत को पहचानने की इच्छा है। ऐसा करने के लिए, आपको महत्वपूर्ण प्रेस विज्ञप्तियों के साथ बड़ी बिक्री वृद्धि के सहसंबंध का विश्लेषण करने की आवश्यकता होगी।

ऐसी ट्रैकिंग में निम्नलिखित चरण होते हैं:

• स्टॉक-लेन-देन विषय से पढ़ने के लिए एक स्ट्रीम बनाना;
• खरीदार आईडी और स्टॉक प्रतीक के आधार पर आने वाले रिकॉर्ड को समूहीकृत करना। GroupBy विधि को कॉल करने से KGroupedStream क्लास का एक उदाहरण मिलता है;
• KGroupedStream.windowedBy विधि एक समय विंडो तक सीमित डेटा स्ट्रीम लौटाती है, जो विंडो एकत्रीकरण की अनुमति देती है। विंडो प्रकार के आधार पर, या तो TimeWindowedKStream या SessionWindowedKStream लौटाया जाता है;
• एकत्रीकरण ऑपरेशन के लिए लेनदेन गणना। विंडो किया गया डेटा प्रवाह यह निर्धारित करता है कि इस गणना में किसी विशेष रिकॉर्ड को ध्यान में रखा गया है या नहीं;
• किसी विषय पर परिणाम लिखना या विकास के दौरान उन्हें कंसोल पर आउटपुट करना।

इस एप्लिकेशन की टोपोलॉजी सरल है, लेकिन इसकी स्पष्ट तस्वीर मददगार होगी। आइए चित्र पर एक नजर डालें। 5.11.

इसके बाद, हम विंडो संचालन की कार्यक्षमता और संबंधित कोड को देखेंगे।

विंडो प्रकार

काफ्का स्ट्रीम में तीन प्रकार की विंडो हैं:

• सत्रीय;
• "टम्बलिंग" (टम्बलिंग);
• फिसलना/उछलना।

किसे चुनना है यह आपकी व्यावसायिक आवश्यकताओं पर निर्भर करता है। टंबलिंग और जंपिंग विंडो समय-सीमित हैं, जबकि सत्र विंडो उपयोगकर्ता गतिविधि द्वारा सीमित हैं - सत्र की अवधि पूरी तरह से निर्धारित होती है कि उपयोगकर्ता कितना सक्रिय है। याद रखने वाली मुख्य बात यह है कि सभी विंडो प्रकार प्रविष्टियों की दिनांक/समय टिकटों पर आधारित होते हैं, सिस्टम समय पर नहीं।

इसके बाद, हम प्रत्येक विंडो प्रकार के साथ अपनी टोपोलॉजी लागू करते हैं। पूरा कोड केवल पहले उदाहरण में दिया जाएगा; अन्य प्रकार की विंडोज़ के लिए विंडो ऑपरेशन के प्रकार के अलावा कुछ भी नहीं बदलेगा।

सत्र खिड़कियाँ

सत्र विंडो अन्य सभी प्रकार की विंडो से बहुत भिन्न होती हैं। वे समय तक सीमित नहीं हैं, बल्कि उपयोगकर्ता की गतिविधि (या उस इकाई की गतिविधि जिसे आप ट्रैक करना चाहते हैं) द्वारा सीमित हैं। सत्र विंडो को निष्क्रियता की अवधि के अनुसार सीमांकित किया जाता है।

चित्र 5.12 सत्र विंडो की अवधारणा को दर्शाता है। छोटा सत्र बाईं ओर के सत्र के साथ विलीन हो जाएगा। और दाईं ओर का सत्र अलग होगा क्योंकि यह निष्क्रियता की लंबी अवधि के बाद होता है। सत्र विंडो उपयोगकर्ता गतिविधि पर आधारित होती हैं, लेकिन यह निर्धारित करने के लिए कि प्रविष्टि किस सत्र से संबंधित है, प्रविष्टियों से दिनांक/समय टिकटों का उपयोग करें।

स्टॉक लेनदेन को ट्रैक करने के लिए सत्र विंडो का उपयोग करना

आइए विनिमय लेनदेन के बारे में जानकारी प्राप्त करने के लिए सत्र विंडो का उपयोग करें। सत्र विंडो का कार्यान्वयन लिस्टिंग 5.5 में दिखाया गया है (जिसे src/main/java/bbejeck/chapter_5/CountingWindowingAndKTableJoinExample.java में पाया जा सकता है)।

आप इस टोपोलॉजी में अधिकांश ऑपरेशन पहले ही देख चुके हैं, इसलिए उन्हें यहां दोबारा देखने की कोई आवश्यकता नहीं है। लेकिन यहां कई नए तत्व भी हैं, जिन पर अब हम चर्चा करेंगे।

कोई भी ग्रुपबाय ऑपरेशन आम तौर पर किसी प्रकार का एकत्रीकरण ऑपरेशन (एकत्रीकरण, रोलअप, या गिनती) करता है। आप या तो रनिंग टोटल के साथ संचयी एकत्रीकरण कर सकते हैं, या विंडो एकत्रीकरण कर सकते हैं, जो एक निर्दिष्ट समय विंडो के भीतर रिकॉर्ड को ध्यान में रखता है।

लिस्टिंग 5.5 में कोड सत्र विंडो के भीतर लेनदेन की संख्या की गणना करता है। चित्र में. 5.13 इन क्रियाओं का चरण दर चरण विश्लेषण किया गया है।

windowedBy(SessionWindows.with(twentySeconds).until(fifteenMinutes)) को कॉल करके हम 20 सेकंड के निष्क्रियता अंतराल और 15 मिनट के दृढ़ता अंतराल के साथ एक सत्र विंडो बनाते हैं। 20 सेकंड के निष्क्रिय अंतराल का मतलब है कि एप्लिकेशन में वर्तमान सत्र के अंत या शुरुआत के 20 सेकंड के भीतर आने वाली किसी भी प्रविष्टि को वर्तमान (सक्रिय) सत्र में शामिल किया जाएगा।

इसके बाद, हम निर्दिष्ट करते हैं कि सत्र विंडो में कौन सा एकत्रीकरण ऑपरेशन करने की आवश्यकता है - इस मामले में, गिनती करें। यदि कोई आने वाली प्रविष्टि निष्क्रियता विंडो (दिनांक/समय टिकट के दोनों तरफ) के बाहर आती है, तो एप्लिकेशन एक नया सत्र बनाता है। अवधारण अंतराल का अर्थ है एक निश्चित समय के लिए एक सत्र को बनाए रखना और देर से डेटा की अनुमति देना जो सत्र की निष्क्रियता अवधि से आगे बढ़ता है लेकिन फिर भी संलग्न किया जा सकता है। इसके अतिरिक्त, मर्ज के परिणामस्वरूप नए सत्र की शुरुआत और समाप्ति प्रारंभिक और नवीनतम दिनांक/समय टिकट के अनुरूप होती है।

आइए यह देखने के लिए कि सत्र कैसे काम करते हैं, गिनती विधि से कुछ प्रविष्टियाँ देखें (तालिका 5.1)।

जब रिकॉर्ड आते हैं, तो हम उसी कुंजी के साथ मौजूदा सत्रों की तलाश करते हैं, समाप्ति समय वर्तमान दिनांक/समय टिकट - निष्क्रियता अंतराल से कम होता है, और प्रारंभ समय वर्तमान दिनांक/समय टिकट + निष्क्रियता अंतराल से अधिक होता है। इसे ध्यान में रखते हुए, तालिका से चार प्रविष्टियाँ। 5.1 को निम्नानुसार एक ही सत्र में विलय कर दिया गया है।

1. रिकॉर्ड 1 पहले आता है, इसलिए प्रारंभ समय अंत समय के बराबर है और 00:00:00 है।

2. इसके बाद, प्रविष्टि 2 आती है, और हम ऐसे सत्रों की तलाश करते हैं जो 23:59:55 से पहले समाप्त न हों और 00:00:35 से पहले शुरू न हों। हम रिकॉर्ड 1 ढूंढते हैं और सत्र 1 और 2 को जोड़ते हैं। हम सत्र 1 का प्रारंभ समय (पहले) और सत्र 2 का समाप्ति समय (बाद में) लेते हैं, ताकि हमारा नया सत्र 00:00:00 बजे शुरू हो और 00 बजे समाप्त हो: 00:15.

3. रिकॉर्ड 3 आता है, हम 00:00:30 और 00:01:10 के बीच सत्र की तलाश करते हैं और कोई नहीं मिलता है। कुंजी 123-345-654,एफएफबीई के लिए दूसरा सत्र जोड़ें, जो 00:00:50 पर शुरू और समाप्त होगा।

4. रिकॉर्ड 4 आता है और हम 23:59:45 और 00:00:25 के बीच सत्र की तलाश कर रहे हैं। इस बार दोनों सत्र 1 और 2 पाए गए हैं। सभी तीन सत्रों को एक में संयोजित किया गया है, जिसका प्रारंभ समय 00:00:00 और समाप्ति समय 00:00:15 है।

इस खंड में जो वर्णित है, उससे निम्नलिखित महत्वपूर्ण बारीकियों को याद रखना उचित है:

• सत्र निश्चित आकार की विंडो नहीं हैं। एक सत्र की अवधि एक निश्चित अवधि के भीतर गतिविधि द्वारा निर्धारित की जाती है;
• डेटा में दिनांक/समय टिकट यह निर्धारित करते हैं कि घटना मौजूदा सत्र के भीतर आती है या निष्क्रिय अवधि के दौरान।

आगे हम अगले प्रकार की विंडो - "टम्बलिंग" विंडो पर चर्चा करेंगे।

"टम्बलिंग" खिड़कियाँ

टम्बलिंग विंडो एक निश्चित अवधि के भीतर होने वाली घटनाओं को कैप्चर करती हैं। कल्पना करें कि आपको हर 20 सेकंड में एक निश्चित कंपनी के सभी स्टॉक लेनदेन को कैप्चर करने की आवश्यकता है, इसलिए आप उस अवधि के दौरान सभी घटनाओं को एकत्र करते हैं। 20-सेकंड के अंतराल के अंत में, विंडो लुढ़क जाती है और एक नए 20-सेकंड के अवलोकन अंतराल पर चली जाती है। चित्र 5.14 इस स्थिति को दर्शाता है।

जैसा कि आप देख सकते हैं, पिछले 20 सेकंड में प्राप्त सभी ईवेंट विंडो में शामिल हैं। इस अवधि के अंत में, एक नई विंडो बनाई जाती है।

लिस्टिंग 5.6 कोड दिखाता है जो हर 20 सेकंड में स्टॉक लेनदेन को कैप्चर करने के लिए टम्बलिंग विंडो के उपयोग को दर्शाता है (src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java में पाया गया)।

TimeWindows.of विधि कॉल में इस छोटे से बदलाव के साथ, आप एक टम्बलिंग विंडो का उपयोग कर सकते हैं। यह उदाहरण जब तक () विधि को कॉल नहीं करता है, इसलिए 24 घंटे के डिफ़ॉल्ट अवधारण अंतराल का उपयोग किया जाएगा।

अंत में, अब विंडो विकल्पों में से अंतिम - "हॉपिंग" विंडो पर आगे बढ़ने का समय आ गया है।

स्लाइडिंग ("कूदती") खिड़कियाँ

स्लाइडिंग/हॉपिंग विंडो, टम्बलिंग विंडो के समान हैं, लेकिन थोड़े अंतर के साथ। स्लाइडिंग विंडो हाल की घटनाओं को संसाधित करने के लिए एक नई विंडो बनाने से पहले समय अंतराल के अंत तक इंतजार नहीं करती हैं। वे विंडो अवधि से कम प्रतीक्षा अंतराल के बाद नई गणना शुरू करते हैं।

टंबलिंग और जंपिंग विंडो के बीच अंतर को स्पष्ट करने के लिए, आइए स्टॉक एक्सचेंज लेनदेन की गिनती के उदाहरण पर वापस लौटें। हमारा लक्ष्य अभी भी लेनदेन की संख्या की गणना करना है, लेकिन हम काउंटर को अपडेट करने से पहले पूरे समय तक इंतजार नहीं करना चाहते हैं। इसके बजाय, हम कम अंतराल पर काउंटर को अपडेट करेंगे। उदाहरण के लिए, हम अभी भी हर 20 सेकंड में लेनदेन की संख्या की गणना करेंगे, लेकिन हर 5 सेकंड में काउंटर को अपडेट करेंगे, जैसा कि चित्र में दिखाया गया है। 5.15. इस मामले में, हम ओवरलैपिंग डेटा के साथ तीन परिणाम विंडो के साथ समाप्त होते हैं।

लिस्टिंग 5.7 स्लाइडिंग विंडोज़ को परिभाषित करने के लिए कोड दिखाता है (src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java में पाया गया)।

एडवांसबाय() विधि में कॉल जोड़कर एक टंबलिंग विंडो को हॉपिंग विंडो में परिवर्तित किया जा सकता है। दिखाए गए उदाहरण में, बचत अंतराल 15 मिनट है।

आपने इस अनुभाग में देखा कि एकत्रीकरण परिणामों को टाइम विंडो तक कैसे सीमित किया जाए। विशेष रूप से, मैं चाहता हूँ कि आप इस अनुभाग से निम्नलिखित तीन बातें याद रखें:

• सत्र विंडो का आकार समय अवधि से नहीं, बल्कि उपयोगकर्ता गतिविधि द्वारा सीमित है;
• "टम्बलिंग" विंडो एक निश्चित अवधि के भीतर घटनाओं का अवलोकन प्रदान करती हैं;
• जंपिंग विंडो की अवधि निश्चित है, लेकिन उन्हें बार-बार अपडेट किया जाता है और सभी विंडो में ओवरलैपिंग प्रविष्टियाँ हो सकती हैं।

इसके बाद, हम सीखेंगे कि किसी कनेक्शन के लिए KTable को वापस KStream में कैसे परिवर्तित किया जाए।

5.3.3. केस्ट्रीम और केटेबल ऑब्जेक्ट को कनेक्ट करना

अध्याय 4 में, हमने दो KStream ऑब्जेक्ट को जोड़ने पर चर्चा की। अब हमें सीखना होगा कि KTable और KStream को कैसे कनेक्ट करें। निम्नलिखित सरल कारण से इसकी आवश्यकता हो सकती है। केस्ट्रीम रिकॉर्ड्स की एक स्ट्रीम है, और केटेबल रिकॉर्ड अपडेट्स की एक स्ट्रीम है, लेकिन कभी-कभी आप केटेबल से अपडेट का उपयोग करके रिकॉर्ड स्ट्रीम में अतिरिक्त संदर्भ जोड़ना चाह सकते हैं।

आइए स्टॉक एक्सचेंज लेनदेन की संख्या पर डेटा लें और उन्हें संबंधित उद्योगों के लिए स्टॉक एक्सचेंज समाचारों के साथ संयोजित करें। आपके पास पहले से मौजूद कोड को देखते हुए इसे हासिल करने के लिए आपको क्या करना होगा।

1. स्टॉक लेनदेन की संख्या पर डेटा के साथ एक KTable ऑब्जेक्ट को KStream में कनवर्ट करें, इसके बाद इस स्टॉक प्रतीक के अनुरूप उद्योग क्षेत्र को इंगित करने वाली कुंजी के साथ कुंजी बदलें।
2. एक KTable ऑब्जेक्ट बनाएं जो स्टॉक एक्सचेंज समाचार वाले विषय से डेटा पढ़ता है। इस नए KTable को उद्योग क्षेत्र द्वारा वर्गीकृत किया जाएगा।
3. उद्योग क्षेत्र द्वारा स्टॉक एक्सचेंज लेनदेन की संख्या की जानकारी के साथ समाचार अपडेट को कनेक्ट करें।

अब देखते हैं कि इस कार्ययोजना को कैसे क्रियान्वित किया जाए।

KTable को KStream में कनवर्ट करें

KTable को KStream में बदलने के लिए आपको निम्नलिखित कार्य करने होंगे।

1. KTable.toStream() विधि को कॉल करें।
2. KStream.map विधि को कॉल करके, कुंजी को उद्योग के नाम से बदलें, और फिर विंडोड इंस्टेंस से TransactionSummary ऑब्जेक्ट को पुनः प्राप्त करें।

हम इन परिचालनों को निम्नानुसार एक साथ श्रृंखलाबद्ध करेंगे (कोड फ़ाइल src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java में पाया जा सकता है) (लिस्टिंग 5.8)।

क्योंकि हम एक KStream.map ऑपरेशन कर रहे हैं, जब किसी कनेक्शन में इसका उपयोग किया जाता है तो लौटाया गया KStream इंस्टेंस स्वचालित रूप से पुन: विभाजित हो जाता है।

हमने रूपांतरण प्रक्रिया पूरी कर ली है, इसके बाद हमें स्टॉक समाचार पढ़ने के लिए एक KTable ऑब्जेक्ट बनाने की आवश्यकता है।

स्टॉक समाचार के लिए KTable का निर्माण

सौभाग्य से, KTable ऑब्जेक्ट बनाने में कोड की केवल एक पंक्ति लगती है (कोड src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java में पाया जा सकता है) (लिस्टिंग 5.9)।

यह ध्यान देने योग्य है कि किसी भी सर्ड ऑब्जेक्ट को निर्दिष्ट करने की आवश्यकता नहीं है, क्योंकि सेटिंग्स में स्ट्रिंग सर्ड का उपयोग किया जाता है। इसके अलावा, सबसे शुरुआती गणना का उपयोग करके, तालिका शुरुआत में ही रिकॉर्ड से भर जाती है।

अब हम अंतिम चरण - कनेक्शन - पर आगे बढ़ सकते हैं।

लेन-देन गणना डेटा के साथ समाचार अपडेट को जोड़ना

संबंध बनाना कठिन नहीं है. यदि प्रासंगिक उद्योग के लिए कोई स्टॉक समाचार नहीं है तो हम लेफ्ट जॉइन का उपयोग करेंगे (आवश्यक कोड फ़ाइल src/main/java/bbejeck/chapter_5/CountingWindowingAndKtableJoinExample.java में पाया जा सकता है) (लिस्टिंग 5.10)।

यह लेफ्टजॉइन ऑपरेटर काफी सरल है। अध्याय 4 में शामिल होने के विपरीत, JoinWindow विधि का उपयोग नहीं किया जाता है क्योंकि KStream-KTable जॉइन करते समय, प्रत्येक कुंजी के लिए KTable में केवल एक प्रविष्टि होती है। ऐसा कनेक्शन समय में सीमित नहीं है: रिकॉर्ड या तो KTable में है या अनुपस्थित है। मुख्य निष्कर्ष: KTable ऑब्जेक्ट का उपयोग करके आप कम बार अद्यतन किए गए संदर्भ डेटा के साथ KStream को समृद्ध कर सकते हैं।

अब हम केस्ट्रीम से घटनाओं को समृद्ध करने का एक अधिक कुशल तरीका देखेंगे।

5.3.4. ग्लोबलकेटेबल ऑब्जेक्ट

जैसा कि आप देख सकते हैं, इवेंट स्ट्रीम को समृद्ध करने या उनमें संदर्भ जोड़ने की आवश्यकता है। अध्याय 4 में आपने दो केस्ट्रीम ऑब्जेक्ट के बीच कनेक्शन देखा, और पिछले अनुभाग में आपने एक केस्ट्रीम और केटेबल के बीच कनेक्शन देखा। इन सभी मामलों में, कुंजियों को किसी नए प्रकार या मान पर मैप करते समय डेटा स्ट्रीम को फिर से विभाजित करना आवश्यक है। कभी-कभी पुनर्विभाजन स्पष्ट रूप से किया जाता है, और कभी-कभी काफ्का स्ट्रीम इसे स्वचालित रूप से करता है। पुन: विभाजन आवश्यक है क्योंकि कुंजियाँ बदल गई हैं और रिकॉर्ड को नए अनुभागों में समाप्त होना चाहिए, अन्यथा कनेक्शन असंभव हो जाएगा (इस पर अध्याय 4 में, उपधारा 4.2.4 में "पुन: विभाजन डेटा" अनुभाग में चर्चा की गई थी)।

पुनः विभाजन की एक लागत होती है

पुन: विभाजन के लिए लागत की आवश्यकता होती है - मध्यवर्ती विषय बनाने, किसी अन्य विषय में डुप्लिकेट डेटा संग्रहीत करने के लिए अतिरिक्त संसाधन लागत; इसका मतलब इस विषय पर लिखने और पढ़ने के कारण विलंबता में वृद्धि भी है। इसके अतिरिक्त, यदि आपको एक से अधिक पहलुओं या आयामों में शामिल होने की आवश्यकता है, तो आपको जुड़ावों को श्रृंखलाबद्ध करना होगा, रिकॉर्ड को नई कुंजियों के साथ मैप करना होगा और पुन: विभाजन प्रक्रिया को फिर से चलाना होगा।

छोटे डेटासेट से कनेक्ट करना

कुछ मामलों में, कनेक्ट किए जाने वाले संदर्भ डेटा की मात्रा अपेक्षाकृत छोटी होती है, इसलिए इसकी पूरी प्रतियां प्रत्येक नोड पर स्थानीय रूप से आसानी से फिट हो सकती हैं। इस तरह की स्थितियों के लिए, काफ्का स्ट्रीम्स ग्लोबलकेटेबल क्लास प्रदान करता है।

ग्लोबलकेटेबल उदाहरण अद्वितीय हैं क्योंकि एप्लिकेशन प्रत्येक नोड पर सभी डेटा को दोहराता है। और चूंकि सभी डेटा प्रत्येक नोड पर मौजूद है, इसलिए संदर्भ डेटा कुंजी द्वारा इवेंट स्ट्रीम को विभाजित करने की कोई आवश्यकता नहीं है ताकि यह सभी विभाजनों के लिए उपलब्ध हो। आप GlobalKTable ऑब्जेक्ट का उपयोग करके बिना चाबी के जोड़ भी बना सकते हैं। आइए इस सुविधा को प्रदर्शित करने के लिए पिछले उदाहरणों में से एक पर वापस जाएं।

KStream ऑब्जेक्ट को GlobalKTable ऑब्जेक्ट से कनेक्ट करना

उपधारा 5.3.2 में, हमने खरीदारों द्वारा विनिमय लेनदेन का विंडो एकत्रीकरण किया। इस एकत्रीकरण के परिणाम कुछ इस प्रकार दिखे:

{customerId='074-09-3705', stockTicker='GUTM'}, 17
{customerId='037-34-5184', stockTicker='CORK'}, 16

हालाँकि इन परिणामों ने उद्देश्य पूरा किया, यह अधिक उपयोगी होता यदि ग्राहक का नाम और कंपनी का पूरा नाम भी प्रदर्शित किया गया होता। ग्राहक का नाम और कंपनी का नाम जोड़ने के लिए, आप सामान्य जुड़ाव कर सकते हैं, लेकिन आपको दो कुंजी मैपिंग और पुन: विभाजन करने की आवश्यकता होगी। GlobalKTable से आप ऐसे परिचालनों की लागत से बच सकते हैं।

ऐसा करने के लिए, हम लिस्टिंग 5.11 से काउंटस्ट्रीम ऑब्जेक्ट का उपयोग करेंगे (संबंधित कोड src/main/java/bbejeck/chapter_5/GlobalKTableExample.java में पाया जा सकता है) और इसे दो GlobalKTable ऑब्जेक्ट से कनेक्ट करेंगे।

हम पहले ही इस पर चर्चा कर चुके हैं, इसलिए मैं इसे नहीं दोहराऊंगा। लेकिन मैं ध्यान देता हूं कि toStream().map फ़ंक्शन में कोड को पठनीयता के लिए इनलाइन लैम्ब्डा एक्सप्रेशन के बजाय एक फ़ंक्शन ऑब्जेक्ट में समाहित किया गया है।

अगला चरण GlobalKTable के दो उदाहरण घोषित करना है (दिखाया गया कोड फ़ाइल src/main/java/bbejeck/chapter_5/GlobalKTableExample.java में पाया जा सकता है) (लिस्टिंग 5.12)।

कृपया ध्यान दें कि विषय नामों का वर्णन प्रगणित प्रकारों का उपयोग करके किया गया है।

अब जबकि हमारे पास सभी घटक तैयार हैं, अब केवल कनेक्शन के लिए कोड लिखना बाकी है (जो फ़ाइल src/main/java/bbejeck/chapter_5/GlobalKTableExample.java फ़ाइल में पाया जा सकता है) (लिस्टिंग 5.13)।

हालाँकि इस कोड में दो जोड़ हैं, वे श्रृंखलाबद्ध हैं क्योंकि उनमें से किसी का भी परिणाम अलग से उपयोग नहीं किया जाता है। परिणाम पूरे ऑपरेशन के अंत में प्रदर्शित होते हैं।

जब आप उपरोक्त जॉइन ऑपरेशन चलाएंगे, तो आपको इस तरह के परिणाम मिलेंगे:

{customer='Barney, Smith' company="Exxon", transactions= 17}

सार नहीं बदला है, लेकिन ये परिणाम अधिक स्पष्ट दिखते हैं।

यदि आप अध्याय 4 तक उल्टी गिनती करते हैं, तो आप पहले से ही कई प्रकार के कनेक्शनों को क्रियान्वित होते देख चुके हैं। वे तालिका में सूचीबद्ध हैं। 5.2. यह तालिका काफ्का स्ट्रीम के संस्करण 1.0.0 की कनेक्टिविटी क्षमताओं को दर्शाती है; भावी रिलीज़ में कुछ बदलाव हो सकता है.

चीजों को पूरा करने के लिए, आइए बुनियादी बातों पर दोबारा गौर करें: आप स्थानीय स्थिति का उपयोग करके इवेंट स्ट्रीम (केस्ट्रीम) को कनेक्ट कर सकते हैं और स्ट्रीम (केटेबल) को अपडेट कर सकते हैं। वैकल्पिक रूप से, यदि संदर्भ डेटा का आकार बहुत बड़ा नहीं है, तो आप GlobalKTable ऑब्जेक्ट का उपयोग कर सकते हैं। ग्लोबलकेटेबल्स प्रत्येक काफ्का स्ट्रीम एप्लिकेशन नोड के सभी विभाजनों को दोहराते हैं, यह सुनिश्चित करते हुए कि सभी डेटा उपलब्ध है, भले ही कुंजी किस विभाजन से मेल खाती हो।

आगे हम काफ्का स्ट्रीम फीचर देखेंगे, जिसकी बदौलत हम काफ्का विषय से डेटा उपभोग किए बिना राज्य परिवर्तनों का निरीक्षण कर सकते हैं।

5.3.5. प्रश्नयोग्य अवस्था

हमने पहले से ही राज्य से जुड़े कई ऑपरेशन किए हैं और परिणामों को हमेशा कंसोल (विकास उद्देश्यों के लिए) में आउटपुट करते हैं या उन्हें किसी विषय पर लिखते हैं (उत्पादन उद्देश्यों के लिए)। किसी विषय पर परिणाम लिखते समय, आपको उन्हें देखने के लिए काफ्का उपभोक्ता का उपयोग करना होगा।

इन विषयों से डेटा पढ़ना एक प्रकार का भौतिक दृष्टिकोण माना जा सकता है। अपने उद्देश्यों के लिए, हम विकिपीडिया से भौतिकीकृत दृश्य की परिभाषा का उपयोग कर सकते हैं: “...एक भौतिक डेटाबेस ऑब्जेक्ट जिसमें एक क्वेरी के परिणाम होते हैं। उदाहरण के लिए, यह दूरस्थ डेटा की एक स्थानीय प्रतिलिपि, या किसी तालिका की पंक्तियों और/या स्तंभों का एक उपसमूह या सम्मिलित परिणाम, या एकत्रीकरण के माध्यम से प्राप्त सारांश तालिका हो सकती है” (https://en.wikipedia.org/wiki) /मटेरियलाइज्ड_व्यू).

काफ्का स्ट्रीम आपको राज्य के स्टोरों पर इंटरैक्टिव क्वेरीज़ चलाने की भी अनुमति देता है, जिससे आप इन भौतिक दृश्यों को सीधे पढ़ सकते हैं। यह ध्यान रखना महत्वपूर्ण है कि राज्य स्टोर की क्वेरी केवल-पढ़ने के लिए ऑपरेशन है। यह सुनिश्चित करता है कि जब आपका एप्लिकेशन डेटा संसाधित कर रहा हो तो आपको गलती से राज्य को असंगत बनाने के बारे में चिंता करने की ज़रूरत नहीं है।

राज्य भंडारों से सीधे पूछताछ करने की क्षमता महत्वपूर्ण है। इसका मतलब यह है कि आप काफ्का उपभोक्ता से डेटा लाए बिना डैशबोर्ड एप्लिकेशन बना सकते हैं। यह एप्लिकेशन की कार्यक्षमता को भी बढ़ाता है, इस तथ्य के कारण कि डेटा को दोबारा लिखने की आवश्यकता नहीं होती है:

• डेटा की स्थानीयता के कारण, उन तक शीघ्रता से पहुंचा जा सकता है;
• डेटा का दोहराव समाप्त हो जाता है, क्योंकि यह बाह्य भंडारण में नहीं लिखा जाता है।

मुख्य बात जो मैं आपको याद रखना चाहता हूं वह यह है कि आप सीधे अपने एप्लिकेशन के भीतर से स्थिति के बारे में पूछ सकते हैं। इससे आपको जो अवसर मिलते हैं, उन्हें बढ़ा-चढ़ाकर नहीं कहा जा सकता। काफ्का से डेटा का उपभोग करने और एप्लिकेशन के लिए डेटाबेस में रिकॉर्ड संग्रहीत करने के बजाय, आप उसी परिणाम के साथ राज्य भंडार से पूछताछ कर सकते हैं। राज्य भंडारों में सीधे पूछताछ का मतलब है कम कोड (कोई उपभोक्ता नहीं) और कम सॉफ़्टवेयर (परिणामों को संग्रहीत करने के लिए डेटाबेस तालिका की कोई आवश्यकता नहीं)।

हमने इस अध्याय में काफी कुछ कवर किया है, इसलिए हम राज्य के स्टोरों के संबंध में इंटरैक्टिव प्रश्नों पर अपनी चर्चा अभी के लिए छोड़ देंगे। लेकिन चिंता न करें: अध्याय 9 में, हम इंटरैक्टिव प्रश्नों के साथ एक सरल डैशबोर्ड एप्लिकेशन बनाएंगे। यह इंटरैक्टिव प्रश्नों को प्रदर्शित करने के लिए इस और पिछले अध्यायों के कुछ उदाहरणों का उपयोग करेगा और आप उन्हें काफ्का स्ट्रीम अनुप्रयोगों में कैसे जोड़ सकते हैं।

सारांश

• केस्ट्रीम ऑब्जेक्ट घटनाओं की धाराओं का प्रतिनिधित्व करते हैं, जो डेटाबेस में सम्मिलित होने के बराबर हैं। KTable ऑब्जेक्ट अपडेट स्ट्रीम का प्रतिनिधित्व करते हैं, डेटाबेस के अपडेट की तरह। KTable ऑब्जेक्ट का आकार नहीं बढ़ता है, पुराने रिकॉर्ड को नए से बदल दिया जाता है।
• एकत्रीकरण संचालन के लिए KTable ऑब्जेक्ट आवश्यक हैं।
• विंडोिंग ऑपरेशंस का उपयोग करके, आप एकत्रित डेटा को टाइम बकेट में विभाजित कर सकते हैं।
• ग्लोबलकेटेबल ऑब्जेक्ट्स के लिए धन्यवाद, आप विभाजन की परवाह किए बिना, एप्लिकेशन में कहीं भी संदर्भ डेटा तक पहुंच सकते हैं।
• KStream, KTable और GlobalKTable ऑब्जेक्ट के बीच कनेक्शन संभव है।

अब तक, हमने उच्च-स्तरीय केस्ट्रीम डीएसएल का उपयोग करके काफ्का स्ट्रीम एप्लिकेशन बनाने पर ध्यान केंद्रित किया है। यद्यपि उच्च-स्तरीय दृष्टिकोण आपको साफ-सुथरे और संक्षिप्त कार्यक्रम बनाने की अनुमति देता है, लेकिन इसका उपयोग करना एक व्यापार-बंद का प्रतिनिधित्व करता है। डीएसएल केस्ट्रीम के साथ काम करने का मतलब नियंत्रण की डिग्री को कम करके अपने कोड की संक्षिप्तता को बढ़ाना है। अगले अध्याय में, हम निम्न-स्तरीय हैंडलर नोड एपीआई को देखेंगे और अन्य ट्रेड-ऑफ़ का प्रयास करेंगे। प्रोग्राम पहले की तुलना में लंबे होंगे, लेकिन हम लगभग कोई भी हैंडलर नोड बनाने में सक्षम होंगे जिसकी हमें आवश्यकता हो सकती है।

→ पुस्तक के बारे में अधिक जानकारी यहां पाई जा सकती है प्रकाशक की वेबसाइट

→ हैब्रोझिटेली के लिए कूपन का उपयोग करके 25% छूट - काफ्का धाराएँ

→ पुस्तक के कागजी संस्करण के लिए भुगतान करने पर, एक इलेक्ट्रॉनिक पुस्तक ई-मेल द्वारा भेजी जाएगी।

स्रोत: www.habr.com