न केवल प्रसंस्करण: हमने काफ्का स्ट्रीम से एक वितरित डेटाबेस कैसे बनाया, और इससे क्या हुआ

हे हबर!

हम आपको याद दिलाते हैं कि इस बारे में पुस्तक का अनुसरण कर रहे हैं काफ्का हमने पुस्तकालय के बारे में एक समान रूप से दिलचस्प काम प्रकाशित किया है काफ्का स्ट्रीम एपीआई.

अभी, समुदाय इस शक्तिशाली उपकरण की सीमाएं सीख रहा है। तो, हाल ही में एक लेख प्रकाशित हुआ था, जिसके अनुवाद से हम आपको परिचित कराना चाहेंगे। अपने अनुभव से, लेखक बताता है कि काफ्का स्ट्रीम को वितरित डेटा स्टोरेज में कैसे बदला जाए। मन लगाकर पढ़ाई करो!

अपाचे लाइब्रेरी काफ्का धाराएँ अपाचे काफ्का के शीर्ष पर वितरित स्ट्रीम प्रसंस्करण के लिए दुनिया भर के उद्यमों में उपयोग किया जाता है। इस ढांचे का एक कम प्रशंसित पहलू यह है कि यह आपको थ्रेड प्रोसेसिंग के आधार पर उत्पादित स्थानीय स्थिति को संग्रहीत करने की अनुमति देता है।

इस लेख में, मैं आपको बताऊंगा कि क्लाउड एप्लिकेशन सुरक्षा के लिए उत्पाद विकसित करते समय हमारी कंपनी इस अवसर का लाभप्रद उपयोग करने में कैसे कामयाब रही। काफ्का स्ट्रीम का उपयोग करते हुए, हमने साझा राज्य माइक्रोसर्विसेज बनाए, जिनमें से प्रत्येक सिस्टम में वस्तुओं की स्थिति के बारे में विश्वसनीय जानकारी के दोष-सहिष्णु और अत्यधिक उपलब्ध स्रोत के रूप में कार्य करता है। हमारे लिए, यह विश्वसनीयता और समर्थन में आसानी दोनों के मामले में एक कदम आगे है।

यदि आप एक वैकल्पिक दृष्टिकोण में रुचि रखते हैं जो आपको अपनी वस्तुओं की औपचारिक स्थिति का समर्थन करने के लिए एकल केंद्रीय डेटाबेस का उपयोग करने की अनुमति देता है, तो इसे पढ़ें, यह दिलचस्प होगा...

हमने क्यों सोचा कि साझा राज्य के साथ काम करने के तरीके को बदलने का समय आ गया है

हमें एजेंट रिपोर्टों के आधार पर विभिन्न वस्तुओं की स्थिति बनाए रखने की आवश्यकता थी (उदाहरण के लिए: क्या साइट पर हमला हुआ था)? काफ्का स्ट्रीम में स्थानांतरित होने से पहले, हम अक्सर राज्य प्रबंधन के लिए एकल केंद्रीय डेटाबेस (+ सेवा एपीआई) पर निर्भर रहते थे। इस दृष्टिकोण की अपनी कमियाँ हैं: तिथि गहन स्थितियाँ निरंतरता और समन्वय बनाए रखना एक वास्तविक चुनौती बन जाती है। डेटाबेस एक बाधा बन सकता है या समाप्त हो सकता है दौड़ की स्थिति और अप्रत्याशितता से पीड़ित हैं।

चित्र 1: संक्रमण से पहले देखा गया एक विशिष्ट विभाजन-स्थिति परिदृश्य
काफ्का और काफ्का स्ट्रीम: एजेंट एपीआई के माध्यम से अपने विचार संप्रेषित करते हैं, अद्यतन स्थिति की गणना एक केंद्रीय डेटाबेस के माध्यम से की जाती है

काफ्का स्ट्रीम से मिलें, जिससे साझा राज्य माइक्रोसर्विसेज बनाना आसान हो गया है

लगभग एक साल पहले, हमने इन मुद्दों के समाधान के लिए अपने साझा राज्य परिदृश्यों पर कड़ी नज़र डालने का निर्णय लिया। हमने तुरंत काफ्का स्ट्रीम्स को आज़माने का फैसला किया - हम जानते हैं कि यह कितना स्केलेबल, अत्यधिक उपलब्ध और दोष-सहिष्णु है, इसमें कितनी समृद्ध स्ट्रीमिंग कार्यक्षमता है (स्टेटफुल सहित परिवर्तन)। बस हमें इसकी आवश्यकता थी, यह बताने की आवश्यकता नहीं कि काफ्का में संदेश प्रणाली कितनी परिपक्व और विश्वसनीय हो गई है।

हमारे द्वारा बनाए गए प्रत्येक स्टेटफुल माइक्रोसर्विसेज को काफी सरल टोपोलॉजी के साथ काफ्का स्ट्रीम इंस्टेंस के शीर्ष पर बनाया गया था। इसमें 1) एक स्रोत 2) एक निरंतर कुंजी-मूल्य स्टोर वाला एक प्रोसेसर 3) एक सिंक शामिल था:

चित्र 2: स्टेटफुल माइक्रोसर्विसेज के लिए हमारे स्ट्रीमिंग इंस्टेंस की डिफ़ॉल्ट टोपोलॉजी। ध्यान दें कि यहां एक रिपॉजिटरी भी है जिसमें प्लानिंग मेटाडेटा शामिल है।

इस नए दृष्टिकोण में, एजेंट ऐसे संदेश बनाते हैं जिन्हें स्रोत विषय में फीड किया जाता है, और उपभोक्ता - कहते हैं, एक मेल अधिसूचना सेवा - सिंक (आउटपुट विषय) के माध्यम से गणना की गई साझा स्थिति प्राप्त करते हैं।

चित्र 3: साझा माइक्रोसर्विसेज वाले परिदृश्य के लिए नया उदाहरण कार्य प्रवाह: 1) एजेंट एक संदेश उत्पन्न करता है जो काफ्का स्रोत विषय पर आता है; 2) साझा स्थिति वाला एक माइक्रोसर्विसेज (काफ्का स्ट्रीम का उपयोग करके) इसे संसाधित करता है और अंतिम काफ्का विषय पर गणना की गई स्थिति लिखता है; जिसके बाद 3) उपभोक्ता नए राज्य को स्वीकार करते हैं

अरे, यह अंतर्निर्मित कुंजी-मूल्य स्टोर वास्तव में बहुत उपयोगी है!

जैसा कि ऊपर उल्लेख किया गया है, हमारी साझा राज्य टोपोलॉजी में एक कुंजी-मूल्य स्टोर होता है। हमें इसका उपयोग करने के लिए कई विकल्प मिले, और उनमें से दो का वर्णन नीचे दिया गया है।

विकल्प #1: गणना के लिए कुंजी-मूल्य संग्रह का उपयोग करें

हमारे पहले कुंजी-मूल्य स्टोर में गणना के लिए आवश्यक सहायक डेटा शामिल था। उदाहरण के लिए, कुछ मामलों में साझा राज्य "बहुमत वोट" के सिद्धांत द्वारा निर्धारित किया गया था। रिपॉजिटरी किसी वस्तु की स्थिति पर सभी नवीनतम एजेंट रिपोर्ट रख सकती है। फिर, जब हमें एक एजेंट या किसी अन्य से एक नई रिपोर्ट प्राप्त होती है, तो हम इसे सहेज सकते हैं, भंडारण से उसी वस्तु की स्थिति के बारे में अन्य सभी एजेंटों से रिपोर्ट प्राप्त कर सकते हैं, और गणना दोहरा सकते हैं।
नीचे दिए गए चित्र 4 में दिखाया गया है कि कैसे हमने प्रोसेसर की प्रोसेसिंग विधि में कुंजी/मूल्य स्टोर को उजागर किया ताकि नए संदेश को संसाधित किया जा सके।

चित्रण 4: हम प्रोसेसर की प्रसंस्करण विधि के लिए कुंजी-मूल्य स्टोर तक पहुंच खोलते हैं (इसके बाद, साझा स्थिति के साथ काम करने वाली प्रत्येक स्क्रिप्ट को विधि को लागू करना होगा doProcess)

विकल्प #2: काफ्का स्ट्रीम के शीर्ष पर एक सीआरयूडी एपीआई बनाना

अपना मूल कार्य प्रवाह स्थापित करने के बाद, हमने अपने साझा राज्य माइक्रोसर्विसेज के लिए एक रेस्टफुल सीआरयूडी एपीआई लिखने का प्रयास करना शुरू किया। हम कुछ या सभी ऑब्जेक्ट की स्थिति को पुनः प्राप्त करने में सक्षम होना चाहते थे, साथ ही किसी ऑब्जेक्ट की स्थिति को सेट करना या हटाना चाहते थे (बैकएंड समर्थन के लिए उपयोगी)।

सभी गेट स्टेट एपीआई का समर्थन करने के लिए, जब भी हमें प्रसंस्करण के दौरान राज्य की पुनर्गणना करने की आवश्यकता होती है, तो हम इसे लंबे समय तक एक अंतर्निहित कुंजी-मूल्य स्टोर में संग्रहीत करते हैं। इस मामले में, काफ्का स्ट्रीम के एकल उदाहरण का उपयोग करके ऐसी एपीआई को लागू करना काफी सरल हो जाता है, जैसा कि नीचे दी गई सूची में दिखाया गया है:

चित्र 5: किसी ऑब्जेक्ट की पूर्व-गणना स्थिति प्राप्त करने के लिए अंतर्निहित कुंजी-मूल्य स्टोर का उपयोग करना

एपीआई के माध्यम से किसी ऑब्जेक्ट की स्थिति को अपडेट करना भी आसान है। मूल रूप से, आपको बस एक काफ्का निर्माता बनाना है और इसका उपयोग एक रिकॉर्ड बनाने के लिए करना है जिसमें नया राज्य शामिल है। यह सुनिश्चित करता है कि एपीआई के माध्यम से उत्पन्न सभी संदेशों को उसी तरह संसाधित किया जाएगा जैसे अन्य उत्पादकों (जैसे एजेंटों) से प्राप्त किया गया है।

चित्र 6: आप काफ्का निर्माता का उपयोग करके किसी वस्तु की स्थिति निर्धारित कर सकते हैं

छोटी जटिलता: काफ्का में कई विभाजन हैं

इसके बाद, हम प्रति परिदृश्य साझा-राज्य माइक्रोसर्विसेज का एक क्लस्टर प्रदान करके प्रोसेसिंग लोड को वितरित करना और उपलब्धता में सुधार करना चाहते थे। सेटअप बहुत आसान था: एक बार जब हमने सभी इंस्टेंसेस को एक ही एप्लिकेशन आईडी (और एक ही बूटस्ट्रैप सर्वर) के तहत चलाने के लिए कॉन्फ़िगर किया, तो लगभग बाकी सब कुछ स्वचालित रूप से हो गया। हमने यह भी निर्दिष्ट किया है कि प्रत्येक स्रोत विषय में कई विभाजन शामिल होंगे, ताकि प्रत्येक उदाहरण को ऐसे विभाजनों का एक सबसेट सौंपा जा सके।

मैं यह भी उल्लेख करूंगा कि राज्य स्टोर की बैकअप प्रतिलिपि बनाना आम बात है, उदाहरण के लिए, विफलता के बाद पुनर्प्राप्ति के मामले में, इस प्रतिलिपि को किसी अन्य उदाहरण में स्थानांतरित करें। काफ्का स्ट्रीम्स में प्रत्येक राज्य स्टोर के लिए, एक परिवर्तन लॉग (जो स्थानीय अपडेट को ट्रैक करता है) के साथ एक प्रतिकृति विषय बनाया जाता है। इस प्रकार, काफ्का लगातार राज्य भंडार का समर्थन करता है। इसलिए, एक या दूसरे काफ्का स्ट्रीम इंस्टेंस की विफलता की स्थिति में, स्टेट स्टोर को दूसरे इंस्टेंस पर तुरंत बहाल किया जा सकता है, जहां संबंधित विभाजन जाएंगे। हमारे परीक्षणों से पता चला है कि यह कुछ ही सेकंड में हो जाता है, भले ही स्टोर में लाखों रिकॉर्ड हों।

साझा स्थिति वाले एकल माइक्रोसर्विसेज से माइक्रोसर्विसेज के समूह में जाने पर, गेट स्टेट एपीआई को लागू करना कम तुच्छ हो जाता है। नई स्थिति में, प्रत्येक माइक्रोसर्विस के स्टेट स्टोर में समग्र चित्र का केवल एक हिस्सा होता है (वे ऑब्जेक्ट जिनकी कुंजियाँ एक विशिष्ट विभाजन में मैप की गई थीं)। हमें यह निर्धारित करना था कि किस उदाहरण में उस वस्तु की स्थिति शामिल है जिसकी हमें आवश्यकता थी, और हमने इसे थ्रेड मेटाडेटा के आधार पर किया, जैसा कि नीचे दिखाया गया है:

चित्र 7: स्ट्रीम मेटाडेटा का उपयोग करके, हम यह निर्धारित करते हैं कि वांछित वस्तु की स्थिति के बारे में किस उदाहरण से पूछताछ की जाए; GET ALL API के साथ एक समान दृष्टिकोण का उपयोग किया गया था

मुख्य निष्कर्ष

काफ्का स्ट्रीम्स में राज्य स्टोर एक वास्तविक वितरित डेटाबेस के रूप में काम कर सकते हैं,

• काफ्का में लगातार दोहराया गया
• ऐसे सिस्टम के शीर्ष पर CRUD API आसानी से बनाया जा सकता है
• एकाधिक विभाजनों को संभालना थोड़ा अधिक जटिल है
• सहायक डेटा संग्रहीत करने के लिए स्ट्रीमिंग टोपोलॉजी में एक या अधिक राज्य स्टोर जोड़ना भी संभव है। इस विकल्प का उपयोग इसके लिए किया जा सकता है:
• स्ट्रीम प्रोसेसिंग के दौरान गणना के लिए आवश्यक डेटा का दीर्घकालिक भंडारण
• डेटा का दीर्घकालिक भंडारण जो अगली बार स्ट्रीमिंग इंस्टेंस का प्रावधान होने पर उपयोगी हो सकता है
• बहुत अधिक...

ये और अन्य फायदे काफ्का स्ट्रीम को हमारी जैसी वितरित प्रणाली में वैश्विक स्थिति बनाए रखने के लिए उपयुक्त बनाते हैं। काफ्का स्ट्रीम उत्पादन में बहुत विश्वसनीय साबित हुई है (इसे तैनात करने के बाद से हमें वास्तव में कोई संदेश हानि नहीं हुई है), और हमें विश्वास है कि इसकी क्षमताएं यहीं नहीं रुकेंगी!

स्रोत: www.habr.com