संदेश दलालों को समझना। एक्टिवएमक्यू और काफ्का के साथ मैसेजिंग के यांत्रिकी सीखना। अध्याय 1

सभी को नमस्कार!

एक छोटी सी किताब का अनुवाद करना शुरू किया:
«संदेश दलालों को समझना'
लेखक: जैकब कोरब, प्रकाशक: ओ'रेली मीडिया, इंक।, प्रकाशन की तिथि: जून 2017, आईएसबीएन: 9781492049296।

परिचय से पुस्तक तक:
"... यह पुस्तक आपको दो लोकप्रिय ब्रोकिंग तकनीकों की तुलना और अंतर करके ब्रोकेड मैसेजिंग सिस्टम के बारे में सोचना सिखाएगी: Apache ActiveMQ और Apache Kafka। यह उपयोग के मामलों और विकास प्रोत्साहनों की रूपरेखा तैयार करेगा, जिन्होंने अपने डेवलपर्स को सिस्टम के बीच ब्रोकर्ड मैसेजिंग के एक ही क्षेत्र में बहुत अलग दृष्टिकोण अपनाने के लिए प्रेरित किया है। हम इन तकनीकों पर शुरुआत से नज़र डालेंगे और रास्ते में विभिन्न डिज़ाइन विकल्पों के प्रभाव को उजागर करेंगे। आप दोनों उत्पादों की गहरी समझ हासिल करेंगे, यह समझ पाएंगे कि उन्हें कैसे इस्तेमाल करना चाहिए और कैसे नहीं करना चाहिए, और भविष्य में अन्य मैसेजिंग तकनीकों पर विचार करते समय क्या देखना चाहिए, इसकी समझ। ... "

अब तक अनुवादित भाग:
अध्याय 1 परिचय
अध्याय 3. काफ्का

मैं पूर्ण किए गए अध्यायों को उनके अनुवाद के रूप में पोस्ट करूँगा।

अध्याय 1

परिचय

इंटरसिस्टम मैसेजिंग आईटी के सबसे कम समझे जाने वाले क्षेत्रों में से एक है। एक डेवलपर या वास्तुकार के रूप में, आप विभिन्न रूपरेखाओं और डेटाबेस से बहुत परिचित हो सकते हैं। हालाँकि, यह संभावना है कि आपको केवल ब्रोकर-आधारित संदेश प्रौद्योगिकियाँ कैसे काम करती हैं, इसकी एक झलक है। यदि आप ऐसा महसूस करते हैं, तो चिंता न करें, आप अच्छी संगति में हैं।

लोगों का आमतौर पर मैसेजिंग इंफ्रास्ट्रक्चर के साथ बहुत सीमित संपर्क होता है। अक्सर वे बहुत समय पहले बनाए गए सिस्टम से जुड़ते हैं, या इंटरनेट से वितरण किट डाउनलोड करते हैं, इसे PROM में इंस्टॉल करते हैं और इसके लिए कोड लिखना शुरू करते हैं। एक बार जब इंफ्रास्ट्रक्चर तैयार हो जाता है और PROM में चल रहा होता है, तो परिणाम मिश्रित हो सकते हैं: क्रैश होने पर संदेश खो जाते हैं, आपकी अपेक्षा के अनुसार काम नहीं करता है, या दलाल आपके उत्पादकों को लटका देते हैं या आपके उपभोक्ताओं को संदेश नहीं भेजते हैं।

परिचित लगता है?

एक सामान्य परिदृश्य जहां आपका मैसेजिंग कोड कुछ समय के लिए ठीक काम करता है। जब तक यह काम करना बंद नहीं कर देता। यह अवधि सतर्कता को कम करती है और सुरक्षा की झूठी भावना देती है, जो प्रौद्योगिकी के मौलिक व्यवहार के बारे में गलत विचारों के आधार पर और भी अधिक कोड की ओर ले जाती है। जब चीजें गलत होने लगती हैं, तो आपको एक असहज सच्चाई का सामना करना पड़ता है: कि आप वास्तव में उत्पाद के अंतर्निहित व्यवहार, या लेखकों द्वारा चुने गए ट्रेड-ऑफ़ को नहीं समझते हैं, जैसे कि प्रदर्शन बनाम मजबूती, या लेन-देन बनाम . क्षैतिज मापनीयता।

ब्रोकर कैसे काम करते हैं, इसकी गहरी समझ के बिना, लोग अपने मैसेजिंग सिस्टम के बारे में उचित दावे करते हैं, जैसे:

• सिस्टम संदेशों को कभी नहीं खोएगा
• संदेशों को क्रमिक रूप से संसाधित किया जाएगा
• उपभोक्ताओं को जोड़ने से सिस्टम तेज हो जाएगा
• संदेश केवल एक बार वितरित किए जाएंगे

दुर्भाग्य से, इनमें से कुछ कथन मान्यताओं पर आधारित हैं जो केवल कुछ निश्चित परिस्थितियों में ही लागू होते हैं, जबकि अन्य बिल्कुल सत्य नहीं हैं।

यह पुस्तक आपको दो लोकप्रिय ब्रोकर तकनीकों की तुलना और अंतर करके ब्रोकेड मैसेजिंग सिस्टम के बारे में तर्क करना सिखाएगी: Apache ActiveMQ और Apache Kafka। यह उपयोग के मामलों और विकास प्रोत्साहनों की रूपरेखा तैयार करेगा, जिन्होंने अपने डेवलपर्स को सिस्टम के बीच ब्रोकर्ड मैसेजिंग के एक ही क्षेत्र में बहुत अलग दृष्टिकोण अपनाने के लिए प्रेरित किया है। हम इन तकनीकों पर एक नज़र डालेंगे और रास्ते में विभिन्न डिज़ाइन विकल्पों के प्रभाव को उजागर करेंगे। आप दोनों उत्पादों की गहरी समझ हासिल करेंगे, यह समझ पाएंगे कि उन्हें कैसे इस्तेमाल करना चाहिए और कैसे नहीं करना चाहिए, और भविष्य में अन्य मैसेजिंग तकनीकों पर विचार करते समय क्या देखना चाहिए, इसकी समझ।

शुरू करने से पहले, आइए मूलभूत बातों पर ध्यान दें।

मैसेजिंग सिस्टम क्या है और इसकी आवश्यकता क्यों है

दो अनुप्रयोगों के लिए एक दूसरे के साथ संवाद करने के लिए, उन्हें पहले एक इंटरफ़ेस परिभाषित करना होगा। इस इंटरफ़ेस की परिभाषा में HTTP, MQTT, या SMTP जैसे ट्रांसपोर्ट या प्रोटोकॉल का चुनाव और सिस्टम द्वारा एक्सचेंज किए जाने वाले संदेश स्वरूपों की बातचीत शामिल है। यह एक सख्त प्रक्रिया हो सकती है, जैसे किसी संदेश के लिए पेलोड लागत आवश्यकताओं के साथ XML स्कीमा को परिभाषित करना, या यह बहुत कम औपचारिक हो सकता है, जैसे कि दो डेवलपर्स के बीच एक समझौता कि HTTP अनुरोध के कुछ भाग में एक ग्राहक पहचानकर्ता होगा।

जब तक संदेशों का प्रारूप और जिस क्रम में उन्हें भेजा जाता है, वे सिस्टम के बीच सुसंगत होते हैं, वे दूसरे सिस्टम के कार्यान्वयन के बारे में चिंता किए बिना एक दूसरे के साथ संवाद करने में सक्षम होंगे। इन प्रणालियों के आंतरिक, जैसे प्रोग्रामिंग भाषा या उपयोग की जाने वाली रूपरेखा, समय के साथ बदल सकती है। जब तक अनुबंध को बनाए रखा जाता है, तब तक बातचीत दूसरी तरफ अपरिवर्तित जारी रह सकती है। इस इंटरफ़ेस द्वारा दो प्रणालियों को प्रभावी ढंग से अलग (अलग) किया जाता है।

मैसेजिंग सिस्टम में आमतौर पर दो सिस्टम के बीच एक मध्यस्थ शामिल होता है जो प्राप्तकर्ता या प्राप्तकर्ता से प्रेषक को और अलग (अलग) करने के लिए बातचीत करता है। इस मामले में, मैसेजिंग सिस्टम प्रेषक को यह जाने बिना संदेश भेजने की अनुमति देता है कि प्राप्तकर्ता कहां स्थित है, क्या वह सक्रिय है या उनके कितने उदाहरण हैं।

आइए एक मैसेजिंग सिस्टम द्वारा हल की जाने वाली समस्याओं के प्रकारों के लिए कुछ समानताओं को देखें और कुछ बुनियादी शब्दों का परिचय दें।

बिंदु से बिंदु

एलेक्जेंड्रा एडम को पैकेज भेजने के लिए पोस्ट ऑफिस जाती है। वह खिड़की पर जाती है और पार्सल कर्मचारी को सौंप देती है। कर्मचारी पैकेज उठाता है और एलेक्जेंड्रा को एक रसीद देता है। पैकेज भेजे जाने के समय एडम को घर पर होने की आवश्यकता नहीं है। एलेक्जेंड्रा को भरोसा है कि पैकेज भविष्य में किसी बिंदु पर एडम को दिया जाएगा और वह अपने व्यवसाय के बारे में जाना जारी रख सकती है। बाद में, एडम को एक पैकेज मिलता है।

यह मैसेजिंग मॉडल का एक उदाहरण है बिंदु से बिंदु. यहां डाकघर पैकेज वितरण तंत्र के रूप में कार्य करता है, यह सुनिश्चित करता है कि प्रत्येक पैकेज एक बार वितरित किया जाए। डाकघर का उपयोग पार्सल भेजने के कार्य को पार्सल के वितरण से अलग करता है।
क्लासिक मैसेजिंग सिस्टम में, पॉइंट-टू-पॉइंट मॉडल के माध्यम से कार्यान्वित किया जाता है कतार. कतार एक FIFO (पहले अंदर, पहले बाहर) बफर के रूप में कार्य करती है जिसे एक या अधिक उपभोक्ता सब्सक्राइब कर सकते हैं। प्रत्येक संदेश केवल वितरित किया जाता है सब्सक्राइब किए गए उपभोक्ताओं में से एक. कतारें आमतौर पर उपभोक्ताओं के बीच संदेशों को निष्पक्ष रूप से वितरित करने का प्रयास करती हैं। यह संदेश केवल एक उपभोक्ता को प्राप्त होगा।

"टिकाऊ" शब्द कतारों पर लागू होता है। विश्वसनीयता एक सेवा संपत्ति है जो गारंटी देती है कि संदेश सेवा प्रणाली सक्रिय ग्राहकों की अनुपस्थिति में संदेश तब तक रखेगी जब तक कि उपभोक्ता संदेश वितरण कतार की सदस्यता नहीं लेता।

विश्वसनीयता अक्सर भ्रमित होती है अटलता और, यद्यपि दो पद विनिमेय हैं, वे अलग-अलग कार्य करते हैं। दृढ़ता यह निर्धारित करती है कि मैसेजिंग सिस्टम द्वारा संदेश प्राप्त करने और उपभोक्ता को भेजने के बीच किसी प्रकार के भंडारण के लिए संदेश लिखा गया है या नहीं। कतार में भेजे गए संदेश लगातार हो भी सकते हैं और नहीं भी।
पॉइंट-टू-पॉइंट मैसेजिंग का उपयोग तब किया जाता है जब उपयोग के मामले में किसी संदेश पर एकल कार्रवाई की आवश्यकता होती है। उदाहरणों में किसी खाते में धनराशि जमा करना या डिलीवरी ऑर्डर पूरा करना शामिल है। हम बाद में इस पर चर्चा करेंगे कि एक मैसेजिंग सिस्टम अपने आप में एकमुश्त डिलीवरी प्रदान करने में अक्षम क्यों है और कतारें सबसे अच्छी डिलीवरी गारंटी क्यों प्रदान कर सकती हैं। कम से कम एक बार.

प्रकाशक-सब्सक्राइबर

गैब्रिएला कॉन्फ्रेंस नंबर डायल करती है। जबकि वह सम्मेलन से जुड़ी हुई है, वह बाकी कॉल प्रतिभागियों के साथ-साथ वक्ता द्वारा कही गई हर बात को सुनती है। जब वह बेहोश हो जाती है, तो वह जो कहा जाता है उसे याद करती है। दोबारा कनेक्ट करते समय, वह सुनती रहती है कि क्या कहा जा रहा है।

यह मैसेजिंग मॉडल का एक उदाहरण है प्रकाशित: सदस्य बनने. कॉन्फ़्रेंस कॉल एक प्रसारण तंत्र के रूप में कार्य करता है। जो व्यक्ति बात कर रहा है वह इस बात की परवाह नहीं करता है कि वर्तमान में कितने लोग कॉल पर हैं - सिस्टम यह सुनिश्चित करता है कि जो कोई भी वर्तमान में जुड़ा हुआ है वह सुनेगा कि क्या कहा जा रहा है।
क्लासिक मैसेजिंग सिस्टम में, पब्लिश-सब्सक्राइब मैसेजिंग मॉडल किसके द्वारा लागू किया जाता है विषय. एक विषय कॉन्फ़्रेंसिंग तंत्र के समान प्रसारण विधि प्रदान करता है। जब किसी विषय पर कोई संदेश पोस्ट किया जाता है, तो उसे वितरित किया जाता है सभी सब्सक्राइब किए गए उपयोगकर्ताओं के लिए.

विषय आमतौर पर अविश्वसनीय (गैर-टिकाऊ). एक श्रोता की तरह जो कॉन्फ़्रेंस कॉल पर क्या कहा जा रहा है, सुन नहीं सकता, जब श्रोता ऑफ़लाइन हो जाता है, तो विषय सब्सक्राइबर ऑफ़लाइन होने पर भेजे गए किसी भी संदेश को याद करते हैं। इस कारण से, हम कह सकते हैं कि शीर्ष वितरण की गारंटी प्रदान करते हैं। एक से अधिक बार नहीं हर उपभोक्ता के लिए।

प्रकाशन-सदस्यता संदेश का उपयोग आमतौर पर तब किया जाता है जब संदेश प्रकृति में सूचनात्मक होते हैं और एक संदेश का नुकसान विशेष रूप से महत्वपूर्ण नहीं होता है। उदाहरण के लिए, एक विषय सेंसर के एक समूह से प्रति सेकंड एक बार तापमान रीडिंग प्रसारित कर सकता है। एक प्रणाली जो वर्तमान तापमान में रुचि रखती है और जो एक विषय की सदस्यता लेती है, अगर वह किसी संदेश को याद करती है तो चिंता नहीं करेगी - दूसरा जल्द ही आ जाएगा।

संकर मॉडल

स्टोर वेबसाइट ऑर्डर संदेशों को "संदेश कतार" में रखती है। इन संदेशों का मुख्य उपभोक्ता कार्यकारी प्रणाली है। इसके अलावा, ऑडिटिंग सिस्टम में बाद में ट्रैकिंग के लिए इन ऑर्डर संदेशों की प्रतियां होनी चाहिए। दोनों प्रणालियाँ संदेशों को याद नहीं कर सकतीं, भले ही कुछ समय के लिए स्वयं प्रणालियाँ अनुपलब्ध हों। वेबसाइट को अन्य प्रणालियों के बारे में पता नहीं होना चाहिए।

उपयोग के मामलों में अक्सर प्रकाशन-सदस्यता और पॉइंट-टू-पॉइंट मैसेजिंग मॉडल के मिश्रण की आवश्यकता होती है, जैसे कि जब कई सिस्टम को संदेश की प्रतिलिपि की आवश्यकता होती है और संदेश हानि को रोकने के लिए विश्वसनीयता और दृढ़ता दोनों की आवश्यकता होती है।

इन मामलों में, एक गंतव्य (कतार और विषयों के लिए सामान्य शब्द) की आवश्यकता होती है, जो मूल रूप से एक विषय की तरह संदेशों को वितरित करता है, ताकि प्रत्येक संदेश इन संदेशों में रुचि रखने वाले एक अलग सिस्टम को भेजा जा सके, लेकिन जिसमें प्रत्येक प्रणाली कई उपभोक्ताओं को परिभाषित कर सके जो आने वाले संदेशों को प्राप्त करता है, जो एक कतार की तरह अधिक है। इस मामले में पढ़ने का प्रकार है - प्रत्येक हितधारक के लिए एक बार. इन हाइब्रिड गंतव्यों को अक्सर स्थायित्व की आवश्यकता होती है ताकि यदि कोई उपभोक्ता डिस्कनेक्ट करता है, तो उस समय भेजे गए संदेशों को स्वीकार किया जाता है जब उपभोक्ता दोबारा जुड़ता है।

हाइब्रिड मॉडल नए नहीं हैं और अधिकांश मैसेजिंग सिस्टम पर लागू किए जा सकते हैं, जिसमें ActiveMQ (वर्चुअल या समग्र गंतव्यों के माध्यम से जो विषयों और कतारों को जोड़ते हैं) और काफ्का (निहित रूप से, इसके गंतव्य डिज़ाइन की मूलभूत संपत्ति के रूप में) शामिल हैं।

अब जब हमारे पास कुछ बुनियादी शब्दावली है और एक संदेश प्रणाली क्या उपयोगी हो सकती है, इसकी समझ है, तो आइए विवरण में आते हैं।

अनुवाद किया गया: टेली.जीजी/मध्य_जावा

अगला अनुवादित भाग: अध्याय 3. काफ्का

को जारी रखा जाएगा ...

स्रोत: www.habr.com