सन्देश दलालहरू बुझ्दै। ActiveMQ र Kafka को साथ सन्देश को मेकानिक्स सिक्दै। अध्याय १

नमस्कार!

मैले एउटा सानो पुस्तक अनुवाद गर्न थालें:
«सन्देश ब्रोकरहरू बुझ्दै",
लेखक: Jakub Korab, प्रकाशक: O'Reilly Media, Inc., प्रकाशन मिति: जुन 2017, ISBN: 9781492049296।

पुस्तकको परिचयबाट:
"... यस पुस्तकले तपाईंलाई ब्रोकर सन्देश प्रणालीहरूको बारेमा कसरी सोच्ने, दुई लोकप्रिय ब्रोकर टेक्नोलोजीहरू: Apache ActiveMQ र Apache Kafka तुलना गर्ने र विपरित गर्ने भनेर सिकाउनेछ। यसले प्रयोगका केसहरू र विकास प्रोत्साहनहरूलाई रूपरेखा गर्नेछ जसले उनीहरूका विकासकर्ताहरूलाई एउटै क्षेत्रमा धेरै फरक दृष्टिकोणहरू लिन प्रेरित गर्यो - मध्यवर्ती ब्रोकरसँग प्रणालीहरू बीच सन्देश। हामी यी प्रविधिहरू माथिबाट हेर्नेछौं र बाटोमा विभिन्न डिजाइन विकल्पहरूको प्रभावलाई हाइलाइट गर्नेछौं। तपाईंले दुबै उत्पादनहरूको गहिरो बुझाइ प्राप्त गर्नुहुनेछ, तिनीहरू कसरी प्रयोग गर्नुपर्दछ र नगर्नु पर्छ भन्ने बुझाइ, र भविष्यमा अन्य सन्देश प्रविधिहरू विचार गर्दा के खोज्ने भन्ने बुझाइ प्राप्त गर्नुहुनेछ। ... "

अहिलेसम्म अनुवाद गरिएका अंशहरू:
अध्याय १. परिचय
अध्याय 3. काफ्का

म पूरा गरिएका अध्यायहरू अनुवाद गरेपछि पोस्ट गर्नेछु।

अध्याय ३

परिचय

प्रणाली-देखि-प्रणाली सन्देश IT को कम बुझिएको क्षेत्रहरू मध्ये एक हो। एक विकासकर्ता वा वास्तुकारको रूपमा, तपाईं विभिन्न फ्रेमवर्क र डाटाबेसहरूसँग धेरै परिचित हुन सक्नुहुन्छ। जे होस्, यो सम्भव छ कि तपाईंसँग ब्रोकर-आधारित सन्देश प्रविधिहरूले कसरी काम गर्छ भन्ने बारे मात्र परिचित छ। यदि तपाइँ यस्तो महसुस गर्नुहुन्छ भने, चिन्ता नगर्नुहोस्, तपाइँ राम्रो संगतमा हुनुहुन्छ।

मानिसहरूसँग सामान्यतया सन्देश प्रवाहको पूर्वाधारसँग धेरै सीमित सम्पर्क हुन्छ। तिनीहरू प्राय: लामो समय पहिले सिर्जना गरिएको प्रणालीमा जडान हुन्छन्, वा इन्टरनेटबाट वितरण डाउनलोड गर्नुहोस्, यसलाई PROM मा स्थापना गर्नुहोस् र यसको लागि कोड लेख्न सुरु गर्नुहोस्। PROM मा पूर्वाधार सञ्चालन गरेपछि, नतिजाहरू मिश्रित हुन सक्छन्: सन्देशहरू विफलताका कारण हराउँछन्, पठाउने कामले तपाईंले अपेक्षा गरेअनुसार काम गर्दैन, वा दलालहरूले तपाइँका उत्पादकहरूलाई "ह्याङ" गर्छन् वा तपाइँका उपभोक्ताहरूलाई सन्देशहरू पठाउँदैनन्।

परिचित सुनिन्छ?

एउटा सामान्य परिदृश्य हो जहाँ तपाईंको सन्देश कोड राम्रो काम गर्दछ, समयको लागि। जब सम्म यो काम गर्न रोक्दैन। यो अवधिले सुरक्षाको झूटो भावनामा गार्डलाई लुकाउँछ, जसले टेक्नोलोजीको आधारभूत व्यवहारको बारेमा गलत विश्वासहरूमा आधारित थप कोडहरू निम्त्याउँछ। जब चीजहरू गलत हुन थाल्छन्, तपाईंले एउटा असुविधाजनक सत्यको सामना गर्नु भएको छ: तपाईंले उत्पादनको अन्तर्निहित व्यवहार वा लेखकहरूले छनौट गरेको व्यापार-अफहरू, जस्तै प्रदर्शन बनाम विश्वसनीयता, वा लेनदेन बनाम तेर्सो स्केलेबिलिटी जस्ता कुराहरू बुझ्नु भएको छैन। ।

ब्रोकरहरूले कसरी काम गर्छन् भन्ने बारे गहिरो बुझाइ बिना, मानिसहरूले तिनीहरूको सन्देश प्रणालीको बारेमा उचित कथनहरू बनाउँछन्, जस्तै:

• प्रणालीले सन्देशहरू कहिल्यै गुमाउने छैन
• सन्देशहरू क्रमिक रूपमा प्रशोधन गरिनेछ
• उपभोक्ता थप्दा प्रणालीलाई छिटो बनाउँछ
• सन्देशहरू एक पटक मात्र डेलिभर गरिनेछ

दुर्भाग्यवश, यी केही कथनहरू केवल निश्चित परिस्थितिहरूमा लागू हुने अनुमानहरूमा आधारित छन्, जबकि अरूहरू मात्र गलत छन्।

यस पुस्तकले तपाईंलाई ब्रोकर-आधारित सन्देश प्रणालीहरूको बारेमा कसरी सोच्ने, दुई लोकप्रिय ब्रोकर प्रविधिहरू: Apache ActiveMQ र Apache Kafka तुलना गर्ने र विपरित गर्ने भनेर सिकाउनेछ। यसले प्रयोगका केसहरू र विकास प्रोत्साहनहरूलाई रूपरेखा गर्नेछ जसले उनीहरूका विकासकर्ताहरूलाई एउटै क्षेत्रमा धेरै फरक दृष्टिकोणहरू लिन प्रेरित गर्यो - मध्यवर्ती ब्रोकरसँग प्रणालीहरू बीच सन्देश। हामी यी प्रविधिहरू माथिबाट हेर्नेछौं र बाटोमा विभिन्न डिजाइन विकल्पहरूको प्रभावलाई हाइलाइट गर्नेछौं। तपाईंले दुबै उत्पादनहरूको गहिरो बुझाइ प्राप्त गर्नुहुनेछ, तिनीहरू कसरी प्रयोग गर्नुपर्छ र कसरी प्रयोग गर्न हुँदैन भन्ने बुझाइ, र भविष्यमा अन्य सन्देश प्रविधिहरू विचार गर्दा के खोज्ने भन्ने बुझाइ प्राप्त गर्नुहुनेछ।

हामीले सुरु गर्नु अघि, आधारभूत कुराहरूमा जाऔं।

सन्देश प्रणाली के हो र यो किन आवश्यक छ?

दुई अनुप्रयोगहरू एकअर्कासँग सञ्चार गर्नको लागि, तिनीहरूले पहिले इन्टरफेस परिभाषित गर्नुपर्छ। यो इन्टरफेस परिभाषित गर्दा HTTP, MQTT, वा SMTP जस्ता यातायात वा प्रोटोकल चयन गर्ने र प्रणालीहरू बीच आदानप्रदान गरिने सन्देश ढाँचाहरू वार्ता गर्ने समावेश छ। यो एक कडा प्रक्रिया हुन सक्छ, जस्तै सन्देश पेलोड लागत आवश्यकताहरु संग XML स्कीमा परिभाषित, वा यो धेरै कम औपचारिक हुन सक्छ, जस्तै HTTP अनुरोध को केहि भाग ग्राहक पहिचानकर्ता समावेश हुनेछ कि दुई विकासकर्ताहरु बीच एक सम्झौता।

जबसम्म सन्देशहरूको ढाँचा र तिनीहरू पठाइएका क्रमहरू प्रणालीहरू बीच एकरूप हुन्छन्, तिनीहरूले अर्को प्रणालीको कार्यान्वयनको बारेमा चिन्ता नगरी एकअर्कासँग सञ्चार गर्न सक्छन्। यी प्रणालीहरूको आन्तरिकहरू, जस्तै प्रोग्रामिङ भाषा वा प्रयोग गरिएको फ्रेमवर्क, समयसँगै परिवर्तन हुन सक्छ। जबसम्म सम्झौता आफैं कायम रहन्छ, अन्तरक्रिया अर्को पक्षबाट परिवर्तन बिना जारी रहन सक्छ। दुई प्रणालीहरू यस इन्टरफेसद्वारा प्रभावकारी रूपमा decoupled (पृथक) छन्।

सन्देश प्रणालीहरूमा सामान्यतया दुई प्रणालीहरू बीचको मध्यस्थता समावेश हुन्छ जसले प्राप्तकर्ता वा प्राप्तकर्ताहरूबाट प्रेषकलाई थप दोहोर्याउन (पृथक) अन्तरक्रिया गर्दछ। यस अवस्थामा, सन्देश प्रणालीले प्रेषकलाई प्राप्तकर्ता कहाँ छ, ऊ सक्रिय छ वा छैन, वा त्यहाँ कतिवटा उदाहरणहरू छन् भन्ने थाहा नगरी सन्देश पठाउन अनुमति दिन्छ।

सन्देश प्रणालीले समाधान गर्ने र केही आधारभूत सर्तहरू प्रस्तुत गर्ने समस्याहरूको प्रकारका लागि केही समानताहरू हेरौं।

पोइन्ट-टू-पोइन्ट

अलेक्जेन्ड्रा एडमलाई प्याकेज पठाउन हुलाक कार्यालयमा जान्छिन्। उनी झ्यालमा जान्छिन् र कर्मचारीलाई प्याकेज दिन्छिन्। कर्मचारीले प्याकेज उठाउँछ र अलेक्जान्ड्रालाई रसिद दिन्छ। प्याकेज पठाउँदा एडम घर हुनु आवश्यक छैन। अलेक्जान्ड्रा विश्वस्त छिन् कि प्याकेज भविष्यमा कुनै समयमा एडमलाई डेलिभर गरिनेछ र उनको व्यवसायको बारेमा जारी राख्न सक्छ। पछि केहि बिन्दुमा एडमले प्याकेज प्राप्त गर्दछ।

यो सन्देश मोडेल को एक उदाहरण हो बिन्दु देखि बिन्दु। यहाँ हुलाक कार्यालयले पार्सल वितरण संयन्त्रको रूपमा काम गर्दछ, प्रत्येक पार्सल एक पटक डेलिभर भएको सुनिश्चित गर्दै। हुलाक कार्यालयको प्रयोगले प्याकेज पठाउने कार्यलाई प्याकेजको डेलिभरीबाट अलग गर्दछ।
क्लासिक सन्देश प्रणालीहरूमा, पोइन्ट-टु-पोइन्ट मोडेल मार्फत लागू गरिएको छ लामहरु। लामले FIFO (फर्स्ट इन, फर्स्ट आउट) बफरको रूपमा कार्य गर्दछ जुन एक वा बढी उपभोक्ताहरूले सदस्यता लिन सक्छन्। प्रत्येक सन्देश मात्र डेलिभर गरिएको छ सदस्यता लिएका उपभोक्ताहरू मध्ये एकलाई। लाइनहरूले सामान्यतया सन्देशहरू उपभोक्ताहरू बीच निष्पक्ष रूपमा वितरण गर्ने प्रयास गर्छन्। केवल एक उपभोक्ताले यो सन्देश प्राप्त गर्नेछन्।

"टिकाउ" शब्द लाममा लागू हुन्छ। विश्वसनीयता एक सेवा गुण हो जसले सन्देश प्रवाहको लागि लाममा ग्राहक सदस्यता नहुँदासम्म सक्रिय सदस्यहरूको अनुपस्थितिमा सन्देश प्रणालीले सन्देशहरू जारी रहनेछ भन्ने सुनिश्चित गर्दछ।

विश्वसनीयता अक्सर भ्रमित छ दृढता र यद्यपि दुई सर्तहरू एकअर्काको रूपमा प्रयोग गरिन्छ, तिनीहरूले फरक प्रकार्यहरू सेवा गर्छन्। दृढताले सन्देश प्रणालीले यसलाई प्राप्त गर्ने र उपभोक्तालाई पठाउने बीचमा कुनै प्रकारको भण्डारणमा सन्देश लेख्छ कि गर्दैन भनेर निर्धारण गर्दछ। लाममा पठाइएका सन्देशहरू स्थिर हुन सक्छन् वा नहुन सक्छन्।
पोइन्ट-टु-पोइन्ट सन्देश प्रयोग गरिन्छ जब प्रयोग केसलाई सन्देशमा एक-पटक कार्य आवश्यक पर्दछ। उदाहरणहरूमा खातामा रकम जम्मा गर्ने वा डेलिभरी अर्डर पूरा गर्ने समावेश छ। हामी पछि छलफल गर्नेछौं किन सन्देश प्रणाली आफैंले एक पटक डेलिभरी प्रदान गर्न असमर्थ छ र किन लामहरूले उत्कृष्ट रूपमा डेलिभरी ग्यारेन्टी प्रदान गर्न सक्छ। कम्तिमा एक पटक.

प्रकाशक-ग्राहक

गेब्रिएलाले सम्मेलन नम्बर डायल गर्छिन्। जब उनी सम्मेलनमा जोडिएकी छिन्, उनले स्पिकरले भनेका सबै कुरा सुन्छिन्, साथै कलका बाँकी सहभागीहरू। जब उनी ट्युन आउट गर्छिन्, उनले भनेका कुराहरू मिस गरिन्। जब पुन: जडान भयो, उनी के भनिएको सुन्न जारी राख्छिन्।

यो सन्देश मोडेल को एक उदाहरण हो प्रकाशित-सदस्यता लिनुहोस्। सम्मेलन कल प्रसारण संयन्त्रको रूपमा कार्य गर्दछ। बोल्ने व्यक्तिले हाल कलमा कतिजना व्यक्तिहरू छन् भन्ने कुराको वास्ता गर्दैन - प्रणालीले सुनिश्चित गर्दछ कि हाल जडान भएका जो कोहीले के भनिरहेको छ सुन्नुहुनेछ।
क्लासिक सन्देश प्रणालीहरूमा, प्रकाशन-सदस्यता सन्देश मोडेल मार्फत लागू गरिएको छ शीर्ष। विषयले कन्फरेन्सिङ मेकानिजम जस्तै प्रसारण विधि प्रदान गर्दछ। जब कुनै विषयलाई सन्देश पठाइन्छ, यो वितरण गरिन्छ सबै सदस्यता प्रयोगकर्ताहरूको लागि.

विषयहरू सामान्यतया छन् अविश्वनीय (अविश्वसनीय)। जसरी श्रोताले कन्फरेन्स कलमा भनिएको कुरा सुन्न सक्दैन जब श्रोताले विच्छेद गर्दछ, विषय सदस्यहरूले अफलाइन हुँदा पठाइएका कुनै पनि सन्देशहरू मिस गर्छन्। यस कारणका लागि, हामी भन्न सक्छौं कि विषयहरूले डेलिभरी ग्यारेन्टी प्रदान गर्दछ एक पटक भन्दा बढी छैन प्रत्येक उपभोक्ताको लागि।

प्रकाशन-सदस्यता सन्देश सामान्यतया प्रयोग गरिन्छ जब सन्देशहरू प्रकृतिमा जानकारीमूलक हुन्छन् र एउटा सन्देशको हानि विशेष रूपमा महत्त्वपूर्ण हुँदैन। उदाहरणका लागि, विषयले सेन्सरहरूको समूहबाट प्रति सेकेन्ड एक पटक तापक्रम पठनहरू पठाउन सक्छ। हालको तापक्रममा रुचि राख्ने र विषयको सदस्यता लिने प्रणालीले सन्देश छुटेमा चिन्ता लिने छैन - अर्को निकट भविष्यमा आइपुग्नेछ।

हाइब्रिड मोडेलहरू

स्टोरको वेबसाइटले "सन्देश लाम" मा अर्डर सन्देशहरू राख्छ। यी सन्देशहरूको मुख्य उपभोक्ता कार्यकारी प्रणाली हो। थप रूपमा, लेखापरीक्षण प्रणालीसँग यी अर्डर सन्देशहरूको प्रतिलिपिहरू पछिको ट्र्याकिङको लागि हुनुपर्दछ। दुबै प्रणालीहरूले सन्देशहरूलाई पास गर्न अनुमति दिन सक्दैनन्, यद्यपि प्रणालीहरू आफैं केही समयको लागि अनुपलब्ध छन्। वेबसाइट अन्य प्रणालीहरू बारे सचेत हुनु हुँदैन।

प्रयोगका केसहरूलाई प्राय: प्रकाशन-सदस्यता र पोइन्ट-टु-पोइन्ट सन्देश मोडेलहरूको संयोजन चाहिन्छ, जस्तै जब बहु प्रणालीहरूलाई सन्देशको प्रतिलिपि चाहिन्छ र सन्देश हराउनबाट रोक्नको लागि विश्वसनीयता र दृढता दुवै आवश्यक हुन्छ।

यी केसहरूलाई एउटा गन्तव्य चाहिन्छ (लाम र विषयहरूको लागि सामान्य शब्द) जसले सन्देशहरूलाई मूल रूपमा विषयको रूपमा वितरण गर्दछ, ताकि प्रत्येक सन्देशलाई ती सन्देशहरूमा रुचि राख्ने छुट्टै प्रणालीमा पठाइन्छ, तर प्रत्येक प्रणालीले आगमन प्राप्त गर्ने धेरै उपभोक्ताहरूलाई परिभाषित गर्न सक्छ। सन्देशहरू, जुन लाम जस्तै छ। यस अवस्थामा पढ्ने प्रकार हो प्रत्येक सरोकारवालाको लागि एक पटक। यी हाइब्रिड गन्तव्यहरूलाई प्रायः स्थायित्व चाहिन्छ ताकि यदि उपभोक्ता अफलाइन हुन्छ भने, त्यस समयमा पठाइएका सन्देशहरू उपभोक्ता पुन: जडान पछि प्राप्त हुन्छन्।

हाइब्रिड मोडेलहरू नयाँ छैनन् र प्रायः सन्देश प्रणालीहरूमा प्रयोग गर्न सकिन्छ, दुबै ActiveMQ (विषय र लामहरू संयोजन गर्ने भर्चुअल वा कम्पोजिट गन्तव्यहरू मार्फत) र काफ्का (अस्पष्ट रूपमा, यसको गन्तव्य डिजाइनको आधारभूत गुणको रूपमा)।

अब जब हामीसँग केहि आधारभूत शब्दावली र हामीले सन्देश प्रणाली प्रयोग गर्न सक्छौं भन्ने बुझाइ छ, हामी विवरणहरूमा जाऔं।

अनुवाद गरियो: tele.gg/middle_java

निम्न अनुवादित भाग: अध्याय 3. काफ्का

फेरि जारी राखौंला…

स्रोत: www.habr.com