संदेश दलाल समजून घेणे. ActiveMQ आणि Kafka सह मेसेजिंगचे यांत्रिकी शिकणे. धडा १

हॅलो प्रत्येकजण!

एका छोट्या पुस्तकाचा अनुवाद सुरू केला:
«संदेश दलाल समजून घेणे",
लेखक: जाकुब कोराब, प्रकाशक: O'Reilly Media, Inc., प्रकाशनाची तारीख: जून 2017, ISBN: 9781492049296.

पुस्तकाच्या प्रस्तावनेतून:
"... हे पुस्तक तुम्हाला दोन लोकप्रिय ब्रोकिंग तंत्रज्ञान: Apache ActiveMQ आणि Apache Kafka यांची तुलना करून आणि विरोधाभास करून ब्रोकर्ड मेसेजिंग सिस्टम्सबद्दल विचार कसा करावा हे शिकवेल. हे वापर प्रकरणे आणि विकास प्रोत्साहनांची रूपरेषा तयार करेल ज्यामुळे त्यांच्या विकासकांना सिस्टम्समधील ब्रोकरेड मेसेजिंगच्या समान क्षेत्रामध्ये मोठ्या प्रमाणात भिन्न दृष्टीकोन घेण्यास प्रवृत्त केले आहे. आम्ही या तंत्रज्ञानावर एक नजर टाकू आणि वाटेत विविध डिझाइन निवडींचा प्रभाव हायलाइट करू. तुम्हाला दोन्ही उत्पादनांची सखोल माहिती मिळेल, त्यांचा वापर कसा करावा आणि करू नये याची समज आणि भविष्यात इतर मेसेजिंग तंत्रज्ञानाचा विचार करताना काय काळजी घ्यावी हे समजेल. ... "

आतापर्यंत भाषांतरित केलेले भाग:
धडा 1 परिचय
धडा 3. काफ्का

पूर्ण झालेले अध्याय भाषांतरित केल्याप्रमाणे मी पोस्ट करेन.

अध्याय 1

परिचय

इंटरसिस्टम मेसेजिंग हे आयटीच्या सर्वात कमी समजल्या जाणार्‍या क्षेत्रांपैकी एक आहे. विकसक किंवा वास्तुविशारद म्हणून, तुम्ही विविध फ्रेमवर्क आणि डेटाबेसशी परिचित असाल. तथापि, ब्रोकर-आधारित मेसेजिंग तंत्रज्ञान कसे कार्य करतात याची केवळ एक झलक तुमच्याकडे असण्याची शक्यता आहे. तुम्हाला असे वाटत असल्यास, काळजी करू नका, तुम्ही चांगल्या संगतीत आहात.

लोकांचा सहसा मेसेजिंग इन्फ्रास्ट्रक्चरशी फार मर्यादित संपर्क असतो. बर्याचदा ते बर्याच काळापूर्वी तयार केलेल्या सिस्टमशी कनेक्ट होतात किंवा इंटरनेटवरून वितरण किट डाउनलोड करतात, ते PROM मध्ये स्थापित करतात आणि त्यासाठी कोड लिहिण्यास प्रारंभ करतात. एकदा PROM मध्ये इन्फ्रास्ट्रक्चर तयार झाले आणि चालू झाले की, परिणाम मिश्रित केले जाऊ शकतात: क्रॅश झाल्यावर संदेश गमावले जातात, पाठवलेले तुमच्या अपेक्षेप्रमाणे काम करत नाहीत किंवा ब्रोकर्स तुमच्या उत्पादकांना फाशी देतात किंवा तुमच्या ग्राहकांना संदेश पाठवत नाहीत.

ओळखीचे वाटते?

एक सामान्य परिस्थिती जिथे तुमचा मेसेजिंग कोड काही काळासाठी ठीक काम करतो. जोपर्यंत ते काम करणे थांबवत नाही. हा कालावधी दक्षता कमी करतो आणि सुरक्षिततेची खोटी भावना देतो, ज्यामुळे तंत्रज्ञानाच्या मूलभूत वर्तनाबद्दल चुकीच्या कल्पनांवर आधारित आणखी कोड बनतो. जेव्हा गोष्टी चुकीच्या होऊ लागतात, तेव्हा तुम्हाला एक अस्वस्थ सत्याचा सामना करावा लागतो: तुम्हाला उत्पादनाचे मूळ वर्तन किंवा लेखकांनी निवडलेले ट्रेड-ऑफ, जसे की कामगिरी विरुद्ध मजबूती किंवा व्यवहार वि. क्षैतिज स्केलेबिलिटी.

ब्रोकर्स कसे कार्य करतात हे सखोल समजून घेतल्याशिवाय, लोक त्यांच्या मेसेजिंग सिस्टमबद्दल वरवर वाजवी दावे करतात, जसे की:

• सिस्टम कधीही संदेश गमावणार नाही
• संदेशांवर अनुक्रमे प्रक्रिया केली जाईल
• ग्राहक जोडल्याने प्रणाली जलद होईल
• संदेश फक्त एकदाच वितरित केले जातील

दुर्दैवाने, यापैकी काही विधाने गृहितकांवर आधारित आहेत जी केवळ विशिष्ट परिस्थितींमध्ये लागू होतात, तर इतर फक्त सत्य नाहीत.

हे पुस्तक तुम्हाला दोन लोकप्रिय ब्रोकर तंत्रज्ञान: Apache ActiveMQ आणि Apache Kafka ची तुलना आणि विरोधाभास करून ब्रोकरेड मेसेजिंग सिस्टम्सबद्दल तर्क कसा करावा हे शिकवेल. हे वापर प्रकरणे आणि विकास प्रोत्साहनांची रूपरेषा तयार करेल ज्यामुळे त्यांच्या विकासकांना सिस्टम्समधील ब्रोकरेड मेसेजिंगच्या समान क्षेत्रामध्ये मोठ्या प्रमाणात भिन्न दृष्टीकोन घेण्यास प्रवृत्त केले आहे. आम्ही या तंत्रज्ञानावर एक नजर टाकू आणि वाटेत विविध डिझाइन निवडींचा प्रभाव हायलाइट करू. तुम्हाला दोन्ही उत्पादनांची सखोल माहिती मिळेल, त्यांचा वापर कसा करावा आणि करू नये याची समज आणि भविष्यात इतर मेसेजिंग तंत्रज्ञानाचा विचार करताना काय काळजी घ्यावी हे समजेल.

आपण प्रारंभ करण्यापूर्वी, मूलभूत गोष्टींवर जाऊया.

मेसेजिंग सिस्टम म्हणजे काय आणि ती का आवश्यक आहे

दोन अनुप्रयोग एकमेकांशी संवाद साधण्यासाठी, त्यांनी प्रथम इंटरफेस परिभाषित करणे आवश्यक आहे. या इंटरफेसच्या व्याख्येमध्ये HTTP, MQTT, किंवा SMTP सारख्या वाहतूक किंवा प्रोटोकॉलची निवड आणि प्रणाली ज्या संदेश स्वरूपाची देवाणघेवाण करतील त्याबद्दल वाटाघाटी यांचा समावेश होतो. ही एक कठोर प्रक्रिया असू शकते, जसे की संदेशासाठी पेलोड खर्च आवश्यकतांसह XML स्कीमा परिभाषित करणे किंवा ते खूपच कमी औपचारिक असू शकते, जसे की दोन विकसकांमधील करार की HTTP विनंतीच्या काही भागामध्ये क्लायंट आयडेंटिफायर असेल.

जोपर्यंत संदेशांचे स्वरूप आणि ते ज्या क्रमाने पाठवले जातात त्या प्रणालींमध्ये सुसंगत असतात, तोपर्यंत ते इतर प्रणालीच्या अंमलबजावणीची चिंता न करता एकमेकांशी संवाद साधण्यास सक्षम असतील. या प्रणालींचे अंतर्गत भाग, जसे की प्रोग्रामिंग भाषा किंवा वापरलेली फ्रेमवर्क, कालांतराने बदलू शकते. जोपर्यंत करार स्वतःच राखला जातो तोपर्यंत, परस्परसंवाद दुसऱ्या बाजूने अपरिवर्तित चालू राहू शकतो. या इंटरफेसद्वारे दोन प्रणाली प्रभावीपणे विभक्त (विभक्त) केल्या आहेत.

मेसेजिंग सिस्टीममध्ये सामान्यत: दोन प्रणालींमध्ये मध्यस्थ समाविष्ट असते जे प्राप्तकर्ता किंवा प्राप्तकर्त्यांकडून प्रेषकाला आणखी डीकपल (वेगळे) करण्यासाठी परस्परसंवाद करतात. या प्रकरणात, मेसेजिंग सिस्टम प्रेषकाला प्राप्तकर्ता कुठे आहे, तो सक्रिय आहे की नाही किंवा त्यांची किती उदाहरणे आहेत हे जाणून घेतल्याशिवाय संदेश पाठविण्याची परवानगी देते.

मेसेजिंग सिस्टीम कोणत्या प्रकारच्या समस्या सोडवते यासाठी काही साधर्म्य पाहू आणि काही मूलभूत संज्ञा सादर करू.

मुद्देसूद

अॅलेक्झांड्रा अॅडमला पॅकेज पाठवण्यासाठी पोस्ट ऑफिसमध्ये जाते. ती खिडकीकडे जाते आणि पार्सल कर्मचाऱ्याला देते. कर्मचारी पॅकेज उचलतो आणि अलेक्झांड्राला पावती देतो. पॅकेज पाठवल्यावर अॅडमला घरी असण्याची गरज नाही. अलेक्झांड्राला खात्री आहे की हे पॅकेज भविष्यात कधीतरी अॅडमला दिले जाईल आणि तिचा व्यवसाय सुरू ठेवू शकेल. नंतर, कधीतरी, अॅडमला एक पॅकेज मिळते.

हे मेसेजिंग मॉडेलचे उदाहरण आहे मुद्देसूद. प्रत्येक पॅकेज एकदाच वितरित केले जाईल याची खात्री करून येथे पोस्ट ऑफिस पॅकेज वितरण यंत्रणा म्हणून काम करते. पोस्ट ऑफिसचा वापर पार्सल पाठवण्याच्या कृतीला पार्सलच्या वितरणापासून वेगळे करतो.
क्लासिक मेसेजिंग सिस्टममध्ये, पॉइंट-टू-पॉइंट मॉडेलद्वारे अंमलबजावणी केली जाते रांगा. रांग FIFO (फर्स्ट इन, फर्स्ट आउट) बफर म्हणून कार्य करते ज्याचे एक किंवा अधिक ग्राहक सदस्यत्व घेऊ शकतात. प्रत्येक संदेश फक्त वितरित केला जातो सदस्यता घेतलेल्या ग्राहकांपैकी एक. रांगा सहसा ग्राहकांमध्ये संदेश वितरीत करण्याचा प्रयत्न करतात. केवळ एका ग्राहकाला हा संदेश प्राप्त होईल.

"टिकाऊ" हा शब्द रांगांना लागू केला जातो. विश्वसनीयता ही एक सेवा गुणधर्म आहे जी हमी देते की मेसेजिंग सिस्टम सक्रिय सदस्यांच्या अनुपस्थितीत संदेश ठेवेल जोपर्यंत ग्राहक संदेश वितरण रांगेत सदस्य होत नाही.

विश्वासार्हतेचा अनेकदा गोंधळ होतो चिकाटी आणि, जरी दोन संज्ञा अदलाबदल करण्यायोग्य असल्या तरी, त्या भिन्न कार्ये करतात. मेसेजिंग सिस्टीमद्वारे संदेश प्राप्त करणे आणि ग्राहकांना पाठवणे यादरम्यान काही प्रकारच्या स्टोरेजमध्ये संदेश लिहिला जातो की नाही हे चिकाटी ठरवते. रांगेत पाठवलेले संदेश कायम असू शकतात किंवा नसू शकतात.
पॉइंट-टू-पॉइंट मेसेजिंगचा वापर केला जातो जेव्हा वापर केससाठी संदेशावर एकच क्रिया आवश्यक असते. उदाहरणांमध्ये खात्यात निधी जमा करणे किंवा वितरण ऑर्डर पूर्ण करणे समाविष्ट आहे. मेसेजिंग सिस्टीम स्वतःच एकवेळ डिलिव्हरी प्रदान करण्यास का असमर्थ आहे आणि रांगा सर्वोत्तम वितरण हमी का देऊ शकतात यावर आम्ही नंतर चर्चा करू. एकदा तरी.

प्रकाशक-ग्राहक

गॅब्रिएला कॉन्फरन्स नंबर डायल करते. ती कॉन्फरन्सशी कनेक्ट असताना, कॉलमधील उर्वरित सहभागींसह स्पीकर जे काही बोलतात ते ती ऐकते. जेव्हा ती ब्लॅक आऊट करते, तेव्हा तिला जे सांगितले जाते ते चुकते. पुन्हा कनेक्ट करताना, ती काय बोलली जात आहे ते ऐकत राहते.

हे मेसेजिंग मॉडेलचे उदाहरण आहे प्रकाशित-सदस्यत्व घ्या. कॉन्फरन्स कॉल ब्रॉडकास्ट यंत्रणा म्हणून काम करते. बोलणारी व्यक्ती सध्या किती लोक कॉलवर आहेत याची पर्वा करत नाही - सिस्टम हे सुनिश्चित करते की सध्या कनेक्ट केलेले कोणीही जे बोलले जात आहे ते ऐकेल.
क्लासिक मेसेजिंग सिस्टीममध्ये, प्रकाशन-सदस्यता मेसेजिंग मॉडेल द्वारे लागू केले जाते उत्कृष्ट. एक विषय कॉन्फरन्सिंग यंत्रणा सारखीच प्रसारण पद्धत प्रदान करतो. जेव्हा एखादा संदेश एखाद्या विषयावर पोस्ट केला जातो तेव्हा तो वितरित केला जातो सर्व सदस्यत्व घेतलेल्या वापरकर्त्यांसाठी.

विषय सहसा अविश्वसनीय (अविश्वसनीय). कॉन्फरन्स कॉलवर जे बोलले जात आहे ते ऐकू न शकणाऱ्या श्रोत्याप्रमाणे, जेव्हा श्रोता ऑफलाइन जातो, तेव्हा विषय सदस्य ऑफलाइन असताना पाठवलेले कोणतेही संदेश चुकवतात. या कारणास्तव, आम्ही असे म्हणू शकतो की शीर्ष वितरणाची हमी प्रदान करते. एकापेक्षा जास्त वेळा नाही प्रत्येक ग्राहकासाठी.

प्रकाशित-सदस्यता मेसेजिंगचा वापर सामान्यत: जेव्हा मेसेजेस माहितीपूर्ण असतात आणि एकल मेसेजचे नुकसान विशेषतः लक्षणीय नसते तेव्हा वापरले जाते. उदाहरणार्थ, एखादा विषय सेकंदाला एकदा सेन्सर्सच्या गटातून तापमान वाचन प्रसारित करू शकतो. सध्याच्या तापमानात स्वारस्य असलेली आणि एखाद्या विषयाची सदस्यता घेणारी प्रणाली संदेश चुकल्यास काळजी करणार नाही - दुसरा लवकरच येईल.

संकरित मॉडेल

स्टोअरची वेबसाइट ऑर्डर संदेशांना "संदेश रांगेत" ठेवते. या संदेशांचा मुख्य ग्राहक कार्यकारी यंत्रणा आहे. याव्यतिरिक्त, ऑडिट सिस्टमकडे नंतरच्या ट्रॅकिंगसाठी या ऑर्डर संदेशांच्या प्रती असाव्यात. दोन्ही प्रणाली संदेश चुकवू शकत नाहीत, जरी सिस्टम स्वतः काही काळ अनुपलब्ध असले तरीही. वेबसाइट इतर प्रणालींबद्दल माहिती नसावी.

वापर प्रकरणांमध्ये अनेकदा प्रकाशन-सदस्यता आणि पॉइंट-टू-पॉइंट मेसेजिंग मॉडेल्सचे मिश्रण आवश्यक असते, जसे की जेव्हा एकाधिक सिस्टम्सना संदेशाची प्रत आवश्यक असते आणि संदेश नष्ट होण्यापासून रोखण्यासाठी विश्वासार्हता आणि चिकाटी दोन्ही आवश्यक असते.

या प्रकरणांमध्ये, एक गंतव्यस्थान (रांगा आणि विषयांसाठी सामान्य संज्ञा) आवश्यक आहे, जे संदेशांना मुळात विषयाप्रमाणे वितरित करते, जेणेकरून प्रत्येक संदेश या संदेशांमध्ये स्वारस्य असलेल्या वेगळ्या सिस्टमला पाठविला जाईल, परंतु ज्यामध्ये प्रत्येक सिस्टम अनेक ग्राहकांना परिभाषित करू शकेल. जे येणारे संदेश प्राप्त करतात, जे अधिक रांगेसारखे आहे. या प्रकरणात वाचन प्रकार − आहे प्रत्येक भागधारकासाठी एकदा. या संकरित गंतव्यस्थानांना बर्‍याचदा टिकाऊपणाची आवश्यकता असते जेणेकरून ग्राहक डिस्कनेक्ट झाल्यास, त्या वेळी पाठवलेले संदेश ग्राहक पुन्हा कनेक्ट झाल्यावर स्वीकारले जातील.

हायब्रीड मॉडेल्स नवीन नाहीत आणि ActiveMQ (विषय आणि रांगा एकत्रित करणाऱ्या आभासी किंवा संमिश्र गंतव्यस्थानांद्वारे) आणि काफ्का (स्पष्टपणे, त्याच्या गंतव्य डिझाइनची मूलभूत मालमत्ता म्हणून) या दोन्हींसह बहुतेक संदेशन प्रणालींवर लागू केले जाऊ शकतात.

आता आमच्याकडे काही मूलभूत शब्दावली आणि संदेशन प्रणाली कशासाठी उपयुक्त असू शकते याची समज आहे, चला तपशीलात जाऊ या.

भाषांतर पूर्ण झाले: tele.gg/middle_java

पुढील अनुवादित भाग: धडा 3. काफ्का

पुढे चालू…

स्त्रोत: www.habr.com