वितरित अनुप्रयोगों के बिल्डिंग ब्लॉक. शून्य सन्निकटन

दुनिया स्थिर नहीं रहती. प्रगति नई तकनीकी चुनौतियाँ पैदा करती है। बदलती आवश्यकताओं के अनुसार, सूचना प्रणाली की वास्तुकला विकसित होनी चाहिए। आज हम घटना-संचालित वास्तुकला, समवर्ती, समवर्ती, अतुल्यकालिक के बारे में बात करेंगे और आप एर्लांग में इन सबके साथ शांति से कैसे रह सकते हैं।

परिचय

डिज़ाइन किए गए सिस्टम के आकार और उसके लिए आवश्यकताओं के आधार पर, हम, डेवलपर्स, सिस्टम में सूचनाओं के आदान-प्रदान की विधि चुनते हैं। ज्यादातर मामलों में, सेवाओं की बातचीत को व्यवस्थित करने के लिए, एक कामकाजी विकल्प ब्रोकर के साथ एक योजना हो सकती है, उदाहरण के लिए, RabbitMQ या काफ्का पर आधारित। लेकिन कभी-कभी घटनाओं का प्रवाह, एसएलए और सिस्टम पर नियंत्रण का स्तर ऐसा होता है कि रेडीमेड मैसेजिंग हमारे लिए उपयुक्त नहीं होती है। बेशक, आप ट्रांसपोर्ट लेयर और क्लस्टर गठन की ज़िम्मेदारी लेकर सिस्टम को थोड़ा जटिल बना सकते हैं, उदाहरण के लिए ज़ीरोएमक्यू या नैनोएमएसजी का उपयोग करना। लेकिन यदि सिस्टम में मानक एरलांग क्लस्टर की पर्याप्त थ्रूपुट और क्षमताएं हैं, तो एक अतिरिक्त इकाई शुरू करने के मुद्दे पर विस्तृत अध्ययन और आर्थिक औचित्य की आवश्यकता होती है।

प्रतिक्रियाशील वितरित अनुप्रयोगों का विषय काफी व्यापक है। लेख के प्रारूप के अंतर्गत रखने के लिए, आज की चर्चा का विषय केवल एर्लांग/एलिक्सिर पर निर्मित सजातीय वातावरण होगा। एर्लांग/ओटीपी पारिस्थितिकी तंत्र आपको कम से कम प्रयास के साथ एक प्रतिक्रियाशील वास्तुकला को लागू करने की अनुमति देता है। लेकिन किसी भी स्थिति में, हमें एक मैसेजिंग परत की आवश्यकता होगी।

सैद्धांतिक आधार

डिज़ाइन लक्ष्यों और बाधाओं को परिभाषित करने से शुरू होता है। मुख्य लक्ष्य विकास के लिये विकास का क्षेत्र नहीं है। हमें एक सुरक्षित और स्केलेबल टूल प्राप्त करने की आवश्यकता है जिसके आधार पर हम विभिन्न स्तरों के आधुनिक एप्लिकेशन बना और विकसित कर सकें: छोटे दर्शकों की सेवा करने वाले एकल-सर्वर अनुप्रयोगों से शुरू होकर, जो बाद में 50 तक के समूहों में विकसित हो सकते हैं। -60 नोड्स, क्लस्टर फेडरेशन के साथ समाप्त। इस प्रकार, मुख्य लक्ष्य अंतिम प्रणाली के विकास और स्वामित्व की लागत को कम करके लाभ को अधिकतम करना है।

आइए हम अंतिम प्रणाली के लिए 4 मुख्य आवश्यकताओं पर प्रकाश डालें:

• Сघटना-उन्मुख।
  सिस्टम घटनाओं के प्रवाह से गुजरने और आवश्यक कार्रवाई करने के लिए हमेशा तैयार रहता है;
• Мस्केलेबिलिटी
  अलग-अलग ब्लॉकों को लंबवत और क्षैतिज दोनों तरह से स्केल किया जा सकता है। संपूर्ण प्रणाली अनंत क्षैतिज विकास में सक्षम होनी चाहिए;
• Оदोष सहिष्णुता।
  सभी स्तरों और सभी सेवाओं को विफलताओं से स्वचालित रूप से उबरने में सक्षम होना चाहिए;
• Гगारंटीशुदा प्रतिक्रिया समय.
  समय मूल्यवान है और उपयोगकर्ताओं को बहुत लंबा इंतजार नहीं करना चाहिए।

"वह छोटा इंजन जो कर सकता था" के बारे में पुरानी परी कथा याद है? डिज़ाइन किए गए सिस्टम को प्रोटोटाइप चरण से सफलतापूर्वक बाहर निकलने और प्रगतिशील होने के लिए, इसकी नींव को न्यूनतम आवश्यकताओं को पूरा करना होगा धुंध.

इंफ्रास्ट्रक्चर टूल और सभी सेवाओं के आधार के रूप में मैसेजिंग में एक और बिंदु जोड़ा गया है: प्रोग्रामर के लिए उपयोग में आसानी।

घटना उन्मुख

किसी एप्लिकेशन को एकल सर्वर से क्लस्टर तक विकसित करने के लिए, इसके आर्किटेक्चर को लूज़ कपलिंग का समर्थन करना चाहिए। अतुल्यकालिक मॉडल इस आवश्यकता को पूरा करता है। इसमें, प्रेषक और प्राप्तकर्ता संदेश के सूचना भार की परवाह करते हैं और सिस्टम के भीतर ट्रांसमिशन और रूटिंग के बारे में चिंता नहीं करते हैं।

scalability

स्केलेबिलिटी और सिस्टम दक्षता एक दूसरे के बगल में हैं। एप्लिकेशन घटकों को सभी उपलब्ध संसाधनों का उपयोग करने में सक्षम होना चाहिए। जितनी अधिक कुशलता से हम क्षमता का उपयोग कर सकते हैं और हमारी प्रसंस्करण विधियाँ जितनी अधिक इष्टतम होंगी, हम उपकरणों पर उतना ही कम पैसा खर्च करेंगे।

एक ही मशीन के भीतर, एरलांग अत्यधिक प्रतिस्पर्धी माहौल बनाता है। एर्लांग वीएम के लिए उपलब्ध ऑपरेटिंग सिस्टम थ्रेड्स की संख्या और इन थ्रेड्स का उपयोग करने वाले शेड्यूलर्स की संख्या चुनकर समवर्ती और समानता के बीच संतुलन स्थापित किया जा सकता है।
एर्लैंग प्रक्रियाएं स्थिति साझा नहीं करती हैं और गैर-अवरुद्ध मोड में काम करती हैं। यह पारंपरिक ब्लॉकिंग-आधारित अनुप्रयोगों की तुलना में अपेक्षाकृत कम विलंबता और उच्च थ्रूपुट प्रदान करता है। एर्लैंग का शेड्यूलर सीपीयू और आईओ का उचित आवंटन सुनिश्चित करता है, और ब्लॉकिंग की अनुपस्थिति एप्लिकेशन को पीक लोड या विफलताओं के दौरान भी प्रतिक्रिया देने की अनुमति देती है।

क्लस्टर स्तर पर भी निस्तारण की समस्या है। यह महत्वपूर्ण है कि क्लस्टर में सभी मशीनें समान रूप से लोड हों और नेटवर्क ओवरलोड न हो। आइए एक स्थिति की कल्पना करें: उपयोगकर्ता ट्रैफ़िक आने वाले बैलेंसर्स (हैप्रोक्सी, नेग्नेक्स, आदि) पर आता है, वे उपलब्ध बैकएंड के सेट के बीच प्रसंस्करण अनुरोधों को यथासंभव समान रूप से वितरित करते हैं। एप्लिकेशन इंफ्रास्ट्रक्चर के भीतर, आवश्यक इंटरफ़ेस को लागू करने वाली सेवा केवल अंतिम मील है और प्रारंभिक अनुरोध का जवाब देने के लिए कई अन्य सेवाओं का अनुरोध करने की आवश्यकता होगी। आंतरिक अनुरोधों के लिए रूटिंग और संतुलन की भी आवश्यकता होती है।
डेटा प्रवाह को प्रभावी ढंग से प्रबंधित करने के लिए, मैसेजिंग को डेवलपर्स को रूटिंग और लोड संतुलन को प्रबंधित करने के लिए एक इंटरफ़ेस प्रदान करना होगा। इसके लिए धन्यवाद, डेवलपर्स माइक्रोसर्विस पैटर्न (एग्रीगेटर, प्रॉक्सी, चेन, शाखा, आदि) का उपयोग करके, मानक समस्याओं और जो शायद ही कभी उत्पन्न होते हैं, दोनों को हल करने में सक्षम होंगे।

व्यावसायिक दृष्टिकोण से, स्केलेबिलिटी जोखिम प्रबंधन उपकरणों में से एक है। मुख्य बात उपकरण का सर्वोत्तम उपयोग करके ग्राहकों के अनुरोधों को पूरा करना है:

• जब प्रगति के फलस्वरूप उपकरणों की शक्ति बढ़ती है। अपूर्ण सॉफ़्टवेयर के कारण यह निष्क्रिय नहीं रहेगा. एर्लैंग लंबवत रूप से अच्छी तरह से स्केल करता है और हमेशा सभी सीपीयू कोर और उपलब्ध मेमोरी का उपयोग करने में सक्षम होगा;
• क्लाउड वातावरण में, हम वर्तमान या अनुमानित लोड और गारंटी एसएलए के आधार पर उपकरणों की मात्रा का प्रबंधन कर सकते हैं।

दोष सहिष्णुता

आइए दो सिद्धांतों पर विचार करें: "असफलताएं अस्वीकार्य हैं" और "असफलताएं हमेशा रहेंगी।" किसी व्यवसाय के लिए, सॉफ़्टवेयर विफलता का अर्थ है धन की हानि, और इससे भी बदतर, प्रतिष्ठा की हानि। संभावित नुकसान और दोष-सहिष्णु सॉफ़्टवेयर विकसित करने की लागत के बीच संतुलन बनाते हुए, अक्सर एक समझौता पाया जा सकता है।

अल्पावधि में, एक आर्किटेक्चर जो दोष सहनशीलता को शामिल करता है, ऑफ-द-शेल्फ क्लस्टरिंग समाधान खरीदने पर पैसे बचाता है। ये महंगे हैं और इनमें बग भी हैं.
दीर्घावधि में, एक दोष-सहिष्णु वास्तुकला विकास के सभी चरणों में कई गुना अधिक भुगतान करती है।
कोड बेस के भीतर मैसेजिंग आपको विकास चरण में सिस्टम के भीतर घटकों की बातचीत के बारे में विस्तार से काम करने की अनुमति देता है। यह विफलताओं का जवाब देने और प्रबंधित करने के कार्य को सरल बनाता है, क्योंकि सभी महत्वपूर्ण घटक विफलताओं को संभालते हैं, और परिणामी सिस्टम जानता है कि डिज़ाइन द्वारा विफलता के बाद स्वचालित रूप से सामान्य स्थिति में कैसे लौटना है।

जवाबदेही

विफलताओं के बावजूद, एप्लिकेशन को अनुरोधों का जवाब देना होगा और SLA को पूरा करना होगा। वास्तविकता यह है कि लोग इंतजार नहीं करना चाहते, इसलिए व्यवसायों को तदनुसार अनुकूलन करना होगा। अधिक से अधिक अनुप्रयोगों के अत्यधिक प्रतिक्रियाशील होने की उम्मीद है।
प्रतिक्रियाशील एप्लिकेशन लगभग वास्तविक समय में काम करते हैं। एर्लैंग वीएम सॉफ्ट रियल-टाइम मोड में काम करता है। कुछ क्षेत्रों के लिए, जैसे स्टॉक ट्रेडिंग, चिकित्सा और औद्योगिक उपकरण नियंत्रण, कठिन वास्तविक समय मोड महत्वपूर्ण है।
उत्तरदायी प्रणालियाँ UX में सुधार करती हैं और व्यवसाय को लाभ पहुँचाती हैं।

प्रारंभिक परिणाम

इस लेख की योजना बनाते समय, मैं एक मैसेजिंग ब्रोकर बनाने और उसके आधार पर जटिल सिस्टम बनाने का अपना अनुभव साझा करना चाहता था। लेकिन सैद्धांतिक और प्रेरक हिस्सा काफी व्यापक निकला।
लेख के दूसरे भाग में, मैं एक्सचेंज पॉइंट, मैसेजिंग पैटर्न और उनके अनुप्रयोग को लागू करने की बारीकियों के बारे में बात करूंगा।
तीसरे भाग में हम सेवाओं के आयोजन, रूटिंग और संतुलन के सामान्य मुद्दों पर विचार करेंगे। आइए सिस्टम की स्केलेबिलिटी और दोष सहनशीलता के व्यावहारिक पक्ष के बारे में बात करें।

पहले भाग का अंत।

फ़ोटो @lucabravo.

स्रोत: www.habr.com