सोफियागवर्ल्ड द्वारा खोया गया

इस आलेख में इंजीनियरों को बड़े पैमाने पर सेवाओं के साथ काम करने में मदद करने के लिए कुछ सामान्य पैटर्न शामिल हैं, जिन तक लाखों उपयोगकर्ता पहुंचते हैं। 

लेखक के अनुभव में, यह एक विस्तृत सूची नहीं है, लेकिन वास्तव में है प्रभावी सलाह. तो, चलिए शुरू करते हैं।

समर्थन के साथ अनुवादित Mail.ru क्लाउड सॉल्यूशंस.

प्रथम स्तर

नीचे सूचीबद्ध उपाय लागू करने में अपेक्षाकृत सरल हैं लेकिन इनका प्रभाव अधिक है। यदि आपने उन्हें पहले नहीं आज़माया है, तो आप महत्वपूर्ण सुधारों से आश्चर्यचकित होंगे।

कोड के रूप में बुनियादी ढांचा

सलाह का पहला भाग बुनियादी ढांचे को कोड के रूप में लागू करना है। इसका मतलब यह है कि आपके पास संपूर्ण बुनियादी ढांचे को तैनात करने का एक प्रोग्रामेटिक तरीका होना चाहिए। यह जटिल लगता है, लेकिन हम वास्तव में निम्नलिखित कोड के बारे में बात कर रहे हैं:

100 वर्चुअल मशीनों की तैनाती

• उबंटू के साथ
• प्रत्येक में 2 जीबी रैम
• उनके पास निम्नलिखित कोड होगा
• इन मापदंडों के साथ

आप अपने बुनियादी ढांचे में परिवर्तनों को ट्रैक कर सकते हैं और संस्करण नियंत्रण का उपयोग करके तुरंत उन पर वापस लौट सकते हैं।

मेरे अंदर का आधुनिकतावादी कहता है कि आप उपरोक्त सभी कार्य करने के लिए कुबेरनेट्स/डॉकर का उपयोग कर सकते हैं, और वह सही है।

इसके अलावा, आप शेफ, पपेट या टेराफॉर्म का उपयोग करके स्वचालन प्रदान कर सकते हैं।

सतत एकीकरण और वितरण

एक स्केलेबल सेवा बनाने के लिए, प्रत्येक पुल अनुरोध के लिए एक निर्माण और परीक्षण पाइपलाइन होना महत्वपूर्ण है। भले ही परीक्षण बहुत सरल हो, यह कम से कम यह सुनिश्चित करेगा कि आपके द्वारा तैनात कोड संकलित हो।

हर बार इस चरण में आप प्रश्न का उत्तर देते हैं: क्या मेरी असेंबली संकलित करेगी और परीक्षण पास करेगी, क्या यह वैध है? यह एक कम बार की तरह लग सकता है, लेकिन यह बहुत सारी समस्याओं का समाधान करता है।

इन टिकों को देखने से ज्यादा खूबसूरत कुछ भी नहीं है

इस तकनीक के लिए आप Github, CircleCI या जेनकिंस का मूल्यांकन कर सकते हैं।

लोड बैलेंसर्स

इसलिए, हम ट्रैफ़िक को पुनर्निर्देशित करने और सभी नोड्स पर समान लोड सुनिश्चित करने के लिए एक लोड बैलेंसर चलाना चाहते हैं या विफलता की स्थिति में सेवा जारी रहेगी:

एक लोड बैलेंसर आमतौर पर ट्रैफ़िक को वितरित करने का अच्छा काम करता है। सबसे अच्छा अभ्यास अतिसंतुलन करना है ताकि आपके पास विफलता का एक भी बिंदु न हो।

आमतौर पर, लोड बैलेंसर आपके द्वारा उपयोग किए जाने वाले क्लाउड में कॉन्फ़िगर किए जाते हैं।

अनुरोधों के लिए RayID, सहसंबंध आईडी या UUID

क्या आपने कभी इस तरह के संदेश के साथ किसी एप्लिकेशन त्रुटि का सामना किया है: "कुछ गलत हो गया। इस आईडी को सहेजें और इसे हमारी सहायता टीम को भेजें"?

एक विशिष्ट पहचानकर्ता, सहसंबंध आईडी, रेआईडी, या कोई भी विविधता, एक अद्वितीय पहचानकर्ता है जो आपको उसके पूरे जीवनचक्र में एक अनुरोध को ट्रैक करने की अनुमति देता है। यह आपको लॉग में संपूर्ण अनुरोध पथ को ट्रैक करने की अनुमति देता है।

उपयोगकर्ता सिस्टम ए से अनुरोध करता है, फिर ए संपर्क बी से करता है, जो सी से संपर्क करता है, इसे एक्स में संग्रहीत करता है, और फिर अनुरोध ए को वापस कर दिया जाता है।

यदि आप दूरस्थ रूप से वर्चुअल मशीनों से कनेक्ट होते हैं और अनुरोध पथ का पता लगाने का प्रयास करते हैं (और मैन्युअल रूप से सहसंबंधित करते हैं कि कौन सी कॉल की जा रही हैं), तो आप पागल हो जाएंगे। एक विशिष्ट पहचानकर्ता होने से जीवन बहुत आसान हो जाता है। यह सबसे सरल चीज़ों में से एक है जिसे आप अपनी सेवा बढ़ने के साथ-साथ समय बचाने के लिए कर सकते हैं।

मध्यवर्ती स्तर

यहां सलाह पिछले सलाह की तुलना में अधिक जटिल है, लेकिन सही उपकरण कार्य को आसान बनाते हैं, छोटी और मध्यम आकार की कंपनियों के लिए भी निवेश पर रिटर्न प्रदान करते हैं।

केंद्रीकृत लॉगिंग

बधाई हो! आपने 100 वर्चुअल मशीनें तैनात की हैं। अगले दिन, सीईओ आता है और सेवा का परीक्षण करते समय प्राप्त एक त्रुटि के बारे में शिकायत करता है। यह उसी आईडी की रिपोर्ट करता है जिसके बारे में हमने ऊपर बात की थी, लेकिन दुर्घटना का कारण बनने वाली आईडी का पता लगाने के लिए आपको 100 मशीनों के लॉग को देखना होगा। और इसे कल की प्रस्तुति से पहले ढूंढना होगा।

हालाँकि यह एक मज़ेदार साहसिक कार्य जैसा लगता है, यह सुनिश्चित करना सबसे अच्छा है कि आपके पास सभी पत्रिकाओं को एक ही स्थान पर खोजने की क्षमता हो। मैंने ईएलके स्टैक की अंतर्निहित कार्यक्षमता का उपयोग करके लॉग को केंद्रीकृत करने की समस्या हल की: यह खोजने योग्य लॉग संग्रह का समर्थन करता है। यह वास्तव में किसी विशिष्ट पत्रिका को खोजने की समस्या को हल करने में मदद करेगा। बोनस के रूप में, आप चार्ट और उस जैसी अन्य मज़ेदार चीज़ें बना सकते हैं।

ईएलके स्टैक कार्यक्षमता

निगरानी एजेंट

अब जब आपकी सेवा चालू है और चल रही है, तो आपको यह सुनिश्चित करना होगा कि यह सुचारू रूप से चले। ऐसा करने का सबसे अच्छा तरीका कई को चलाना है एजेंट, जो समानांतर में काम करते हैं और जांचते हैं कि यह काम करता है और बुनियादी संचालन किए जाते हैं।

इस बिंदु पर आप इसकी जांच करें रनिंग बिल्ड अच्छा लगता है और ठीक काम करता है.

छोटे से मध्यम आकार की परियोजनाओं के लिए, मैं एपीआई की निगरानी और दस्तावेज़ीकरण के लिए पोस्टमैन की अनुशंसा करता हूं। लेकिन सामान्य तौर पर, आप बस यह सुनिश्चित करना चाहते हैं कि आपके पास यह जानने का एक तरीका हो कि कब आउटेज हुआ है और आपको समय पर सूचित किया जाए।

लोड के आधार पर ऑटोस्केलिंग

यह बहुत सरल है। यदि आपके पास वीएम सर्विसिंग अनुरोध है और यह 80% मेमोरी उपयोग के करीब पहुंच रहा है, तो आप या तो इसके संसाधन बढ़ा सकते हैं या क्लस्टर में अधिक वीएम जोड़ सकते हैं। लोड के तहत लोचदार शक्ति परिवर्तन के लिए इन परिचालनों का स्वचालित निष्पादन उत्कृष्ट है। लेकिन आपको हमेशा इस बात से सावधान रहना चाहिए कि आप कितना पैसा खर्च करते हैं और उचित सीमाएँ निर्धारित करें।

अधिकांश क्लाउड सेवाओं के साथ, आप इसे अधिक सर्वर या अधिक शक्तिशाली सर्वर का उपयोग करके ऑटोस्केल में कॉन्फ़िगर कर सकते हैं।

प्रयोग प्रणाली

अपडेट को सुरक्षित रूप से रोल आउट करने का एक अच्छा तरीका एक घंटे के लिए 1% उपयोगकर्ताओं के लिए किसी चीज़ का परीक्षण करने में सक्षम होना है। निःसंदेह, आपने ऐसे तंत्रों को क्रियान्वित होते देखा होगा। उदाहरण के लिए, फेसबुक दर्शकों के कुछ हिस्सों को एक अलग रंग दिखाता है या यह देखने के लिए फ़ॉन्ट आकार बदलता है कि उपयोगकर्ता परिवर्तनों को कैसे समझते हैं। इसे ए/बी परीक्षण कहा जाता है।

यहां तक ​​कि एक नई सुविधा को जारी करना भी एक प्रयोग के रूप में शुरू किया जा सकता है और फिर यह निर्धारित किया जा सकता है कि इसे कैसे जारी किया जाए। आपको उस फ़ंक्शन के आधार पर तुरंत "याद रखने" या कॉन्फ़िगरेशन को बदलने की क्षमता भी मिलती है जो आपकी सेवा में गिरावट का कारण बन रही है।

उन्नत स्तर

यहां ऐसी युक्तियां दी गई हैं जिन्हें लागू करना काफी कठिन है। आपको संभवतः थोड़े अधिक संसाधनों की आवश्यकता होगी, इसलिए एक छोटी या मध्यम आकार की कंपनी को इसे प्रबंधित करने में कठिनाई होगी।

नीली-हरी तैनाती

इसे मैं प्रकट होने का "एरलांग" तरीका कहता हूं। जब टेलीफोन कंपनियाँ सामने आईं तो एर्लांग का व्यापक रूप से उपयोग किया जाने लगा। टेलीफोन कॉल को रूट करने के लिए सॉफ्टस्विच का उपयोग किया जाने लगा। इन स्विचों पर सॉफ़्टवेयर का मुख्य उद्देश्य सिस्टम अपग्रेड के दौरान कॉल ड्रॉप न करना था। एर्लैंग के पास पिछले मॉड्यूल को क्रैश किए बिना नया मॉड्यूल लोड करने का एक अच्छा तरीका है।

यह चरण लोड बैलेंसर की उपस्थिति पर निर्भर करता है। आइए कल्पना करें कि आपके पास अपने सॉफ़्टवेयर का संस्करण N है, और फिर आप संस्करण N+1 को तैनात करना चाहते हैं। 

आप सकता है बस सेवा बंद करें और अगला संस्करण ऐसे समय पर जारी करें जो आपके उपयोगकर्ताओं के लिए काम करे और कुछ डाउनटाइम प्राप्त करें। लेकिन मान लीजिए आपके पास है वास्तव में सख्त एसएलए शर्तें। तो, SLA 99,99% का मतलब है कि आप ऑफ़लाइन जा सकते हैं केवल प्रति वर्ष 52 मिनट तक।

यदि आप वास्तव में ऐसे संकेतक हासिल करना चाहते हैं, तो आपको एक ही समय में दो तैनाती की आवश्यकता है: 

• वह जो अभी है (एन);
• अगला संस्करण (एन+1)। 

जब आप सक्रिय रूप से प्रतिगमन की निगरानी करते हैं तो आप लोड बैलेंसर को ट्रैफ़िक के एक प्रतिशत को नए संस्करण (एन+1) पर पुनर्निर्देशित करने के लिए कहते हैं।

यहां हमारे पास हरे रंग की एन तैनाती है जो ठीक काम करती है। हम इस परिनियोजन के अगले संस्करण पर जाने का प्रयास कर रहे हैं

पहले हम यह देखने के लिए एक बहुत छोटा परीक्षण भेजते हैं कि क्या हमारी N+1 तैनाती थोड़ी मात्रा में ट्रैफ़िक के साथ काम करती है:

अंत में, हमारे पास स्वचालित जांच का एक सेट है जिसे हम अंततः तब तक चलाते हैं जब तक कि हमारी तैनाती पूरी नहीं हो जाती। अगर आप बहुत बहुत सावधान, आप खराब प्रतिगमन के मामले में त्वरित रोलबैक के लिए अपनी एन तैनाती को हमेशा के लिए सहेज सकते हैं:

यदि आप और भी अधिक उन्नत स्तर पर जाना चाहते हैं, तो नीले-हरे परिनियोजन में सब कुछ स्वचालित रूप से चलने दें।

विसंगति का पता लगाना और स्वचालित शमन

यह देखते हुए कि आपके पास केंद्रीकृत लॉगिंग और अच्छा लॉग संग्रह है, आप पहले से ही उच्च लक्ष्य निर्धारित कर सकते हैं। उदाहरण के लिए, सक्रिय रूप से विफलताओं की भविष्यवाणी करें। कार्यों को मॉनिटर और लॉग में ट्रैक किया जाता है और विभिन्न आरेख बनाए जाते हैं - और आप पहले से अनुमान लगा सकते हैं कि क्या गलत होगा:

एक बार विसंगतियों का पता चलने पर, आप सेवा द्वारा प्रदान किए गए कुछ सुरागों की जांच करना शुरू करते हैं। उदाहरण के लिए, सीपीयू लोड में बढ़ोतरी यह संकेत दे सकती है कि हार्ड ड्राइव विफल हो रही है, जबकि अनुरोधों में बढ़ोतरी यह संकेत दे सकती है कि आपको स्केल बढ़ाने की आवश्यकता है। इस प्रकार का सांख्यिकीय डेटा आपको सेवा को सक्रिय बनाने की अनुमति देता है।

इन जानकारियों के साथ, आप किसी भी आयाम में पैमाना बना सकते हैं और मशीनों, डेटाबेस, कनेक्शन और अन्य संसाधनों की विशेषताओं को सक्रिय और प्रतिक्रियाशील रूप से बदल सकते हैं।

वह सब है!

यदि आप क्लाउड सेवा बढ़ा रहे हैं तो प्राथमिकताओं की यह सूची आपको कई समस्याओं से बचाएगी।

मूल लेख के लेखक पाठकों को अपनी टिप्पणियाँ छोड़ने और परिवर्तन करने के लिए आमंत्रित करते हैं। लेख को लेखक द्वारा ओपन सोर्स, पुल अनुरोधों के रूप में वितरित किया गया है Github पर स्वीकार करता है.

विषय पर और क्या पढ़ें:

1. जाओ और सीपीयू कैश
2. कार्यान्वयन के लिए एक टेम्पलेट के साथ पायरेसी की भावना में कुबेरनेट्स
3. टेलीग्राम में हमारा चैनल अराउंड कुबेरनेट्स

स्रोत: www.habr.com