आईएसपीसिस्टम, क्षमा करें और अलविदा! हमने अपना सर्वर कंट्रोल पैनल क्यों और कैसे लिखा

नमस्ते! हम "होस्टिंग टेक्नोलॉजीज" हैं और 5 साल पहले लॉन्च हुए थे वीडीएसिना - डेवलपर्स के लिए विशेष रूप से बनाई गई पहली वीडीएस होस्टिंग। हम इसे DigitalOcean की तरह सुविधाजनक बनाने का प्रयास करते हैं, लेकिन रूसी समर्थन, भुगतान विधियों और रूस में सर्वर के साथ। लेकिन DigitalOcean केवल विश्वसनीयता और कीमत ही नहीं, बल्कि एक सेवा भी है।

आईएसपीसिस्टम का सॉफ्टवेयर एक ऐसी रस्सी साबित हुआ जिसने एक अच्छी सेवा के रास्ते में हमारे हाथ बांध दिए। तीन साल पहले, हमने बिलमैनेजर बिलिंग और वीएममैनेजर सर्वर कंट्रोल पैनल का उपयोग किया और तुरंत महसूस किया कि हमारे अपने कंट्रोल पैनल के बिना अच्छी सेवा प्रदान करना लगभग असंभव था।

कैसे ISPसिस्टम ने सुविधा को ख़त्म कर दिया

कीड़े

हम स्वयं बग को ठीक नहीं कर सके - हर बार हमें किसी और के समर्थन के लिए लिखना पड़ा और प्रतीक्षा करनी पड़ी। किसी भी समस्या के समाधान के लिए तीसरे पक्ष की कंपनी की प्रतिक्रिया की आवश्यकता होती है।

आईएसपीसिस्टम समर्थन ने सामान्य रूप से प्रतिक्रिया दी, लेकिन सुधार केवल कुछ रिलीज के बाद ही आए, और फिर हमेशा नहीं और सभी में नहीं। कभी-कभी गंभीर बगों को कई हफ्तों तक ठीक किया जाता था। हमें ग्राहकों को आश्वस्त करना पड़ा, माफी मांगनी पड़ी और बग को ठीक करने के लिए आईएसपीसिस्टम की प्रतीक्षा करनी पड़ी।

डाउनटाइम खतरा

अद्यतन अप्रत्याशित डाउनटाइम उत्पन्न कर सकते हैं जिससे नई त्रुटियां उत्पन्न हो सकती हैं।

प्रत्येक अपडेट एक लॉटरी थी: मुझे बिलिंग को कवर करना पड़ा और अपडेट के देवताओं के लिए बलिदान देना पड़ा - कुछ बार अपडेट के कारण 10-15 मिनट के लिए डाउनटाइम हुआ। इस समय हमारे व्यवस्थापक अपनी आँखों पर बैठे हुए थे - हम कभी नहीं जानते थे कि डाउनटाइम कितने समय तक चलेगा और यह अनुमान नहीं लगा सकते थे कि आईएसपीसिस्टम एक नया अपडेट जारी करने का निर्णय कब लेगा।

पांचवीं पीढ़ी में, बिलमैनेजर बेहतर हो गया, लेकिन आवश्यक सुविधाओं तक पहुंच पाने के लिए, मुझे एक बीटा इंस्टॉल करना पड़ा, जो पहले से ही हर हफ्ते अपडेट किया गया था। अगर कुछ टूट जाता है, तो मुझे अन्य डेवलपर्स को पहुंच देनी होगी ताकि वे कुछ ठीक कर सकें।

असुविधाजनक पैनल इंटरफ़ेस

हर चीज़ को अलग-अलग पैनलों में बाँट दिया गया और अलग-अलग जगहों से नियंत्रित किया गया। उदाहरण के लिए, ग्राहकों ने बिलमैनेजर के माध्यम से भुगतान किया, और उन्हें VMManager में VDS को रीबूट या पुनः इंस्टॉल करना पड़ा। हमारे स्टाफ को क्लाइंट की मदद करने, उसके सर्वर पर लोड की जांच करने, या यह देखने के लिए कि वह किस ओएस का उपयोग कर रहा है, विंडोज़ के बीच स्विच करना पड़ता था।

ऐसे इंटरफ़ेस में समय लगता है - हमारा और हमारे ग्राहकों दोनों का। ऐसे में DigitalOcean जैसी किसी सुविधा का सवाल ही नहीं उठता.

लगातार एपीआई अपडेट के साथ लघु जीवनचक्र

हमने अपने स्वयं के प्लगइन्स लिखे - उदाहरण के लिए, अतिरिक्त भुगतान विधियों वाला एक प्लगइन जो VMManager में नहीं है।

हाल के वर्षों में, VMManager का जीवन चक्र अपेक्षाकृत छोटा था, और नए संस्करणों में, एपीआई में चर या फ़ंक्शन के नाम मनमाने ढंग से बदल सकते थे - इससे हमारे प्लगइन्स टूट गए। पुराने संस्करणों के लिए समर्थन शीघ्रता से समाप्त कर दिया गया और उसे अद्यतन करना पड़ा।

संशोधित नहीं किया जा सकता

अधिक सटीक रूप से, यह संभव है, लेकिन अत्यंत अप्रभावी है। लाइसेंस प्रतिबंध आपको स्रोत कोड में परिवर्तन करने की अनुमति नहीं देते हैं, आप केवल प्लगइन्स लिख सकते हैं। अधिकतम प्लगइन्स - कुछ मेनू आइटम, एक चरण-दर-चरण विज़ार्ड। आईएसपीसिस्टम को बहुमुखी प्रतिभा के लिए डिज़ाइन किया गया है, लेकिन हमें विशेष समाधानों की आवश्यकता है।

इसलिए अपना स्वयं का पैनल लिखने का निर्णय उचित था। हमने लक्ष्य निर्धारित किये हैं:

• त्रुटियों, बगों पर तुरंत प्रतिक्रिया दें और ग्राहक को प्रतीक्षा कराए बिना उन्हें स्वयं ठीक करने में सक्षम हों।
• वर्कफ़्लो और क्लाइंट की ज़रूरतों के लिए इंटरफ़ेस को स्वतंत्र रूप से संशोधित करें।
• साफ़ और समझने योग्य डिज़ाइन के साथ उपयोगिता बढ़ाएँ।

और हमने विकास शुरू किया.

नया पैनल आर्किटेक्चर

हमारे पास एक आत्मनिर्भर विकास टीम है, इसलिए हमने स्वयं पैनल लिखा।
मुख्य कार्य तीन इंजीनियरों द्वारा किया गया था - तकनीकी निदेशक सर्गेई वास्तुकला के साथ आए और सर्वर एजेंट को लिखा, एलेक्सी ने बिलिंग की, और फ्रंट-एंड को हमारे फ्रंट-एंडर आर्टीश द्वारा इकट्ठा किया गया था।

चरण 1: सर्वर एजेंट

सर्वर एजेंट एक पायथन वेब सर्वर है जो लाइब्रेरी का प्रबंधन करता है libvirt, जो बदले में शासन करता है Qemu-kvm हाइपरवाइज़र.

एजेंट सर्वर पर सभी सेवाओं का प्रबंधन करता है: libvirt लाइब्रेरी के माध्यम से वीडीएस बनाना, रोकना, हटाना, ऑपरेटिंग सिस्टम स्थापित करना, पैरामीटर बदलना आदि। लेख के प्रकाशन के समय, ये चालीस से अधिक विभिन्न कार्य हैं, जिन्हें हम ग्राहक के कार्य और आवश्यकताओं के आधार पर पूरक करते हैं।

सिद्धांत रूप में, libvirt को सीधे बिलिंग से नियंत्रित किया जा सकता है, लेकिन इसके लिए बहुत अधिक अतिरिक्त कोड की आवश्यकता होती है और हमने एजेंट और बिलिंग के बीच इन कार्यों को अलग करने का निर्णय लिया है - बिलिंग केवल JSON API के माध्यम से एजेंट से अनुरोध करता है।

एजेंट पहला काम है जो हमने किया, क्योंकि इसके लिए किसी इंटरफ़ेस की आवश्यकता नहीं थी और सर्वर कंसोल से सीधे इसका परीक्षण करना संभव था।

सर्वर एजेंट ने हमें क्या दिया: एक परत सामने आई है जो सभी के लिए जीवन को सरल बनाती है - बिलिंग के लिए आदेशों का एक पूरा समूह भेजने की आवश्यकता नहीं होती है, बल्कि केवल एक अनुरोध करना होता है। और एजेंट वह सब कुछ करेगा जो आवश्यक है: उदाहरण के लिए, यह डिस्क स्थान और रैम आवंटित करेगा।

चरण 2. बिलिंग

हमारे डेवलपर एलेक्स के लिए, यह पहला नियंत्रण कक्ष नहीं था - एलेक्स लंबे समय से होस्टिंग में है, इसलिए वह आम तौर पर समझता था कि क्लाइंट को क्या चाहिए और होस्टर को क्या चाहिए।

हम आपस में बिलिंग को "नियंत्रण कक्ष" कहते हैं: इसमें न केवल पैसा और सेवाएँ शामिल हैं, बल्कि उनका प्रबंधन, ग्राहक सहायता और भी बहुत कुछ शामिल है।

ISPSystem सॉफ़्टवेयर से स्विच करने के लिए, ग्राहकों के लिए पिछली कार्यक्षमता को पूरी तरह से संरक्षित करना, उपयोगकर्ताओं की सभी वित्तीय गतिविधियों को पुरानी बिलिंग से नई बिलिंग में स्थानांतरित करना, साथ ही उनके बीच सभी सेवाओं और कनेक्शनों को स्थानांतरित करना आवश्यक था। हमने अध्ययन किया कि वर्तमान उत्पाद में क्या है, फिर प्रतिस्पर्धियों के समाधान, मुख्य रूप से डीओ और वल्चर। हमने नुकसान और फायदे को देखा, आईएसपीसिस्टम के पुराने उत्पादों के साथ काम करने वाले लोगों से प्रतिक्रिया एकत्र की।

नई बिलिंग में दो स्टैक का उपयोग किया गया: क्लासिक PHP, MySQL (और भविष्य में इसे PostgreSQL पर स्विच करने की योजना है), बैकएंड पर एक फ्रेमवर्क के रूप में Yii2 और सामने VueJS। स्टैक एक-दूसरे से स्वतंत्र रूप से काम करते हैं, अलग-अलग लोगों द्वारा विकसित किए जाते हैं, और JSON API का उपयोग करके संचार करते हैं। विकास के लिए हम तब और अब का उपयोग करते हैं पीएचपीस्टॉर्म и वेबस्टॉर्म JetBrains से और उन्हें बहुत प्यार करता हूँ (हे दोस्तों!)

पैनल को मॉड्यूलर आधार पर डिज़ाइन किया गया है: भुगतान प्रणाली मॉड्यूल, डोमेन रजिस्ट्रार मॉड्यूल या, उदाहरण के लिए, एक एसएसएल प्रमाणपत्र मॉड्यूल। आप आसानी से कोई नई सुविधा जोड़ सकते हैं या पुरानी सुविधा हटा सकते हैं। विस्तार की नींव वास्तुशिल्प रूप से रखी गई है, जिसमें विपरीत दिशा, "हार्डवेयर की ओर" भी शामिल है।

हमें क्या मिला: एक नियंत्रण कक्ष जिस पर हमारा पूर्ण नियंत्रण होता है। अब बग्स को हफ्तों में नहीं, बल्कि घंटों में ठीक किया जाता है और नई सुविधाएँ ग्राहकों के अनुरोध पर लागू की जाती हैं, न कि ISPSystem के अनुरोध पर।

चरण 3 इंटरफ़ेस

इंटरफ़ेस हमारी टीम के दिमाग की उपज है।

सबसे पहले, हमने देखा कि यदि हम इंटरफ़ेस में मौलिक रूप से कुछ भी बदलाव किए बिना आईएसपीसिस्टम एपीआई पर एक ऐड-ऑन बनाते हैं तो क्या होगा। यह वैसा ही निकला और हमने सब कुछ नए सिरे से करने का निर्णय लिया।

हमारा मानना ​​था कि मुख्य बात यह है कि इंटरफ़ेस को स्वच्छ और न्यूनतर डिज़ाइन के साथ तार्किक बनाया जाए, और फिर हमें एक सुंदर पैनल मिलेगा। मेगाप्लान में तत्वों के स्थान पर चर्चा की गई और उपयोगकर्ता अब नियंत्रण कक्ष में जो इंटरफ़ेस देखते हैं वह धीरे-धीरे पैदा होगा।

बिलिंग पेज का डिज़ाइन सबसे पहले सामने आया, क्योंकि हमने पहले ही आईएसपीसिस्टम के लिए भुगतान प्लगइन बना लिया है।

फ़्रंट एंड

उन्होंने पैनल को एक एसपीए एप्लिकेशन बनाने का निर्णय लिया - संसाधनों की कोई मांग नहीं और तेज़ डेटा लोडिंग के साथ। हमारे फ्रंट-एंडर आर्टीश ने इसे Vue पर लिखने का निर्णय लिया - उस समय Vue अभी-अभी सामने आया था। हमने मान लिया था कि ढांचा गतिशील रूप से विकसित होगा, रिएक्ट की तरह, कुछ समय बाद Vue समुदाय बढ़ेगा और पुस्तकालयों का एक समुद्र दिखाई देगा। हमने Vue पर दांव लगाया और इसे पछतावा नहीं हुआ - अब फ्रंट में नए फ़ंक्शन जोड़ने में बहुत कम समय लगता है जो पहले से ही बैक एंड पर प्रोग्राम किए जा चुके हैं। हम आपको एक अलग लेख में फ्रंट-एंड पैनल के बारे में अधिक बताएंगे।

फ्रंटएंड को बैकएंड से कनेक्ट करना

फ्रंटएंड को पुश नोटिफिकेशन के माध्यम से बैकएंड से जोड़ा गया था। मुझे कड़ी मेहनत करनी पड़ी और अपना हैंडलर लिखना पड़ा, लेकिन अब पेज पर जानकारी लगभग तुरंत अपडेट हो जाती है।

क्या हुआ: पैनल इंटरफ़ेस सरल हो गया है. हमने इसे अनुकूली बनाया है, और तेज़ लोडिंग आपको पैनल के साथ काम करने के लिए एक अलग एप्लिकेशन इंस्टॉल किए बिना, टेकऑफ़ से पहले आखिरी मिनटों में मोबाइल फोन से भी इसका उपयोग करने की अनुमति देती है।

चरण 4. परीक्षण और प्रवासन योजना

जब सब कुछ शुरू हुआ और पहला परीक्षण पास हो गया, तो प्रवासन का सवाल उठा। सबसे पहले, हमने बिलिंग स्थापित की और सर्वर एजेंट के साथ इसके संचालन का परीक्षण शुरू किया।

फिर हमने एक सरल स्क्रिप्ट लिखी जो डेटाबेस को पुरानी बिलिंग से नई बिलिंग में स्थानांतरित करती है।

मुझे वस्तुतः हर चीज़ का परीक्षण और पुनः जाँच करनी पड़ी, क्योंकि डेटा को तीन पुराने डेटाबेस से एक नए डेटाबेस में मिला दिया गया था: बिलमैनेजर, वीएममैनेजर और मैनेजर का आईपीमैनेजर। शायद नए पैनल को विकसित करने की प्रक्रिया में परीक्षण माइग्रेशन सबसे कठिन चीज़ है जिसका हमें सामना करना पड़ा।

दोबारा जांच के बाद हमने पुरानी बिलिंग बंद कर दी। अंतिम डेटा माइग्रेशन एक बहुत ही परेशान करने वाला क्षण था, लेकिन, भगवान का शुक्र है, यह कुछ ही मिनटों में और बिना किसी ध्यान देने योग्य समस्या के पूरा हो गया। कुछ छोटी-मोटी गड़बड़ियाँ थीं जिन्हें हमने सप्ताह के दौरान ठीक कर दिया। अधिकांश समय यह परीक्षण करने में व्यतीत हुआ कि क्या हुआ।

फिर हमने ग्राहकों को नए पैनल और बिलिंग के पते के साथ पत्र भेजे और रीडायरेक्ट किया।

एक परिणाम के रूप में: यह जीवित है!

सुखांत

हमारे सॉफ़्टवेयर के काम के पहले घंटों से, हमने परिवर्तन के सभी आनंद को महसूस किया। कोड पूरी तरह से हमारा था और एक सुविधाजनक आर्किटेक्चर के साथ था, और इंटरफ़ेस साफ़ और तार्किक था।

नए पैनल के लॉन्च के बाद पहली समीक्षा

हमने नए साल 2017 की पूर्व संध्या पर दिसंबर में ट्रांज़िशन प्रक्रिया शुरू की, जब लोड सबसे कम था, ताकि ग्राहकों के लिए ट्रांज़िशन आसान हो सके - छुट्टियों की पूर्व संध्या पर लगभग कोई भी काम नहीं करता है।

हमारे सिस्टम पर स्विच करते समय (सामान्य विश्वसनीयता और सुविधा के अलावा) जो मुख्य चीज़ हमें मिली, वह प्रमुख ग्राहकों के लिए कार्यक्षमता को जल्दी से जोड़ने की क्षमता है - उनका चेहरा बनना, न कि उनका गधा।

आगे क्या है?

हम बढ़ रहे हैं, डेटा, ग्राहक, ग्राहक डेटा की मात्रा बढ़ रही है। मुझे बैकएंड में अलग-अलग कार्यों के साथ एक मेम्केच्ड सर्वर और दो कतार प्रबंधकों को जोड़ना पड़ा। फ्रंटएंड में कैशिंग और उसकी अपनी कतारें हैं।

बेशक, हमारे पास अभी भी रोमांच था क्योंकि उत्पाद विकसित हुआ और अधिक जटिल हो गया, उदाहरण के लिए जब हमने हाईलोड जोड़ा।

अगले लेख में, हम आपको बताएंगे कि हाई-सीपीयू टैरिफ कैसे लॉन्च किया गया: हार्डवेयर, सॉफ्टवेयर के बारे में, हमने कौन से कार्य हल किए और हमने क्या किया।

स्रोत: www.habr.com