Yandex.Cloud आभासी खाजगी क्लाउडसह कसे कार्य करते आणि आमचे वापरकर्ते आम्हाला उपयुक्त वैशिष्ट्ये लागू करण्यात कशी मदत करतात

हॅलो, माझे नाव कोस्त्या क्रॅमलिख आहे, मी Yandex.Cloud मधील व्हर्च्युअल प्रायव्हेट क्लाउड विभागाचा प्रमुख विकासक आहे. मी व्हर्च्युअल नेटवर्कर आहे, आणि तुम्ही अंदाज लावू शकता, या लेखात मी सर्वसाधारणपणे व्हर्च्युअल प्रायव्हेट क्लाउड (व्हीपीसी) डिव्हाइस आणि विशेषतः व्हर्च्युअल नेटवर्कबद्दल बोलणार आहे. आणि आम्ही, सेवेचे विकासक, आमच्या वापरकर्त्यांच्या अभिप्रायाला महत्त्व का देतो हे देखील तुम्हाला कळेल. पण प्रथम गोष्टी प्रथम.

VPC म्हणजे काय?

आजकाल, सेवा उपयोजित करण्यासाठी विविध पर्याय आहेत. मला खात्री आहे की कोणीतरी अद्याप प्रशासकाच्या डेस्कखाली सर्व्हर ठेवतो, जरी मला आशा आहे की अशा कथा कमी असतील.

आता सेवा सार्वजनिक ढगांवर जाण्याचा प्रयत्न करीत आहेत आणि येथेच ते व्हीपीसीशी टक्कर देतात. VPC सार्वजनिक क्लाउडचा एक भाग आहे जो वापरकर्ता, पायाभूत सुविधा, प्लॅटफॉर्म आणि इतर क्षमतांना एकत्र बांधतो, ते कुठेही असतील, आमच्या क्लाउडमध्ये किंवा त्याच्या बाहेर. त्याच वेळी, व्हीपीसी तुम्हाला या क्षमतांना अनावश्यकपणे इंटरनेटवर उघड न करण्याची परवानगी देते, त्या तुमच्या वेगळ्या नेटवर्कमध्ये राहतात.

आभासी नेटवर्क बाहेरून कसे दिसते?

व्हीपीसी द्वारे, आमचा मुख्य अर्थ आच्छादन नेटवर्क आणि नेटवर्क सेवा, जसे की VPNaaS, NATaas, LBaas, इ. आणि हे सर्व दोष-सहिष्णु नेटवर्क इन्फ्रास्ट्रक्चरच्या शीर्षस्थानी कार्य करते, जे आधीपासून आहे. उत्तम लेख येथे, Habré वर.

चला व्हर्च्युअल नेटवर्क आणि त्याचे डिव्हाइस जवळून पाहू.

दोन उपलब्धता क्षेत्रांचा विचार करा. आम्ही एक आभासी नेटवर्क प्रदान करतो - ज्याला आम्ही VPC म्हणतो. खरं तर, ते आपल्या "राखाडी" पत्त्यांच्या विशिष्टतेची जागा परिभाषित करते. प्रत्येक व्हर्च्युअल नेटवर्कमध्‍ये, तुमच्‍या पत्‍त्‍यांच्या जागेवर पूर्ण नियंत्रण असते जे तुम्ही संसाधनांची गणना करण्यासाठी नियुक्त करू शकता.

नेटवर्क जागतिक आहे. त्याच वेळी, ते प्रत्येक उपलब्धता झोनवर सबनेट नावाच्या घटकाच्या रूपात प्रक्षेपित केले जाते. प्रत्येक सबनेटसाठी, तुम्ही 16 किंवा त्यापेक्षा कमी आकाराचा CIDR नियुक्त करता. प्रत्येक उपलब्धता झोनमध्ये अशा एकापेक्षा जास्त घटक असू शकतात आणि त्यांच्यामध्ये नेहमीच पारदर्शक राउटिंग असते. याचा अर्थ असा की एकाच VPC मधील तुमची सर्व संसाधने एकमेकांशी "बोलू" शकतात, जरी ते भिन्न उपलब्धता झोनमध्ये असले तरीही. इंटरनेटवर प्रवेश न करता, आमच्या अंतर्गत चॅनेलद्वारे "संवाद" करा, "विचार करा" की ते समान खाजगी नेटवर्कमध्ये आहेत.

वरील आकृती एक सामान्य परिस्थिती दर्शवते: दोन VPC जे पत्त्यांमध्ये कुठेतरी छेदतात. दोन्ही आपले असू शकतात. उदाहरणार्थ, एक विकासासाठी, दुसरा चाचणीसाठी. तेथे फक्त भिन्न वापरकर्ते असू शकतात - या प्रकरणात काही फरक पडत नाही. आणि प्रत्येक VPC मध्ये एक आभासी मशीन प्लग इन केले आहे.

योजना आणखी वाईट करू. तुम्ही ते बनवू शकता जेणेकरून एक व्हर्च्युअल मशीन एकाच वेळी अनेक सबनेटमध्ये अडकले असेल. आणि फक्त असेच नाही तर वेगवेगळ्या आभासी नेटवर्कमध्ये.

त्याच वेळी, जर तुम्हाला मशीन इंटरनेटवर उघड करायची असेल, तर हे API किंवा UI द्वारे केले जाऊ शकते. हे करण्यासाठी, तुम्हाला तुमच्या “राखाडी”, अंतर्गत पत्त्याचे NAT भाषांतर “पांढरा” - सार्वजनिक करण्यासाठी कॉन्फिगर करणे आवश्यक आहे. तुम्ही "पांढरा" पत्ता निवडू शकत नाही, तो आमच्या पत्त्यांच्या पूलमधून यादृच्छिकपणे नियुक्त केला जातो. तुम्ही बाह्य आयपी वापरणे थांबवताच, ते पूलमध्ये परत केले जाईल. तुम्ही फक्त "पांढरा" पत्ता वापरण्याच्या वेळेसाठी पैसे द्या.

NAT उदाहरण वापरून मशीनला इंटरनेटवर प्रवेश देणे देखील शक्य आहे. तुम्ही स्टॅटिक राउटिंग टेबलद्वारे ट्रॅफिकला एका उदाहरणावर रूट करू शकता. आम्ही अशी केस प्रदान केली आहे, कारण वापरकर्त्यांना कधीकधी याची आवश्यकता असते आणि आम्हाला त्याबद्दल माहिती असते. त्यानुसार, आमच्या प्रतिमा कॅटलॉगमध्ये विशेष कॉन्फिगर केलेली NAT प्रतिमा आहे.

पण तयार NAT प्रतिमा असतानाही, सेटअप अवघड असू शकतो. आम्हाला समजले की काही वापरकर्त्यांसाठी हा सर्वात सोयीचा पर्याय नाही, म्हणून शेवटी आम्ही एका क्लिकवर इच्छित सबनेटसाठी NAT सक्षम करणे शक्य केले. हे वैशिष्ट्य अद्याप बंद पूर्वावलोकन प्रवेशामध्ये आहे, जेथे समुदाय सदस्यांच्या मदतीने त्याची चाचणी केली जाते.

व्हर्च्युअल नेटवर्क आतून कसे व्यवस्थित केले जाते

वापरकर्ता आभासी नेटवर्कशी कसा संवाद साधतो? वेब त्याच्या API सह बाह्य दिसते. वापरकर्ता API वर येतो आणि लक्ष्य स्थितीसह कार्य करतो. API द्वारे, वापरकर्ता सर्वकाही कसे व्यवस्थित आणि कॉन्फिगर केले पाहिजे हे पाहतो, तर तो स्थिती पाहतो, वास्तविक स्थिती इच्छित स्थितीपेक्षा किती वेगळी आहे. हे वापरकर्त्याचे चित्र आहे. आत काय चालले आहे?

आम्ही Yandex Database वर इच्छित स्थिती लिहितो आणि आमच्या VPC चे वेगवेगळे भाग कॉन्फिगर करण्यासाठी जातो. Yandex.Cloud मधील आच्छादन नेटवर्क OpenContrail च्या निवडलेल्या घटकांवर आधारित आहे, ज्याला अलीकडे टंगस्टन फॅब्रिक म्हणतात. नेटवर्क सेवा एकाच क्लाउडगेट प्लॅटफॉर्मवर लागू केल्या जातात. क्लाउडगेटमध्ये, आम्ही अनेक मुक्त स्रोत घटक देखील वापरले: GoBGP - नियंत्रण माहिती, तसेच VPP - डेटा मार्गासाठी DPDK च्या वर चालणारे सॉफ्टवेअर राउटर लागू करण्यासाठी.

टंगस्टन फॅब्रिक क्लाउडगेटशी GoBGP द्वारे संप्रेषण करते. ओव्हरले नेटवर्कमध्ये काय चालले आहे ते सांगते. क्लाउडगेट, यामधून, आच्छादन नेटवर्क एकमेकांशी आणि इंटरनेटशी कनेक्ट करते.

आता व्हर्च्युअल नेटवर्क स्केलिंग आणि उपलब्धतेच्या समस्या कशा सोडवते ते पाहू. चला एका साध्या केसचा विचार करूया. एक उपलब्धता क्षेत्र आहे आणि त्यात दोन व्हीपीसी तयार केले आहेत. आम्ही एक टंगस्टन फॅब्रिक उदाहरण तैनात केले आहे आणि ते अनेक हजारो नेटवर्क्स खेचते. नेटवर्क क्लाउडगेटसह संप्रेषण करतात. क्लाउडगेट, जसे आम्ही आधीच सांगितले आहे, त्यांची एकमेकांशी आणि इंटरनेटशी कनेक्टिव्हिटी सुनिश्चित करते.

समजा दुसरा उपलब्धता झोन जोडला आहे. ते पहिल्यापासून पूर्णपणे स्वतंत्रपणे अयशस्वी झाले पाहिजे. म्हणून, दुसऱ्या उपलब्धता झोनमध्ये, आम्ही स्वतंत्र टंगस्टन फॅब्रिक उदाहरण स्थापित करणे आवश्यक आहे. ही एक वेगळी प्रणाली असेल जी आच्छादनाशी संबंधित असेल आणि पहिल्या प्रणालीबद्दल थोडेसे माहिती असेल. आणि आमचे व्हर्च्युअल नेटवर्क जागतिक आहे ही दृश्यमानता, खरं तर, आमचे VPC API तयार करते. हे त्याचे कार्य आहे.

जर उपलब्धता झोन B मध्ये संसाधने असतील जी VPC1 वर ढकलली गेली असतील तर VPC1 ला Availability Zone B वर मॅप केले जाते. उपलब्धता झोन B मध्ये VPC2 कडून कोणतेही संसाधन नसल्यास, आम्ही या झोनमध्ये VPC2 प्रत्यक्षात आणणार नाही. या बदल्यात, VPC3 मधील संसाधने फक्त झोन B मध्ये अस्तित्वात असल्याने, VPC3 झोन A मध्ये अस्तित्वात नाही. सर्व काही सोपे आणि तार्किक आहे.

चला थोडं खोलवर जाऊ आणि Y.Cloud मधील विशिष्ट होस्ट कसे कार्य करते ते पाहू. मुख्य गोष्ट जी मला लक्षात ठेवायची आहे ती म्हणजे सर्व यजमानांची व्यवस्था त्याच प्रकारे केली जाते. आम्ही ते तयार करतो जेणेकरून फक्त आवश्यक किमान सेवा हार्डवेअरवर चालतात, बाकीच्या सर्व आभासी मशीनवर चालतात. आम्ही मूलभूत पायाभूत सेवांवर आधारित उच्च-ऑर्डर सेवा तयार करतो आणि काही अभियांत्रिकी समस्यांचे निराकरण करण्यासाठी क्लाउडचा देखील वापर करतो, उदाहरणार्थ, सतत एकत्रीकरणाच्या चौकटीत.

जर आपण एखाद्या विशिष्ट होस्टकडे पाहिले तर आपण पाहू शकतो की होस्ट OS वर तीन घटक कार्यरत आहेत:

• गणना - होस्टवरील संगणकीय संसाधनांच्या वितरणासाठी जबाबदार भाग.
• VRouter हा टंगस्टन फॅब्रिकचा एक भाग आहे जो आच्छादन आयोजित करतो, म्हणजेच ते अंडरलेद्वारे पॅकेट्स टनेल करते.
• VDisks स्टोरेज वर्च्युअलायझेशनचे भाग आहेत.

याव्यतिरिक्त, व्हर्च्युअल मशीनमध्ये सेवा सुरू केल्या जातात: क्लाउड इन्फ्रास्ट्रक्चर सेवा, प्लॅटफॉर्म सेवा आणि ग्राहक क्षमता. ग्राहक क्षमता आणि प्लॅटफॉर्म सेवा नेहमी VRouter द्वारे आच्छादनावर जातात.

पायाभूत सेवा आच्छादनामध्ये चिकटून राहू शकतात, परंतु मुळात त्यांना अंडरलेमध्ये काम करायचे आहे. ते SR-IOV च्या मदतीने अंडरलेमध्ये अडकले आहेत. खरं तर, आम्ही कार्ड व्हर्च्युअल नेटवर्क कार्ड्समध्ये (व्हर्च्युअल फंक्शन्स) कापतो आणि त्यांना इन्फ्रास्ट्रक्चर व्हर्च्युअल मशीनमध्ये ढकलतो जेणेकरून कार्यक्षमता गमावू नये. उदाहरणार्थ, तेच क्लाउडगेट या इन्फ्रास्ट्रक्चर व्हर्च्युअल मशीनपैकी एक म्हणून लॉन्च केले आहे.

आता आम्ही व्हर्च्युअल नेटवर्कची जागतिक कार्ये आणि क्लाउडच्या मूलभूत घटकांच्या संरचनेचे वर्णन केले आहे, चला व्हर्च्युअल नेटवर्कचे विविध भाग एकमेकांशी कसे संवाद साधतात ते पाहू या.

आम्ही आमच्या सिस्टममध्ये तीन स्तर वेगळे करतो:

• कॉन्फिग प्लेन - सिस्टमची लक्ष्य स्थिती सेट करते. हे वापरकर्ता API द्वारे कॉन्फिगर करतो.
• कंट्रोल प्लेन - वापरकर्ता-परिभाषित शब्दार्थ प्रदान करते, म्हणजे, कॉन्फिग प्लेनमध्ये वापरकर्त्याने वर्णन केलेल्या डेटा प्लेन स्थितीवर आणते.
• डेटा प्लेन - थेट वापरकर्त्याच्या पॅकेटवर प्रक्रिया करते.

मी वर म्हटल्याप्रमाणे, हे सर्व या वस्तुस्थितीपासून सुरू होते की वापरकर्ता किंवा अंतर्गत प्लॅटफॉर्म सेवा API वर येते आणि विशिष्ट लक्ष्य स्थितीचे वर्णन करते.

ही स्थिती ताबडतोब Yandex डेटाबेसवर लिहिली जाते, API द्वारे असिंक्रोनस ऑपरेशन आयडी परत करते आणि वापरकर्त्याला हवी असलेली स्थिती परत करण्यासाठी आमची अंतर्गत यंत्रणा सुरू करते. कॉन्फिगरेशन कार्ये SDN कंट्रोलरकडे जातात आणि आच्छादनामध्ये काय करायचे ते टंगस्टन फॅब्रिकला सांगतात. उदाहरणार्थ, ते पोर्ट, व्हर्च्युअल नेटवर्क आणि यासारखे आरक्षित करतात.

टंगस्टन फॅब्रिकमधील कॉन्फिग प्लेन आवश्यक स्थिती कंट्रोल प्लेनला पाठवते. त्याद्वारे, कॉन्फिग प्लेन यजमानांशी संवाद साधतो आणि लवकरच त्यांच्यावर नेमके काय फिरणार आहे हे सांगतो.

आता यजमानांवर सिस्टम कशी दिसते ते पाहू. व्हर्च्युअल मशीनमध्ये नेटवर्क अडॅप्टर VRouter मध्ये प्लग केलेले आहे. VRouter हे एक कोर टंगस्टन फॅब्रिक मॉड्यूल आहे जे पॅकेट्स पाहते. काही पॅकेजसाठी आधीच प्रवाह असल्यास, मॉड्यूल त्यावर प्रक्रिया करते. प्रवाह नसल्यास, मॉड्यूल तथाकथित पंटिंग करते, म्हणजेच ते युजरमोड प्रक्रियेस एक पॅकेट पाठवते. प्रक्रिया पॅकेटचे विश्लेषण करते आणि एकतर त्याला स्वतः प्रतिसाद देते, जसे की DHCP आणि DNS, किंवा VRouter ला त्याचे काय करायचे ते सांगते. त्यानंतर, VRouter पॅकेटवर प्रक्रिया करू शकते.

पुढे, समान व्हर्च्युअल नेटवर्कमधील व्हर्च्युअल मशीनमधील रहदारी पारदर्शकपणे जाते, ती क्लाउडगेटकडे निर्देशित केली जात नाही. व्हर्च्युअल मशीन्स ज्या होस्टवर तैनात आहेत ते एकमेकांशी थेट संवाद साधतात. ते रहदारीला बोगदा करतात आणि अंडरलेमधून एकमेकांसाठी पुढे करतात.

नियंत्रण विमाने BGP द्वारे उपलब्धता झोन दरम्यान एकमेकांशी संवाद साधतात, दुसऱ्या राउटरप्रमाणे. ते सांगतात की कोणती मशीन कुठे सुरू आहे जेणेकरून एका झोनमधील व्हीएम इतर व्हीएमशी थेट संवाद साधू शकतील.

आणि कंट्रोल प्लेन क्लाउडगेटशी संप्रेषण करते. त्याचप्रमाणे, ते कोठे आणि कोणती व्हर्च्युअल मशीन उभारली जातात, त्यांचे कोणते पत्ते आहेत याचा अहवाल देते. हे तुम्हाला बाह्य रहदारी आणि बॅलन्सर्सकडून त्यांच्याकडे रहदारी निर्देशित करण्यास अनुमती देते.

VPC मधून निघणारी रहदारी क्लाउडगेटवर, डेटा मार्गावर येते, जिथे आमच्या प्लगइनसह VPP त्वरीत चघळले जाते. नंतर ट्रॅफिक एकतर इतर व्हीपीसी किंवा बाहेरील, क्लाउडगेटच्या कंट्रोल प्लेनद्वारे कॉन्फिगर केलेल्या बॉर्डर राउटरवर सोडले जाते.

नजीकच्या भविष्यासाठी योजना

जर आपण वर सांगितलेल्या सर्व गोष्टींचा काही वाक्यांमध्ये सारांश दिला तर आपण असे म्हणू शकतो की Yandex.Cloud मधील VPC दोन महत्त्वाची कार्ये सोडवते:

• वेगवेगळ्या क्लायंटमध्ये अलगाव प्रदान करते.
• संसाधने, पायाभूत सुविधा, प्लॅटफॉर्म सेवा, इतर क्लाउड आणि ऑन-प्रिमाइस एकाच नेटवर्कमध्ये एकत्र करते.

आणि या समस्या चांगल्या प्रकारे सोडवण्यासाठी, तुम्हाला अंतर्गत आर्किटेक्चरच्या स्तरावर स्केलेबिलिटी आणि फॉल्ट टॉलरन्स प्रदान करणे आवश्यक आहे, जे VPC करते.

हळूहळू VPC फंक्शन्स प्राप्त करतो, आम्ही नवीन वैशिष्ट्ये लागू करतो, आम्ही वापरकर्त्याच्या सोयीच्या दृष्टीने काहीतरी सुधारण्याचा प्रयत्न करतो. काही कल्पना व्यक्त केल्या जातात आणि आमच्या समुदायाच्या सदस्यांना धन्यवाद.

आमच्याकडे सध्या नजीकच्या भविष्यासाठीच्या योजनांची खालील यादी आहे:

• सेवा म्हणून VPN
• खाजगी DNS उदाहरणे पूर्व-कॉन्फिगर केलेल्या DNS सर्व्हरसह व्हर्च्युअल मशीन द्रुतपणे सेट करण्यासाठी प्रतिमा आहेत.
• सेवा म्हणून DNS.
• अंतर्गत लोड बॅलन्सर.
• व्हर्च्युअल मशीन पुन्हा न बनवता "पांढरा" IP पत्ता जोडणे.

आधीच तयार केलेल्या व्हर्च्युअल मशीनसाठी बॅलन्सर आणि IP पत्ता स्विच करण्याची क्षमता वापरकर्त्यांच्या विनंतीनुसार या सूचीमध्ये होती. प्रामाणिकपणे, स्पष्ट अभिप्रायाशिवाय, आम्ही ही कार्ये थोड्या वेळाने घेतली असती. आणि म्हणून आम्ही आधीच पत्त्यांच्या समस्येवर काम करत आहोत.

सुरुवातीला, एक "पांढरा" IP पत्ता केवळ मशीन तयार करताना जोडला जाऊ शकतो. जर वापरकर्ता हे करण्यास विसरला असेल तर, व्हर्च्युअल मशीन पुन्हा तयार करावी लागेल. समान आणि आवश्यक असल्यास, बाह्य आयपी काढा. मशीन पुन्हा तयार न करता सार्वजनिक IP चालू आणि बंद करणे लवकरच शक्य होईल.

मोकळ्या मनाने आपले व्यक्त करा कल्पना आणि समर्थन सूचना इतर वापरकर्ते. तुम्ही आम्हाला क्लाउड अधिक चांगले बनवण्यात आणि महत्त्वाची आणि उपयुक्त वैशिष्ट्ये जलद मिळवण्यात मदत करता!

स्त्रोत: www.habr.com