🥇आम्ही Yandex.Cloud मध्ये 10 इव्हेंट स्वीकारतो. भाग १

सर्वांना नमस्कार मित्रांनो!

* हा लेख REBRAIN आणि Yandex.Cloud ओपन वर्कशॉपवर आधारित आहे, जर तुम्ही व्हिडिओ पाहण्यास प्राधान्य देत असाल तर तुम्हाला तो या लिंकवर मिळेल - https://youtu.be/cZLezUm0ekE

आम्हाला अलीकडेच Yandex.Cloud थेट वापरण्याची संधी मिळाली. आम्हाला दीर्घ आणि कठोर तपासणी करायची असल्याने, आम्ही ताबडतोब क्लाउड बेससह एक साधा वर्डप्रेस ब्लॉग लॉन्च करण्याची कल्पना सोडून दिली - ते खूप कंटाळवाणे होते. काही विचार केल्यानंतर, आम्ही जवळच्या रिअल टाइम मोडमध्ये इव्हेंट प्राप्त करण्यासाठी आणि विश्लेषण करण्यासाठी उत्पादन सेवा आर्किटेक्चरसारखे काहीतरी तैनात करण्याचा निर्णय घेतला.

मला खात्री आहे की बहुसंख्य ऑनलाइन (आणि केवळ नाही) व्यवसाय त्यांच्या वापरकर्त्यांबद्दल आणि त्यांच्या कृतींबद्दल माहितीचा डोंगर गोळा करतात. कमीतकमी, काही निर्णय घेण्यासाठी हे आवश्यक आहे - उदाहरणार्थ, जर तुम्ही ऑनलाइन गेम व्यवस्थापित करत असाल तर, वापरकर्ते बहुतेकदा कोणत्या स्तरावर अडकतात आणि तुमची खेळणी हटवतात याची आकडेवारी तुम्ही पाहू शकता. किंवा वापरकर्ते काहीही खरेदी न करता तुमची साइट का सोडतात (हॅलो, Yandex.Metrica).

तर, आमची कथा: आम्ही गोलंगमध्ये अर्ज कसा लिहिला, kafka vs rabbitmq vs yqs चाचणी केली, क्लिकहाऊस क्लस्टरमध्ये डेटा प्रवाह लिहिला आणि yandex datalens वापरून डेटा व्हिज्युअलाइज केला. साहजिकच, हे सर्व डॉकर, टेराफॉर्म, गिटलॅब सीआय आणि अर्थातच प्रोमिथियसच्या रूपात पायाभूत सुविधांनी युक्त होते. चल जाऊया!

मी ताबडतोब आरक्षण करू इच्छितो की आम्ही एकाच बैठकीत सर्वकाही कॉन्फिगर करू शकणार नाही - यासाठी आम्हाला मालिकेतील अनेक लेखांची आवश्यकता असेल. संरचनेबद्दल थोडेसे:

भाग १ (तुम्ही वाचत आहात). आम्ही सोल्यूशनची वैशिष्ट्ये आणि आर्किटेक्चरवर निर्णय घेऊ आणि गोलंगमध्ये अर्ज देखील लिहू.
भाग 2. आम्ही आमचा अनुप्रयोग उत्पादनात सोडतो, ते स्केलेबल बनवतो आणि लोडची चाचणी करतो.
भाग 3. फायलींमध्ये नाही तर बफरमध्ये संदेश का संग्रहित करायचे आहे हे शोधण्याचा प्रयत्न करूया आणि kafka, rabbitmq आणि yandex queue सेवेची तुलना करूया.
भाग ४ आम्ही एक क्लिकहाऊस क्लस्टर तैनात करू, बफरमधून डेटा हस्तांतरित करण्यासाठी स्ट्रीमिंग सेवा लिहू आणि डेटालेन्समध्ये व्हिज्युअलायझेशन सेट करू.
भाग ५ चला संपूर्ण पायाभूत सुविधा योग्य आकारात आणूया - gitlab ci वापरून ci/cd सेट करा, prometheus आणि consul वापरून मॉनिटरिंग आणि सेवा शोध कनेक्ट करा.

TK

प्रथम, संदर्भाच्या अटी तयार करू - परिणामी आपल्याला नक्की काय मिळवायचे आहे.

आम्हाला event.kis.im (kis.im हे चाचणी डोमेन आहे जे आम्ही सर्व लेखांमध्ये वापरणार आहोत) सारखा एंडपॉइंट हवा आहे, ज्याने HTTPS वापरून इव्हेंट प्राप्त केले पाहिजेत.
इव्हेंट्स हे साधे json आहेत जसे: {“इव्हेंट”: “दृश्य”, “os”: “linux”, “ब्राउझर”: “chrome”}. अंतिम टप्प्यावर आम्ही थोडे अधिक फील्ड जोडू, परंतु हे फार मोठी भूमिका बजावणार नाही. तुमची इच्छा असल्यास, तुम्ही protobuf वर स्विच करू शकता.
सेवा प्रति सेकंद 10 इव्हेंट्सवर प्रक्रिया करण्यास सक्षम असणे आवश्यक आहे.
आमच्या सोल्यूशनमध्ये फक्त नवीन उदाहरणे जोडून क्षैतिजरित्या स्केल करणे शक्य असावे. आणि क्लायंट विनंत्यांची विलंब कमी करण्यासाठी आम्ही पुढचा भाग वेगवेगळ्या भौगोलिक स्थानांवर हलवू शकलो तर छान होईल.
चुकीची सहनशीलता. सोल्यूशन पुरेसे स्थिर असले पाहिजे आणि कोणत्याही भागांच्या पडझडीत टिकून राहण्यास सक्षम असावे (अर्थात एका विशिष्ट संख्येपर्यंत).

आर्किटेक्चर

सर्वसाधारणपणे, या प्रकारच्या कार्यासाठी, शास्त्रीय आर्किटेक्चरचा दीर्घकाळ शोध लावला गेला आहे जो कार्यक्षम स्केलिंगला परवानगी देतो. आकृती आमच्या समाधानाचे उदाहरण दर्शवते.

तर आमच्याकडे काय आहे:

1. डावीकडे आमची उपकरणे आहेत जी विविध इव्हेंट्स व्युत्पन्न करतात, मग ते खेळाडू स्मार्टफोनवर खेळण्यातील स्तर पूर्ण करतात किंवा नियमित ब्राउझरद्वारे ऑनलाइन स्टोअरमध्ये ऑर्डर तयार करतात. स्पेसिफिकेशनमध्ये नमूद केल्याप्रमाणे, इव्हेंट हा एक साधा json आहे जो आमच्या एंडपॉइंट - events.kis.im वर पाठवला जातो.

2. पहिले दोन सर्व्हर साधे बॅलन्सर आहेत, त्यांची मुख्य कार्ये आहेत:

सतत उपलब्ध रहा. हे करण्यासाठी, आपण वापरू शकता, उदाहरणार्थ, Keepalived, जे समस्यांच्या बाबतीत नोड्स दरम्यान आभासी IP स्विच करेल.
TLS समाप्त करा. होय, आम्ही त्यांच्यावर TLS समाप्त करू. प्रथम, आमचे समाधान तांत्रिक वैशिष्ट्यांचे पालन करण्यासाठी आणि दुसरे म्हणजे, आमच्या बॅकएंड सर्व्हरवरून एनक्रिप्टेड कनेक्शन स्थापित करण्याच्या ओझ्यापासून मुक्त होण्यासाठी.
उपलब्ध बॅकएंड सर्व्हरवर येणार्‍या विनंत्या संतुलित करा. येथे मुख्य शब्द प्रवेशयोग्य आहे. याच्या आधारे, आम्ही समजू शकतो की लोड बॅलन्सर्स आमच्या सर्व्हरवर ऍप्लिकेशन्ससह देखरेख करण्यास सक्षम असणे आवश्यक आहे आणि अयशस्वी नोड्सवर रहदारी संतुलित करणे थांबवणे आवश्यक आहे.

3. बॅलन्सर्स नंतर, आमच्याकडे अॅप्लिकेशन सर्व्हर अगदी साधे ऍप्लिकेशन चालवतात. ते HTTP द्वारे येणार्‍या विनंत्या स्वीकारण्यास, पाठवलेल्या json प्रमाणित करण्यास आणि डेटा बफरमध्ये ठेवण्यास सक्षम असावे.

4. आकृती काफ्काला बफर म्हणून दाखवते, जरी, अर्थातच, या स्तरावर इतर समान सेवा वापरल्या जाऊ शकतात. तिसऱ्या लेखात आपण Kafka, rabbitmq आणि yq ची तुलना करू.

5. आमच्या आर्किटेक्चरचा अंतिम बिंदू म्हणजे क्लिकहाउस - एक स्तंभीय डेटाबेस जो तुम्हाला मोठ्या प्रमाणात डेटा संचयित आणि प्रक्रिया करण्यास अनुमती देतो. या स्तरावर, आम्हाला बफरमधून स्टोरेज सिस्टममध्ये डेटा हस्तांतरित करणे आवश्यक आहे (लेख 4 मध्ये याबद्दल अधिक).

हे डिझाइन आम्हाला प्रत्येक स्तर स्वतंत्रपणे क्षैतिजरित्या मोजण्याची परवानगी देते. बॅकएंड सर्व्हर सामना करू शकत नाहीत - चला आणखी एक गोष्ट जोडूया - शेवटी, ते स्टेटलेस ऍप्लिकेशन आहेत आणि म्हणूनच, हे अगदी आपोआप केले जाऊ शकते. काफ्का-शैलीतील बफर काम करत नाही—चला अधिक सर्व्हर जोडू आणि आमच्या विषयातील काही विभाजने त्यांच्याकडे हस्तांतरित करू. क्लिकहाऊस ते हाताळू शकत नाही - हे अशक्य आहे :) खरं तर, आम्ही सर्व्हरला देखील कनेक्ट करू आणि डेटा शार्ड करू.

तसे, जर तुम्हाला आमच्या तांत्रिक वैशिष्ट्यांचा पर्यायी भाग आणि वेगवेगळ्या भौगोलिक स्थानांमध्ये स्केलची अंमलबजावणी करायची असेल, तर यापेक्षा सोपे काहीही नाही:

प्रत्येक भौगोलिक स्थानामध्ये आम्ही ऍप्लिकेशन आणि काफ्कासह लोड बॅलन्सर तैनात करतो. सर्वसाधारणपणे, 2 ऍप्लिकेशन सर्व्हर, 3 काफ्का नोड्स आणि क्लाउड बॅलेन्सर, उदाहरणार्थ, क्लाउडफ्लेअर, पुरेसे आहेत, जे क्लायंटच्या स्त्रोत IP पत्त्यावर आधारित भौगोलिक स्थानाद्वारे ऍप्लिकेशन नोड्स आणि शिल्लक विनंत्या तपासतील. अशा प्रकारे, अमेरिकन क्लायंटने पाठवलेला डेटा अमेरिकन सर्व्हरवर येईल. आणि आफ्रिकेतील डेटा आफ्रिकन भाषेत आहे.

मग सर्वकाही अगदी सोपे आहे - आम्ही काफ्का सेटमधील मिरर टूल वापरतो आणि सर्व ठिकाणांवरील सर्व डेटा रशियामध्ये असलेल्या आमच्या केंद्रीय डेटा सेंटरमध्ये कॉपी करतो. अंतर्गत, आम्ही डेटाचे विश्लेषण करतो आणि त्यानंतरच्या व्हिज्युअलायझेशनसाठी क्लिकहाऊसमध्ये रेकॉर्ड करतो.

तर, आम्ही आर्किटेक्चरची क्रमवारी लावली आहे - चला Yandex.Cloud झटकणे सुरू करूया!

अर्ज लिहित आहे

क्लाउडच्या आधी, तुम्हाला अजून थोडा धीर धरावा लागेल आणि येणार्‍या घटनांवर प्रक्रिया करण्यासाठी एक सोपी सेवा लिहावी लागेल. आम्ही गोलंग वापरणार आहोत कारण नेटवर्क ऍप्लिकेशन्स लिहिण्यासाठी ती एक भाषा म्हणून खूप चांगली सिद्ध झाली आहे.

एक तास घालवल्यानंतर (कदाचित काही तास), आम्हाला असे काहीतरी मिळते: https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

मी येथे कोणते मुख्य मुद्दे लक्षात ठेवू इच्छितो:

1. अनुप्रयोग सुरू करताना, आपण दोन ध्वज निर्दिष्ट करू शकता. ज्या पोर्टवर आम्ही येणार्‍या http विनंत्या (-addr) ऐकू त्या पोर्टसाठी एक जबाबदार आहे. दुसरा काफ्का सर्व्हर पत्त्यासाठी आहे जेथे आम्ही आमचे कार्यक्रम रेकॉर्ड करू (-काफ्का):

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. ऍप्लिकेशन सरमा लायब्ररी वापरते ([] github.com/Shopify/sarama) काफ्का क्लस्टरला संदेश पाठवण्यासाठी. आम्ही ताबडतोब जास्तीत जास्त प्रक्रिया गतीच्या उद्देशाने सेटिंग्ज सेट करतो:

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. आमच्या अनुप्रयोगामध्ये एक अंगभूत प्रोमिथियस क्लायंट देखील आहे, जो विविध मेट्रिक्स गोळा करतो, जसे की:

आमच्या अर्जाच्या विनंत्यांची संख्या;
विनंती कार्यान्वित करताना त्रुटींची संख्या (पोस्ट विनंती वाचणे अशक्य, तुटलेली जेसन, काफ्काला लिहिणे अशक्य);
काफ्काला संदेश लिहिण्याच्या वेळेसह क्लायंटच्या एका विनंतीसाठी प्रक्रिया करण्याची वेळ.

4. आमच्या अर्जावर प्रक्रिया करणारे तीन अंतिम बिंदू:

/status - आपण जिवंत आहोत हे दाखवण्यासाठी फक्त ओके परत करा. जरी तुम्ही काही चेक जोडू शकता, जसे की काफ्का क्लस्टरची उपलब्धता.
/मेट्रिक्स - या url नुसार, प्रोमिथियस क्लायंट त्याने गोळा केलेले मेट्रिक्स परत करेल.
/post हा मुख्य एंडपॉइंट आहे जिथे json सह POST विनंत्या पाठवल्या जातील. आमचा अनुप्रयोग वैधतेसाठी json तपासतो आणि सर्वकाही ठीक असल्यास, ते काफ्का क्लस्टरमध्ये डेटा लिहितो.

मी एक आरक्षण करेन की कोड परिपूर्ण नाही - तो पूर्ण केला जाऊ शकतो (आणि पाहिजे!) उदाहरणार्थ, तुम्ही अंगभूत नेट/http वापरणे थांबवू शकता आणि जलद फास्टhttp वर स्विच करू शकता. किंवा तुम्ही json वैधता तपासणी नंतरच्या टप्प्यावर हलवून प्रक्रिया वेळ आणि cpu संसाधने मिळवू शकता - जेव्हा डेटा बफरमधून क्लिकहाऊस क्लस्टरमध्ये हस्तांतरित केला जातो.

समस्येच्या विकासाच्या बाजू व्यतिरिक्त, आम्ही आमच्या भविष्यातील पायाभूत सुविधांबद्दल त्वरित विचार केला आणि आमचा अर्ज डॉकरद्वारे तैनात करण्याचा निर्णय घेतला. अर्ज तयार करण्यासाठी अंतिम डॉकरफाइल आहे https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile. सर्वसाधारणपणे, हे अगदी सोपे आहे, मी ज्याकडे लक्ष देऊ इच्छितो तो म्हणजे मल्टीस्टेज असेंब्ली, जी आम्हाला आमच्या कंटेनरची अंतिम प्रतिमा कमी करण्यास अनुमती देते.

ढगातील पहिले पाऊल

सर्व प्रथम, नोंदणी करा cloud.yandex.ru. सर्व आवश्यक फील्ड भरल्यानंतर, आम्हाला एक खाते तयार केले जाईल आणि विशिष्ट रकमेसाठी अनुदान दिले जाईल, ज्याचा वापर क्लाउड सेवांच्या चाचणीसाठी केला जाऊ शकतो. आपण आमच्या लेखातील सर्व चरणांची पुनरावृत्ती करू इच्छित असल्यास, हे अनुदान आपल्यासाठी पुरेसे असावे.

नोंदणीनंतर, तुमच्यासाठी एक स्वतंत्र क्लाउड आणि डिफॉल्ट निर्देशिका तयार केली जाईल, ज्यामध्ये तुम्ही क्लाउड संसाधने तयार करणे सुरू करू शकता. सर्वसाधारणपणे, Yandex.Cloud मध्ये, संसाधनांचे संबंध असे दिसते:

तुम्ही एका खात्यासाठी अनेक क्लाउड तयार करू शकता. आणि क्लाउडच्या आत, वेगवेगळ्या कंपनीच्या प्रकल्पांसाठी वेगवेगळ्या निर्देशिका बनवा. आपण दस्तऐवजीकरणात याबद्दल अधिक वाचू शकता - https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy. तसे, मी बर्‍याचदा मजकूरात खाली त्याचा संदर्भ देईन. जेव्हा मी सुरवातीपासून संपूर्ण पायाभूत सुविधा सेट केल्या, तेव्हा दस्तऐवजीकरणाने मला एकापेक्षा जास्त वेळा मदत केली, म्हणून मी तुम्हाला त्याचा अभ्यास करण्याचा सल्ला देतो.

क्लाउड व्यवस्थापित करण्यासाठी, तुम्ही वेब इंटरफेस आणि कन्सोल युटिलिटी - yc दोन्ही वापरू शकता. स्थापना एका आदेशाने केली जाते (लिनक्स आणि मॅक ओएससाठी):

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

जर तुमचा अंतर्गत सुरक्षा तज्ञ इंटरनेटवरून स्क्रिप्ट चालवण्याबद्दल नाराज असेल, तर, प्रथम, तुम्ही स्क्रिप्ट उघडू शकता आणि ते वाचू शकता आणि दुसरे म्हणजे, आम्ही ते आमच्या वापरकर्त्याच्या अंतर्गत - रूट अधिकारांशिवाय चालवतो.

आपण Windows साठी क्लायंट स्थापित करू इच्छित असल्यास, आपण सूचना वापरू शकता येथे आणि नंतर अंमलात आणा yc initते पूर्णपणे सानुकूलित करण्यासाठी:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

तत्वतः, प्रक्रिया सोपी आहे - प्रथम तुम्हाला क्लाउड व्यवस्थापित करण्यासाठी, क्लाउड आणि तुम्ही वापरत असलेले फोल्डर निवडण्यासाठी एक ओउथ टोकन घेणे आवश्यक आहे.

तुमच्याकडे एकाच क्लाउडमध्ये अनेक खाती किंवा फोल्डर्स असल्यास, तुम्ही yc कॉन्फिगरेशन प्रोफाइल बनवा आणि त्यामध्ये स्विच करून वेगळ्या सेटिंग्जसह अतिरिक्त प्रोफाइल तयार करू शकता.

वरील पद्धतींव्यतिरिक्त, Yandex.Cloud टीमने खूप चांगले लिहिले टेराफॉर्मसाठी प्लगइन क्लाउड संसाधने व्यवस्थापित करण्यासाठी. माझ्या भागासाठी, मी एक गिट रेपॉजिटरी तयार केली आहे, जिथे मी लेखाचा भाग म्हणून तयार केल्या जाणाऱ्या सर्व संसाधनांचे वर्णन केले आहे - https://github.com/rebrainme/yandex-cloud-events/. आम्हाला मुख्य शाखेत स्वारस्य आहे, चला ते स्थानिक पातळीवर क्लोन करूया:


vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

टेराफॉर्ममध्ये वापरलेले सर्व मुख्य व्हेरिएबल्स main.tf फाइलमध्ये लिहिलेले आहेत. प्रारंभ करण्यासाठी, खालील सामग्रीसह टेराफॉर्म फोल्डरमध्ये खाजगी.auto.tfvars फाइल तयार करा:

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

सर्व व्हेरिएबल्स yc कॉन्फिगरेशन सूचीमधून घेतले जाऊ शकतात, कारण आम्ही कन्सोल युटिलिटी आधीच कॉन्फिगर केलेली आहे. मी तुम्हाला .gitignore मध्ये खाजगी.auto.tfvars ताबडतोब जोडण्याचा सल्ला देतो, जेणेकरून चुकून खाजगी डेटा प्रकाशित होऊ नये.

खाजगी.auto.tfvars मध्ये आम्ही Cloudflare कडून डेटा देखील निर्दिष्ट केला आहे - DNS रेकॉर्ड तयार करण्यासाठी आणि मुख्य डोमेन events.kis.im आमच्या सर्व्हरवर प्रॉक्सी करण्यासाठी. जर तुम्हाला क्लाउडफ्लेअर वापरायचे नसेल, तर main.tf आणि dns.tf फाइलमधील क्लाउडफ्लेअर प्रदात्याचे आरंभीकरण काढून टाका, जे आवश्यक dns रेकॉर्ड तयार करण्यासाठी जबाबदार आहे.

आमच्या कामात आम्ही तीनही पद्धती एकत्र करू - वेब इंटरफेस, कन्सोल युटिलिटी आणि टेराफॉर्म.

आभासी नेटवर्क

खरे सांगायचे तर, तुम्ही ही पायरी वगळू शकता, कारण तुम्ही नवीन क्लाउड तयार करता तेव्हा, तुमच्याकडे आपोआप एक वेगळे नेटवर्क आणि 3 सबनेट तयार होतील - प्रत्येक उपलब्धता क्षेत्रासाठी एक. परंतु तरीही आम्ही आमच्या प्रकल्पासाठी स्वतःच्या पत्त्यासह एक वेगळे नेटवर्क बनवू इच्छितो. Yandex.Cloud मध्ये नेटवर्क कसे कार्य करते याचे सामान्य आकृती खालील आकृतीमध्ये दर्शविले आहे (प्रामाणिकपणे घेतलेले https://cloud.yandex.ru/docs/vpc/concepts/)

तर, तुम्ही एक सामान्य नेटवर्क तयार करता ज्यामध्ये संसाधने एकमेकांशी संवाद साधू शकतात. प्रत्येक उपलब्धता क्षेत्रासाठी, एक सबनेट त्याच्या स्वतःच्या पत्त्यासह तयार केला जातो आणि सामान्य नेटवर्कशी कनेक्ट केला जातो. परिणामी, त्यातील सर्व क्लाउड संसाधने संप्रेषण करू शकतात, जरी ते भिन्न उपलब्धता झोनमध्ये असले तरीही. वेगवेगळ्या क्लाउड नेटवर्कशी जोडलेली संसाधने केवळ बाह्य पत्त्यांद्वारे एकमेकांना पाहू शकतात. तसे, ही जादू आत कशी चालते, Habré वर चांगले वर्णन केले होते.

नेटवर्क निर्मितीचे वर्णन रेपॉजिटरीमधून network.tf फाइलमध्ये केले आहे. तेथे आम्ही एक सामान्य खाजगी नेटवर्क अंतर्गत तयार करतो आणि त्यास वेगवेगळ्या उपलब्धता झोनमध्ये तीन सबनेट कनेक्ट करतो - अंतर्गत-a (172.16.1.0/24), अंतर्गत-b (172.16.2.0/24), अंतर्गत-c (172.16.3.0/24). ).

टेराफॉर्म सुरू करा आणि नेटवर्क तयार करा:

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

छान! आम्ही आमचे नेटवर्क तयार केले आहे आणि आता आमच्या अंतर्गत सेवा तयार करण्यास तयार आहोत.

आभासी मशीन तयार करणे

ऍप्लिकेशनची चाचणी करण्यासाठी, आम्हाला फक्त दोन व्हर्च्युअल मशीन्स तयार करण्याची आवश्यकता असेल - आम्हाला प्रथम अॅप्लिकेशन तयार करण्यासाठी आणि चालवण्यासाठी, दुसरी काफ्का चालवण्यासाठी आवश्यक असेल, ज्याचा वापर आम्ही येणारे संदेश संग्रहित करण्यासाठी करू. आणि आम्ही दुसरे मशीन तयार करू जिथे आम्ही अनुप्रयोगाचे निरीक्षण करण्यासाठी प्रोमिथियस कॉन्फिगर करू.

व्हर्च्युअल मशीन्स उत्तरदायी वापरून कॉन्फिगर केल्या जातील, म्हणून टेराफॉर्म सुरू करण्यापूर्वी, तुमच्याकडे उत्तरदायीच्या नवीनतम आवृत्तींपैकी एक असल्याची खात्री करा. आणि उत्तरदायी आकाशगंगेसह आवश्यक भूमिका स्थापित करा:

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

उत्तरदायी फोल्डरमध्ये मी वापरत असलेली .ansible.cfg कॉन्फिगरेशन फाइल उदाहरण आहे. ते उपयोगी येऊ शकते.

व्हर्च्युअल मशीन तयार करण्यापूर्वी, तुमच्याकडे ssh-agent चालू आहे आणि ssh की जोडली आहे याची खात्री करा, अन्यथा टेराफॉर्म तयार केलेल्या मशीनशी कनेक्ट होऊ शकणार नाही. मला, अर्थातच, os x मध्ये एक बग आढळला: https://github.com/ansible/ansible/issues/32499#issuecomment-341578864. हे पुन्हा होण्यापासून रोखण्यासाठी, Terraform लाँच करण्यापूर्वी env मध्ये एक लहान व्हेरिएबल जोडा:

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

टेराफॉर्मसह फोल्डरमध्ये आम्ही आवश्यक संसाधने तयार करतो:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

जर सर्वकाही यशस्वीरित्या संपले (आणि ते असावे), तर आमच्याकडे तीन आभासी मशीन असतील:

बिल्ड - चाचणी आणि अनुप्रयोग तयार करण्यासाठी मशीन. Ansible द्वारे डॉकर स्वयंचलितपणे स्थापित केले गेले.
मॉनिटरिंग - एक मॉनिटरिंग मशीन - प्रोमिथियस आणि ग्राफाना त्यावर स्थापित केले आहे. लॉगिन / पासवर्ड मानक: प्रशासक / प्रशासक
kafka हे काफ्का स्थापित केलेले एक लहान मशीन आहे, जे पोर्ट 9092 वर उपलब्ध आहे.

ते सर्व ठिकाणी असल्याची खात्री करूया:

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

संसाधने ठिकाणी आहेत, आणि येथून आम्ही त्यांचे IP पत्ते मिळवू शकतो. पुढील सर्व गोष्टींमध्ये मी ssh द्वारे कनेक्ट करण्यासाठी आणि अनुप्रयोगाची चाचणी घेण्यासाठी IP पत्ते वापरेन. तुमच्याकडे टेराफॉर्मशी जोडलेले क्लाउडफ्लेअर खाते असल्यास, नवीन तयार केलेली DNS नावे मोकळ्या मनाने वापरा.
तसे, व्हर्च्युअल मशीन तयार करताना, अंतर्गत IP आणि अंतर्गत DNS नाव दिले जाते, जेणेकरून आपण नावाने नेटवर्कमधील सर्व्हरमध्ये प्रवेश करू शकता:

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

ऍप्लिकेशनला kafk सह एंडपॉइंट सूचित करण्यासाठी हे आमच्यासाठी उपयुक्त ठरेल.

अर्ज एकत्र करणे

छान, सर्व्हर आहेत, एक ऍप्लिकेशन आहे - फक्त ते एकत्र करून प्रकाशित करणे बाकी आहे. बिल्डसाठी आम्ही नेहमीच्या डॉकर बिल्डचा वापर करू, परंतु इमेज स्टोरेज म्हणून आम्ही Yandex - कंटेनर रेजिस्ट्री कडील सेवा वापरू. पण प्रथम गोष्टी प्रथम.

आम्ही बिल्ड मशीनवर अनुप्रयोग कॉपी करतो, ssh द्वारे लॉग इन करतो आणि प्रतिमा एकत्र करतो:

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

अर्धी लढाई पूर्ण झाली आहे - आता आम्ही आमच्या अनुप्रयोगाची कार्यक्षमता लाँच करून आणि काफ्काला पाठवून तपासू शकतो:

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

अनुप्रयोगाने रेकॉर्डिंगच्या यशासह प्रतिसाद दिला आणि मेसेज समाविष्ट केलेल्या विभाजनाचा आणि ऑफसेटचा आयडी दर्शविला. फक्त Yandex.Cloud मध्ये एक रेजिस्ट्री तयार करणे आणि आमची प्रतिमा तिथे अपलोड करणे बाकी आहे (तीन ओळी वापरून हे कसे करायचे ते registry.tf फाइलमध्ये वर्णन केले आहे). स्टोरेज तयार करा:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

कंटेनर रेजिस्ट्रीमध्ये प्रमाणीकरण करण्याचे अनेक मार्ग आहेत - एक oauth टोकन, एक iam टोकन किंवा सेवा खाते की वापरून. या पद्धतींबद्दल अधिक तपशील दस्तऐवजीकरणामध्ये आढळू शकतात. https://cloud.yandex.ru/docs/container-registry/operations/authentication. आम्ही सेवा खाते की वापरू, म्हणून आम्ही खाते तयार करू:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

आता फक्त त्यासाठी एक चावी बनवणे बाकी आहे:

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

आम्ही आमच्या स्टोरेजच्या आयडीबद्दल माहिती प्राप्त करतो, की हस्तांतरित करतो आणि लॉग इन करतो:

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

रेजिस्ट्रीमध्ये इमेज अपलोड करण्यासाठी, आम्हाला कंटेनर रेजिस्ट्री आयडी आवश्यक आहे, आम्ही तो yc युटिलिटीमधून घेतो:

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

त्यानंतर, आम्ही आमची प्रतिमा नवीन नावाने टॅग करतो आणि अपलोड करतो:

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

इमेज यशस्वीरित्या लोड झाल्याचे आम्ही सत्यापित करू शकतो:

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

तसे, जर तुम्ही लिनक्स मशीनवर yc युटिलिटी स्थापित केली तर तुम्ही कमांड वापरू शकता

yc container registry configure-docker

डॉकर कॉन्फिगर करण्यासाठी.

निष्कर्ष

आम्ही खूप कठोर परिश्रम केले आहेत आणि परिणामी:

आम्ही आमच्या भविष्यातील सेवेची वास्तू घेऊन आलो.
आम्ही गोलंगमध्ये एक अर्ज लिहिला जो आमचा व्यवसाय तर्क लागू करतो.
आम्ही ते गोळा केले आणि खाजगी कंटेनर नोंदणीमध्ये ओतले.

पुढील भागात, आम्ही मनोरंजक सामग्रीकडे जाऊ - आम्ही आमचा अनुप्रयोग उत्पादनात सोडू आणि शेवटी त्यावर लोड लाँच करू. स्विच करू नका!

ही सामग्री ओपन वर्कशॉप REBRAIN आणि Yandex.Cloud च्या व्हिडिओ रेकॉर्डिंगमध्ये आहे: आम्ही Yandex Cloud वर प्रति सेकंद 10 विनंत्या स्वीकारतो - https://youtu.be/cZLezUm0ekE

तुम्हाला अशा कार्यक्रमांना ऑनलाइन उपस्थित राहण्यात आणि रिअल टाइममध्ये प्रश्न विचारण्यात स्वारस्य असल्यास, शी कनेक्ट करा REBRAIN द्वारे DevOps चॅनेल.

अशा कार्यक्रमाचे आयोजन करण्याची संधी दिल्याबद्दल आम्ही Yandex.Cloud चे विशेष आभार मानू इच्छितो. त्यांना लिंक - https://cloud.yandex.ru/prices

तुम्हाला क्लाउडवर जाण्याची किंवा तुमच्या पायाभूत सुविधांबद्दल प्रश्न असल्यास, एक विनंती सोडण्यास मोकळ्या मनाने.

PS आमच्याकडे दरमहा 2 विनामूल्य ऑडिट आहेत, कदाचित तुमचा प्रकल्प त्यापैकी एक असेल.

स्त्रोत: www.habr.com

आम्ही Yandex.Cloud मध्ये 10 इव्हेंट स्वीकारतो. भाग 000

TK