🥇हामी Yandex.Cloud मा १०,००० घटनाहरू स्वीकार गर्छौं। भाग १

सबैलाई नमस्कार, साथीहरू!

* यो लेख REBRAIN र Yandex.Cloud खुला कार्यशालामा आधारित छ, यदि तपाइँ भिडियो हेर्न चाहनुहुन्छ भने, तपाइँ यसलाई यो लिङ्कमा फेला पार्न सक्नुहुन्छ - https://youtu.be/cZLezUm0ekE

हामीले भर्खरै Yandex.Cloud लाइभ प्रयास गर्ने अवसर पायौं। हामी लामो र कडा जाँच गर्न चाहन्थ्यौं, हामीले तुरुन्तै क्लाउड आधारको साथ साधारण Wordpress ब्लग सुरु गर्ने विचार त्याग्यौं - यो धेरै बोरिंग थियो। केहि सोच पछि, हामीले नजिकको वास्तविक समय मोडमा घटनाहरू प्राप्त गर्न र विश्लेषण गर्नको लागि उत्पादन सेवा वास्तुकला जस्तै केहि तैनाथ गर्ने निर्णय गर्यौं।

म पक्कै पक्का छु कि धेरै जसो अनलाइन (र मात्र होइन) व्यवसायहरूले कुनै न कुनै रूपमा आफ्ना प्रयोगकर्ताहरू र तिनीहरूका कार्यहरूको बारेमा जानकारीको पहाड सङ्कलन गर्छन्। कम्तिमा, यो निश्चित निर्णयहरू गर्न आवश्यक छ - उदाहरणका लागि, यदि तपाइँ एक अनलाइन खेल व्यवस्थापन गर्नुहुन्छ भने, तपाइँ तथ्याङ्कहरू हेर्न सक्नुहुन्छ जुन स्तरमा प्रयोगकर्ताहरू प्रायः अड्किन्छन् र तपाइँको खेलौना मेटाउँछन्। वा किन प्रयोगकर्ताहरूले तपाइँको साइटलाई केहि खरिद नगरी छोड्छन् (नमस्ते, Yandex.Metrica)।

त्यसोभए, हाम्रो कथा: हामीले कसरी गोलांगमा एउटा अनुप्रयोग लेख्यौं, काफ्का बनाम rabbitmq vs yqs परीक्षण गर्‍यौं, क्लिकहाउस क्लस्टरमा डाटा स्ट्रिमिङ लेख्यौं र yandex datalens प्रयोग गरेर डाटाको कल्पना गर्यौं। स्वाभाविक रूपमा, यो सबै डकर, टेराफर्म, गिटलाब सीआई र अवश्य पनि, प्रोमेथियसको रूपमा पूर्वाधारको आनन्दको साथ मौसमी थियो। जाऔं!

म तुरुन्तै रिजर्भेसन गर्न चाहन्छु कि हामी एकै बैठकमा सबै कुरा कन्फिगर गर्न सक्षम हुनेछैनौं - यसको लागि हामीलाई श्रृंखलामा धेरै लेखहरू चाहिन्छ। संरचनाको बारेमा थोरै:

भाग १ (तपाई पढ्दै हुनुहुन्छ)। हामी समाधानको विशिष्टता र वास्तुकलामा निर्णय गर्नेछौं, र गोलांगमा आवेदन पनि लेख्नेछौं।
भाग 2। हामी उत्पादनमा हाम्रो अनुप्रयोग जारी गर्छौं, यसलाई स्केलेबल बनाउँछौं र लोड परीक्षण गर्छौं।
भाग ३। हामीले सन्देशहरू फाइलहरूमा नभई बफरमा किन भण्डारण गर्नुपर्छ भन्ने कुरा पत्ता लगाउने प्रयास गरौं, र काफ्का, rabbitmq र यान्डेक्स क्यु सेवाहरू पनि तुलना गरौं।
भाग ४ हामी क्लिकहाउस क्लस्टर तैनाथ गर्नेछौं, त्यहाँ बफरबाट डाटा स्थानान्तरण गर्न स्ट्रिमिङ सेवा लेख्नेछौं, र डाटालेन्समा भिजुअलाइजेशन सेटअप गर्नेछौं।
भाग ५ सम्पूर्ण पूर्वाधारलाई उचित आकारमा ल्याउनुहोस् - gitlab ci प्रयोग गरेर ci/cd सेटअप गर्नुहोस्, प्रोमेथियस र कन्सुल प्रयोग गरेर निगरानी र सेवा खोजी जडान गर्नुहोस्।

TK

पहिले, सन्दर्भका सर्तहरू तयार गरौं - वास्तवमा हामी परिणामको रूपमा के प्राप्त गर्न चाहन्छौं।

हामी घटनाहरू.kis.im (kis.im परीक्षण डोमेन हो जुन हामीले सबै लेखहरूमा प्रयोग गर्नेछौं) जस्ता अन्त्य बिन्दुहरू राख्न चाहन्छौं, जसले HTTPS प्रयोग गरेर घटनाहरू प्राप्त गर्नुपर्छ।
घटनाहरू साधारण json हुन्: {"घटना": "दृश्य", "os": "लिनक्स", "ब्राउजर": "क्रोम"}। अन्तिम चरणमा हामी थोरै थप क्षेत्रहरू थप्नेछौं, तर यसले ठूलो भूमिका खेल्नेछैन। यदि तपाईं चाहनुहुन्छ भने, तपाईं protobuf मा स्विच गर्न सक्नुहुन्छ।
सेवाले प्रति सेकेन्ड १०,००० घटनाहरू प्रशोधन गर्न सक्षम हुनुपर्छ।
हाम्रो समाधानमा नयाँ उदाहरणहरू थपेर तेर्सो रूपमा मापन गर्न सम्भव हुनुपर्छ। र यो राम्रो हुनेछ यदि हामी ग्राहक अनुरोधहरूको लागि विलम्बता कम गर्न अगाडिको भागलाई विभिन्न भौगोलिक स्थानहरूमा सार्न सक्छौं।
गल्ती सहिष्णुता। समाधान पर्याप्त स्थिर हुनुपर्छ र कुनै पनि भागको पतन बाँच्न सक्षम हुनुपर्छ (एक निश्चित संख्या सम्म, अवश्य)।

वास्तुकला

सामान्यतया, यस प्रकारको कार्यको लागि, शास्त्रीय वास्तुकलाहरू लामो समयसम्म आविष्कार गरिएका छन् जसले कुशल स्केलिंगलाई अनुमति दिन्छ। चित्रले हाम्रो समाधानको उदाहरण देखाउँछ।

त्यसोभए हामीसँग के छ:

1. बाँयामा हाम्रा उपकरणहरू छन् जसले विभिन्न घटनाहरू उत्पन्न गर्दछ, चाहे त्यो खेलाडीहरूले स्मार्टफोनमा खेलौनामा स्तर पूरा गर्ने वा नियमित ब्राउजर मार्फत अनलाइन स्टोरमा अर्डर सिर्जना गर्ने हो। घटना, विनिर्देशमा निर्दिष्ट गरिए अनुसार, एक साधारण json हो जुन हाम्रो अन्त बिन्दु - events.kis.im मा पठाइन्छ।

2. पहिलो दुई सर्भरहरू साधारण ब्यालेन्सरहरू हुन्, तिनीहरूका मुख्य कार्यहरू हुन्:

निरन्तर उपलब्ध हुनुहोस्। यो गर्नको लागि, तपाईले प्रयोग गर्न सक्नुहुन्छ, उदाहरणका लागि, Keepalived, जसले समस्याको अवस्थामा नोडहरू बीच भर्चुअल आईपी स्विच गर्नेछ।
TLS समाप्त गर्नुहोस्। हो, हामी तिनीहरूमा TLS समाप्त गर्नेछौं। पहिलो, ताकि हाम्रो समाधानले प्राविधिक विनिर्देशहरूको पालना गर्दछ, र दोस्रो, हाम्रो ब्याकएन्ड सर्भरहरूबाट इन्क्रिप्टेड जडान स्थापना गर्ने बोझलाई कम गर्नको लागि।
उपलब्ध ब्याकइन्ड सर्भरहरूमा आगमन अनुरोधहरू ब्यालेन्स गर्नुहोस्। यहाँ कुञ्जी शब्द पहुँचयोग्य छ। यसको आधारमा, हामी यो बुझ्दछौं कि लोड ब्यालेन्सरहरूले हाम्रो सर्भरहरू अनुप्रयोगहरूसँग निगरानी गर्न र असफल नोडहरूमा ट्राफिक सन्तुलन रोक्न सक्षम हुनुपर्दछ।

3. ब्यालेन्सर पछि, हामीसँग अनुप्रयोग सर्भरहरू एकदम सरल अनुप्रयोग चलिरहेको छ। यसले HTTP मार्फत आगमन अनुरोधहरू स्वीकार गर्न, पठाइएको json प्रमाणित गर्न र डाटालाई बफरमा राख्न सक्षम हुनुपर्छ।

4. रेखाचित्रले काफ्कालाई बफरको रूपमा देखाउँछ, यद्यपि, पक्कै पनि, अन्य समान सेवाहरू यस स्तरमा प्रयोग गर्न सकिन्छ। हामी तेस्रो लेखमा Kafka, rabbitmq र yqs तुलना गर्नेछौं।

5. हाम्रो वास्तुकलाको अन्तिम बिन्दु क्लिकहाउस हो - एक स्तम्भ डाटाबेस जसले तपाईंलाई ठूलो मात्रामा डाटा भण्डारण र प्रशोधन गर्न अनुमति दिन्छ। यस स्तरमा, हामीले बफरबाट भण्डारण प्रणालीमा डाटा स्थानान्तरण गर्न आवश्यक छ (यसको बारेमा थप लेख 4 मा)।

यो डिजाइनले हामीलाई प्रत्येक तह स्वतन्त्र रूपमा तेर्सो मापन गर्न अनुमति दिन्छ। ब्याकएन्ड सर्भरहरूले सामना गर्न सक्दैनन् - अर्को कुरा थपौं - आखिर, तिनीहरू राज्यविहीन अनुप्रयोगहरू हुन्, र त्यसैले, यो स्वचालित रूपमा गर्न सकिन्छ। काफ्का-शैली बफरले काम गर्दैन — थप सर्भरहरू थपौं र हाम्रो विषयका केही विभाजनहरू तिनीहरूमा स्थानान्तरण गरौं। क्लिकहाउसले यसलाई ह्यान्डल गर्न सक्दैन - यो असम्भव छ :) वास्तवमा, हामी सर्भरहरू पनि जडान गर्नेछौं र डाटा काट्नेछौं।

वैसे, यदि तपाइँ हाम्रो प्राविधिक विशिष्टताहरूको वैकल्पिक भाग लागू गर्न चाहानुहुन्छ र विभिन्न भौगोलिक स्थानहरूमा मापन गर्न चाहनुहुन्छ भने, त्यहाँ केहि सरल छैन:

प्रत्येक जियोलोकेशनमा हामी एप्लिकेसन र काफ्कासँग लोड ब्यालेन्सर डिप्लोय गर्छौं। सामान्यतया, 2 अनुप्रयोग सर्भरहरू, 3 काफ्का नोडहरू र क्लाउड ब्यालेन्सर, उदाहरणका लागि, क्लाउडफ्लेयर, पर्याप्त छन्, जसले ग्राहकको स्रोत आईपी ठेगानामा आधारित भौगोलिक स्थानद्वारा अनुप्रयोग नोडहरू र ब्यालेन्स अनुरोधहरूको उपलब्धता जाँच गर्नेछ। यसरी, एक अमेरिकी ग्राहकले पठाएको डाटा अमेरिकी सर्भरहरूमा अवतरण हुनेछ। र अफ्रिकाबाट डाटा अफ्रिकीमा छ।

त्यसोभए सबै कुरा एकदम सरल छ - हामी काफ्का सेटबाट मिरर उपकरण प्रयोग गर्छौं र सबै स्थानहरूबाट सबै डाटालाई रूसमा रहेको हाम्रो केन्द्रीय डाटा केन्द्रमा प्रतिलिपि गर्छौं। आन्तरिक रूपमा, हामी डाटा पार्स गर्छौं र त्यसपछिको दृश्यका लागि क्लिकहाउसमा रेकर्ड गर्छौं।

त्यसोभए, हामीले वास्तुकलालाई क्रमबद्ध गरेका छौं - Yandex.Cloud लाई हल्लाउन सुरु गरौं!

एउटा आवेदन लेख्दै

क्लाउड अघि, तपाइँ अझै पनि थोरै धैर्य हुनुपर्दछ र आगमन घटनाहरू प्रशोधन गर्न एकदम सरल सेवा लेख्नुहोस्। हामी golang प्रयोग गर्नेछौं किनभने यसले नेटवर्क अनुप्रयोगहरू लेख्नको लागि भाषाको रूपमा आफैलाई राम्रोसँग प्रमाणित गरेको छ।

एक घण्टा बिताएपछि (हुनसक्छ केहि घण्टा), हामीले केहि यस्तो पाउँछौं: https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/main.go.

यहाँ के मुख्य बुँदाहरू म ध्यान दिन चाहन्छु:

1. अनुप्रयोग सुरु गर्दा, तपाईं दुई झण्डा निर्दिष्ट गर्न सक्नुहुन्छ। एउटा पोर्टको लागि जिम्मेवार छ जसमा हामी आगमन http अनुरोधहरू (-addr) सुन्नेछौं। दोस्रो काफ्का सर्भर ठेगानाको लागि हो जहाँ हामी हाम्रा घटनाहरू (-काफ्का) रेकर्ड गर्नेछौं:

addr     = flag.String("addr", ":8080", "TCP address to listen to")
kafka    = flag.String("kafka", "127.0.0.1:9092", "Kafka endpoints”)

2. अनुप्रयोगले सारमा पुस्तकालय प्रयोग गर्दछ ([] github.com/Shopify/sarama) काफ्का क्लस्टरमा सन्देशहरू पठाउन। हामीले तुरुन्तै अधिकतम प्रशोधन गतिको लागि सेटिङहरू सेट गर्यौं:

config := sarama.NewConfig()
config.Producer.RequiredAcks = sarama.WaitForLocal
config.Producer.Compression = sarama.CompressionSnappy
config.Producer.Return.Successes = true

3. हाम्रो एप्लिकेसनमा बिल्ट-इन प्रोमेथियस क्लाइन्ट पनि छ, जसले विभिन्न मेट्रिक्स सङ्कलन गर्दछ, जस्तै:

हाम्रो आवेदन को लागी अनुरोध को संख्या;
अनुरोध कार्यान्वयन गर्दा त्रुटिहरूको संख्या (पोस्ट अनुरोध पढ्न असम्भव, टुटेको json, काफ्कालाई लेख्न असम्भव);
काफ्कालाई सन्देश लेख्ने समय सहित ग्राहकबाट एउटा अनुरोधको लागि प्रशोधन समय।

4. हाम्रो आवेदन प्रक्रिया गर्ने तीन अन्तिम बिन्दुहरू:

/status - हामी जीवित छौं भनेर देखाउन ठीक फर्कनुहोस्। यद्यपि तपाईले केहि चेकहरू थप्न सक्नुहुन्छ, जस्तै काफ्का क्लस्टरको उपलब्धता।
/metrics - यो url अनुसार, प्रोमेथियस क्लाइन्टले यो सङ्कलन गरेको मेट्रिक्स फिर्ता गर्नेछ।
/post मुख्य अन्तिम बिन्दु हो जहाँ json भित्र POST अनुरोधहरू पठाइनेछ। हाम्रो अनुप्रयोगले वैधताको लागि json जाँच गर्छ र यदि सबै ठीक छ भने, यसले काफ्का क्लस्टरमा डाटा लेख्छ।

म रिजर्भेसन गर्नेछु कि कोड सही छैन - यो पूरा हुन सक्छ (र हुनुपर्छ!)। उदाहरण को लागी, तपाईले बिल्ट-इन नेट/http प्रयोग गर्न रोक्न सक्नुहुन्छ र छिटो छिटो HTTP मा स्विच गर्न सक्नुहुन्छ। वा तपाईले json वैधता जाँचलाई पछिल्लो चरणमा सारेर प्रशोधन समय र cpu स्रोतहरू प्राप्त गर्न सक्नुहुन्छ - जब डाटा बफरबाट क्लिकहाउस क्लस्टरमा स्थानान्तरण हुन्छ।

मुद्दाको विकास पक्षको अतिरिक्त, हामीले तुरुन्तै हाम्रो भविष्यको पूर्वाधारको बारेमा सोच्यौं र डकर मार्फत हाम्रो आवेदन तैनाथ गर्ने निर्णय गर्‍यौं। आवेदन निर्माणको लागि अन्तिम डकरफाइल हो https://github.com/RebrainMe/yandex-cloud-events/blob/master/app/Dockerfile। सामान्यतया, यो एकदम सरल छ, एक मात्र बिन्दु जुन म ध्यान दिन चाहन्छु मल्टिस्टेज विधानसभा हो, जसले हामीलाई हाम्रो कन्टेनरको अन्तिम छवि कम गर्न अनुमति दिन्छ।

क्लाउडमा पहिलो चरणहरू

सबै भन्दा पहिले, दर्ता गर्नुहोस् cloud.yandex.ru। सबै आवश्यक फिल्डहरू भरेपछि, हामीलाई एउटा खाता सिर्जना गरिनेछ र निश्चित रकमको लागि अनुदान दिइनेछ, जुन क्लाउड सेवाहरू परीक्षण गर्न प्रयोग गर्न सकिन्छ। यदि तपाईं हाम्रो लेखबाट सबै चरणहरू दोहोर्याउन चाहनुहुन्छ भने, यो अनुदान तपाईंको लागि पर्याप्त हुनुपर्छ।

दर्ता पछि, एक अलग क्लाउड र एक पूर्वनिर्धारित डाइरेक्टरी तपाइँको लागि सिर्जना गरिनेछ, जसमा तपाइँ क्लाउड स्रोतहरू सिर्जना गर्न सुरु गर्न सक्नुहुन्छ। सामान्यतया, Yandex.Cloud मा, स्रोतहरूको सम्बन्ध यस्तो देखिन्छ:

तपाईं एक खाताको लागि धेरै क्लाउडहरू सिर्जना गर्न सक्नुहुन्छ। र क्लाउड भित्र, विभिन्न कम्पनी परियोजनाहरूको लागि फरक निर्देशिकाहरू बनाउनुहोस्। तपाईं कागजात मा यस बारे थप पढ्न सक्नुहुन्छ - https://cloud.yandex.ru/docs/resource-manager/concepts/resources-hierarchy। खैर, म प्राय: यसलाई तल पाठमा सन्दर्भ गर्नेछु। जब मैले स्क्र्याचबाट सम्पूर्ण पूर्वाधार सेटअप गरें, कागजातले मलाई एक पटक भन्दा बढी मद्दत गर्यो, त्यसैले म तपाईंलाई यसलाई अध्ययन गर्न सल्लाह दिन्छु।

क्लाउड व्यवस्थापन गर्न, तपाइँ वेब इन्टरफेस र कन्सोल उपयोगिता - yc दुवै प्रयोग गर्न सक्नुहुन्छ। स्थापना एक आदेशको साथ गरिन्छ (लिनक्स र म्याक ओएसका लागि):

curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash

यदि तपाइँको आन्तरिक सुरक्षा विशेषज्ञ इन्टरनेटबाट स्क्रिप्टहरू चलाउनको लागि रिसाउँदै हुनुहुन्छ भने, त्यसपछि, पहिले, तपाइँ स्क्रिप्ट खोल्न र यसलाई पढ्न सक्नुहुन्छ, र दोस्रो, हामी यसलाई हाम्रो प्रयोगकर्ता अन्तर्गत चलाउँछौं - रूट अधिकार बिना।

यदि तपाइँ Windows को लागी क्लाइन्ट स्थापना गर्न चाहनुहुन्छ भने, तपाइँ निर्देशनहरू प्रयोग गर्न सक्नुहुन्छ यहाँ र त्यसपछि कार्यान्वयन yc initयसलाई पूर्ण रूपमा अनुकूलन गर्न:

vozerov@mba:~ $ yc init
Welcome! This command will take you through the configuration process.
Please go to https://oauth.yandex.ru/authorize?response_type=token&client_id= in order to obtain OAuth token.

Please enter OAuth token:
Please select cloud to use:
 [1] cloud-b1gv67ihgfu3bp (id = b1gv67ihgfu3bpt24o0q)
 [2] fevlake-cloud (id = b1g6bvup3toribomnh30)
Please enter your numeric choice: 2
Your current cloud has been set to 'fevlake-cloud' (id = b1g6bvup3toribomnh30).
Please choose folder to use:
 [1] default (id = b1g5r6h11knotfr8vjp7)
 [2] Create a new folder
Please enter your numeric choice: 1
Your current folder has been set to 'default' (id = b1g5r6h11knotfr8vjp7).
Do you want to configure a default Compute zone? [Y/n]
Which zone do you want to use as a profile default?
 [1] ru-central1-a
 [2] ru-central1-b
 [3] ru-central1-c
 [4] Don't set default zone
Please enter your numeric choice: 1
Your profile default Compute zone has been set to 'ru-central1-a'.
vozerov@mba:~ $

सिद्धान्तमा, प्रक्रिया सरल छ - पहिले तपाईंले क्लाउड प्रबन्ध गर्न, क्लाउड र तपाईंले प्रयोग गर्नुहुने फोल्डर चयन गर्न ओउथ टोकन प्राप्त गर्न आवश्यक छ।

यदि तपाइँसँग एउटै क्लाउड भित्र धेरै खाताहरू वा फोल्डरहरू छन् भने, तपाइँ yc कन्फिगरेसन प्रोफाइल मार्फत अलग सेटिङहरूसँग थप प्रोफाइलहरू सिर्जना गर्न सक्नुहुन्छ र तिनीहरू बीच स्विच गर्नुहोस्।

माथिको विधिहरूको अतिरिक्त, Yandex.Cloud टोलीले धेरै राम्रो लेख्यो terraform को लागी प्लगइन क्लाउड स्रोतहरू व्यवस्थापनको लागि। मेरो भागको लागि, मैले एक git भण्डार तयार गरें, जहाँ मैले लेखको अंशको रूपमा सिर्जना गरिने सबै स्रोतहरू वर्णन गरें - https://github.com/rebrainme/yandex-cloud-events/। हामी मास्टर शाखामा रुचि राख्छौं, यसलाई स्थानीय रूपमा क्लोन गरौं:


vozerov@mba:~ $ git clone https://github.com/rebrainme/yandex-cloud-events/ events
Cloning into 'events'...
remote: Enumerating objects: 100, done.
remote: Counting objects: 100% (100/100), done.
remote: Compressing objects: 100% (68/68), done.
remote: Total 100 (delta 37), reused 89 (delta 26), pack-reused 0
Receiving objects: 100% (100/100), 25.65 KiB | 168.00 KiB/s, done.
Resolving deltas: 100% (37/37), done.
vozerov@mba:~ $ cd events/terraform/

टेराफर्ममा प्रयोग हुने सबै मुख्य चरहरू main.tf फाइलमा लेखिएका छन्। सुरु गर्नको लागि, निम्न सामग्रीको साथ terraform फोल्डरमा एक private.auto.tfvars फाइल सिर्जना गर्नुहोस्:

# Yandex Cloud Oauth token
yc_token = ""
# Yandex Cloud ID
yc_cloud_id = ""
# Yandex Cloud folder ID
yc_folder_id = ""
# Default Yandex Cloud Region
yc_region = "ru-central1-a"
# Cloudflare email
cf_email = ""
# Cloudflare token
cf_token = ""
# Cloudflare zone id
cf_zone_id = ""

सबै चरहरू yc कन्फिगरेसन सूचीबाट लिन सकिन्छ, किनकि हामीले कन्सोल उपयोगिता कन्फिगर गरिसकेका छौं। म तपाईलाई तुरुन्तै .gitignore मा private.auto.tfvars थप्न सल्लाह दिन्छु, ताकि गल्तिले निजी डेटा प्रकाशित नहोस्।

Private.auto.tfvars मा हामीले Cloudflare बाट डाटा पनि निर्दिष्ट गर्यौं - DNS रेकर्डहरू सिर्जना गर्न र मुख्य डोमेन events.kis.im लाई हाम्रो सर्भरहरूमा प्रोक्सी गर्न। यदि तपाइँ क्लाउडफ्लेयर प्रयोग गर्न चाहनुहुन्न भने, main.tf र dns.tf फाइलमा क्लाउडफ्लेयर प्रदायकको प्रारम्भिकता हटाउनुहोस्, जुन आवश्यक dns रेकर्डहरू सिर्जना गर्न जिम्मेवार छ।

हाम्रो काममा हामी सबै तीन विधिहरू संयोजन गर्नेछौं - वेब इन्टरफेस, कन्सोल उपयोगिता, र टेराफार्म।

भर्चुअल नेटवर्कहरू

इमानदार हुनको लागि, तपाईंले यो चरण छोड्न सक्नुहुन्छ, किनकि तपाईंले नयाँ क्लाउड सिर्जना गर्दा, तपाईंसँग स्वचालित रूपमा छुट्टै नेटवर्क र 3 सबनेटहरू सिर्जना हुनेछन् - प्रत्येक उपलब्धता क्षेत्रको लागि एउटा। तर हामी अझै पनि हाम्रो परियोजनाको लागि आफ्नै ठेगानाको साथ छुट्टै नेटवर्क बनाउन चाहन्छौं। Yandex.Cloud मा सञ्जालले कसरी काम गर्छ भन्ने सामान्य रेखाचित्र तलको चित्रमा देखाइएको छ (इमानदारीपूर्वक लिइएको https://cloud.yandex.ru/docs/vpc/concepts/)

त्यसोभए, तपाइँ एक साझा नेटवर्क सिर्जना गर्नुहुन्छ जसमा स्रोतहरू एक अर्कासँग सञ्चार गर्न सक्छन्। प्रत्येक उपलब्धता क्षेत्रको लागि, एउटा सबनेट यसको आफ्नै ठेगानाको साथ सिर्जना गरिएको छ र सामान्य नेटवर्कमा जडान गरिएको छ। नतिजाको रूपमा, यसमा भएका सबै क्लाउड स्रोतहरूले सञ्चार गर्न सक्छन्, भले ही तिनीहरू विभिन्न उपलब्धता क्षेत्रमा छन्। विभिन्न क्लाउड नेटवर्कहरूमा जडान भएका स्रोतहरूले बाह्य ठेगानाहरू मार्फत मात्र एकअर्कालाई देख्न सक्छन्। वैसे, यो जादू भित्र कसरी काम गर्दछ, Habré मा राम्रोसँग वर्णन गरिएको थियो.

नेटवर्क निर्माणलाई भण्डारबाट network.tf फाइलमा वर्णन गरिएको छ। त्यहाँ हामीले एउटा साझा निजी सञ्जाल आन्तरिक सिर्जना गर्छौं र यसमा तीनवटा सबनेटहरू विभिन्न उपलब्धता क्षेत्रहरूमा जडान गर्छौं - आन्तरिक-a (172.16.1.0/24), आन्तरिक-b (172.16.2.0/24), आन्तरिक-c (172.16.3.0/24)। )।

टेराफार्म प्रारम्भ गर्नुहोस् र नेटवर्कहरू सिर्जना गर्नुहोस्:

vozerov@mba:~/events/terraform (master) $ terraform init
... skipped ..

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_vpc_subnet.internal-a -target yandex_vpc_subnet.internal-b -target yandex_vpc_subnet.internal-c

... skipped ...

Plan: 4 to add, 0 to change, 0 to destroy.

Do you want to perform these actions?
  Terraform will perform the actions described above.
  Only 'yes' will be accepted to approve.

  Enter a value: yes

yandex_vpc_network.internal: Creating...
yandex_vpc_network.internal: Creation complete after 3s [id=enp2g2rhile7gbqlbrkr]
yandex_vpc_subnet.internal-a: Creating...
yandex_vpc_subnet.internal-b: Creating...
yandex_vpc_subnet.internal-c: Creating...
yandex_vpc_subnet.internal-a: Creation complete after 6s [id=e9b1dad6mgoj2v4funog]
yandex_vpc_subnet.internal-b: Creation complete after 7s [id=e2liv5i4amu52p64ac9p]
yandex_vpc_subnet.internal-c: Still creating... [10s elapsed]
yandex_vpc_subnet.internal-c: Creation complete after 10s [id=b0c2qhsj2vranoc9vhcq]

Apply complete! Resources: 4 added, 0 changed, 0 destroyed.

महान! हामीले हाम्रो नेटवर्क सिर्जना गरेका छौं र अब हाम्रो आन्तरिक सेवाहरू सिर्जना गर्न तयार छौं।

भर्चुअल मेसिनहरू सिर्जना गर्दै

एप्लिकेसनको परीक्षण गर्नको लागि, हामीले केवल दुई भर्चुअल मेसिनहरू सिर्जना गर्न आवश्यक छ - हामीलाई अनुप्रयोग निर्माण गर्न र चलाउनको लागि पहिलो चाहिन्छ, दोस्रो काफ्का चलाउनको लागि, जुन हामीले आगमन सन्देशहरू भण्डारण गर्न प्रयोग गर्नेछौं। र हामी अर्को मेशिन सिर्जना गर्नेछौं जहाँ हामी अनुप्रयोगलाई निगरानी गर्न प्रोमेथियस कन्फिगर गर्नेछौं।

भर्चुअल मेसिनहरू एन्सिबल प्रयोग गरेर कन्फिगर गरिने छन्, त्यसैले टेराफर्म सुरु गर्नु अघि, तपाईंसँग उत्तरदायीको नवीनतम संस्करणहरू मध्ये एउटा छ भनी सुनिश्चित गर्नुहोस्। र उत्तरदायी ग्यालेक्सीको साथ आवश्यक भूमिकाहरू स्थापना गर्नुहोस्:

vozerov@mba:~/events/terraform (master) $ cd ../ansible/
vozerov@mba:~/events/ansible (master) $ ansible-galaxy install -r requirements.yml
- cloudalchemy-prometheus (master) is already installed, skipping.
- cloudalchemy-grafana (master) is already installed, skipping.
- sansible.kafka (master) is already installed, skipping.
- sansible.zookeeper (master) is already installed, skipping.
- geerlingguy.docker (master) is already installed, skipping.
vozerov@mba:~/events/ansible (master) $

उत्तरदायी फोल्डर भित्र एउटा उदाहरण .ansible.cfg कन्फिगरेसन फाइल छ जुन मैले प्रयोग गर्छु। यो काममा आउन सक्छ।

भर्चुअल मेसिनहरू सिर्जना गर्नु अघि, निश्चित गर्नुहोस् कि तपाईंसँग ssh-एजेन्ट चलिरहेको छ र एउटा ssh कुञ्जी थपिएको छ, अन्यथा टेराफर्मले सिर्जना गरिएका मेसिनहरूमा जडान गर्न सक्षम हुनेछैन। म, अवश्य पनि, os x मा बग भेट्टाएँ: https://github.com/ansible/ansible/issues/32499#issuecomment-341578864। यसलाई फेरि हुनबाट रोक्नको लागि, Terraform सुरु गर्नु अघि env मा एउटा सानो चर थप्नुहोस्:

vozerov@mba:~/events/terraform (master) $ export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES

टेराफर्मको साथ फोल्डरमा हामी आवश्यक स्रोतहरू सिर्जना गर्छौं:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_compute_instance.build -target yandex_compute_instance.monitoring -target yandex_compute_instance.kafka
yandex_vpc_network.internal: Refreshing state... [id=enp2g2rhile7gbqlbrkr]
data.yandex_compute_image.ubuntu_image: Refreshing state...
yandex_vpc_subnet.internal-a: Refreshing state... [id=e9b1dad6mgoj2v4funog]

An execution plan has been generated and is shown below.
Resource actions are indicated with the following symbols:
  + create

... skipped ...

Plan: 3 to add, 0 to change, 0 to destroy.

... skipped ...

यदि सबै कुरा सफलतापूर्वक समाप्त भयो (र यो हुनुपर्छ), त्यसपछि हामीसँग तीन भर्चुअल मेसिनहरू हुनेछन्:

निर्माण - परीक्षण र एक आवेदन निर्माण को लागी एक मेसिन। डकर Ansible द्वारा स्वचालित रूपमा स्थापित भएको थियो।
निगरानी - एक निगरानी मेसिन - प्रोमेथियस र ग्राफाना यसमा स्थापित। लगइन / पासवर्ड मानक: प्रशासक / व्यवस्थापक
काफ्का एउटा सानो मेसिन हो जसमा काफ्का स्थापना गरिएको छ, पोर्ट 9092 मा पहुँचयोग्य छ।

तिनीहरू सबै ठाउँमा छन् भनेर सुनिश्चित गरौं:

vozerov@mba:~/events (master) $ yc compute instance list
+----------------------+------------+---------------+---------+---------------+-------------+
|          ID          |    NAME    |    ZONE ID    | STATUS  |  EXTERNAL IP  | INTERNAL IP |
+----------------------+------------+---------------+---------+---------------+-------------+
| fhm081u8bkbqf1pa5kgj | monitoring | ru-central1-a | RUNNING | 84.201.159.71 | 172.16.1.35 |
| fhmf37k03oobgu9jmd7p | kafka      | ru-central1-a | RUNNING | 84.201.173.41 | 172.16.1.31 |
| fhmt9pl1i8sf7ga6flgp | build      | ru-central1-a | RUNNING | 84.201.132.3  | 172.16.1.26 |
+----------------------+------------+---------------+---------+---------------+-------------+

स्रोतहरू ठाउँमा छन्, र यहाँबाट हामी तिनीहरूको IP ठेगानाहरू प्राप्त गर्न सक्छौं। निम्न कुराहरूमा म ssh मार्फत जडान गर्न र अनुप्रयोग परीक्षण गर्न IP ठेगानाहरू प्रयोग गर्नेछु। यदि तपाइँसँग टेराफर्ममा जडान भएको क्लाउडफ्लेयर खाता छ भने, ताजा सिर्जना गरिएको DNS नामहरू प्रयोग गर्न नहिचकिचाउनुहोस्।
वैसे, भर्चुअल मेसिन सिर्जना गर्दा, आन्तरिक आईपी र आन्तरिक DNS नाम दिइएको छ, त्यसैले तपाइँ नामद्वारा नेटवर्क भित्र सर्भरहरू पहुँच गर्न सक्नुहुन्छ:

ubuntu@build:~$ ping kafka.ru-central1.internal
PING kafka.ru-central1.internal (172.16.1.31) 56(84) bytes of data.
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=1 ttl=63 time=1.23 ms
64 bytes from kafka.ru-central1.internal (172.16.1.31): icmp_seq=2 ttl=63 time=0.625 ms
^C
--- kafka.ru-central1.internal ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.625/0.931/1.238/0.308 ms

यो हाम्रो लागि kafk को साथ अन्तिम बिन्दु एप्लिकेसनलाई संकेत गर्न उपयोगी हुनेछ।

आवेदन संयोजन

राम्रो, त्यहाँ सर्भरहरू छन्, त्यहाँ एउटा अनुप्रयोग छ - सबै बाँकी छ यसलाई जम्मा गर्न र प्रकाशित गर्न। निर्माणको लागि हामी सामान्य डकर निर्माण प्रयोग गर्नेछौं, तर छवि भण्डारणको रूपमा हामी Yandex - कन्टेनर रजिस्ट्रीबाट सेवा प्रयोग गर्नेछौं। तर पहिलो कुरा पहिले।

हामी बिल्ड मेसिनमा एप्लिकेसन प्रतिलिपि गर्छौं, ssh मार्फत लग इन गर्नुहोस् र छविलाई भेला गर्नुहोस्:

vozerov@mba:~/events/terraform (master) $ cd ..
vozerov@mba:~/events (master) $ rsync -av app/ [email protected]:app/

... skipped ...

sent 3849 bytes  received 70 bytes  7838.00 bytes/sec
total size is 3644  speedup is 0.93

vozerov@mba:~/events (master) $ ssh 84.201.132.3 -l ubuntu
ubuntu@build:~$ cd app
ubuntu@build:~/app$ sudo docker build -t app .
Sending build context to Docker daemon  6.144kB
Step 1/9 : FROM golang:latest AS build
... skipped ...

Successfully built 9760afd8ef65
Successfully tagged app:latest

आधा लडाई सकियो - अब हामी यसलाई सुरु गरेर र काफ्कामा पठाएर हाम्रो अनुप्रयोगको कार्यक्षमता जाँच गर्न सक्छौं:

ubuntu@build:~/app$ sudo docker run --name app -d -p 8080:8080 app /app/app -kafka=kafka.ru-central1.internal:9092</code>

С локальной машинки можно отправить тестовый event и посмотреть на ответ:

<code>vozerov@mba:~/events (master) $ curl -D - -s -X POST -d '{"key1":"data1"}' http://84.201.132.3:8080/post
HTTP/1.1 200 OK
Content-Type: application/json
Date: Mon, 13 Apr 2020 13:53:54 GMT
Content-Length: 41

{"status":"ok","partition":0,"Offset":0}
vozerov@mba:~/events (master) $

एप्लिकेसनले रेकर्डिङको सफलताको साथ प्रतिक्रिया दियो र सन्देश समावेश गरिएको विभाजन र अफसेटको आईडी संकेत गर्दै। के गर्न बाँकी छ Yandex.Cloud मा रजिस्ट्री सिर्जना गर्नुहोस् र त्यहाँ हाम्रो छवि अपलोड गर्नुहोस् (तीन लाइनहरू प्रयोग गरेर यो कसरी गर्ने भनेर registry.tf फाइलमा वर्णन गरिएको छ)। भण्डारण सिर्जना गर्नुहोस्:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_container_registry.events

... skipped ...

Plan: 1 to add, 0 to change, 0 to destroy.

... skipped ...

Apply complete! Resources: 1 added, 0 changed, 0 destroyed.

त्यहाँ कन्टेनर रजिस्ट्रीमा प्रमाणीकरण गर्ने धेरै तरिकाहरू छन् - aauth टोकन, iam टोकन, वा सेवा खाता कुञ्जी प्रयोग गरेर। यी विधिहरूको बारेमा थप विवरण कागजातमा फेला पार्न सकिन्छ। https://cloud.yandex.ru/docs/container-registry/operations/authentication। हामी सेवा खाता कुञ्जी प्रयोग गर्नेछौं, त्यसैले हामी एउटा खाता सिर्जना गर्छौं:

vozerov@mba:~/events/terraform (master) $ terraform apply -target yandex_iam_service_account.docker -target yandex_resourcemanager_folder_iam_binding.puller -target yandex_resourcemanager_folder_iam_binding.pusher

... skipped ...

Apply complete! Resources: 3 added, 0 changed, 0 destroyed.

अब बाँकी सबै यसको लागि कुञ्जी बनाउनु हो:

vozerov@mba:~/events/terraform (master) $ yc iam key create --service-account-name docker -o key.json
id: ajej8a06kdfbehbrh91p
service_account_id: ajep6d38k895srp9osij
created_at: "2020-04-13T14:00:30Z"
key_algorithm: RSA_2048

हामीले हाम्रो भण्डारणको आईडीको बारेमा जानकारी प्राप्त गर्छौं, कुञ्जी स्थानान्तरण गर्छौं र लग इन गर्छौं:

vozerov@mba:~/events/terraform (master) $ scp key.json [email protected]:
key.json                                                                                                                    100% 2392   215.1KB/s   00:00

vozerov@mba:~/events/terraform (master) $ ssh 84.201.132.3 -l ubuntu

ubuntu@build:~$ cat key.json | sudo docker login --username json_key --password-stdin cr.yandex
WARNING! Your password will be stored unencrypted in /home/ubuntu/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
ubuntu@build:~$

रजिस्ट्रीमा छवि अपलोड गर्न, हामीलाई कन्टेनर रजिस्ट्री आईडी चाहिन्छ, हामी यसलाई yc उपयोगिताबाट लिन्छौं:

vozerov@mba:~ $ yc container registry get events
id: crpdgj6c9umdhgaqjfmm
folder_id:
name: events
status: ACTIVE
created_at: "2020-04-13T13:56:41.914Z"

त्यस पछि, हामी हाम्रो छविलाई नयाँ नामको साथ ट्याग गर्छौं र अपलोड गर्छौं:

ubuntu@build:~$ sudo docker tag app cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
ubuntu@build:~$ sudo docker push cr.yandex/crpdgj6c9umdhgaqjfmm/events:v1
The push refers to repository [cr.yandex/crpdgj6c9umdhgaqjfmm/events]
8c286e154c6e: Pushed
477c318b05cb: Pushed
beee9f30bc1f: Pushed
v1: digest: sha256:1dd5aaa9dbdde2f60d833be0bed1c352724be3ea3158bcac3cdee41d47c5e380 size: 946

हामी छवि सफलतापूर्वक लोड भएको प्रमाणित गर्न सक्छौं:

vozerov@mba:~/events/terraform (master) $ yc container repository list
+----------------------+-----------------------------+
|          ID          |            NAME             |
+----------------------+-----------------------------+
| crpe8mqtrgmuq07accvn | crpdgj6c9umdhgaqjfmm/events |
+----------------------+-----------------------------+

खैर, यदि तपाइँ लिनक्स मेसिनमा yc उपयोगिता स्थापना गर्नुहुन्छ भने, तपाइँ आदेश प्रयोग गर्न सक्नुहुन्छ

yc container registry configure-docker

डकर कन्फिगर गर्न।

निष्कर्षमा

हामीले धेरै कडा परिश्रम गरेका छौं र परिणाम स्वरूप:

हामी हाम्रो भावी सेवाको वास्तुकलाको साथ आएका छौं।
हामीले हाम्रो व्यापार तर्क लागू गर्ने गोलाङ्गमा एउटा आवेदन लेख्यौं।
हामीले यसलाई सङ्कलन गरी निजी कन्टेनर रजिस्ट्रीमा खन्यायौं।

अर्को भागमा, हामी चाखलाग्दो सामानहरूमा जान्छौं - हामी उत्पादनमा हाम्रो अनुप्रयोग जारी गर्नेछौं र अन्तमा यसमा लोड सुरु गर्नेछौं। स्विच नगर्नुहोस्!

यो सामग्री खुला कार्यशाला REBRAIN र Yandex.Cloud को भिडियो रेकर्डिङमा छ: हामी Yandex Cloud मा प्रति सेकेन्ड 10 अनुरोधहरू स्वीकार गर्छौं - https://youtu.be/cZLezUm0ekE

यदि तपाइँ त्यस्ता कार्यक्रमहरू अनलाइनमा उपस्थित हुन र वास्तविक समयमा प्रश्नहरू सोध्न इच्छुक हुनुहुन्छ भने, जडान गर्नुहोस् REBRAIN च्यानल द्वारा DevOps.

यस्तो कार्यक्रम आयोजना गर्ने अवसरको लागि हामी Yandex.Cloud लाई विशेष धन्यवाद दिन चाहन्छौं। तिनीहरूलाई लिङ्क - https://cloud.yandex.ru/prices

यदि तपाइँ क्लाउडमा जान आवश्यक छ वा तपाइँको पूर्वाधारको बारेमा प्रश्नहरू छन् भने, अनुरोध पेश गर्न स्वतन्त्र महसुस गर्नुहोस्.

PS हामीसँग प्रति महिना 2 नि: शुल्क अडिटहरू छन्, सायद तपाइँको परियोजना ती मध्ये एक हुनेछ।

स्रोत: www.habr.com

हामी Yandex.Cloud मा 10 घटनाहरू स्वीकार गर्छौं। भाग 000

TK