टेराफार्मर - कोडको लागि पूर्वाधार

म तपाईंलाई नयाँ CLI उपकरणको बारेमा बताउन चाहन्छु जुन मैले पुरानो समस्या समाधान गर्न लेखेको छु।

समस्या

Terraform लामो समयदेखि Devops/Cloud/IT समुदायमा मानक भएको छ। कुरा कोडको रूपमा पूर्वाधारसँग व्यवहार गर्नको लागि धेरै सुविधाजनक र उपयोगी छ। टेराफर्ममा धेरै रमाईलोहरू साथै धेरै काँटाहरू, धारिलो चक्कुहरू र रेकहरू छन्।
Terraform को साथ नयाँ चीजहरू सिर्जना गर्न र त्यसपछि तिनीहरूलाई व्यवस्थापन गर्न, परिवर्तन गर्न वा मेटाउन धेरै सुविधाजनक छ। क्लाउडमा ठूलो पूर्वाधार भएका र टेराफर्म मार्फत सिर्जना नगर्नेहरूले के गर्नुपर्छ? सम्पूर्ण क्लाउडलाई पुन: लेख्ने र पुन: सिर्जना गर्नु कुनै न कुनै रूपमा महँगो र असुरक्षित छ।
मैले २ कार्यहरूमा यो समस्याको सामना गरें, सबैभन्दा सरल उदाहरण हो जब तपाईं टेराफर्म फाइलहरूको रूपमा Git मा सबै कुरा हुन चाहनुहुन्छ, तर तपाईंसँग 2+ बाल्टीहरू छन् र तिनीहरूलाई हातले टेराफर्ममा लेख्न धेरै छ।
छन् मुद्दा टेराफममा सन् २०१४ देखि आयात हुने आशामा २०१६ मा बन्द भएको थियो।

सामान्यतया, सबै कुरा तस्विरमा मात्र दायाँ देखि बायाँ देखि छ

चेतावनी: लेखक आफ्नो आधा जीवन रूसमा बस्दैनन् र रूसीमा थोरै लेख्छन्। हिज्जे त्रुटिहरूबाट सावधान रहनुहोस्।

समाधानहरू

1. AWS का लागि तयार र पुराना समाधानहरू छन् टेराफॉर्मिङ। जब मैले मेरो 250+ बाल्टीहरू मार्फत प्राप्त गर्ने प्रयास गरें, मैले बुझें कि त्यहाँ सबै खराब थियो। AWS ले लामो समयदेखि धेरै नयाँ विकल्पहरू प्रस्तुत गर्दै आएको छ, तर टेराफर्मिङलाई तिनीहरूको बारेमा थाहा छैन र सामान्यतया यो रूबी हो। टेम्प्लेट विरल देखिन्छ। साँझ २ बजेपछि पठाएँ तान्ने अनुरोध त्यहाँ थप सुविधाहरू थप्न र यस्तो समाधान सबै उपयुक्त छैन भनेर महसुस।
टेराफार्मिङले कसरी काम गर्छ: यसले AWS SDK बाट डाटा लिन्छ र टेम्प्लेट मार्फत tf र tfstate उत्पन्न गर्छ।
यहाँ 3 समस्याहरू छन्:
1. अद्यावधिकहरूमा सधैं ढिलाइ हुनेछ
2. tf फाइलहरू कहिलेकाहीँ टुक्रिएको बाहिर आउँछन्
3. tfstate tf बाट अलग रूपमा सङ्कलन गरिन्छ र सधैं अभिसरण हुँदैन
सामान्यतया, कुनै नतिजा प्राप्त गर्न गाह्रो छ जसमा 'टेराफार्म प्लान' भन्छ कि कुनै परिवर्तनहरू छैनन्

2. टेराफर्म इम्पोर्ट' टेराफर्ममा निर्मित कमाण्ड हो। यस्ले कसरी काम गर्छ?
तपाईंले नाम र स्रोतको प्रकारको साथ एउटा खाली TF फाइल लेख्नुहुन्छ, त्यसपछि `terraform import` चलाउनुहोस् र स्रोत ID पास गर्नुहोस्। टेराफर्मले प्रदायकलाई सम्पर्क गर्छ, डाटा प्राप्त गर्छ र tfstate फाइल बनाउँछ।
यहाँ 3 समस्याहरू छन्:
1. हामीले tfstate फाइल मात्र पाउँछौं, र tf खाली छ, तपाईंले यसलाई म्यानुअल रूपमा लेख्नुपर्छ वा tfstate बाट रूपान्तरण गर्नुपर्छ।
2. एक पटकमा एउटा स्रोतसँग मात्र काम गर्न सक्छ र सबै स्रोतहरूलाई समर्थन गर्दैन। र मैले 250+ बाल्टिनहरूसँग फेरि के गर्नुपर्छ?
3. तपाईंले संसाधनहरूको ID थाहा पाउन आवश्यक छ - अर्थात्, तपाईंले यसलाई कोडमा बेर्नु पर्छ जसले स्रोतहरूको सूची प्राप्त गर्दछ।
सामान्यतया, परिणाम आंशिक छ र राम्रो मापन गर्दैन

मेरो निर्णय

आवश्यकताहरू:
1. स्रोतहरूको लागि tf र tfstate फाइलहरू सिर्जना गर्ने क्षमता। उदाहरणका लागि, सबै बाल्टी/सुरक्षा समूह/लोड ब्यालेन्सर डाउनलोड गर्नुहोस् र त्यो `टेराफर्म प्लान` फर्कियो कि त्यहाँ कुनै परिवर्तनहरू छैनन्।
२. तपाईंलाई २ GCP + AWS क्लाउडहरू चाहिन्छ
3. विश्वव्यापी समाधान जुन हरेक पटक अद्यावधिक गर्न सजिलो छ र 3 दिनको कामको लागि प्रत्येक स्रोतमा समय बर्बाद गर्दैन।
4. यसलाई खुला स्रोत बनाउनुहोस् - सबैलाई समान समस्या छ

गो भाषाको कारणले गर्दा मलाई यो मनपर्छ, र यसमा टेराफर्ममा प्रयोग हुने HCL फाइलहरू बनाउनको लागि पुस्तकालय छ + टेराफर्ममा धेरै कोड जुन उपयोगी हुन सक्छ।

बाटो

पहिलो प्रयास
मैले एक साधारण संस्करणको साथ सुरु गरें। आवश्यक स्रोतको लागि SDK मार्फत क्लाउडलाई सम्पर्क गर्दै र यसलाई टेराफर्मको लागि क्षेत्रहरूमा रूपान्तरण गर्दै। प्रयास सुरक्षा समूहमा तुरुन्तै मरे किनभने मलाई सुरक्षा समूहलाई मात्र रूपान्तरण गर्न 1.5 दिन मन परेन (र त्यहाँ धेरै स्रोतहरू छन्)। यसले लामो समय लिन्छ र त्यसपछि क्षेत्रहरू परिवर्तन/थप्न सकिन्छ

दोस्रो प्रयास
वर्णन गरिएको विचारको आधारमा यहाँ। केवल लिनुहोस् र tfstate लाई tf मा रूपान्तरण गर्नुहोस्। सबै डाटा त्यहाँ छ र क्षेत्रहरू समान छन्। धेरै स्रोतहरूको लागि पूर्ण tfstate कसरी प्राप्त गर्ने ?? यहींबाट 'terraform refresh' आदेश उद्धारमा आयो। terraform ले tfstate मा सबै स्रोतहरू लिन्छ र, ID द्वारा, तिनीहरूमा डाटा निकाल्छ र tfstate मा सबै कुरा लेख्छ। त्यो हो, केवल नाम र आईडीहरू सहित एउटा खाली tfstate सिर्जना गर्नुहोस्, `terraform refresh` चलाउनुहोस् र त्यसपछि हामीले पूर्ण tfstates पाउँछौं। हुर्रे!
अब tfstate लाई tf लाई कन्भर्टर लेख्ने पुनरावर्ती पोर्नोग्राफी गरौं। tfstate कहिल्यै नपढ्नेहरूका लागि, यो JSON हो, तर विशेष।
यहाँ यसको महत्त्वपूर्ण अंश विशेषताहरू छन्

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

त्यहाँ छ:
1. आईडी - स्ट्रिङ
2. मेटाडेटा - आकार 1 को एरे र यसमा फिल्डहरू भएको वस्तु जुन तल वर्णन गरिएको छ
3. spec - आकार 1 को ह्यास र कुञ्जी, यसमा मान
छोटकरीमा, एक रमाईलो ढाँचा, सबै धेरै स्तर गहिरो हुन सक्छ

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

सामान्यतया, यदि कसैले अन्तर्वार्ताको लागि प्रोग्रामिङ समस्या चाहन्छ भने, उनीहरूलाई यो कार्यको लागि पार्सर लेख्न सोध्नुहोस् :)
बग बिना पार्सर लेख्ने धेरै प्रयास पछि, मैले टेराफर्म कोडमा यसको अंश फेला पारे, र सबैभन्दा महत्त्वपूर्ण भाग। र सबै कुरा राम्रो काम गरेको जस्तो देखिन्थ्यो

प्रयास तीन
टेराफर्म प्रदायकहरू बाइनरीहरू हुन् जसमा क्लाउड एपीआईसँग काम गर्नका लागि सबै स्रोतहरू र तर्कहरू समावेश हुन्छन्। प्रत्येक क्लाउडको आफ्नै प्रदायक हुन्छ र टेराफर्मले मात्र दुई प्रक्रियाहरू बीचको RPC प्रोटोकल मार्फत कल गर्छ।
अब मैले RPC कलहरू मार्फत टेराफार्म प्रदायकहरूलाई सिधै सम्पर्क गर्ने निर्णय गरें। यो सुन्दर ढंगले बाहिर निस्कियो र यसले टेराफार्म प्रदायकहरूलाई नयाँमा परिवर्तन गर्न र कोड परिवर्तन नगरी नयाँ सुविधाहरू प्राप्त गर्न सम्भव बनायो। यो पनि बाहिर जान्छ कि tfstate मा सबै क्षेत्रहरू tf मा हुनु हुँदैन, तर तपाइँ कसरी पत्ता लगाउन सक्नुहुन्छ? यसको बारेमा आफ्नो प्रदायकलाई सोध्नुहोस्। त्यसपछि नियमित अभिव्यक्तिहरू जम्मा गर्ने अर्को पुनरावर्ती पोर्नोग्राफी सुरु भयो, tfstate भित्रका क्षेत्रहरू गहिराइमा सबै स्तरहरूमा खोज्दै।

अन्तमा, हामीले एउटा उपयोगी CLI उपकरण पायौं जसमा सबै टेराफर्म प्रदायकहरूको लागि साझा पूर्वाधार छ र तपाईंले सजिलैसँग एउटा नयाँ थप्न सक्नुहुन्छ। साथै, स्रोतहरू थप्दा थोरै कोड लाग्छ। साथै सबै प्रकारका सामानहरू जस्तै स्रोतहरू बीचको जडानहरू। निस्सन्देह, त्यहाँ धेरै फरक समस्याहरू थिए जुन सबै वर्णन गर्न सकिँदैन।
मैले जनावरको नाम टेराफोमर राखें।

समाप्त

Terrafomer प्रयोग गरेर, हामीले दुई क्लाउडहरूबाट tf + tfstate कोडको 500-700 हजार लाइनहरू उत्पन्न गर्यौं। हामीले लिगेसी चीजहरू लिन र टेराफर्म मार्फत मात्र तिनीहरूलाई छुन सुरु गर्न सक्षम भयौं, कोड विचारहरूको रूपमा उत्कृष्ट पूर्वाधारमा। यो केवल जादू हो जब तपाइँ एक विशाल क्लाउड लिनुहुन्छ र टेराफर्म कार्यकर्ता फाइलहरूको रूपमा टोली मार्फत प्राप्त गर्नुहुन्छ। र त्यसपछि grep/replace/git र यस्तै।

मैले त्यसलाई बाहिर निकालेर मिलाएर राखें, अनुमति पाएँ। बिहीबार (०५/०२/१९) मा सबैका लागि GitHub मा जारी गरियो। github.com/GoogleCloudPlatform/terraformer
ओपनस्ट्याक र kubernetes को लागि समर्थन थप्नको लागि पहिले नै 600 ताराहरू, 2 पुल अनुरोधहरू प्राप्त गरिसकेका छन्। राम्रो प्रतिक्रिया। सामान्यतया, परियोजना मानिसहरूको लागि उपयोगी छ
म सबैलाई सल्लाह दिन्छु जो Terraform सँग काम सुरु गर्न चाहन्छन् र यसको लागि सबै कुरा पुन: लेख्न चाहँदैनन्।
म अनुरोधहरू, मुद्दाहरू, ताराहरू तान्न खुसी हुनेछु।

डेमो


स्रोत: www.habr.com