टेराफॉर्मर - कोड के लिए बुनियादी ढांचा

मैं आपको नए सीएलआई टूल के बारे में बताना चाहूंगा जो मैंने एक पुरानी समस्या को हल करने के लिए लिखा था।

समस्या

टेराफॉर्म लंबे समय से डेवॉप्स/क्लाउड/आईटी समुदाय में एक मानक रहा है। कोड के रूप में बुनियादी ढांचे से निपटने के लिए यह चीज़ बहुत सुविधाजनक और उपयोगी है। टेराफॉर्म में कई आनंद के साथ-साथ कई कांटे, तेज चाकू और रेक भी हैं।
टेराफ़ॉर्म के साथ नई चीज़ें बनाना और फिर उन्हें प्रबंधित करना, बदलना या हटाना बहुत सुविधाजनक है। उन लोगों को क्या करना चाहिए जिनके पास क्लाउड में बहुत बड़ा बुनियादी ढांचा है और टेराफॉर्म के माध्यम से नहीं बनाया गया है? पूरे क्लाउड को दोबारा लिखना और दोबारा बनाना किसी तरह महंगा और असुरक्षित है।
मुझे दो नौकरियों में इस समस्या का सामना करना पड़ा, सबसे सरल उदाहरण तब है जब आप चाहते हैं कि सब कुछ टेराफ़ॉर्म फ़ाइलों के रूप में Git में हो, लेकिन आपके पास 2+ बकेट हैं और उन्हें हाथ से टेराफ़ॉर्म में लिखना बहुत अधिक है।
वहाँ मुद्दा 2014 से टेराफॉम में जो 2016 में इस उम्मीद से बंद कर दिया गया कि आयात होगा।

सामान्य तौर पर, सब कुछ वैसा ही है जैसा चित्र में दाएं से बाएं तक है

चेतावनियाँ: लेखक अपने आधे जीवन के लिए रूस में नहीं रहता है और रूसी में बहुत कम लिखता है। वर्तनी की त्रुटियों से सावधान रहें.

Решения

1. AWS के लिए तैयार और पुराने समाधान मौजूद हैं टेराफोर्मिंग. जब मैंने अपनी 250+ बाल्टियाँ उसमें से निकालने की कोशिश की, तो मुझे एहसास हुआ कि वहाँ सब कुछ ख़राब था। AWS लंबे समय से कई नए विकल्प पेश कर रहा है, लेकिन टेराफॉर्मिंग को उनके बारे में पता नहीं है और सामान्य तौर पर यह रूबी है टेम्पलेट विरल दिखता है. शाम को 2 बजे के बाद मैंने भेजा पुल अनुरोध वहां और अधिक सुविधाएं जोड़ने के लिए और महसूस किया कि ऐसा समाधान बिल्कुल उपयुक्त नहीं है।
टेराफॉर्मिंग कैसे काम करती है: यह AWS SDK से डेटा लेता है और एक टेम्पलेट के माध्यम से tf और tfstate उत्पन्न करता है।
यहां 3 समस्याएं हैं:
1. अपडेट में हमेशा देरी रहेगी
2. tf फ़ाइलें कभी-कभी टूटी हुई आती हैं
3. tfstate को tf से अलग से एकत्र किया जाता है और हमेशा अभिसरण नहीं होता है
सामान्य तौर पर, ऐसा परिणाम प्राप्त करना कठिन होता है जिसमें `टेराफॉर्म प्लान` कहता हो कि कोई बदलाव नहीं हैं

2. `टेराफॉर्म इंपोर्ट` टेराफॉर्म में एक अंतर्निहित कमांड है। यह कैसे काम करता है?
आप संसाधन के नाम और प्रकार के साथ एक खाली टीएफ फ़ाइल लिखते हैं, फिर `टेराफॉर्म आयात` चलाते हैं और संसाधन आईडी पास करते हैं। टेराफ़ॉर्म प्रदाता से संपर्क करता है, डेटा प्राप्त करता है और एक tfstate फ़ाइल बनाता है।
यहां 3 समस्याएं हैं:
1. हमें केवल एक tfstate फ़ाइल मिलती है, और tf खाली है, आपको इसे मैन्युअल रूप से लिखना होगा या इसे tfstate से परिवर्तित करना होगा
2. एक समय में केवल एक ही संसाधन के साथ काम कर सकता है और सभी संसाधनों का समर्थन नहीं करता है। और 250+ बाल्टियों के साथ मुझे फिर से क्या करना चाहिए?
3. आपको संसाधनों की आईडी जानने की जरूरत है - यानी, आपको इसे उस कोड में लपेटना होगा जो संसाधनों की सूची प्राप्त करता है
सामान्य तौर पर, परिणाम आंशिक होता है और अच्छा पैमाने पर नहीं होता है

मेरा निर्णय

आवश्यकताएँ:
1. संसाधनों के लिए tf और tfstate फ़ाइलें बनाने की क्षमता। उदाहरण के लिए, सभी बकेट/सुरक्षा समूह/लोड बैलेंसर डाउनलोड करें और `टेराफॉर्म प्लान` वापस आ गया कि कोई बदलाव नहीं है
2. आपको 2 GCP + AWS क्लाउड चाहिए
3. वैश्विक समाधान जो हर बार अपडेट करना आसान है और 3 दिनों के काम के लिए प्रत्येक संसाधन पर समय बर्बाद नहीं करता है
4. इसे ओपन सोर्स बनाएं - हर किसी की समस्या एक जैसी है

गो भाषा इसीलिए मुझे पसंद है, और इसमें एचसीएल फ़ाइलें बनाने के लिए एक लाइब्रेरी है जिसका उपयोग टेराफॉर्म में किया जाता है + टेराफॉर्म में बहुत सारे कोड हैं जो उपयोगी हो सकते हैं

पथ

पहला प्रयास
मैंने एक साधारण संस्करण से शुरुआत की। आवश्यक संसाधन के लिए एसडीके के माध्यम से क्लाउड से संपर्क करना और इसे टेराफॉर्म के लिए फ़ील्ड में परिवर्तित करना। सुरक्षा समूह पर प्रयास तुरंत समाप्त हो गया क्योंकि मुझे केवल सुरक्षा समूह को परिवर्तित करने के लिए 1.5 दिन पसंद नहीं आया (और इसमें बहुत सारे संसाधन हैं)। लंबे समय तक और फिर फ़ील्ड्स को बदला/जोड़ा जा सकता है

दूसरा प्रयास
वर्णित विचार के आधार पर यहां. बस tfstate को tf में लें और परिवर्तित करें। सारा डेटा वहाँ है और फ़ील्ड समान हैं। कई संसाधनों के लिए पूर्ण tfstate कैसे प्राप्त करें?? यहीं पर `टेराफॉर्म रिफ्रेश` कमांड बचाव के लिए आया। टेराफॉर्म tfstate में सभी संसाधनों को लेता है और, आईडी के आधार पर, उन पर डेटा निकालता है और tfstate को सब कुछ लिखता है। यानी, केवल नाम और आईडी के साथ एक खाली tfstate बनाएं, `terraformrefresh` चलाएं और फिर हमें पूर्ण tfstates मिलते हैं। हुर्रे!
अब आइए tfstate से tf के लिए कनवर्टर लिखने की पुनरावर्ती अश्लीलता करें। उन लोगों के लिए जिन्होंने कभी tfstate नहीं पढ़ा है, यह JSON है, लेकिन विशेष है।
यहाँ इसके महत्वपूर्ण भाग विशेषताएँ हैं

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

वहाँ है:
1. आईडी - स्ट्रिंग
2. मेटाडेटा - आकार 1 की एक सरणी और इसमें फ़ील्ड के साथ एक ऑब्जेक्ट जिसका वर्णन नीचे किया गया है
3. स्पेक - आकार 1 का हैश और कुंजी, उसमें मूल्य
संक्षेप में, एक मज़ेदार प्रारूप, हर चीज़ कई स्तरों तक गहरी हो सकती है

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

सामान्य तौर पर, यदि कोई साक्षात्कार के लिए प्रोग्रामिंग समस्या चाहता है, तो बस उन्हें इस कार्य के लिए एक पार्सर लिखने के लिए कहें :)
बग के बिना एक पार्सर लिखने के कई प्रयासों के बाद, मुझे इसका एक हिस्सा टेराफॉर्म कोड में मिला, और सबसे महत्वपूर्ण हिस्सा। और सब कुछ ठीक से काम करने लगा

प्रयास तीन
टेराफॉर्म प्रदाता बायनेरिज़ हैं जिनमें क्लाउड एपीआई के साथ काम करने के लिए सभी संसाधनों और तर्क के साथ कोड होता है। प्रत्येक क्लाउड का अपना प्रदाता होता है और टेराफॉर्म स्वयं उन्हें केवल दो प्रक्रियाओं के बीच अपने आरपीसी प्रोटोकॉल के माध्यम से कॉल करता है।
अब मैंने आरपीसी कॉल के माध्यम से सीधे टेराफॉर्म प्रदाताओं से संपर्क करने का निर्णय लिया। यह खूबसूरती से संपन्न हुआ और टेराफ़ॉर्म प्रदाताओं को नए प्रदाताओं में बदलना और कोड बदले बिना नई सुविधाएं प्राप्त करना संभव हो गया। यह भी पता चला है कि tfstate के सभी फ़ील्ड tf में नहीं होने चाहिए, लेकिन आप यह कैसे पता लगा सकते हैं? बस अपने प्रदाता से इस बारे में पूछें। फिर नियमित अभिव्यक्तियों को इकट्ठा करने की एक और पुनरावर्ती अश्लीलता शुरू हुई, गहराई में सभी स्तरों पर टीएफस्टेट के अंदर फ़ील्ड की खोज की गई।

अंत में, हमें एक उपयोगी सीएलआई टूल मिला जिसमें सभी टेराफॉर्म प्रदाताओं के लिए एक सामान्य बुनियादी ढांचा है और आप आसानी से एक नया जोड़ सकते हैं। साथ ही, संसाधन जोड़ने में बहुत कम कोड लगता है। साथ ही सभी प्रकार की अच्छाइयाँ जैसे कि संसाधनों के बीच संबंध। बेशक, कई अलग-अलग समस्याएं थीं जिनका वर्णन नहीं किया जा सकता।
मैंने जानवर का नाम टेराफोमर रखा।

अंतिम

टेराफोमर का उपयोग करके, हमने दो बादलों से tf + tfstate कोड की 500-700 हजार लाइनें तैयार कीं। हम विरासत की चीजों को लेने में सक्षम थे और केवल टेराफॉर्म के माध्यम से उन्हें छूना शुरू कर सकते थे, जैसे कि कोड विचारों के रूप में सर्वोत्तम बुनियादी ढांचे में। यह बिल्कुल जादू है जब आप एक विशाल बादल लेते हैं और इसे टेराफॉर्म वर्कर फ़ाइलों के रूप में एक टीम के माध्यम से प्राप्त करते हैं। और फिर grep/replace/git इत्यादि।

मैंने उसे कंघी करके व्यवस्थित किया, अनुमति मिल गयी। गुरुवार (02.05.19/XNUMX/XNUMX) को सभी के लिए GitHub पर जारी किया गया। github.com/GoogleCloudPlatform/terraformer
ओपनस्टैक और कुबेरनेट्स के लिए समर्थन जोड़ने के लिए पहले से ही 600 सितारे, 2 पुल अनुरोध प्राप्त हुए हैं। अच्छी प्रतिक्रिया. सामान्य तौर पर, परियोजना लोगों के लिए उपयोगी है
मैं उन सभी को सलाह देता हूं जो टेराफॉर्म के साथ काम करना शुरू करना चाहते हैं और इसके लिए सब कुछ दोबारा नहीं लिखना चाहते हैं।
मुझे अनुरोधों, मुद्दों, सितारों को खींचने में खुशी होगी।

डेमो


स्रोत: www.habr.com