टेराफॉर्मर - कोड टू इन्फ्रास्ट्रक्चर

मी तुम्हाला नवीन CLI टूलबद्दल सांगू इच्छितो जे मी जुन्या समस्येचे निराकरण करण्यासाठी लिहिले आहे.

समस्या

डेव्हॉप्स/क्लाउड/आयटी समुदायामध्ये टेराफॉर्म हे फार पूर्वीपासून एक मानक आहे. कोड म्हणून पायाभूत सुविधांशी व्यवहार करण्यासाठी ही गोष्ट अतिशय सोयीची आणि उपयुक्त आहे. टेराफॉर्ममध्ये अनेक आनंद आहेत तसेच अनेक काटे, धारदार चाकू आणि रेक आहेत.
टेराफॉर्मसह नवीन गोष्टी तयार करणे आणि नंतर त्या व्यवस्थापित करणे, बदलणे किंवा हटवणे खूप सोयीचे आहे. ज्यांच्याकडे क्लाउडमध्ये प्रचंड पायाभूत सुविधा आहेत आणि ते टेराफॉर्मद्वारे तयार केलेले नाहीत त्यांनी काय करावे? संपूर्ण क्लाउड पुन्हा लिहिणे आणि पुन्हा तयार करणे हे काहीसे महाग आणि असुरक्षित आहे.
मला ही समस्या 2 जॉब्समध्ये आली, सर्वात सोपा उदाहरण म्हणजे जेव्हा तुम्हाला सर्वकाही Git मध्ये टेराफॉर्म फाइल्सच्या स्वरूपात हवे असते, परंतु तुमच्याकडे 250+ बादल्या आहेत आणि ते हाताने टेराफॉर्ममध्ये लिहिणे खूप आहे.
आहेत समस्या टेराफॉम मध्ये 2014 पासून जे आयात होईल या आशेने 2016 मध्ये बंद करण्यात आले.

सर्वसाधारणपणे, सर्व काही फक्त उजवीकडून डावीकडे चित्रात आहे

चेतावणी: लेखक आपले अर्धे आयुष्य रशियामध्ये राहत नाही आणि रशियनमध्ये थोडे लिहितो. शुद्धलेखनाच्या चुकांपासून सावध रहा.

उपाय

1. AWS साठी तयार आणि जुने उपाय आहेत टेराफॉर्मिंग. जेव्हा मी माझ्या 250+ बादल्या त्याद्वारे मिळवण्याचा प्रयत्न केला तेव्हा मला समजले की तेथे सर्व काही खराब आहे. AWS बर्याच काळापासून बरेच नवीन पर्याय सादर करत आहे, परंतु टेराफॉर्मिंगला त्यांच्याबद्दल माहिती नाही आणि सर्वसाधारणपणे ते रूबी आहे टेम्पलेट विरळ दिसत आहे. संध्याकाळी 2 नंतर मी पाठवले विनंती ओढा तेथे अधिक वैशिष्ट्ये जोडण्यासाठी आणि लक्षात आले की असा उपाय अजिबात योग्य नाही.
टेराफॉर्मिंग कसे कार्य करते: ते AWS SDK वरून डेटा घेते आणि टेम्पलेटद्वारे tf आणि tfstate तयार करते.
येथे 3 समस्या आहेत:
1. अद्यतनांमध्ये नेहमीच अंतर राहील
2. tf फाइल्स कधी कधी तुटलेल्या बाहेर येतात
3. tfstate tf पासून वेगळे गोळा केले जाते आणि नेहमी एकत्र होत नाही
सर्वसाधारणपणे, कोणताही बदल झालेला नाही असे `टेराफॉर्म प्लॅन` सांगते असा निकाल मिळणे कठीण आहे

2. टेराफॉर्ममध्ये `टेराफॉर्म आयात` ही अंगभूत कमांड आहे. हे कस काम करत?
तुम्ही नाव आणि संसाधनाच्या प्रकारासह रिक्त TF फाइल लिहा, नंतर `टेराफॉर्म आयात` चालवा आणि संसाधन आयडी पास करा. टेराफॉर्म प्रदात्याशी संपर्क साधतो, डेटा प्राप्त करतो आणि tfstate फाइल बनवतो.
येथे 3 समस्या आहेत:
1. आम्हाला फक्त tfstate फाइल मिळते आणि tf रिकामी आहे, तुम्हाला ती स्वहस्ते लिहावी लागेल किंवा ती tfstate मधून रूपांतरित करावी लागेल.
2. एका वेळी फक्त एका संसाधनासह कार्य करू शकते आणि सर्व संसाधनांना समर्थन देत नाही. आणि 250+ बादल्या घेऊन मी पुन्हा काय करावे?
3. तुम्हाला संसाधनांचा आयडी माहित असणे आवश्यक आहे - म्हणजेच, तुम्हाला ते कोडमध्ये गुंडाळणे आवश्यक आहे ज्यात संसाधनांची यादी मिळते
सर्वसाधारणपणे, परिणाम अर्धवट असतो आणि त्याचे प्रमाण चांगले नसते

माझा निर्णय

आवश्यकता:
1. संसाधनांसाठी tf आणि tfstate फाइल्स तयार करण्याची क्षमता. उदाहरणार्थ, सर्व बादल्या/सुरक्षा गट/लोड बॅलन्सर डाउनलोड करा आणि तो `टेराफॉर्म प्लॅन` परत आला की त्यात कोणतेही बदल नाहीत
2. तुम्हाला 2 GCP + AWS क्लाउड आवश्यक आहेत
3. जागतिक समाधान जे प्रत्येक वेळी अपडेट करणे सोपे आहे आणि 3 दिवसांच्या कामासाठी प्रत्येक संसाधनावर वेळ वाया घालवत नाही
4. हे मुक्त स्त्रोत बनवा - प्रत्येकाला समान समस्या आहे

गो लँग्वेजमुळे मला ती आवडते, आणि त्यात टेराफॉर्ममध्ये वापरल्या जाणार्‍या एचसीएल फाइल्स तयार करण्यासाठी लायब्ररी आहे + टेराफॉर्ममध्ये बरेच कोड जे उपयोगी असू शकतात.

मार्ग

पहिला प्रयत्न
मी एका साध्या आवृत्तीने सुरुवात केली. आवश्यक संसाधनासाठी SDK द्वारे क्लाउडशी संपर्क साधणे आणि ते टेराफॉर्मसाठी फील्डमध्ये रूपांतरित करणे. सिक्युरिटी ग्रुपवर हा प्रयत्न ताबडतोब संपला कारण मला फक्त सिक्युरिटी ग्रुपमध्ये रूपांतरित करण्यासाठी 1.5 दिवस आवडले नाहीत (आणि तेथे बरीच संसाधने आहेत). बराच काळ आणि नंतर फील्ड बदलले/जोडले जाऊ शकतात

दुसरा प्रयत्न
वर्णन केलेल्या कल्पनेवर आधारित येथे. फक्त घ्या आणि tfstate tf मध्ये रूपांतरित करा. सर्व डेटा तेथे आहे आणि फील्ड समान आहेत. अनेक संसाधनांसाठी पूर्ण टीएफस्टेट कसे मिळवायचे?? इथेच `टेराफॉर्म रिफ्रेश` कमांड बचावासाठी आला. टेराफॉर्म सर्व संसाधने tfstate मध्ये घेते आणि, ID द्वारे, त्यांच्यावरील डेटा काढते आणि tfstate वर सर्व काही लिहिते. म्हणजे, फक्त नावे आणि आयडी असलेले रिकामे tfstate तयार करा, `terraform refresh` चालवा आणि मग आम्हाला पूर्ण tfstate मिळेल. हुर्रे!
आता tfstate ते tf साठी कन्व्हर्टर लिहिण्याची रिकर्सिव पोर्नोग्राफी करू. ज्यांनी tfstate कधीच वाचले नाही त्यांच्यासाठी ते JSON आहे, पण विशेष.
येथे त्याचे महत्त्वाचे भाग गुणधर्म आहेत

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

तेथे आहे:
1. आयडी - स्ट्रिंग
2. मेटाडेटा - आकार 1 ची अॅरे आणि त्यामध्ये फील्ड असलेली एक ऑब्जेक्ट ज्याचे खाली वर्णन केले आहे
3. spec - आकार 1 चा हॅश आणि की, त्यात मूल्य
थोडक्यात, एक मजेदार स्वरूप, प्रत्येक गोष्ट अनेक पातळ्यांवर असू शकते

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

सर्वसाधारणपणे, जर कोणाला मुलाखतीसाठी प्रोग्रामिंगची समस्या हवी असेल तर त्यांना या कार्यासाठी पार्सर लिहायला सांगा :)
बगशिवाय पार्सर लिहिण्याच्या अनेक प्रयत्नांनंतर, मला त्याचा काही भाग टेराफॉर्म कोडमध्ये सापडला आणि सर्वात महत्त्वाचा भाग. आणि सर्व काही ठीक चालले आहे असे दिसते

तीन प्रयत्न
टेराफॉर्म प्रदाते हे बायनरी आहेत ज्यात क्लाउड API सह कार्य करण्यासाठी सर्व संसाधने आणि तर्कांसह कोड असतात. प्रत्येक क्लाउडचा स्वतःचा प्रदाता असतो आणि टेराफॉर्म स्वतःच त्यांना दोन प्रक्रियांमधील RPC प्रोटोकॉलद्वारे कॉल करतो.
आता मी थेट RPC कॉलद्वारे टेराफॉर्म प्रदात्यांशी संपर्क साधण्याचा निर्णय घेतला. हे सुंदरपणे बाहेर पडले आणि टेराफॉर्म प्रदाते नवीनमध्ये बदलणे आणि कोड न बदलता नवीन वैशिष्ट्ये मिळवणे शक्य केले. हे देखील दिसून आले की tfstate मधील सर्व फील्ड tf मध्ये नसावी, परंतु आपण कसे शोधू शकता? फक्त याबद्दल तुमच्या प्रदात्याला विचारा. मग नियमित अभिव्यक्ती एकत्र करण्यासाठी आणखी एक पुनरावृत्ती होणारी पोर्नोग्राफी सुरू झाली, सर्व स्तरांवर tfstate आत फील्ड शोधणे.

सरतेशेवटी, आम्हाला एक उपयुक्त CLI साधन मिळाले ज्यामध्ये सर्व टेराफॉर्म प्रदात्यांसाठी एक सामान्य पायाभूत सुविधा आहे आणि तुम्ही सहजपणे एक नवीन जोडू शकता. तसेच, संसाधने जोडण्यासाठी थोडा कोड लागतो. तसेच सर्व प्रकारच्या वस्तू जसे की संसाधनांमधील कनेक्शन. अर्थात, अनेक वेगवेगळ्या समस्या होत्या ज्यांचे वर्णन करता येणार नाही.
मी प्राण्याचे नाव टेराफोमर ठेवले.

अंतिम

टेराफोमर वापरून, आम्ही दोन ढगांमधून tf + tfstate कोडच्या 500-700 हजार ओळी व्युत्पन्न केल्या. आम्ही परंपरागत गोष्टी घेऊ शकलो आणि त्यांना फक्त टेराफॉर्मद्वारे स्पर्श करू शकलो, जसे की कोड कल्पना म्हणून सर्वोत्तम पायाभूत सुविधांमध्ये. जेव्हा तुम्ही एक प्रचंड क्लाउड घेता आणि ते टेराफॉर्म वर्कर फाइल्सच्या रूपात टीमद्वारे प्राप्त करता तेव्हा ही फक्त जादू असते. आणि नंतर grep/replace/git वगैरे.

मी कंघी केली आणि व्यवस्थित ठेवली, परवानगी मिळाली. गुरुवारी (02.05.19/XNUMX/XNUMX) प्रत्येकासाठी GitHub वर रिलीझ केले. github.com/GoogleCloudPlatform/terraformer
आधीच 600 तारे, ओपनस्टॅक आणि kubernetes साठी समर्थन जोडण्यासाठी 2 पुल विनंत्या प्राप्त झाल्या आहेत. चांगला प्रतिसाद. सर्वसाधारणपणे, प्रकल्प लोकांसाठी उपयुक्त आहे
मी प्रत्येकाला सल्ला देतो की ज्यांना टेराफॉर्मसह काम सुरू करायचे आहे आणि यासाठी सर्वकाही पुन्हा लिहू नका.
मला विनंत्या, समस्या, तारे खेचण्यात आनंद होईल.

डेमो


स्त्रोत: www.habr.com