ടെറാഫോർമർ - കോഡിലേക്കുള്ള ഇൻഫ്രാസ്ട്രക്ചർ

ഒരു പഴയ പ്രശ്നം പരിഹരിക്കാൻ ഞാൻ എഴുതിയ പുതിയ CLI ടൂളിനെക്കുറിച്ച് നിങ്ങളോട് പറയാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.

പ്രശ്നം

Devops/Cloud/IT കമ്മ്യൂണിറ്റിയിൽ ടെറാഫോം വളരെക്കാലമായി ഒരു മാനദണ്ഡമാണ്. ഇൻഫ്രാസ്ട്രക്ചർ കോഡായി കൈകാര്യം ചെയ്യാൻ കാര്യം വളരെ സൗകര്യപ്രദവും ഉപയോഗപ്രദവുമാണ്. ടെറാഫോമിൽ നിരവധി ആഹ്ലാദങ്ങളുണ്ട്, കൂടാതെ നിരവധി ഫോർക്കുകളും മൂർച്ചയുള്ള കത്തികളും റാക്കുകളും ഉണ്ട്.
ടെറാഫോം ഉപയോഗിച്ച് പുതിയ കാര്യങ്ങൾ സൃഷ്‌ടിക്കാനും അവ നിയന്ത്രിക്കാനും മാറ്റാനും ഇല്ലാതാക്കാനും വളരെ സൗകര്യപ്രദമാണ്. ടെറാഫോമിലൂടെ സൃഷ്ടിക്കാത്ത, ക്ലൗഡിൽ വലിയ അടിസ്ഥാന സൗകര്യങ്ങളുള്ളവർ എന്തു ചെയ്യണം? മുഴുവൻ ക്ലൗഡും വീണ്ടും എഴുതുകയും വീണ്ടും സൃഷ്‌ടിക്കുകയും ചെയ്യുന്നത് എങ്ങനെയെങ്കിലും ചെലവേറിയതും സുരക്ഷിതമല്ലാത്തതുമാണ്.
2 ജോലികളിൽ ഞാൻ ഈ പ്രശ്നം നേരിട്ടു, ടെറാഫോം ഫയലുകളുടെ രൂപത്തിൽ എല്ലാം Git-ൽ ആയിരിക്കണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുമ്പോഴാണ് ഏറ്റവും ലളിതമായ ഉദാഹരണം, എന്നാൽ നിങ്ങൾക്ക് 250+ ബക്കറ്റുകൾ ഉണ്ട്, അവ ടെറാഫോമിൽ കൈകൊണ്ട് എഴുതാൻ ധാരാളം.
ഉണ്ട് ഇഷ്യൂ ഇറക്കുമതി ഉണ്ടാകുമെന്ന പ്രതീക്ഷയോടെ 2014ൽ അടച്ച ടെറാഫോം 2016 മുതൽ.

പൊതുവേ, എല്ലാം ചിത്രത്തിൽ കാണുന്നത് പോലെ വലത്തുനിന്ന് ഇടത്തോട്ട് മാത്രം

മുന്നറിയിപ്പ്: രചയിതാവ് തന്റെ ജീവിതത്തിന്റെ പകുതി റഷ്യയിൽ താമസിക്കുന്നില്ല, റഷ്യൻ ഭാഷയിൽ കുറച്ച് എഴുതുന്നു. അക്ഷര തെറ്റുകൾ സൂക്ഷിക്കുക.

പരിഹാരങ്ങൾ

1. AWS-ന് റെഡിമെയ്‌ഡ്, പഴയ സൊല്യൂഷനുകൾ ഉണ്ട് ടെറാഫോർമിംഗ്. അതിലൂടെ എന്റെ 250+ ബക്കറ്റുകൾ എടുക്കാൻ ശ്രമിച്ചപ്പോൾ, അവിടെ എല്ലാം മോശമാണെന്ന് എനിക്ക് മനസ്സിലായി. AWS വളരെക്കാലമായി ധാരാളം പുതിയ ഓപ്ഷനുകൾ അവതരിപ്പിക്കുന്നു, പക്ഷേ ടെറാഫോർമിംഗിന് അവയെക്കുറിച്ച് അറിയില്ല, പൊതുവെ ഇത് മാണിക്യമാണ് ടെംപ്ലേറ്റ് വിരളമായി കാണപ്പെടുന്നു. വൈകുന്നേരം 2 മണിക്ക് ശേഷം ഞാൻ അയച്ചു അഭ്യർത്ഥന വലിക്കുക അവിടെ കൂടുതൽ സവിശേഷതകൾ ചേർക്കാൻ, അത്തരമൊരു പരിഹാരം ഒട്ടും അനുയോജ്യമല്ലെന്ന് മനസ്സിലാക്കി.
ടെറാഫോർമിംഗ് എങ്ങനെ പ്രവർത്തിക്കുന്നു: ഇത് AWS SDK-യിൽ നിന്ന് ഡാറ്റ എടുക്കുകയും ഒരു ടെംപ്ലേറ്റിലൂടെ tf, tfstate എന്നിവ സൃഷ്ടിക്കുകയും ചെയ്യുന്നു.
ഇവിടെ 3 പ്രശ്നങ്ങൾ ഉണ്ട്:
1. അപ്ഡേറ്റുകളിൽ എപ്പോഴും കാലതാമസം ഉണ്ടാകും
2. tf ഫയലുകൾ ചിലപ്പോൾ തകർന്നു പുറത്തുവരും
3. tfstate tf-ൽ നിന്ന് വെവ്വേറെ ശേഖരിക്കുന്നു, അത് എല്ലായ്പ്പോഴും ഒത്തുചേരുകയുമില്ല
പൊതുവേ, മാറ്റങ്ങളൊന്നുമില്ലെന്ന് `ടെറാഫോം പ്ലാൻ' പറയുന്ന ഒരു ഫലം ലഭിക്കാൻ പ്രയാസമാണ്

2. ടെറാഫോമിലെ ഒരു ബിൽറ്റ്-ഇൻ കമാൻഡാണ് `ടെറാഫോം ഇറക്കുമതി`. അതെങ്ങനെയാണ് പ്രവര്ത്തിക്കുന്നത്?
നിങ്ങൾ റിസോഴ്സിന്റെ പേരും തരവും ഉള്ള ഒരു ശൂന്യമായ TF ഫയൽ എഴുതുക, തുടർന്ന് `ടെറാഫോം ഇമ്പോർട്ട്' റൺ ചെയ്ത് റിസോഴ്സ് ഐഡി നൽകുക. terraform ദാതാവിനെ ബന്ധപ്പെടുകയും ഡാറ്റ സ്വീകരിക്കുകയും ഒരു tfstate ഫയൽ നിർമ്മിക്കുകയും ചെയ്യുന്നു.
ഇവിടെ 3 പ്രശ്നങ്ങൾ ഉണ്ട്:
1. ഞങ്ങൾക്ക് ഒരു tfstate ഫയൽ മാത്രമേ ലഭിക്കൂ, tf ശൂന്യമാണ്, നിങ്ങൾ അത് സ്വമേധയാ എഴുതുകയോ tfstate-ൽ നിന്ന് പരിവർത്തനം ചെയ്യുകയോ വേണം
2. ഒരു സമയം ഒരു റിസോഴ്സ് ഉപയോഗിച്ച് മാത്രമേ പ്രവർത്തിക്കാൻ കഴിയൂ, എല്ലാ വിഭവങ്ങളെയും പിന്തുണയ്ക്കുന്നില്ല. 250+ ബക്കറ്റുകൾ ഉപയോഗിച്ച് ഞാൻ വീണ്ടും എന്തുചെയ്യണം?
3. നിങ്ങൾ വിഭവങ്ങളുടെ ഐഡി അറിയേണ്ടതുണ്ട് - അതായത്, വിഭവങ്ങളുടെ ലിസ്റ്റ് ലഭിക്കുന്ന കോഡിൽ നിങ്ങൾ അത് പൊതിയേണ്ടതുണ്ട്
പൊതുവേ, ഫലം ഭാഗികവും നന്നായി സ്കെയിൽ ചെയ്യുന്നില്ല

എന്റെ തീരുമാനം

ആവശ്യകതകൾ:
1. വിഭവങ്ങൾക്കായി tf, tfstate ഫയലുകൾ സൃഷ്ടിക്കാനുള്ള കഴിവ്. ഉദാഹരണത്തിന്, എല്ലാ ബക്കറ്റുകളും/സെക്യൂരിറ്റി ഗ്രൂപ്പ്/ലോഡ് ബാലൻസറും ഡൗൺലോഡ് ചെയ്‌ത്, മാറ്റങ്ങളൊന്നുമില്ലെന്ന് 'ടെറാഫോം പ്ലാൻ' തിരികെ നൽകി
2. നിങ്ങൾക്ക് 2 GCP + AWS ക്ലൗഡുകൾ ആവശ്യമാണ്
3. Глобальное решения которое легко обновлять каждый раз и не тратить время на каждый ресурс по 3 дня работы
4. ഓപ്പൺ സോഴ്സ് ആക്കുക - എല്ലാവർക്കും ഒരേ പ്രശ്നം

എന്തുകൊണ്ടാണ് ഗോ ഭാഷ എനിക്കിത് ഇഷ്ടമായത്, കൂടാതെ ടെറാഫോമിൽ ഉപയോഗിക്കുന്ന HCL ഫയലുകൾ സൃഷ്‌ടിക്കുന്നതിനുള്ള ഒരു ലൈബ്രറി ഇതിലുണ്ട് + ടെറാഫോമിൽ ധാരാളം കോഡുകൾ ഉപയോഗപ്രദമാകും

പാത

ആദ്യം ശ്രമിക്കുക
ഞാൻ ഒരു ലളിതമായ പതിപ്പിൽ ആരംഭിച്ചു. ആവശ്യമായ ഉറവിടത്തിനായി SDK വഴി ക്ലൗഡുമായി ബന്ധപ്പെടുകയും ടെറാഫോമിനുള്ള ഫീൽഡുകളാക്കി മാറ്റുകയും ചെയ്യുന്നു. സെക്യൂരിറ്റി ഗ്രൂപ്പിനെ മാത്രം പരിവർത്തനം ചെയ്യാനുള്ള 1.5 ദിവസം എനിക്ക് ഇഷ്ടപ്പെടാത്തതിനാൽ ഈ ശ്രമം സുരക്ഷാ ഗ്രൂപ്പിൽ ഉടനടി മരിച്ചു (ഒപ്പം ധാരാളം വിഭവങ്ങളും ഉണ്ട്). വളരെക്കാലം, തുടർന്ന് ഫീൽഡുകൾ മാറ്റാം/ചേർക്കാം

രണ്ടാമത്തെ ശ്രമം
വിവരിച്ച ആശയത്തെ അടിസ്ഥാനമാക്കി ഇവിടെ. എടുത്ത് tfstate tf ആക്കി മാറ്റുക. എല്ലാ ഡാറ്റയും ഉണ്ട്, ഫീൽഡുകൾ ഒന്നുതന്നെയാണ്. പല വിഭവങ്ങൾക്കും ഫുൾ tfstate എങ്ങനെ ലഭിക്കും?? ഇവിടെയാണ് `ടെറാഫോം റിഫ്രഷ്` കമാൻഡ് രക്ഷാപ്രവർത്തനത്തിനെത്തിയത്. terraform tfstate-ലെ എല്ലാ ഉറവിടങ്ങളും എടുക്കുകയും, ID വഴി, അവയിലെ ഡാറ്റ പുറത്തെടുക്കുകയും എല്ലാം tfstate-ലേക്ക് എഴുതുകയും ചെയ്യുന്നു. അതായത്, പേരുകളും ഐഡികളും മാത്രമുള്ള ഒരു ശൂന്യമായ tfstate സൃഷ്‌ടിക്കുക, `terraform refresh` പ്രവർത്തിപ്പിക്കുക, തുടർന്ന് നമുക്ക് മുഴുവൻ tfstates ലഭിക്കും. ഹൂറേ!
ഇനി നമുക്ക് tfstate ലേക്ക് tf എന്നതിലേക്ക് കൺവെർട്ടർ എഴുതുന്ന ആവർത്തന അശ്ലീലം ചെയ്യാം. tfstate ഒരിക്കലും വായിക്കാത്തവർക്ക്, ഇത് JSON ആണ്, പക്ഷേ പ്രത്യേകമാണ്.
അതിന്റെ പ്രധാന ഭാഗങ്ങൾ ഇതാ

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

ഇതുണ്ട്:
1. ഐഡി - സ്ട്രിംഗ്
2. മെറ്റാഡാറ്റ - വലിപ്പം 1 ന്റെ ഒരു ശ്രേണിയും അതിൽ താഴെ വിവരിച്ചിരിക്കുന്ന ഫീൽഡുകളുള്ള ഒരു വസ്തുവും
3. spec - വലിപ്പം 1 ന്റെ ഹാഷ്, കീ, അതിലെ മൂല്യം
ചുരുക്കത്തിൽ, രസകരമായ ഒരു ഫോർമാറ്റ്, എല്ലാം പല തലങ്ങളിലുള്ള ആഴത്തിലുള്ളതായിരിക്കാം

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

പൊതുവേ, ആർക്കെങ്കിലും ഒരു അഭിമുഖത്തിന് പ്രോഗ്രാമിംഗ് പ്രശ്‌നം വേണമെങ്കിൽ, ഈ ടാസ്‌ക്കിനായി ഒരു പാഴ്‌സർ എഴുതാൻ അവരോട് ആവശ്യപ്പെടുക :)
ബഗുകൾ ഇല്ലാതെ ഒരു പാഴ്സർ എഴുതാനുള്ള നിരവധി ശ്രമങ്ങൾക്ക് ശേഷം, ടെറാഫോം കോഡിൽ അതിന്റെ ഒരു ഭാഗം ഞാൻ കണ്ടെത്തി, ഏറ്റവും പ്രധാനപ്പെട്ട ഭാഗം. കൂടാതെ എല്ലാം ശരിയായി പ്രവർത്തിക്കുന്നതായി തോന്നി

മൂന്ന് ശ്രമം
ടെറാഫോം ദാതാക്കൾ ക്ലൗഡ് API-യിൽ പ്രവർത്തിക്കുന്നതിനുള്ള എല്ലാ ഉറവിടങ്ങളും യുക്തിയും അടങ്ങിയ കോഡ് ഉൾക്കൊള്ളുന്ന ബൈനറികളാണ്. ഓരോ ക്ലൗഡിനും അതിന്റേതായ ദാതാവ് ഉണ്ട്, ടെറാഫോം തന്നെ രണ്ട് പ്രക്രിയകൾക്കിടയിൽ അതിന്റെ RPC പ്രോട്ടോക്കോൾ വഴി മാത്രമേ അവരെ വിളിക്കൂ.
ഇപ്പോൾ ഞാൻ ടെറാഫോം ദാതാക്കളെ RPC കോളുകൾ വഴി നേരിട്ട് ബന്ധപ്പെടാൻ തീരുമാനിച്ചു. ഇത് മനോഹരമായി മാറുകയും ടെറാഫോം ദാതാക്കളെ പുതിയവയിലേക്ക് മാറ്റുകയും കോഡ് മാറ്റാതെ തന്നെ പുതിയ സവിശേഷതകൾ നേടുകയും ചെയ്തു. tfstate ലെ എല്ലാ ഫീൽഡുകളും tf-ൽ ആയിരിക്കണമെന്നില്ല, എന്നാൽ നിങ്ങൾക്ക് എങ്ങനെ കണ്ടെത്താനാകും? ഇതിനെക്കുറിച്ച് നിങ്ങളുടെ ദാതാവിനോട് ചോദിച്ചാൽ മതി. തുടർന്ന് പതിവ് പദപ്രയോഗങ്ങൾ കൂട്ടിച്ചേർക്കുന്ന മറ്റൊരു ആവർത്തന അശ്ലീലം ആരംഭിച്ചു, ആഴത്തിൽ എല്ലാ തലങ്ങളിലും tfstate ഉള്ളിലെ ഫീൽഡുകൾക്കായി തിരയുന്നു.

അവസാനം, എല്ലാ ടെറാഫോം ദാതാക്കൾക്കും പൊതുവായ ഒരു അടിസ്ഥാന സൗകര്യമുള്ള ഒരു ഉപയോഗപ്രദമായ CLI ടൂൾ ഞങ്ങൾക്ക് ലഭിച്ചു, നിങ്ങൾക്ക് എളുപ്പത്തിൽ പുതിയൊരെണ്ണം ചേർക്കാനാകും. കൂടാതെ, വിഭവങ്ങൾ ചേർക്കുന്നതിന് കുറച്ച് കോഡ് എടുക്കും. കൂടാതെ വിഭവങ്ങൾ തമ്മിലുള്ള കണക്ഷനുകൾ പോലെയുള്ള എല്ലാത്തരം നന്മകളും. തീർച്ചയായും, എല്ലാം വിവരിക്കാൻ കഴിയാത്ത നിരവധി പ്രശ്നങ്ങൾ ഉണ്ടായിരുന്നു.
ഞാൻ ആ മൃഗത്തിന് ടെറാഫോമർ എന്ന് പേരിട്ടു.

ഫൈനൽ

Terrafomer ഉപയോഗിച്ച്, ഞങ്ങൾ രണ്ട് മേഘങ്ങളിൽ നിന്ന് 500-700 ആയിരം വരികൾ tf + tfstate കോഡ് സൃഷ്ടിച്ചു. കോഡ് ആശയങ്ങൾ എന്ന നിലയിൽ മികച്ച ഇൻഫ്രാസ്ട്രക്ചറിലെന്നപോലെ, പൈതൃക കാര്യങ്ങൾ എടുക്കാനും ടെറാഫോമിലൂടെ മാത്രം സ്പർശിക്കാൻ തുടങ്ങാനും ഞങ്ങൾക്ക് കഴിഞ്ഞു. നിങ്ങൾ ഒരു വലിയ ക്ലൗഡ് എടുത്ത് ടെറാഫോം വർക്കർ ഫയലുകളുടെ രൂപത്തിൽ ഒരു ടീമിലൂടെ സ്വീകരിക്കുമ്പോൾ അത് വെറും മാന്ത്രികമാണ്. തുടർന്ന് grep/replace/git തുടങ്ങിയവ.

ഞാൻ അത് ചീപ്പ് ചെയ്ത് അടുക്കി വെച്ചു, അനുവാദം കിട്ടി. എല്ലാവർക്കുമായി വ്യാഴാഴ്ച (02.05.19/XNUMX/XNUMX) GitHub-ൽ റിലീസ് ചെയ്തു. github.com/GoogleCloudPlatform/terraformer
ഇതിനകം തന്നെ 600 നക്ഷത്രങ്ങൾ ലഭിച്ചു, ഓപ്പൺസ്റ്റാക്കിനും കുബർനെറ്റിനുമുള്ള പിന്തുണ ചേർക്കുന്നതിനുള്ള 2 പുൾ അഭ്യർത്ഥനകൾ. നല്ല അഭിപ്രായം. പൊതുവേ, പദ്ധതി ജനങ്ങൾക്ക് ഉപയോഗപ്രദമാണ്
ടെറാഫോമിൽ പ്രവർത്തിക്കാൻ ആഗ്രഹിക്കുന്ന എല്ലാവരേയും ഞാൻ ഉപദേശിക്കുന്നു, ഇതിനായി എല്ലാം മാറ്റിയെഴുതരുത്.
അഭ്യർത്ഥനകൾ, പ്രശ്നങ്ങൾ, നക്ഷത്രങ്ങൾ എന്നിവ വലിച്ചെറിയുന്നതിൽ ഞാൻ സന്തോഷിക്കുന്നു.

ഡെമോ


അവലംബം: www.habr.com