Terraformer - Infrastructure To Code

ပြဿနာဟောင်းတစ်ခုကို ဖြေရှင်းဖို့ ကျွန်တော်ရေးခဲ့တဲ့ CLI tool အသစ်အကြောင်း ပြောပြချင်ပါတယ်။

ပြဿနာ

Terraform သည် Devops/Cloud/IT အသိုက်အဝန်းတွင် စံသတ်မှတ်ချက်တစ်ခုဖြစ်သည်မှာ ကြာပါပြီ။ အဆိုပါအရာသည် code အဖြစ်အခြေခံအဆောက်အအုံနှင့်ဆက်ဆံရာတွင်အလွန်အဆင်ပြေပြီးအသုံးဝင်သည်။ Terraform တွင် ပျော်ရွှင်စရာများစွာအပြင် ခက်ရင်းများ၊ ချွန်ထက်သောဓားများနှင့် ထွန်ခြစ်များစွာရှိသည်။
Terraform ဖြင့် အရာသစ်များကို ဖန်တီးပြီးနောက် စီမံခန့်ခွဲခြင်း၊ ပြောင်းလဲခြင်း သို့မဟုတ် ဖျက်ခြင်းတို့ ပြုလုပ်ရန် အလွန်အဆင်ပြေပါသည်။ Terraform မှတဆင့် ဖန်တီးမထားသော Cloud တွင် ကြီးမားသော အခြေခံအဆောက်အဦများ ရှိသူများသည် ဘာလုပ်သင့်သနည်း။ cloud တစ်ခုလုံးကို ပြန်လည်ရေးသားခြင်းနှင့် ပြန်လည်ဖန်တီးခြင်းသည် တစ်နည်းနည်းဖြင့် စျေးကြီးပြီး အန္တရာယ်မကင်းပါ။
အလုပ် 2 ခုမှာ ဒီပြဿနာကို ငါကြုံခဲ့တယ်၊ အရှင်းဆုံး ဥပမာက အရာအားလုံးကို terraform ဖိုင်တွေအဖြစ် Git မှာ ထားချင်တဲ့အခါ၊ ဒါပေမယ့် မင်းမှာ ပုံးပေါင်း 250+ ရှိပြီး အဲဒါတွေကို terraform မှာ လက်နဲ့ရေးရတာ အများကြီးပဲ။
ရှိပါတယ် ထုတ်ပြန်သည် ၂၀၁၄ ခုနှစ်မှ စတင်၍ တင်သွင်းလာမည်ဟု မျှော်လင့်သဖြင့် ၂၀၁၆ ခုနှစ်တွင် ပိတ်ခဲ့သည့် terrafom ၌ ဖြစ်သည်။

ယေဘူယျအားဖြင့် အရာအားလုံးသည် ပုံတွင်ပြထားသည့်အတိုင်း ညာဘက်မှဘယ်သို့သာရှိသည်။

သတိပေးချက်များ- စာရေးဆရာသည် ရုရှားတွင် သက်တမ်းတစ်ဝက်မျှ မနေထိုင်ဘဲ ရုရှားဘာသာဖြင့် အနည်းငယ်ရေးပါသည်။ စာလုံးပေါင်းအမှားများ သတိထားပါ။

ဖြေရှင်းချက်

1. AWS အတွက် အဆင်သင့်လုပ်ပြီးသား ဖြေရှင်းချက်အဟောင်းတွေ ရှိတယ်။ terraforming. ကျွန်ုပ်၏ပုံး 250+ ကို ၎င်းကိုဖြတ်၍ရရန်ကြိုးစားသောအခါ၊ ထိုနေရာ၌ အရာအားလုံး ဆိုးရွားနေမှန်း သိလိုက်ရသည်။ AWS သည် ရွေးချယ်စရာအသစ်အမြောက်အမြားကို မိတ်ဆက်ပေးခဲ့သည်မှာ ကြာပါပြီ၊ သို့သော် ၎င်းတို့အကြောင်း မသိသော်လည်း ယေဘုယျအားဖြင့် ၎င်းသည် ပတ္တမြားဖြစ်သည်။ ပုံစံခွက်သည် ကျဲပုံပေါ်သည်။. ညနေ ၂ နာရီလောက်မှာ လိုက်ပို့ပေးတယ်။ တောင်းဆိုချက်ဆွဲပါ။ အဲဒီမှာ အင်္ဂါရပ်တွေ ထပ်ထည့်ဖို့နဲ့ ဒီလိုဖြေရှင်းချက်က လုံးဝ မသင့်တော်ဘူးဆိုတာ သဘောပေါက်လာတယ်။
terraforming မည်ကဲ့သို့အလုပ်လုပ်သည်- ၎င်းသည် AWS SDK မှဒေတာကိုယူကာ template တစ်ခုမှတဆင့် tf နှင့် tfstate ကိုထုတ်ပေးသည်။
ဤနေရာတွင် ပြဿနာ ၃ ခုရှိသည်။
1. အပ်ဒိတ်များတွင် နောက်ကျကျန်နေတတ်သည်။
2. tf ဖိုင်တွေ တခါတရံ ကွဲထွက်လာတယ်။
3. tfstate ကို tf မှ သီးခြား စုဆောင်းထားပြီး အမြဲတမ်း အသွင်မဆောင်ပါ။
ယေဘူယျအားဖြင့်၊ အပြောင်းအလဲမရှိဟု 'မြေပြင်အစီအစဥ်' ကပြောသည့်ရလဒ်ကိုရရှိရန်ခက်ခဲသည်။

2. `terraform import` သည် terraform တွင် built-in command တစ်ခုဖြစ်သည်။ ဒါကဘယ်လိုမျိုးအလုပ်လုပ်သလဲ?
သင်သည် အမည်နှင့် ရင်းမြစ် အမျိုးအစားဖြင့် အလွတ် TF ဖိုင်ကို ရေးပြီး 'terraform import' ကို ဖွင့်ပြီး အရင်းအမြစ် ID ကို ဖြတ်ပါ။ terraform သည် ဝန်ဆောင်မှုပေးသူကို ဆက်သွယ်သည်၊ ဒေတာကို လက်ခံပြီး tfstate ဖိုင်တစ်ခု ပြုလုပ်သည်။
ဤနေရာတွင် ပြဿနာ ၃ ခုရှိသည်။
1. ကျွန်ုပ်တို့သည် tfstate ဖိုင်တစ်ခုသာ ရရှိပြီး tf သည် ဗလာဖြစ်နေသည်၊ ၎င်းကို ကိုယ်တိုင်ရေးရန် သို့မဟုတ် tfstate မှ ပြောင်းရန် လိုအပ်ပါသည်။
2. တစ်ကြိမ်လျှင် အရင်းအမြစ်တစ်ခုဖြင့်သာ အလုပ်လုပ်နိုင်ပြီး အရင်းအမြစ်အားလုံးကို မပံ့ပိုးပါ။ ပုံး 250+ နဲ့ ဘာပြန်လုပ်ရမလဲ။
3. အရင်းအမြစ်များ၏ ID ကို သိရန် လိုအပ်သည် - ဆိုလိုသည်မှာ အရင်းအမြစ်များစာရင်းကို ရရှိသည့် ကုဒ်ဖြင့် ထုပ်ပိုးထားရန် လိုအပ်ပါသည်။
ယေဘုယျအားဖြင့် ရလဒ်သည် တစ်စိတ်တစ်ပိုင်းဖြစ်ပြီး ကောင်းမွန်စွာ အတိုင်းအတာမရှိပါ။

ငါ့ဆုံးဖြတ်ချက်

လိုအပ်ချက်များကို:
1. အရင်းအမြစ်များအတွက် tf နှင့် tfstate ဖိုင်များကို ဖန်တီးနိုင်မှု။ ဥပမာအားဖြင့်၊ buckets/security group/load balancer အားလုံးကို ဒေါင်းလုဒ်လုပ်ပြီး အပြောင်းအလဲမရှိသော 'terraform plan' ကို ပြန်ပေးသည်
2. GCP + AWS cloud 2 ခု လိုအပ်ပါသည်။
3. အချိန်တိုင်း အပ်ဒိတ်လုပ်ရန် လွယ်ကူသော ကမ္ဘာလုံးဆိုင်ရာ ဖြေရှင်းချက်သည် အလုပ် 3 ရက်အတွက် အရင်းအမြစ်တစ်ခုစီတွင် အချိန်ဖြုန်းမနေပါ။
4. Open Source လုပ်ပါ - လူတိုင်းတွင် တူညီသောပြဿနာရှိသည်။

Go language က ဘာလို့ကြိုက်လဲဆိုတော့ terraform မှာသုံးတဲ့ HCL ဖိုင်တွေဖန်တီးဖို့အတွက် library တစ်ခု + အသုံးဝင်နိုင်တဲ့ terraform ထဲမှာ code တွေအများကြီးပါပါတယ်။

လမ်းကြောင်း

ပထမဆုံးကြိုးစားမှု
ရိုးရိုးဗားရှင်းနဲ့ စတင်ခဲ့တယ်။ လိုအပ်သောအရင်းအမြစ်အတွက် SDK မှတစ်ဆင့် cloud ကိုဆက်သွယ်ပြီး ၎င်းကို terraform အတွက် နယ်ပယ်များအဖြစ်သို့ ပြောင်းလဲခြင်း။ လုံခြုံရေးအဖွဲ့ကို ပြောင်းလဲရန် 1.5 ရက် (နှင့် အရင်းအမြစ်များစွာရှိပါသည်) ကို ကျွန်ုပ်မကြိုက်သောကြောင့် လုံခြုံရေးအဖွဲ့တွင် ချက်ခြင်းသေဆုံးသွားပါသည်။ အချိန်အတော်ကြာပြီးနောက် အကွက်များကို ပြောင်း/ထည့်နိုင်သည်။

ဒုတိယကြိုးစားမှု
အယူအဆကို အခြေခံ၍ ဖော်ပြထားပါသည်။ ဒီမှာ. tfstate ကိုယူပြီး tf အဖြစ်ပြောင်းလိုက်ပါ။ ဒေတာအားလုံးသည် ထိုနေရာတွင်ရှိပြီး အကွက်များသည် အတူတူပင်ဖြစ်သည်။ အရင်းအမြစ်များစွာအတွက် tfstate အပြည့်အစုံကို ဘယ်လိုရနိုင်မလဲ။ ဤနေရာတွင် 'terraform refresh' command သည် ကယ်ဆယ်ရန် ရောက်လာသည်။ terraform သည် tfstate တွင် အရင်းအမြစ်အားလုံးကို ယူဆောင်ပြီး ID ဖြင့် ၎င်းတို့ပေါ်ရှိ ဒေတာများကို ဆွဲထုတ်ပြီး အရာအားလုံးကို tfstate သို့ ရေးပေးသည်။ ဆိုလိုသည်မှာ၊ အမည်များနှင့် ID များသာရှိသော ဗလာ tfstate ကိုဖန်တီးပါ၊ `terraform refresh` ကို run ပြီးနောက် tfstates အပြည့်အစုံကို ကျွန်ုပ်တို့ရရှိမည်ဖြစ်သည်။ ဟူး!
အခု tfstate မှ tf အတွက် converter ရေးတဲ့ recursive ညစ်ညမ်းရုပ်ပုံစာပေကို လုပ်ကြည့်ရအောင်။ tfstate ကို မဖတ်ဖူးသူများအတွက် JSON ဖြစ်ပါသည်၊ သို့သော် အထူးဖြစ်သည်။
ဤတွင် ၎င်း၏ အရေးကြီးသော အစိတ်အပိုင်း ဂုဏ်တော်များ ဖြစ်ပါသည်။

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

ရှိသည်:
1. id - string
2. မက်တာဒေတာ - အရွယ်အစား 1 ၏ array တစ်ခုဖြစ်ပြီး ၎င်းတွင် အောက်တွင်ဖော်ပြထားသော အကွက်များပါရှိသော အရာတစ်ခု
3. spec - hash of size 1 and key, value in it
အတိုချုပ်ပြောရလျှင် ပျော်စရာပုံစံတစ်ခု၊ အရာအားလုံးသည် အဆင့်များစွာ နက်နဲနိုင်သည်။

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

ယေဘူယျအားဖြင့် အင်တာဗျူးတစ်ခုအတွက် ပရိုဂရမ်းမင်းပြဿနာကို လိုချင်ပါက၊ ဤလုပ်ငန်းအတွက် parser တစ်ခုရေးရန် သူတို့ကိုသာ တောင်းဆိုပါ။
bug မပါဘဲ parser တစ်ခုကိုရေးရန် အကြိမ်ကြိမ်ကြိုးစားပြီးနောက်၊ ၎င်း၏အစိတ်အပိုင်းကို terraform code နှင့် အရေးကြီးဆုံးအပိုင်းတွင် တွေ့ရှိခဲ့သည်။ ပြီးတော့ အရာအားလုံး အဆင်ပြေသွားပုံပဲ။

သုံးခုကြိုးစားပါ။
terraform ဝန်ဆောင်မှုပေးသူများသည် cloud API နှင့်အလုပ်လုပ်ရန်အတွက် အရင်းအမြစ်များနှင့် ယုတ္တိဗေဒအားလုံးပါရှိသော ကုဒ်များပါရှိသော binaries များဖြစ်သည်။ cloud တစ်ခုစီတွင် ၎င်း၏ကိုယ်ပိုင်ပံ့ပိုးပေးသူရှိပြီး terraform ကိုယ်တိုင်က ၎င်းတို့ကို လုပ်ငန်းစဉ်နှစ်ခုကြားရှိ RPC protocol မှတဆင့်သာခေါ်ဆိုပါသည်။
ယခု ကျွန်ုပ်သည် RPC ခေါ်ဆိုမှုများမှတစ်ဆင့် terraform ဝန်ဆောင်မှုပေးသူများကို တိုက်ရိုက်ဆက်သွယ်ရန် ဆုံးဖြတ်ခဲ့သည်။ ၎င်းသည် လှပစွာ ထွက်ပေါ်လာပြီး terraform ဝန်ဆောင်မှုပေးသူများကို အသစ်များအဖြစ် ပြောင်းလဲကာ ကုဒ်မပြောင်းဘဲ အင်္ဂါရပ်အသစ်များကို ရရှိစေနိုင်သည်။ tfstate ရှိ နယ်ပယ်အားလုံးသည် tf တွင်မဟုတ်သင့်ဘဲ၊ မည်သို့ရှာဖွေတွေ့ရှိနိုင်မည်နည်း။ သင့်ဝန်ဆောင်မှုပေးသူကို ဤအကြောင်းမေးပါ။ ထို့နောက် ပုံမှန်အသုံးအနှုန်းများစုစည်းခြင်း၏ နောက်ထပ်ထပ်တလဲလဲညစ်ညမ်းရုပ်ပုံစာပေကို စတင်ခဲ့ပြီး အဆင့်တိုင်းတွင် tfstate အတွင်းရှိ ကွက်လပ်များကို နက်ရှိုင်းစွာရှာဖွေခဲ့သည်။

အဆုံးတွင်၊ ကျွန်ုပ်တို့သည် terraform ပံ့ပိုးပေးသူအားလုံးအတွက် ဘုံအခြေခံအဆောက်အအုံတစ်ခုပါရှိသော အသုံးဝင်သော CLI ကိရိယာတစ်ခုရခဲ့ပြီး အသစ်တစ်ခုကို အလွယ်တကူထည့်နိုင်သည်။ ထို့အပြင်၊ အရင်းအမြစ်များထည့်ခြင်းသည် ကုဒ်အနည်းငယ်ယူသည်။ ထို့အပြင် အရင်းအမြစ်များကြား ချိတ်ဆက်မှုကဲ့သို့သော ကောင်းကျိုးအမျိုးမျိုး။ ဟုတ်ပါတယ်၊ အားလုံးကို ဖော်ပြလို့မရနိုင်တဲ့ မတူညီတဲ့ပြဿနာတွေ အများကြီးရှိခဲ့ပါတယ်။
တိရိစ္ဆာန် Terrafomer လို့ နာမည်ပေးလိုက်တယ်။

ဇာတျသိမျး

Terrafomer ကို အသုံးပြု၍ cloud နှစ်ခုမှ tf + tfstate ကုဒ် လိုင်းပေါင်း 500-700 ကို ထုတ်လုပ်ခဲ့သည်။ ကျွန်ုပ်တို့သည် အမွေအနှစ်အရာများကို ယူနိုင်ပြီး အကောင်းဆုံးသော အခြေခံအဆောက်အအုံများတွင် ကုဒ်အကြံဉာဏ်များကဲ့သို့ terraform ဖြင့်သာ ၎င်းတို့ကို စတင်ထိတွေ့နိုင်ခဲ့သည်။ ကြီးမားသော cloud တစ်ခုကို ယူ၍ terraform worker files ပုံစံဖြင့် အဖွဲ့တစ်ဖွဲ့မှ လက်ခံသည့်အခါ ၎င်းကို မှော်ဆန်ပါသည်။ ပြီးရင် grep/replace/git စသဖြင့်ပေါ့။

ဖြီးပြီး စည်းထားတယ်၊ ခွင့်ပြုချက်ရခဲ့တယ်။ ကြာသပတေးနေ့ (02.05.19/XNUMX/XNUMX)တွင် လူတိုင်းအတွက် GitHub တွင် ထုတ်ဝေခဲ့သည်။ github.com/GoogleCloudPlatform/terraformer
ကြယ် 600 ကို လက်ခံရရှိထားပြီး၊ openstack နှင့် kubernetes အတွက် ပံ့ပိုးမှုပေါင်းထည့်ရန် တောင်းဆိုချက် 2 ခု။ ကောင်းသောတုံ့ပြန်ချက်။ ယေဘုယျအားဖြင့် ပရောဂျက်သည် လူများအတွက် အသုံးဝင်သည်။
Terraform နှင့် စတင်လုပ်ကိုင်လိုသူတိုင်းကို ၎င်းအတွက် အရာအားလုံးကို ပြန်လည်မရေးပါရန် ကျွန်ုပ် အကြံပြုအပ်ပါသည်။
တောင်းဆိုမှုများ၊ ကိစ္စရပ်များ၊ ကြယ်များကိုဆွဲထုတ်ရန်ဝမ်းမြောက်လိမ့်မည်။

Demo


source: www.habr.com