Terraformer - ໂຄງສ້າງພື້ນຖານໃນລະຫັດ

ຂ້າພະເຈົ້າຢາກບອກທ່ານກ່ຽວກັບເຄື່ອງມື CLI ໃຫມ່ທີ່ຂ້າພະເຈົ້າຂຽນເພື່ອແກ້ໄຂບັນຫາເກົ່າ.

ບັນຫາ

Terraform ເປັນມາດຕະຖານໃນຊຸມຊົນ Devops/Cloud/IT ມາດົນແລ້ວ. ສິ່ງດັ່ງກ່າວແມ່ນສະດວກຫຼາຍແລະເປັນປະໂຫຍດສໍາລັບການຈັດການກັບໂຄງສ້າງພື້ນຖານເປັນລະຫັດ. ມີຄວາມມ່ວນຫຼາຍໃນ Terraform ເຊັ່ນດຽວກັນກັບສ້ອມຫຼາຍ, ມີດແຫຼມແລະ rakes.
ດ້ວຍ Terraform ມັນສະດວກຫຼາຍທີ່ຈະສ້າງສິ່ງໃໝ່ໆ ແລະຫຼັງຈາກນັ້ນຈັດການ, ປ່ຽນແປງ ຫຼືລຶບພວກມັນ. ຜູ້ທີ່ມີໂຄງສ້າງພື້ນຖານອັນໃຫຍ່ຫຼວງຢູ່ໃນເມຄແລະບໍ່ໄດ້ສ້າງຜ່ານ Terraform ຄວນເຮັດແນວໃດ? ການຂຽນຄືນ ແລະສ້າງຄລາວທັງໝົດຄືນໃໝ່ແມ່ນມີລາຄາແພງ ແລະ ບໍ່ປອດໄພ.
ຂ້ອຍພົບບັນຫານີ້ຢູ່ 2 ວຽກ, ຕົວຢ່າງທີ່ງ່າຍດາຍທີ່ສຸດແມ່ນເວລາທີ່ທ່ານຕ້ອງການໃຫ້ທຸກສິ່ງທຸກຢ່າງຢູ່ໃນ Git ໃນຮູບແບບຂອງໄຟລ໌ terraform, ແຕ່ທ່ານມີ 250+ buckets ແລະມັນມີຫຼາຍທີ່ຈະຂຽນໃຫ້ເຂົາເຈົ້າໃນ terraform ດ້ວຍມື.
ມີ ບັນຫາ ນັບຕັ້ງແຕ່ 2014 ໃນ terrafom ເຊິ່ງໄດ້ປິດລົງໃນປີ 2016 ດ້ວຍຄວາມຫວັງທີ່ຈະມີການນໍາເຂົ້າ.

ໂດຍທົ່ວໄປ, ທຸກສິ່ງທຸກຢ່າງແມ່ນຄືກັນກັບໃນຮູບພຽງແຕ່ຈາກຂວາໄປຊ້າຍ

ຄໍາເຕືອນ: ຜູ້ຂຽນບໍ່ໄດ້ອາໄສຢູ່ໃນລັດເຊຍສໍາລັບເຄິ່ງຫນຶ່ງຂອງຊີວິດຂອງລາວແລະຂຽນເປັນພາສາລັດເຊຍພຽງເລັກນ້ອຍ. ລະວັງການສະກົດຄຳຜິດ.

ວິທີແກ້ໄຂ

1. ມີວິທີແກ້ໄຂທີ່ກຽມພ້ອມແລະເກົ່າສໍາລັບ AWS terraforming. ເມື່ອຂ້ອຍພະຍາຍາມເອົາ 250+ ຖັງຂອງຂ້ອຍຜ່ານມັນ, ຂ້ອຍຮູ້ວ່າທຸກຢ່າງບໍ່ດີຢູ່ທີ່ນັ້ນ. AWS ໄດ້ແນະນໍາທາງເລືອກໃຫມ່ຈໍານວນຫຼາຍ, ແຕ່ terraforming ບໍ່ຮູ້ກ່ຽວກັບພວກມັນແລະໂດຍທົ່ວໄປແລ້ວມັນເປັນ ruby. ແມ່ແບບມີລັກສະນະກະແຈກກະຈາຍ. ຫຼັງຈາກ 2 ໃນຕອນແລງຂ້າພະເຈົ້າໄດ້ສົ່ງ ດຶງ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ ເພື່ອ​ເພີ່ມ​ຄຸນ​ສົມ​ບັດ​ເພີ່ມ​ເຕີມ​ຢູ່​ທີ່​ນັ້ນ​ແລະ​ຮັບ​ຮູ້​ວ່າ​ການ​ແກ້​ໄຂ​ດັ່ງ​ກ່າວ​ແມ່ນ​ບໍ່​ເຫມາະ​ສົມ​ທັງ​ຫມົດ​.
ວິທີ terraforming ເຮັດວຽກ: ມັນໃຊ້ເວລາຂໍ້ມູນຈາກ AWS SDK ແລະສ້າງ tf ແລະ tfstate ຜ່ານແມ່ແບບ.
ມີ 3 ບັນຫາຢູ່ທີ່ນີ້:
1. ສະເຫມີຈະມີຄວາມຊັກຊ້າໃນການປັບປຸງ
2. ບາງຄັ້ງໄຟລ໌ tf ອອກມາແຕກຫັກ
3. tfstate ຖືກເກັບແຍກຕ່າງຫາກຈາກ tf ແລະບໍ່ສະເຫມີ converge
ໂດຍທົ່ວໄປ, ມັນເປັນການຍາກທີ່ຈະໄດ້ຮັບຜົນທີ່ 'ແຜນການ terraform' ເວົ້າວ່າບໍ່ມີການປ່ຽນແປງ

2. `ການນໍາເຂົ້າ terraform` ແມ່ນຄໍາສັ່ງທີ່ສ້າງຂຶ້ນໃນ terraform. ມັນ​ເຮັດ​ວຽກ​ແນວ​ໃດ?
ທ່ານຂຽນໄຟລ໌ TF ຫວ່າງເປົ່າທີ່ມີຊື່ແລະປະເພດຂອງຊັບພະຍາກອນ, ຫຼັງຈາກນັ້ນດໍາເນີນການ 'ການນໍາເຂົ້າ terraform' ແລະຜ່ານ ID ຊັບພະຍາກອນ. terraform ຕິດຕໍ່ຜູ້ໃຫ້ບໍລິການ, ຮັບຂໍ້ມູນແລະສ້າງໄຟລ໌ tfstate.
ມີ 3 ບັນຫາຢູ່ທີ່ນີ້:
1. ພວກເຮົາພຽງແຕ່ໄດ້ຮັບໄຟລ໌ tfstate, ແລະ tf ແມ່ນເປົ່າ, ທ່ານຈໍາເປັນຕ້ອງຂຽນມັນດ້ວຍຕົນເອງຫຼືປ່ຽນຈາກ tfstate.
2. ສາມາດເຮັດວຽກກັບຊັບພະຍາກອນຫນຶ່ງໃນເວລາເທົ່ານັ້ນແລະບໍ່ສະຫນັບສະຫນູນຊັບພະຍາກອນທັງຫມົດ. ແລະຂ້ອຍຄວນເຮັດແນວໃດອີກເທື່ອຫນຶ່ງກັບ 250+ ຄຸ?
3. ທ່ານຈໍາເປັນຕ້ອງຮູ້ ID ຂອງຊັບພະຍາກອນ - ນັ້ນແມ່ນ, ທ່ານຈໍາເປັນຕ້ອງຫໍ່ມັນຢູ່ໃນລະຫັດທີ່ໄດ້ຮັບບັນຊີລາຍຊື່ຂອງຊັບພະຍາກອນ.
ໂດຍທົ່ວໄປ, ຜົນໄດ້ຮັບແມ່ນບາງສ່ວນແລະບໍ່ໄດ້ຂະຫນາດທີ່ດີ

ການຕັດສິນໃຈຂອງຂ້ອຍ

ຄວາມຕ້ອງການ:
1. ຄວາມສາມາດໃນການສ້າງໄຟລ໌ tf ແລະ tfstate ສໍາລັບຊັບພະຍາກອນ. ຕົວຢ່າງ, ດາວໂຫຼດທຸກ buckets/security group/load balancer and that 'terraform plan' ກັບຄືນມາວ່າບໍ່ມີການປ່ຽນແປງ.
2. ທ່ານຕ້ອງການ 2 GCP + AWS clouds
3. ການແກ້ໄຂທົ່ວໂລກທີ່ງ່າຍຕໍ່ການປັບປຸງທຸກຄັ້ງແລະບໍ່ເສຍເວລາໃນແຕ່ລະຊັບພະຍາກອນສໍາລັບ 3 ມື້ຂອງການເຮັດວຽກ
4. ເຮັດໃຫ້ມັນເປັນແຫຼ່ງເປີດ - ທຸກຄົນມີບັນຫາດຽວກັນ

ພາສາ Go ແມ່ນເຫດຜົນທີ່ຂ້ອຍຮັກມັນ, ແລະມັນມີຫ້ອງສະຫມຸດສໍາລັບການສ້າງໄຟລ໌ HCL ທີ່ໃຊ້ໃນ terraform + ລະຫັດຈໍານວນຫລາຍໃນ terraform ທີ່ສາມາດເປັນປະໂຫຍດ.

ເສັ້ນທາງ

ຄວາມພະຍາຍາມທໍາອິດ
ຂ້າພະເຈົ້າໄດ້ເລີ່ມຕົ້ນດ້ວຍສະບັບທີ່ງ່າຍດາຍ. ຕິດຕໍ່ກັບຄລາວຜ່ານ SDK ສໍາລັບຊັບພະຍາກອນທີ່ຕ້ອງການແລະປ່ຽນເປັນທົ່ງນາສໍາລັບ terraform. ຄວາມພະຍາຍາມໄດ້ເສຍຊີວິດທັນທີໃນກຸ່ມຄວາມປອດໄພເພາະວ່າຂ້ອຍບໍ່ມັກ 1.5 ມື້ທີ່ຈະປ່ຽນພຽງແຕ່ກຸ່ມຄວາມປອດໄພ (ແລະມີຊັບພະຍາກອນຫຼາຍ). ສໍາລັບເວລາດົນນານແລະຫຼັງຈາກນັ້ນພາກສະຫນາມສາມາດມີການປ່ຽນແປງ / ເພີ່ມ

ຄວາມພະຍາຍາມທີສອງ
ອີງໃສ່ແນວຄວາມຄິດທີ່ໄດ້ອະທິບາຍ ທີ່ນີ້. ພຽງແຕ່ເອົາແລະປ່ຽນ tfstate ເປັນ tf. ຂໍ້​ມູນ​ທັງ​ຫມົດ​ແມ່ນ​ມີ​ແລະ​ພາກ​ສະ​ຫນາມ​ແມ່ນ​ດຽວ​ກັນ​. ວິທີການທີ່ຈະໄດ້ຮັບ tfstate ເຕັມສໍາລັບຊັບພະຍາກອນຈໍານວນຫຼາຍ ?? ນີ້ແມ່ນບ່ອນທີ່ຄໍາສັ່ງ 'terraform refresh' ມາຊ່ວຍ. terraform ເອົາຊັບພະຍາກອນທັງຫມົດໃນ tfstate ແລະ, ໂດຍ ID, ດຶງຂໍ້ມູນໃສ່ພວກມັນແລະຂຽນທຸກສິ່ງທຸກຢ່າງເພື່ອ tfstate. ນັ້ນແມ່ນ, ສ້າງ tfstate ຫວ່າງເປົ່າທີ່ມີພຽງແຕ່ຊື່ແລະ IDs, ດໍາເນີນການ 'terraform refresh' ແລະຫຼັງຈາກນັ້ນພວກເຮົາໄດ້ຮັບ tfstates ເຕັມ. ໂຫ້ຍ!
ຕອນນີ້ໃຫ້ເຮັດຮູບພາບລາມົກຂອງການຂຽນຕົວແປງສັນຍານສໍາລັບ tfstate ເປັນ tf. ສໍາລັບຜູ້ທີ່ບໍ່ເຄີຍອ່ານ tfstate, ມັນແມ່ນ JSON, ແຕ່ພິເສດ.
ນີ້ແມ່ນຄຸນລັກສະນະສ່ວນທີ່ສໍາຄັນຂອງມັນ

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

ມີ:
1. id - string
2. metadata - array ຂອງຂະຫນາດ 1 ແລະໃນນັ້ນເປັນວັດຖຸທີ່ມີທົ່ງນາທີ່ອະທິບາຍຂ້າງລຸ່ມນີ້.
3. spec - hash ຂອງຂະຫນາດ 1 ແລະທີ່ສໍາຄັນ, ມູນຄ່າໃນມັນ
ໃນສັ້ນ, ຮູບແບບທີ່ມ່ວນຊື່ນ, ທຸກສິ່ງທຸກຢ່າງສາມາດເລິກເຊິ່ງຫຼາຍລະດັບ

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

ໂດຍທົ່ວໄປ, ຖ້າໃຜຕ້ອງການບັນຫາການຂຽນໂປລແກລມສໍາລັບການສໍາພາດ, ພຽງແຕ່ຂໍໃຫ້ພວກເຂົາຂຽນ parser ສໍາລັບວຽກງານນີ້ :)
ຫຼັງຈາກຄວາມພະຍາຍາມຫຼາຍໆຄັ້ງທີ່ຈະຂຽນຕົວວິເຄາະໂດຍບໍ່ມີຂໍ້ບົກພ່ອງ, ຂ້າພະເຈົ້າໄດ້ພົບເຫັນສ່ວນຫນຶ່ງຂອງມັນຢູ່ໃນລະຫັດ terraform, ແລະສ່ວນທີ່ສໍາຄັນທີ່ສຸດ. ແລະທຸກຢ່າງເບິ່ງຄືວ່າເຮັດວຽກໄດ້ດີ

ພະຍາຍາມສາມ
ຜູ້ໃຫ້ບໍລິການ terraform ແມ່ນ binary ທີ່ມີລະຫັດທີ່ມີຊັບພະຍາກອນທັງຫມົດແລະເຫດຜົນສໍາລັບການເຮັດວຽກກັບ cloud API. ແຕ່ລະເມຄມີຜູ້ໃຫ້ບໍລິການຂອງຕົນເອງແລະ terraform ຕົວຂອງມັນເອງພຽງແຕ່ໂທຫາພວກເຂົາຜ່ານໂປໂຕຄອນ RPC ຂອງມັນລະຫວ່າງສອງຂະບວນການ.
ຕອນນີ້ຂ້ອຍໄດ້ຕັດສິນໃຈຕິດຕໍ່ກັບຜູ້ໃຫ້ບໍລິການ terraform ໂດຍກົງຜ່ານການໂທ RPC. ມັນໄດ້ຫັນອອກຢ່າງສວຍງາມແລະເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະປ່ຽນຜູ້ໃຫ້ບໍລິການ terraform ໄປຫາຜູ້ໃຫມ່ແລະໄດ້ຮັບຄຸນສົມບັດໃຫມ່ໂດຍບໍ່ຕ້ອງປ່ຽນລະຫັດ. ມັນຍັງປາກົດວ່າບໍ່ແມ່ນທຸກຂົງເຂດໃນ tfstate ຄວນຈະຢູ່ໃນ tf, ແຕ່ເຈົ້າສາມາດຊອກຫາໄດ້ແນວໃດ? ພຽງແຕ່ຖາມຜູ້ໃຫ້ບໍລິການຂອງທ່ານກ່ຽວກັບເລື່ອງນີ້. ຫຼັງຈາກນັ້ນ, ອື່ນ ໆ pornography recursive ຂອງປະກອບການສະແດງອອກເປັນປົກກະຕິໄດ້ເລີ່ມຕົ້ນ, ຄົ້ນຫາພາກສະຫນາມພາຍໃນ tfstate ໃນທຸກລະດັບໃນຄວາມເລິກ.

ໃນທີ່ສຸດ, ພວກເຮົາໄດ້ຮັບເຄື່ອງມື CLI ທີ່ເປັນປະໂຫຍດທີ່ມີໂຄງສ້າງພື້ນຖານທົ່ວໄປສໍາລັບຜູ້ໃຫ້ບໍລິການ terraform ທັງຫມົດແລະທ່ານສາມາດເພີ່ມໃຫມ່ໄດ້ຢ່າງງ່າຍດາຍ. ນອກຈາກນີ້, ການເພີ່ມຊັບພະຍາກອນໃຊ້ເວລາລະຫັດພຽງເລັກນ້ອຍ. ບວກກັບທຸກປະເພດຂອງ goodies ເຊັ່ນ: ການເຊື່ອມຕໍ່ລະຫວ່າງຊັບພະຍາກອນ. ແນ່ນອນ, ມີບັນຫາທີ່ແຕກຕ່າງກັນຫຼາຍທີ່ບໍ່ສາມາດອະທິບາຍໄດ້ທັງຫມົດ.
ຂ້ອຍຕັ້ງຊື່ສັດ Terrafomer.

Finale

ການນໍາໃຊ້ Terrafomer, ພວກເຮົາໄດ້ສ້າງ 500-700 ພັນສາຍຂອງລະຫັດ tf + tfstate ຈາກສອງເມຄ. ພວກ​ເຮົາ​ສາ​ມາດ​ເອົາ​ສິ່ງ​ທີ່​ເປັນ​ມໍ​ລະ​ດົກ​ແລະ​ເລີ່ມ​ຕົ້ນ​ການ​ສໍາ​ຜັດ​ກັບ​ພວກ​ເຂົາ​ພຽງ​ແຕ່​ຜ່ານ terraform​, ເຊັ່ນ​ດຽວ​ກັນ​ກັບ​ໂຄງ​ລ່າງ​ພື້ນ​ຖານ​ທີ່​ດີ​ທີ່​ສຸດ​ເປັນ​ແນວ​ຄວາມ​ຄິດ​ລະ​ຫັດ​. ມັນເປັນພຽງແຕ່ magic ໃນເວລາທີ່ທ່ານເອົາເມຄຂະຫນາດໃຫຍ່ແລະໄດ້ຮັບມັນຜ່ານທີມງານໃນຮູບແບບຂອງໄຟລ໌ພະນັກງານ terraform. ແລະຫຼັງຈາກນັ້ນ grep / replace / git ແລະອື່ນໆ.

ຂ້າ​ພະ​ເຈົ້າ combed ມັນ​ອອກ​ແລະ​ເຮັດ​ໃຫ້​ມັນ​ຢູ່​ໃນ​ຄໍາ​ສັ່ງ​, ໄດ້​ຮັບ​ການ​ອະ​ນຸ​ຍາດ​. ປ່ອຍອອກມາເມື່ອ GitHub ສໍາລັບທຸກຄົນໃນວັນພະຫັດ (02.05.19/XNUMX/XNUMX). github.com/GoogleCloudPlatform/terraformer
ໄດ້ຮັບ 600 ດາວແລ້ວ, 2 ການຮ້ອງຂໍດຶງສໍາລັບການເພີ່ມການສະຫນັບສະຫນູນສໍາລັບ openstack ແລະ kubernetes. ຄຳຕິຊົມທີ່ດີ. ໂດຍທົ່ວໄປ, ໂຄງການແມ່ນເປັນປະໂຫຍດສໍາລັບປະຊາຊົນ
ຂ້າພະເຈົ້າແນະນໍາໃຫ້ທຸກຄົນທີ່ຕ້ອງການທີ່ຈະເລີ່ມຕົ້ນການເຮັດວຽກກັບ Terraform ແລະບໍ່ຂຽນຄືນທຸກສິ່ງທຸກຢ່າງສໍາລັບການນີ້.
ຂ້ອຍຈະດີໃຈທີ່ຈະດຶງຄໍາຮ້ອງຂໍ, ບັນຫາ, ດາວ.

Demo


ແຫຼ່ງຂໍ້ມູນ: www.habr.com