Terraformer - 인프라를 코드로

오래된 문제를 해결하기 위해 제가 작성한 새로운 CLI 도구에 대해 말씀드리고 싶습니다.

문제

Terraform은 오랫동안 Devops/Cloud/IT 커뮤니티의 표준이었습니다. 이 기능은 인프라를 코드로 처리하는 데 매우 편리하고 유용합니다. Terraform에는 포크, 날카로운 칼, 갈퀴뿐만 아니라 많은 즐거움이 있습니다.
Terraform을 사용하면 새로운 것을 생성한 다음 이를 관리, 변경 또는 삭제하는 것이 매우 편리합니다. 클라우드에 거대한 인프라를 갖고 있는데 Terraform을 통해 생성되지 않은 사람들은 무엇을 해야 할까요? 전체 클라우드를 다시 작성하고 다시 만드는 것은 비용이 많이 들고 안전하지 않습니다.
저는 2개의 작업에서 이 문제에 직면했습니다. 가장 간단한 예는 모든 것이 Git에 Terraform 파일 형식으로 있기를 원하지만 버킷이 250개가 넘고 이를 직접 Terraform으로 작성하려면 많은 경우입니다.
이 발행물 2014년부터 terrafom에서 수입이 있을 것이라는 희망으로 2016년에 문을 닫았습니다.

일반적으로 모든 것은 오른쪽에서 왼쪽으로만 그림과 같습니다.

경고: 저자는 인생의 절반을 러시아에서 살지 않았으며 러시아어로 글을 거의 쓰지 않습니다. 철자 오류에 주의하세요.

솔루션

1. AWS를 위한 기성 솔루션과 기존 솔루션이 있습니다. 테라포밍. 250개 이상의 버킷을 통과시키려고 시도했을 때 거기의 모든 것이 나쁘다는 것을 깨달았습니다. AWS는 오랫동안 많은 새로운 옵션을 도입해 왔지만 테라포밍은 이에 대해 알지 못하며 일반적으로 루비입니다. 템플릿이 드물어 보입니다.. 저녁 2시 이후에 보냈어요 풀 리퀘스트 거기에 더 많은 기능을 추가하고 그러한 솔루션이 전혀 적합하지 않다는 것을 깨달았습니다.
테라포밍 작동 방식: AWS SDK에서 데이터를 가져와 템플릿을 통해 tf 및 tfstate를 생성합니다.
여기에는 3가지 문제가 있습니다.
1. 업데이트가 항상 지연됩니다.
2. tf 파일이 가끔 깨지는 경우가 있어요
3. tfstate는 tf와 별도로 수집되며 항상 수렴되지는 않습니다.
일반적으로 '테라폼 계획'에서는 변화가 없다는 결과를 얻기 어렵다.

2. `terraform import`는 terraform에 내장된 명령입니다. 어떻게 작동하나요?
리소스 이름과 유형이 포함된 빈 TF 파일을 작성한 다음 `terraform import`를 실행하고 리소스 ID를 전달합니다. Terraform은 공급자에게 연락하여 데이터를 수신하고 tfstate 파일을 만듭니다.
여기에는 3가지 문제가 있습니다.
1. tfstate 파일만 가져오고 tf는 비어 있으므로 수동으로 작성하거나 tfstate에서 변환해야 합니다.
2. 한 번에 하나의 리소스로만 작업할 수 있으며 모든 리소스를 지원하지는 않습니다. 250개 이상의 버킷으로 다시 무엇을 해야 합니까?
3. 리소스의 ID를 알아야 합니다. 즉, 리소스 목록을 가져오는 코드로 이를 래핑해야 합니다.
일반적으로 결과는 부분적이며 잘 확장되지 않습니다.

나의 결정

요구 사항 :
1. 리소스에 대한 tf 및 tfstate 파일을 생성하는 기능. 예를 들어 모든 버킷/보안 그룹/로드 밸런서를 다운로드하고 'terraform plan'에서 변경 사항이 없다고 반환했습니다.
2. GCP + AWS 클라우드 2개가 필요합니다.
3. 매번 업데이트가 쉽고, 3일 작업 동안 각 리소스에 시간을 낭비하지 않는 글로벌 솔루션
4. 오픈 소스로 만들기 - 모두가 같은 문제를 안고 있습니다

Go 언어는 내가 좋아하는 이유이며, terraform에서 사용되는 HCL 파일을 생성하기 위한 라이브러리 + 유용할 수 있는 terraform의 많은 코드를 포함합니다.

경로

먼저 시도하십시오.
저는 간단한 버전으로 시작했습니다. 필요한 리소스에 대해 SDK를 통해 클라우드에 접속하고 이를 Terraform용 필드로 변환합니다. 보안 그룹만 변환하는 데 1.5일이 걸리고 리소스가 많기 때문에 보안 그룹에서 시도가 즉시 중단되었습니다. 오랜 시간이 지나면 필드가 변경/추가될 수 있습니다.

두 번째 시도
설명된 아이디어를 바탕으로 여기에. tfstate를 tf로 변환하세요. 모든 데이터가 있고 필드도 동일합니다. 많은 리소스에 대해 전체 tfstate를 얻는 방법은 무엇입니까?? 여기서 'terraform 새로 고침' 명령이 구출되었습니다. terraform은 tfstate의 모든 리소스를 가져와서 ID별로 해당 리소스에 대한 데이터를 가져와서 모든 것을 tfstate에 씁니다. 즉, 이름과 ID만 있는 빈 tfstate를 만들고 `terraform 새로 고침`을 실행하면 전체 tfstate를 얻습니다. 만세!
이제 tfstate를 tf로 변환하는 재귀적 포르노그래피를 작성해 보겠습니다. tfstate를 한번도 읽어본 적이 없는 분들을 위해 설명하자면 JSON이지만 특별합니다.
중요한 부품 속성은 다음과 같습니다.

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

다음이 있습니다:
1. 아이디 - 문자열
2. 메타데이터 - 크기 1의 배열과 그 안에 아래 설명된 필드가 있는 객체
3. spec - 크기 1과 키의 해시, 그 안에 있는 값
간단히 말해서, 재미있는 형식으로 모든 것이 여러 수준으로 깊어질 수 있습니다.

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

일반적으로 인터뷰를 위한 프로그래밍 문제를 원하는 사람이 있다면 이 작업에 대한 파서를 작성하도록 요청하세요. :)
버그 없는 파서를 작성하려고 여러 번 시도한 끝에 terraform 코드에서 그 일부와 가장 중요한 부분을 발견했습니다. 그리고 모든 것이 잘 돌아가는 것 같았어요

세 번째 시도
Terraform 공급자는 클라우드 API 작업을 위한 모든 리소스와 논리가 포함된 코드를 포함하는 바이너리입니다. 각 클라우드에는 자체 공급자가 있으며 Terraform 자체는 두 프로세스 간의 RPC 프로토콜을 통해서만 이를 호출합니다.
이제 RPC 호출을 통해 Terraform 제공업체에 직접 연락하기로 결정했습니다. 결과는 훌륭했고 Terraform 공급자를 최신 공급자로 변경하고 코드를 변경하지 않고도 새로운 기능을 얻을 수 있게 되었습니다. 또한 tfstate의 모든 필드가 tf에 있어야 하는 것은 아니지만 어떻게 알 수 있습니까? 이에 대해서는 서비스 제공자에게 문의하세요. 그런 다음 정규식을 조합하는 또 다른 재귀 포르노그래피가 시작되어 모든 수준에서 tfstate 내부 필드를 심층적으로 검색했습니다.

결국 우리는 모든 Terraform 공급자를 위한 공통 인프라를 갖고 있고 새 인프라를 쉽게 추가할 수 있는 유용한 CLI 도구를 얻었습니다. 또한 리소스를 추가하는 데는 코드가 거의 필요하지 않습니다. 또한 리소스 간의 연결과 같은 모든 종류의 장점이 있습니다. 물론, 다 설명할 수 없는 다양한 문제가 있었습니다.
나는 그 동물에게 테라포머(Terrafomer)라는 이름을 붙였습니다.

결승

Terrafomer를 사용하여 두 개의 클라우드에서 500~700줄의 tf + tfstate 코드를 생성했습니다. 우리는 코드 아이디어와 같은 최고의 인프라에서와 같이 레거시 항목을 가져와 테라폼을 통해서만 접근할 수 있었습니다. 거대한 클라우드를 가져와 팀을 통해 Terraform 작업자 파일 형태로 받는 것은 정말 마법입니다. 그런 다음 grep/replace/git 등을 수행합니다.

나는 그것을 빗질하고 정리하고 허락을 받았습니다. 목요일(02.05.19년 XNUMX월 XNUMX일)에 모든 사람을 위해 GitHub에 출시되었습니다. github.com/GoogleCloudPlatform/terraformer
OpenStack 및 Kubernetes에 대한 지원 추가에 대한 600개의 풀 요청과 2개의 별을 이미 받았습니다. 좋은 피드백. 일반적으로 이 프로젝트는 사람들에게 유용합니다.
나는 Terraform 작업을 시작하고 이를 위해 모든 것을 다시 작성하지 않으려는 모든 사람에게 조언합니다.
요청, 이슈, 별을 기꺼이 끌어올 것입니다.

Демо


출처 : habr.com