Terraformer - インフラストラクチャからコードへ

古い問題を解決するために私が作成した新しい CLI ツールについてお話したいと思います。

問題

Terraform は、Devops/クラウド/IT コミュニティの標準として長い間使用されてきました。 これは非常に便利で、コードとしてのインフラストラクチャを扱うのに役立ちます。 Terraform には、フォーク、鋭いナイフ、熊手だけでなく、楽しいものもたくさんあります。
Terraform を使用すると、新しいものを作成して、それらを管理、変更、削除することが非常に便利です。 クラウド上に巨大なインフラストラクチャがあり、Terraform を通じて作成されていない人は何をすべきでしょうか? クラウド全体を書き換えて再作成するには、何らかの形で費用がかかり、安全ではありません。
私は 2 つのジョブでこの問題に遭遇しました。最も単純な例は、すべてを Terraform ファイルの形式で Git に置きたいが、250 以上のバケットがあり、それらを Terraform に手動で記述するのは大変な場合です。
あり 問題 2014 年から terrafom で活動していましたが、輸入されることを期待して 2016 年に閉鎖されました。

一般に、すべては右から左にのみ写真の通りです

警告: 著者は人生の半分をロシアに住んでいないため、ロシア語での著作はほとんどありません。 スペルミスに注意してください。

Решения

1. AWS には既製の古いソリューションが存在します テラフォーミング。 250 以上のバケツを処理しようとしたとき、すべてが不良であることに気づきました。 AWS は長い間多くの新しいオプションを導入してきましたが、テラフォーミングはそれらを認識しておらず、一般的には Ruby です。 テンプレートがまばらに見える。 夜中の2時過ぎに送りました プルリクエスト そこにさらに機能を追加しようとしましたが、そのようなソリューションはまったく適切ではないことがわかりました。
テラフォーミングの仕組み: AWS SDK からデータを取得し、テンプレートを通じて tf と tfstate を生成します。
ここには 3 つの問題があります。
1. アップデートには常にラグが発生します
2. tf ファイルが壊れることがある
3. tfstate は tf とは別に収集され、常に収束するとは限りません
一般に、「terraform plan」は変更がないという結果を得ることが困難です。

2. 「terraform import」は、terraform の組み込みコマンドです。 どのように機能するのでしょうか?
リソースの名前とタイプを含む空の TF ファイルを作成し、「terraform import」を実行してリソース ID を渡します。 terraform はプロバイダーに接続してデータを受け取り、tfstate ファイルを作成します。
ここには 3 つの問題があります。
1. tfstate ファイルのみを取得し、tf は空です。手動で記述するか、tfstate から変換する必要があります。
2. 一度に 250 つのリソースのみを操作でき、すべてのリソースをサポートするわけではありません。 また、XNUMX 以上のバケットを使用するにはどうすればよいでしょうか?
3. リソースの ID を知る必要があります。つまり、リソースのリストを取得するコードでそれをラップする必要があります。
一般に、結果は部分的であり、適切に拡張できません。

私の判断

要件：
1. リソースの tf および tfstate ファイルを作成する機能。 たとえば、すべてのバケット/セキュリティ グループ/ロード バランサーをダウンロードすると、「terraform plan」は変更がないことを返します。
2. 2 つの GCP + AWS クラウドが必要です
3. 毎回簡単に更新でき、3 日間の作業で各リソースに時間を無駄にしないグローバル ソリューション
4. オープンソースにする - 誰もが同じ問題を抱えている

Go 言語は私が大好きな理由であり、Terraform で使用される HCL ファイルを作成するためのライブラリと、Terraform で役立つ多くのコードを備えています。

パス

最初の試み
まずは簡易版から始めてみました。 SDK 経由でクラウドに接続して必要なリソースを取得し、それを Terraform のフィールドに変換します。 セキュリティ グループだけを変換するのに 1.5 日かかるのが嫌だったので (リソースもたくさんあるので)、セキュリティ グループではすぐに試行が中止されました。 長期間にわたってフィールドを変更/追加できる

XNUMX 回目の試行
説明されたアイデアに基づいて ここで。 tfstate を取得して tf に変換するだけです。 すべてのデータが存在し、フィールドは同じです。 多くのリソースの完全な tfstate を取得するにはどうすればよいですか?? ここで「terraform reports」コマンドが役に立ちました。 terraform は tfstate 内のすべてのリソースを取得し、ID に基づいてそれらのデータを取り出し、すべてを tfstate に書き込みます。 つまり、名前と ID のみを含む空の tfstate を作成し、「terraform reports」を実行すると、完全な tfstate が取得されます。 万歳！
ここで、tfstate から tf へのコンバータを作成するという再帰的なポルノを実行しましょう。 tfstate を読んだことがない人のために説明すると、これは JSON ですが特別です。
重要な部分の属性は次のとおりです

 "attributes": {
                            "id": "default/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "/apis/apps/v1/namespaces/default/deployments/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

がある：
1. ID - 文字列
2. メタデータ - サイズ 1 の配列と、その中に後述するフィールドを持つオブジェクト
3. spec - サイズ 1 のハッシュとキー、その中の値
一言で言えば、楽しいフォーマットであり、すべてが数レベルの深さになる可能性があります

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

一般に、面接でプログラミングの問題が必要な場合は、このタスク用のパーサーを作成するように依頼してください:)
バグのないパーサーを作成しようと何度も試みた結果、terraform コード内にパーサーの一部、そして最も重要な部分が見つかりました。 そしてすべてがうまく機能しているように見えました

XNUMX 回目の試行
terraform プロバイダーは、クラウド API を操作するためのすべてのリソースとロジックを含むコードを含むバイナリです。 各クラウドには独自のプロバイダーがあり、Terraform 自体は XNUMX つのプロセス間の RPC プロトコルを通じてのみプロバイダーを呼び出します。
ここで、RPC 呼び出しを介して Terraform プロバイダーに直接連絡することにしました。 これは見事に成果が上がり、コードを変更せずに Terraform プロバイダーを新しいものに変更して新しい機能を取得できるようになりました。 また、tfstate のすべてのフィールドが tf にある必要はないこともわかりましたが、どうすればそれを確認できるでしょうか? これについてはプロバイダーに問い合わせてください。 その後、正規表現を組み立てる別の再帰ポルノが始まり、tfstate 内のフィールドをすべてのレベルで徹底的に検索しました。

最終的に、すべての Terraform プロバイダーに共通のインフラストラクチャを備え、新しいものを簡単に追加できる便利な CLI ツールを入手しました。 また、リソースの追加に必要なコードはほとんどありません。 さらに、リソース間の接続など、あらゆる種類の特典が含まれます。 もちろん、すべてを説明することはできませんが、さまざまな問題がありました。
その動物をテラフォーマーと名付けました。

決勝

Terrafomer を使用して、500 つのクラウドから 700 万〜 XNUMX 万行の tf + tfstate コードを生成しました。 私たちは、コードのアイデアとしての最高のインフラストラクチャと同様に、テラフォームを通じてのみレガシーなものを取り上げ、それらに触れることができました。 巨大なクラウドを Terraform ワーカー ファイルの形式でチームを通じて受け取るのは、まさに魔法です。 そして grep/replace/git などを実行します。

許可を得て、整理して整理しました。 木曜日 (02.05.19/XNUMX/XNUMX) に GitHub で全員に向けてリリースされました。 github.com/GoogleCloudPlatform/terraformer
すでに 600 個のスターと、openstack と kubernetes のサポート追加に関する 2 つのプル リクエストを受け取りました。 良いフィードバック。 一般的に、プロジェクトは人々にとって有益です
Terraform を使い始めたいと考えている人には、すべてを書き直さないことをお勧めします。
プルリクエスト、問題、スターを喜んでお送りします。

Демо


出所： habr.com