{"id":33123,"date":"2019-10-31T21:50:52","date_gmt":"2019-10-31T18:50:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/terraformer-infrastructure-to-code\/"},"modified":"2019-10-31T21:50:52","modified_gmt":"2019-10-31T18:50:52","slug":"terraformer-infrastructure-to-code","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/terraformer-infrastructure-to-code","title":{"rendered":"Terraformer \u2014 Infraestrutura como C\u00f3digo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Terraformer
\nGostaria de falar sobre uma nova ferramenta CLI que criei para resolver um antigo problema. <\/p>\n

O problema<\/h3>\n

\nO Terraform j\u00e1 se tornou um padr\u00e3o nas comunidades de DevOps\/Cloud\/IT. \u00c9 uma ferramenta muito pr\u00e1tica e \u00fatil para trabalhar com infraestrutura como c\u00f3digo. H\u00e1 muitos aspectos positivos no Terraform, assim como muitos desafios, armadilhas e complica\u00e7\u00f5es.
\nCom o Terraform, \u00e9 muito f\u00e1cil criar novas coisas e ent\u00e3o gerenci\u00e1-las, alter\u00e1-las ou exclu\u00ed-las. Mas o que fazer para aqueles que t\u00eam uma infraestrutura enorme na nuvem e que n\u00e3o foi criada atrav\u00e9s do Terraform? Reescrever e reconstruir toda a nuvem \u00e9 caro e arriscado.
\nEnfrentei esse problema em dois empregos, o exemplo mais simples \u00e9 quando voc\u00ea deseja que tudo esteja em git na forma de arquivos Terraform, mas voc\u00ea tem mais de 250 buckets, e escrev\u00ea-los manualmente para o Terraform \u00e9 um trabalho muito grande.
\nH\u00e1 issue<\/a><\/noindex> J\u00e1 desde 2014, no Terraform que foi descontinuado em 2016, com a esperan\u00e7a de que haveria importa\u00e7\u00e3o.<\/p>\n

Enfim, tudo como na imagem, mas da direita para a esquerda.
\n<\/a><\/noindex><\/p>\n

Aviso: O autor vive fora da R\u00fassia h\u00e1 metade da vida e escreve pouco em russo. Cuidado com erros de ortografia.<\/p>\n

Solu\u00e7\u00f5es<\/h3>\n

\n1. Existem solu\u00e7\u00f5es antigas e prontas para AWS. terraforming<\/a><\/noindex>. Quando tentei usar isso para obter meus mais de 250 buckets, percebi que estava tudo ruim. AWS h\u00e1 muito tempo adicionou muitas novas op\u00e7\u00f5es e o terraforming n\u00e3o as conhece e, al\u00e9m disso, \u00e9 escrito em Ruby. O template \u00e9 bastante limitado.<\/a><\/noindex>. Depois de duas noites, enviei um pull request<\/a><\/noindex> para adicionar mais funcionalidades l\u00e1 e percebi que tal solu\u00e7\u00e3o n\u00e3o se encaixa de forma alguma.
\nComo funciona o terraforming? Ele obt\u00e9m dados do SDK da AWS e gera arquivos tf e tfstate atrav\u00e9s do template.
\nAqui est\u00e3o tr\u00eas problemas:
\n1. Sempre haver\u00e1 um atraso nas atualiza\u00e7\u00f5es.
\n2. Os arquivos tf \u00e0s vezes saem corruptos.
\n3. O tfstate \u00e9 gerado separadamente do tf e nem sempre corresponde.
\nNa verdade, \u00e9 dif\u00edcil obter um resultado no qual o `terraform plan` diga que n\u00e3o h\u00e1 altera\u00e7\u00f5es.<\/p>\n

2. `terraform import` \u2014 um comando embutido no Terraform. Como funciona?
\nVoc\u00ea escreve um arquivo TF vazio com o nome e o tipo do recurso, depois executa `terraform import` e fornece o ID do recurso. O Terraform se conecta ao provedor, obt\u00e9m os dados e cria o arquivo tfstate.
\nAqui est\u00e3o tr\u00eas problemas:
\n1. Voc\u00ea obt\u00e9m apenas o arquivo tfstate, enquanto o tf est\u00e1 vazio e precisa ser escrito manualmente ou convertido a partir do tfstate.
\n2. Funciona apenas com um recurso por vez e n\u00e3o suporta todos os recursos. E o que devo fazer novamente com mais de 250 buckets?
\n3. \u00c9 necess\u00e1rio saber o ID dos recursos \u2014 ou seja, voc\u00ea precisa encapsular isso em um c\u00f3digo que obtenha a lista de recursos.
\nNa verdade, o resultado \u00e9 parcial e n\u00e3o escalona bem.<\/p>\n

Minha solu\u00e7\u00e3o
\n<\/h3>\n

Requisitos:
\n1. A capacidade de criar arquivos tf e tfstate a partir dos recursos. Por exemplo, baixar todos os buckets\/security groups\/load balancers e certificar-se de que `terraform plan` retorna que n\u00e3o h\u00e1 altera\u00e7\u00f5es.
\n2. Precisamos de 2 nuvens: GCP + AWS.
\n3. Uma solu\u00e7\u00e3o global que seja f\u00e1cil de atualizar sempre e que n\u00e3o consuma tempo com cada recurso, levando 3 dias de trabalho.
\n4. Tornar isso um projeto de c\u00f3digo aberto \u2014 este \u00e9 um problema comum a todos.<\/p>\n

A linguagem Go \u2014 que eu gosto, e possui uma biblioteca para criar arquivos HCL que \u00e9 utilizada no terraform + muito c\u00f3digo no terraform que pode ser \u00fatil.<\/p>\n

Caminho<\/h3>\n

\nPrimeira tentativa
\nComecei com uma vers\u00e3o simples. Chamadas para a nuvem atrav\u00e9s do SDK para obter o recurso desejado e convert\u00ea-lo nos campos para terraform. A tentativa fracassou logo na security group, pois n\u00e3o gostei de passar 1.5 dias apenas convertendo a security group (sendo que h\u00e1 muitos recursos). Foi longo e depois os campos podem mudar\/adicionar.<\/p>\n

Segunda tentativa
\nBaseado na ideia descrita aqui<\/a><\/noindex>. Simplesmente pegar e converter tfstate em tf. Todos os dados est\u00e3o l\u00e1 e os campos s\u00e3o os mesmos. Como obter um tfstate completo para muitos recursos? Aqui, o comando `terraform refresh` foi \u00fatil. O terraform pega todos os recursos no tfstate e extrai os dados por ID, escrevendo tudo no tfstate. Portanto, criar um tfstate vazio apenas com nomes e IDs, e executar `terraform refresh` nos d\u00e1 tfstate completos. Ura!
\nAgora vamos nos dedicar a escrever um conversor recursivo de tfstate para tf. Para aqueles que nunca leram tfstate, \u00e9 um JSON, mas especial.
\nAqui est\u00e1 sua parte importante attributes<\/p>\n

 \"attributes\": {\n                            \"id\": \"default\/backend-logging-load-deployment\",\n                            \"metadata.#\": \"1\",\n                            \"metadata.0.annotations.%\": \"0\",\n                            \"metadata.0.generate_name\": \"\",\n                            \"metadata.0.generation\": \"24\",\n                            \"metadata.0.labels.%\": \"1\",\n                            \"metadata.0.labels.app\": \"backend-logging\",\n                            \"metadata.0.name\": \"backend-logging-load-deployment\",\n                            \"metadata.0.namespace\": \"default\",\n                            \"metadata.0.resource_version\": \"109317427\",\n                            \"metadata.0.self_link\": \"\\\/apis\\\/apps\\\/v1\\\/namespaces\\\/default\\\/deployments\\\/backend-logging-load-deployment\",\n                            \"metadata.0.uid\": \"300ecda1-4138-11e9-9d5d-42010a8400b5\",\n                            \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n<\/code><\/pre>\n
\nAqui est\u00e3o:
\n1. id \u2014 string
\n2. metadata \u2014 array de tamanho 1 que cont\u00e9m um objeto com os campos descritos abaixo
\n3. spec \u2014 hash de tamanho 1 contendo key,value
\nBasicamente, um formato divertido, tudo pode ir a profundidade tamb\u00e9m em v\u00e1rios n\u00edveis.<\/p>\n
                   \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n                            \"spec.0.selector.0.match_expressions.#\": \"0\",\n                            \"spec.0.selector.0.match_labels.%\": \"1\",\n                            \"spec.0.selector.0.match_labels.app\": \"backend-logging-load\",\n                            \"spec.0.strategy.#\": \"0\",\n                            \"spec.0.template.#\": \"1\",\n                            \"spec.0.template.0.metadata.#\": \"1\",\n                            \"spec.0.template.0.metadata.0.annotations.%\": \"0\",\n                            \"spec.0.template.0.metadata.0.generate_name\": \"\",\n                            \"spec.0.template.0.metadata.0.generation\": \"0\",\n                            \"spec.0.template.0.metadata.0.labels.%\": \"1\",\n                            \"spec.0.template.0.metadata.0.labels.app\": \"backend-logging-load\",\n                            \"spec.0.template.0.metadata.0.name\": \"\",\n                            \"spec.0.template.0.metadata.0.namespace\": \"\",\n                            \"spec.0.template.0.metadata.0.resource_version\": \"\",\n                            \"spec.0.template.0.metadata.0.self_link\": \"\",\n                            \"spec.0.template.0.metadata.0.uid\": \"\",\n                            \"spec.0.template.0.spec.#\": \"1\",\n                            \"spec.0.template.0.spec.0.active_deadline_seconds\": \"0\",\n                            \"spec.0.template.0.spec.0.container.#\": \"1\",\n                            \"spec.0.template.0.spec.0.container.0.args.#\": \"3\",<\/code><\/pre>\n
\nDe forma geral, quem quiser um desafio de programa\u00e7\u00e3o para entrevistas, basta pedir para escrever um parser para isso \ud83d\ude42
\nAp\u00f3s muitas tentativas de escrever um parser sem bugs, encontrei uma parte dele no c\u00f3digo do terraform, especificamente a parte mais importante. E tudo parecia funcionar bem.<\/p>\n
Tentativa tr\u00eas
\nO provider do terraform \u00e9 um bin\u00e1rio que cont\u00e9m c\u00f3digo com todos os recursos e l\u00f3gica para interagir com as APIs das nuvens. Cada nuvem tem seu pr\u00f3prio provider, e o terraform apenas os chama atrav\u00e9s de seu protocolo RPC entre dois processos.
\nAgora decidi me comunicar diretamente com os providers do terraform atrav\u00e9s de chamadas RPC. Ficou bonito e permitiu atualizar os providers do terraform para vers\u00f5es mais novas e obter novos recursos sem alterar o c\u00f3digo. Al\u00e9m disso, descobri que nem todos os campos no tfstate precisam estar no tf, e como saber isso? Apenas perguntando ao provider sobre isso. Depois come\u00e7ou outra pornografia recursiva com a constru\u00e7\u00e3o de express\u00f5es regulares para pesquisar campos dentro do tfstate em todos os n\u00edveis de profundidade.<\/p>\n
No final, consegui um CLI tool \u00fatil que possui uma infraestrutura comum para todos os providers do terraform e \u00e9 f\u00e1cil adicionar novos. Al\u00e9m disso, a adi\u00e7\u00e3o de recursos ocupa pouco c\u00f3digo. E teve v\u00e1rios recursos extras, como conex\u00f5es entre recursos. Claro, houve muitos problemas diversos que n\u00e3o podem ser todos descritos.
\nChamei a criatura de Terrafomer. <\/p>\n
Final<\/h3>\n
\nUsamos o Terrafomer para gerar de 500 a 700 mil linhas de c\u00f3digo tf + tfstate em duas nuvens. Conseguimos pegar itens legados e come\u00e7ar a manipul\u00e1-los apenas atrav\u00e9s do Terraform, como nas melhores ideias de infraestrutura como c\u00f3digo. \u00c9 uma m\u00e1gica quando voc\u00ea pega uma enorme nuvem e a obt\u00e9m atrav\u00e9s de um comando na forma de arquivos terraform funcionais. E ent\u00e3o \u00e9 grep\/replace\/git e assim por diante.<\/p>\n
Conclu\u00ed e organizei tudo, obtive permiss\u00f5es. Publicado no GitHub para todos na quinta-feira (02.05.19). github.com\/GoogleCloudPlatform\/terraformer<\/a><\/noindex>
\nJ\u00e1 recebi 600 estrelas, 2 pull requests para adicionar suporte ao OpenStack e Kubernetes. Boas avalia\u00e7\u00f5es. O projeto \u00e9 realmente \u00fatil para as pessoas.
\nRecomendo a todos que querem come\u00e7ar a trabalhar com Terraform e n\u00e3o reescrever tudo para isso. 
\nFicarei feliz com pull requests, issues e estrelas.<\/p>\n
Demonstra\u00e7\u00e3o
\n\"Terraformer<\/noindex>
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Terraform \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u0432 Devops\/Cloud\/IT \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435. \u0412\u0435\u0449\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0442\u043e\u0431 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0441\u044f infrastructure as code. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0435\u0439 \u0432 Terraform \u0430 \u0442\u0430\u043a \u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0432\u0438\u043b\u043e\u043a, \u043e\u0441\u0442\u0440\u044b\u0445 \u043d\u043e\u0436\u0435\u0439 \u0438 \u0433\u0440\u0430\u0431\u043b\u0435\u0439. \u0421 Terraform \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0449\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24869,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33123","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Terraformer \u2014 Infraestrutura Para C\u00f3digo | ProHoster","description":"Gostaria de falar sobre uma nova ferramenta CLI que escrevi.","canonical_url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/terraformer-infrastructure-to-code","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pt_PT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Terraformer \u2014 Infrastructure To Code | ProHoster","og:description":"\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b.","og:url":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/terraformer-infrastructure-to-code","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:50:52+00:00","article:modified_time":"2019-10-31T18:50:52+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33123","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 14:02:48","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:46:23","updated":"2026-01-21 14:02:48","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/33123","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/comments?post=33123"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/posts\/33123\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media\/24869"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/media?parent=33123"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/categories?post=33123"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pt\/wp-json\/wp\/v2\/tags?post=33123"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}