{"id":33123,"date":"2019-10-31T21:50:52","date_gmt":"2019-10-31T18:50:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/terraformer-infrastructure-to-code\/"},"modified":"2019-10-31T21:50:52","modified_gmt":"2019-10-31T18:50:52","slug":"terraformer-infrastructure-to-code","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","title":{"rendered":"Terraformer \u2014 Infrastruttura come codice","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Terraformer
\nVorrei parlare di un nuovo strumento CLI che ho scritto per risolvere un vecchio problema. <\/p>\n

Problema<\/h3>\n

\nTerraform \u00e8 diventato da tempo uno standard nella comunit\u00e0 DevOps\/Cloud\/IT. \u00c8 uno strumento molto comodo e utile per gestire l'infrastruttura come codice. Ci sono molte bellezze in Terraform, ma anche molte forche, coltelli affilati e insidie.
\nCon Terraform \u00e8 molto facile creare nuove risorse e poi gestirle, modificarle o eliminarle. Ma cosa fare per chi ha una grande infrastruttura nel cloud non creata tramite Terraform? Riscrivere e ricreare tutto il cloud sembra costoso e insicuro.
\nHo affrontato questo problema in due lavori, il pi\u00f9 semplice esempio \u00e8 quando vuoi che tutto sia in Git sotto forma di file Terraform, ma hai pi\u00f9 di 250 bucket e scriverli manualmente per Terraform \u00e8 piuttosto laborioso.
\nC'\u00e8 problema<\/a><\/noindex> Fin dal 2014 c'\u00e8 stato un tentativo di Terraform che \u00e8 stato chiuso nel 2016 con la speranza di avere l'import.<\/p>\n

Insomma, \u00e8 tutto come nell'immagine, solo da destra a sinistra.
\n<\/a><\/noindex><\/p>\n

Avvertimento: L'autore vive all'estero da met\u00e0 vita e scrive poco in russo. Attenzione agli errori di ortografia.<\/p>\n

Soluzioni<\/h3>\n

\n1. Ci sono soluzioni vecchie e pronte per AWS. terraforming<\/a><\/noindex>. Quando ho cercato di usare questo strumento per ottenere i miei pi\u00f9 di 250 bucket, ho capito che la situazione era pessima. AWS ha gi\u00e0 introdotto molte nuove opzioni, ma terraforming non lo sa e utilizza Ruby. I template hanno un aspetto misero.<\/a><\/noindex>. Dopo due serate ho mandato una Pull request<\/a><\/noindex> per aggiungere pi\u00f9 funzionalit\u00e0 e ho capito che questa soluzione non \u00e8 affatto adatta.
\nCome funziona terraforming? Prende i dati dal SDK AWS e genera tf e tfstate tramite template.
\nCi sono 3 problemi:
\n1. Ci sar\u00e0 sempre un ritardo negli aggiornamenti.
\n2. A volte i file tf risultano danneggiati.
\n3. Il tfstate viene raccolto separatamente dal tf e non sempre coincide.
\n\u00c8 comunque difficile ottenere un risultato in cui `terraform plan` dica che non ci sono modifiche.<\/p>\n

2. `terraform import` \u2014 \u00e8 un comando integrato in Terraform. Come funziona?
\nScrivi un file TF vuoto con il nome e il tipo di risorsa, poi esegui `terraform import` e trasmetti l'ID della risorsa. Terraform si rivolge al provider, ottiene i dati e crea il file tfstate.
\nCi sono 3 problemi:
\n1. Otteniamo solo il file tfstate mentre il tf \u00e8 vuoto, bisogna scriverlo manualmente o convertirlo dal tfstate.
\n2. Pu\u00f2 gestire solo una risorsa alla volta e non supporta tutte le risorse. E cosa devo fare di nuovo con pi\u00f9 di 250 bucket?
\n3. \u00c8 necessario conoscere l'ID delle risorse \u2014 quindi bisogna incapsularlo in codice che estrae l'elenco delle risorse.
\nIn effetti, il risultato \u00e8 parziale e non scala bene.<\/p>\n

La mia soluzione
\n<\/h3>\n

Requisiti:
\n1. Possibilit\u00e0 di creare file tf e tfstate per le risorse. Ad esempio, scaricare tutti i bucket\/gruppi di sicurezza\/balancer di carico e che `terraform plan` restituisca che non ci sono modifiche.
\n2. Necessito di 2 cloud GCP + AWS.
\n3. Soluzione globale facile da aggiornare ogni volta e che non richieda tempo per ogni risorsa per un lavoro di 3 giorni.
\n4. Rendre open source \u2014 \u00e8 un problema comune a tutti.<\/p>\n

Linguaggio Go \u2014 ecco perch\u00e9 mi piace, e c'\u00e8 una libreria per creare file HCL che viene utilizzata in terraform + molto codice in terraform che potrebbe risultare utile.<\/p>\n

Percorso<\/h3>\n

\nPrimo tentativo
\nHo iniziato con una versione semplice. Chiamate nel cloud tramite SDK per ottenere la risorsa richiesta e convertirla in campi per terraform. Il tentativo \u00e8 fallito subito con il gruppo di sicurezza perch\u00e9 non mi \u00e8 piaciuto spendere 1.5 giorni a convertire solo il gruppo di sicurezza (le risorse sono molte). \u00c8 lungo e poi i campi possono cambiare\/essere aggiunti.<\/p>\n

Secondo tentativo
\nBasato sull'idea descritta qui<\/a><\/noindex>. Semplicemente convertire tfstate in tf. Tutti i dati sono l\u00ec e i campi sono gli stessi. Come ottenere un tfstate completo per molte risorse?? Qui \u00e8 intervenuto il comando `terraform refresh`. Terraform prende tutte le risorse in tfstate e in base all'ID estrae i dati e scrive tutto in tfstate. Quindi creare un tfstate vuoto solo con nomi e ID, eseguire `terraform refresh` e otteniamo tfstate completi. Evviva!
\nOra ci occuperemo della scrittura ricorsiva di un convertitore da tfstate a tf. Per chi non ha mai letto tfstate, \u00e8 JSON, ma particolare.
\nEcco la sua parte importante attributes<\/p>\n

 \"attributes\": {\n                            \"id\": \"default\/backend-logging-load-deployment\",\n                            \"metadata.#\": \"1\",\n                            \"metadata.0.annotations.%\": \"0\",\n                            \"metadata.0.generate_name\": \"\",\n                            \"metadata.0.generation\": \"24\",\n                            \"metadata.0.labels.%\": \"1\",\n                            \"metadata.0.labels.app\": \"backend-logging\",\n                            \"metadata.0.name\": \"backend-logging-load-deployment\",\n                            \"metadata.0.namespace\": \"default\",\n                            \"metadata.0.resource_version\": \"109317427\",\n                            \"metadata.0.self_link\": \"\\\/apis\\\/apps\\\/v1\\\/namespaces\\\/default\\\/deployments\\\/backend-logging-load-deployment\",\n                            \"metadata.0.uid\": \"300ecda1-4138-11e9-9d5d-42010a8400b5\",\n                            \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n<\/code><\/pre>\n
\nQui ci sono:
\n1. id \u2014 stringa
\n2. metadata \u2014 array di dimensione 1 e al suo interno un oggetto con i campi descritti qui sotto
\n3. spec \u2014 hash di dimensione 1 e al suo interno chiave, valore
\nIn breve, un formato divertente, tutto pu\u00f2 essere anche in profondit\u00e0 su pi\u00f9 livelli.<\/p>\n
                   \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n                            \"spec.0.selector.0.match_expressions.#\": \"0\",\n                            \"spec.0.selector.0.match_labels.%\": \"1\",\n                            \"spec.0.selector.0.match_labels.app\": \"backend-logging-load\",\n                            \"spec.0.strategy.#\": \"0\",\n                            \"spec.0.template.#\": \"1\",\n                            \"spec.0.template.0.metadata.#\": \"1\",\n                            \"spec.0.template.0.metadata.0.annotations.%\": \"0\",\n                            \"spec.0.template.0.metadata.0.generate_name\": \"\",\n                            \"spec.0.template.0.metadata.0.generation\": \"0\",\n                            \"spec.0.template.0.metadata.0.labels.%\": \"1\",\n                            \"spec.0.template.0.metadata.0.labels.app\": \"backend-logging-load\",\n                            \"spec.0.template.0.metadata.0.name\": \"\",\n                            \"spec.0.template.0.metadata.0.namespace\": \"\",\n                            \"spec.0.template.0.metadata.0.resource_version\": \"\",\n                            \"spec.0.template.0.metadata.0.self_link\": \"\",\n                            \"spec.0.template.0.metadata.0.uid\": \"\",\n                            \"spec.0.template.0.spec.#\": \"1\",\n                            \"spec.0.template.0.spec.0.active_deadline_seconds\": \"0\",\n                            \"spec.0.template.0.spec.0.container.#\": \"1\",\n                            \"spec.0.template.0.spec.0.container.0.args.#\": \"3\",<\/code><\/pre>\n
\nIn generale, chi vuole un compito di programmazione per un colloquio pu\u00f2 semplicemente chiedere di scrivere un parser per questa cosa \ud83d\ude42
\nDopo molti tentativi di scrivere un parser senza bug, ho trovato una parte di esso nel codice di terraform, e quella era la parte pi\u00f9 importante. E tutto sembrava funzionare bene.<\/p>\n
Tentativo tre
\nIl provider terraform \u00e8 un binario che contiene codice con tutte le risorse e la logica per lavorare con le API dei vari cloud. Ogni cloud ha il proprio provider e terraform lo chiama attraverso il suo protocollo RPC tra due processi.
\nOra ho deciso di rivolgermi direttamente ai provider terraform attraverso chiamate RPC. \u00c8 venuto tutto molto bene e ha fornito la possibilit\u00e0 di aggiornare i provider terraform con nuove versioni e ottenere nuove funzionalit\u00e0 senza cambiare il codice. Inoltre, ho scoperto che non tutti i campi in tfstate devono essere in tf, ma come scoprirlo? Solo chiedendo al provider.<\/p>\n
Alla fine \u00e8 uscito un utile strumento CLI che ha un'infrastruttura comune per tutti i provider terraform e consente di aggiungere facilmente nuovi. Inoltre, l'aggiunta di risorse richiede poco codice. E ci sono anche vari vantaggi come le connessioni tra risorse. Certamente ci sono stati molti problemi diversi che non possono essere tutti descritti.
\nHo chiamato la creatura Terrafomer. <\/p>\n
Finale<\/h3>\n
\nAbbiamo generato con Terrafomer 500-700mila righe di codice tf + tfstate da due cloud. Siamo riusciti a prendere cose legacy e iniziare a modificarle solo attraverso terraform, come nelle migliori idee di infrastructure as code. \u00c8 pura magia quando prendi un enorme cloud e lo ottieni attraverso un comando in forma di file terraform. E poi grep\/replace\/git e cos\u00ec via.<\/p>\n
Ho sistemato e riordinato, ho ottenuto le autorizzazioni. L'ho pubblicato su GitHub per tutti gioved\u00ec (02.05.19). github.com\/GoogleCloudPlatform\/terraformer<\/a><\/noindex>
\nHo gi\u00e0 ricevuto 600 stelle, 2 pull request per aggiungere supporto a openstack e kubernetes. Buoni feedback. \u00c8 un progetto davvero utile per le persone.
\nLo consiglio a chiunque voglia iniziare a lavorare con Terraform senza dover riscrivere tutto. 
\nSarei felice di ricevere pull request, segnalazioni, stelle.<\/p>\n
Demo
\n\"Terraformer<\/noindex>
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Terraform \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u0432 Devops\/Cloud\/IT \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435. \u0412\u0435\u0449\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0442\u043e\u0431 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0441\u044f infrastructure as code. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0435\u0439 \u0432 Terraform \u0430 \u0442\u0430\u043a \u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0432\u0438\u043b\u043e\u043a, \u043e\u0441\u0442\u0440\u044b\u0445 \u043d\u043e\u0436\u0435\u0439 \u0438 \u0433\u0440\u0430\u0431\u043b\u0435\u0439. \u0421 Terraform \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0449\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24869,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33123","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Terraformer \u2014 Infrastructure To Code | ProHoster","description":"Vorrei raccontare di un nuovo strumento CLI che ho scritto.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Terraformer \u2014 Infrastructure To Code | ProHoster","og:description":"\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:50:52+00:00","article:modified_time":"2019-10-31T18:50:52+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33123","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 14:02:48","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:46:23","updated":"2026-01-21 14:02:48","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33123","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=33123"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33123\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/24869"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=33123"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=33123"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=33123"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}