{"id":33123,"date":"2019-10-31T21:50:52","date_gmt":"2019-10-31T18:50:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/terraformer-infrastructure-to-code\/"},"modified":"2019-10-31T21:50:52","modified_gmt":"2019-10-31T18:50:52","slug":"terraformer-infrastructure-to-code","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","title":{"rendered":"Terraformer \u2014 Infrastructure To Code","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Terraformer
\nVorrei parlare di un nuovo strumento CLI che ho sviluppato per risolvere un problema che esiste da tempo. <\/p>\n

Problema<\/h3>\n

\nTerraform \u00e8 ormai uno standard nella comunit\u00e0 Devops\/Cloud\/IT. \u00c8 uno strumento molto utile per gestire l'infrastructure as code. Ci sono molti vantaggi in Terraform, ma anche molte insidie e problematiche.
\nCon Terraform \u00e8 facile creare nuove risorse e poi gestirle, modificarle o eliminarle. Ma cosa fare per chi ha un'immensa infrastruttura cloud non creata con Terraform? Riscrivere e ricostruire tutto il cloud \u00e8 costoso e poco sicuro.
\nHo affrontato questo problema in due aziende; il caso pi\u00f9 semplice \u00e8 quando si desidera avere tutto sotto controllo in Git come file Terraform, ma si hanno pi\u00f9 di 250 bucket e scriverli a mano non \u00e8 pratico.
\nS\u00ec issue<\/a><\/noindex> Sin dal 2014 esisteva un progetto chiamato terrafom, chiuso nel 2016, con la speranza che sarebbe stata disponibile l'importazione.<\/p>\n

Insomma, \u00e8 tutto come nell'immagine ma da destra a sinistra.
\n<\/a><\/noindex><\/p>\n

Avvisi: L'autore ha vissuto per gran parte della sua vita al di fuori della Russia e scrive poco in russo. Attenzione agli errori di ortografia.<\/p>\n

Soluzioni<\/h3>\n

\n1. Esistono soluzioni pronte e consolidate per AWS. terraforming<\/a><\/noindex>. Quando ho provato a ottenere i miei oltre 250 bucket, ho capito che la situazione era critica. AWS ha gi\u00e0 introdotto molte nuove opzioni da tempo, ma terraforming non ne \u00e8 a conoscenza e, in generale, utilizza Ruby. Il template appare scarno.<\/a><\/noindex>. Dopo le 2 di pomeriggio ho inviato. Richiesta di pull<\/a><\/noindex> per aggiungere pi\u00f9 funzionalit\u00e0, ma ho capito che questa soluzione non \u00e8 affatto adeguata.
\nCome funziona terraforming: prende i dati dall'SDK AWS e genera tf e tfstate tramite un template.
\nCi sono 3 problemi:
\n1. Ci sar\u00e0 sempre un ritardo negli aggiornamenti.
\n2. I file tf a volte possono risultare danneggiati.
\n3. Il tfstate viene raccolto separatamente dal tf e non sempre corrisponde.
\n\u00c8 davvero difficile ottenere un risultato in cui `terraform plan` indichi che non ci sono modifiche.<\/p>\n

2. `terraform import` \u00e8 un comando incorporato in terraform. Come funziona?
\nScrivi un file TF vuoto con il nome e il tipo di risorsa, poi esegui `terraform import` e passi l'ID della risorsa. Terraform si rivolge al provider, riceve i dati e crea il file tfstate.
\nCi sono 3 problemi:
\n1. Otteniamo solo il file tfstate, mentre il tf \u00e8 vuoto e deve essere scritto manualmente o convertito da tfstate.
\n2. Pu\u00f2 lavorare solo con una risorsa alla volta e non supporta tutte le risorse. E cosa devo fare di nuovo con oltre 250 bucket?
\n3. \u00c8 importante conoscere l'ID delle risorse, quindi \u00e8 necessario avvolgerlo in un codice che recupera l'elenco delle risorse.
\nIn generale, il risultato \u00e8 parziale e non scala bene.<\/p>\n

La mia soluzione
\n<\/h3>\n

Requisiti:
\n1. Possibilit\u00e0 di creare file tf e tfstate per le risorse. Ad esempio, scaricare tutti i bucket \/ security group \/ load balancer e ci\u00f2 che `terraform plan` restituisce quando non ci sono modifiche.
\n2. Necessito di 2 cloud: GCP + AWS.
\n3. Una soluzione globale che sia facile da aggiornare ogni volta senza far perdere tempo per ogni risorsa, con 3 giorni di lavoro.
\n4. Rendere open source \u2014 il problema \u00e8 comune a tutti.<\/p>\n

Il linguaggio Go \u2014 perch\u00e9 lo amo, e c'\u00e8 una libreria per la creazione di file HCL utilizzata in terraform + molto codice in terraform che pu\u00f2 essere utile.<\/p>\n

Percorso<\/h3>\n

\nPrimo tentativo
\nHo iniziato con una soluzione semplice. Comunicazione con il cloud tramite SDK per il recupero della risorsa desiderata e conversione in campi per terraform. Il tentativo \u00e8 fallito subito con il security group perch\u00e9 non mi \u00e8 piaciuto passare 1.5 giorni a convertire solo il security group (ci sono molte risorse). \u00c8 lungo e poi i campi possono cambiare \/ aggiungersi.<\/p>\n

Secondo tentativo
\nBasato sull'idea descritta. qui<\/a><\/noindex>. Basta prendere e convertire tfstate in tf. Ci sono tutti i dati e i campi sono gli stessi. Come ottenere un tfstate completo per molte risorse? Qui viene in aiuto il comando `terraform refresh`. Terraform prende tutte le risorse in tfstate e, grazie all'ID, estrae i dati e li scrive in tfstate. Quindi, creando un tfstate vuoto solo con nomi e ID, lanciando `terraform refresh` otteniamo un tfstate completo. Evviva!
\nOra ci dedicheremo alla scrittura ricorsiva del convertitore da tfstate a tf. Per chi non ha mai letto tfstate, si tratta di JSON, ma in modo speciale.
\nEcco la sua parte importante attributes<\/p>\n

 \"attributes\": {\n                            \"id\": \"default\/backend-logging-load-deployment\",\n                            \"metadata.#\": \"1\",\n                            \"metadata.0.annotations.%\": \"0\",\n                            \"metadata.0.generate_name\": \"\",\n                            \"metadata.0.generation\": \"24\",\n                            \"metadata.0.labels.%\": \"1\",\n                            \"metadata.0.labels.app\": \"backend-logging\",\n                            \"metadata.0.name\": \"backend-logging-load-deployment\",\n                            \"metadata.0.namespace\": \"default\",\n                            \"metadata.0.resource_version\": \"109317427\",\n                            \"metadata.0.self_link\": \"\/apis\/apps\/v1\/namespaces\/default\/deployments\/backend-logging-load-deployment\",\n                            \"metadata.0.uid\": \"300ecda1-4138-11e9-9d5d-42010a8400b5\",\n                            \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n<\/code><\/pre>\n
\nQui c'\u00e8:
\n1. id \u2014 stringa
\n2. metadata \u2014 array di dimensione 1 contenente un oggetto con i campi descritti sotto
\n3. spec \u2014 hash di dimensione 1 contenente key,value
\nIn breve, un formato divertente, pu\u00f2 essere anche profondo su pi\u00f9 livelli<\/p>\n
                   \"spec.#\": \"1\",\n                            \"spec.0.min_ready_seconds\": \"0\",\n                            \"spec.0.paused\": \"false\",\n                            \"spec.0.progress_deadline_seconds\": \"600\",\n                            \"spec.0.replicas\": \"1\",\n                            \"spec.0.revision_history_limit\": \"10\",\n                            \"spec.0.selector.#\": \"1\",\n                            \"spec.0.selector.0.match_expressions.#\": \"0\",\n                            \"spec.0.selector.0.match_labels.%\": \"1\",\n                            \"spec.0.selector.0.match_labels.app\": \"backend-logging-load\",\n                            \"spec.0.strategy.#\": \"0\",\n                            \"spec.0.template.#\": \"1\",\n                            \"spec.0.template.0.metadata.#\": \"1\",\n                            \"spec.0.template.0.metadata.0.annotations.%\": \"0\",\n                            \"spec.0.template.0.metadata.0.generate_name\": \"\",\n                            \"spec.0.template.0.metadata.0.generation\": \"0\",\n                            \"spec.0.template.0.metadata.0.labels.%\": \"1\",\n                            \"spec.0.template.0.metadata.0.labels.app\": \"backend-logging-load\",\n                            \"spec.0.template.0.metadata.0.name\": \"\",\n                            \"spec.0.template.0.metadata.0.namespace\": \"\",\n                            \"spec.0.template.0.metadata.0.resource_version\": \"\",\n                            \"spec.0.template.0.metadata.0.self_link\": \"\",\n                            \"spec.0.template.0.metadata.0.uid\": \"\",\n                            \"spec.0.template.0.spec.#\": \"1\",\n                            \"spec.0.template.0.spec.0.active_deadline_seconds\": \"0\",\n                            \"spec.0.template.0.spec.0.container.#\": \"1\",\n                            \"spec.0.template.0.spec.0.container.0.args.#\": \"3\",<\/code><\/pre>\n
\nIn generale, chiunque desideri un compito di programmazione per un colloquio pu\u00f2 semplicemente chiedere di scrivere un parser per questo \ud83d\ude42
\nDopo lunghe prove per scrivere un parser senza bug, ho trovato parte del suo codice in Terraform, precisamente la parte pi\u00f9 importante. E tutto sembrava funzionare bene.<\/p>\n
Tentativo tre
\nUn provider Terraform \u00e8 un binario che contiene codice con tutte le risorse e la logica per lavorare con le API dei cloud. Ogni cloud ha il proprio provider e Terraform lo chiama attraverso il proprio protocollo RPC tra i due processi.
\nAdesso ho deciso di interagire direttamente con i provider Terraform tramite chiamate RPC. \u00c8 venuto fuori in modo elegante e ha permesso di aggiornare i provider Terraform a versioni pi\u00f9 recenti, ottenendo nuove funzionalit\u00e0 senza cambiare codice. Inoltre, si \u00e8 scoperto che non tutti i campi in tfstate devono essere in tf, ma come scoprirlo? Solo chiedendo al provider. Poi \u00e8 iniziato un\u2019altra lunga e complicata avventura di costruzione di espressioni regolari per cercare campi all'interno di tfstate a tutti i livelli di profondit\u00e0.<\/p>\n
Alla fine, \u00e8 emerso un utile strumento CLI che ha un'infrastruttura comune per tutti i provider di terraform, e aggiungere un nuovo provider \u00e8 facile. Inoltre, l'aggiunta di risorse richiede poco codice. E ci sono varie funzionalit\u00e0 come le connessioni tra le risorse. Certo, ci sono stati molti problemi che non possono essere tutti descritti.
\nHo chiamato la creatura Terrafomer. <\/p>\n
Finale<\/h3>\n
\nCon Terrafomer abbiamo generato 500-700 mila righe di codice tf + tfstate da due cloud. Siamo riusciti a prendere elementi legacy e a iniziare a modificarli solo tramite terraform, come nelle migliori idee di infrastructure as code. \u00c8 pura magia quando prendi un grande cloud e lo ottieni attraverso un comando in forma di file terraform operativi. E poi grep\/replace\/git e cos\u00ec via.<\/p>\n
Ho elaborato e messo in ordine, ottenuto le autorizzazioni. L'ho rilasciato su GitHub per tutti gioved\u00ec (02.05.19). github.com\/GoogleCloudPlatform\/terraformer<\/a><\/noindex>
\nHo gi\u00e0 ricevuto 600 stelle, 2 pull request per l'aggiunta del supporto a openstack e kubernetes. Buone recensioni. In generale, il progetto \u00e8 utile per le persone.
\nLo consiglio a chiunque voglia iniziare a lavorare con Terraform senza dover riscrivere tutto. 
\nSarei felice di ricevere pull requests, issue, stelle.<\/p>\n
Demo
\n\"Terraformer<\/noindex>
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Terraform \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u0432 Devops\/Cloud\/IT \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435. \u0412\u0435\u0449\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0442\u043e\u0431 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0441\u044f infrastructure as code. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0435\u0439 \u0432 Terraform \u0430 \u0442\u0430\u043a \u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0432\u0438\u043b\u043e\u043a, \u043e\u0441\u0442\u0440\u044b\u0445 \u043d\u043e\u0436\u0435\u0439 \u0438 \u0433\u0440\u0430\u0431\u043b\u0435\u0439. \u0421 Terraform \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0449\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":24869,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33123","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Terraformer \u2014 Infrastruttura come Codice | ProHoster","description":"Vorrei parlare di uno strumento CLI che ho creato per risolvere un vecchio problema. Terraform \u00e8 gi\u00e0 diventato uno standard nella comunit\u00e0 DevOps\/Cloud\/IT. \u00c8 uno strumento molto comodo e utile per lavorare con l'infrastructure as code. Ci sono molte meraviglie in Terraform, cos\u00ec come molte biforcazioni, coltelli affilati e ostacoli. Con Terraform \u00e8 facile realizzare nuove cose.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47Terraformer \u2014 Infrastructure To Code | ProHoster","og:description":"\u0425\u043e\u0442\u0435\u043b \u0431\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u043d\u043e\u0432\u044b\u0439 CLI tool \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 Terraform \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043b \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u0432 Devops\/Cloud\/IT \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435. \u0412\u0435\u0449\u044c \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0442\u043e\u0431 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u0441\u044f infrastructure as code. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0435\u0439 \u0432 Terraform \u0430 \u0442\u0430\u043a \u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0432\u0438\u043b\u043e\u043a, \u043e\u0441\u0442\u0440\u044b\u0445 \u043d\u043e\u0436\u0435\u0439 \u0438 \u0433\u0440\u0430\u0431\u043b\u0435\u0439. \u0421 Terraform \u043e\u0447\u0435\u043d\u044c \u0443\u0434\u043e\u0431\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0449\u0438","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/terraformer-infrastructure-to-code","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:50:52+00:00","article:modified_time":"2019-10-31T18:50:52+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33123","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 14:02:48","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 02:46:23","updated":"2026-01-21 14:02:48","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33123","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=33123"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/33123\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/24869"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=33123"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=33123"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=33123"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}