Terraformer — Infrastruktuur Koodina

Tahaksin rääkida uuest CLI tööriistast, mille ma kirjutasin, et lahendada üks vana probleem.

Probleem

Terraform on juba pikka aega olnud standard DevOps / Cloud / IT kogukonnas. See on väga mugav ja kasulik infrastruktuuri koodina haldamiseks. Terraformis on palju eeliseid, aga ka sõlmi, teravaid noazi ja augusid.
Terraformiga on väga mugav luua uusi asju ja seejärel neid hallata, muuta või kustutada. Aga mida teha nendele, kellel on suur infrastruktuur pilves, mis ei ole loodud Terraformiga? Kogu pilve ülekirjutamine ja uuesti loomine on kuidagi kallis ja ohtlik.
Ma olen sellise probleemiga kokku puutunud kahel töökohal, kõige lihtsam näide on see, kui tahad, et kõik oleks versioonihaldes Terraformi failide kujul, aga sul on 250+ baketit ja kirjutada need käsitsi Terraformiks on kuidagi liiga palju.
Jah probleem juba alates 2014. aastast Terraformis, mis suleti 2016. aastal lootuses, et tuleb import.

Ühesõnaga, kõik on nagu pildil, ainult paremale vasakule

Hoiatus: Autor elab pool elu väljaspool Venemaad ja kirjutab vene keeles harva. Olge ettevaatlikud õigekirja vigade osas.

Lahendused

1. On olemas valmis ja vana lahendus AWS jaoks terraforming. Kui proovisin selle abil saada minu 250+ baketit, sain aru, et seal on kõik väga halvasti. AWS on juba ammu lisanud palju uusi valikuid, mille kohta terraforming ei tea ning see kasutab ruby keelt. mallid näivad vaesed. Pärast kahte õhtut saatsin Pull request , et lisada sinna rohkem võimalusi ja sain aru, et selline lahendus ei sobi üldse.
Kuidas terraforming töötab: see võtab AWS SDK-st andmed ja genereerib tf ja tfstate mallide kaudu.
Siin on kolm probleemi:
1. Seal on alati viivitus uuendustes
2. tf failid on mõnikord rikutud
3. tfstate kogutakse eraldi tf-st ja ei ühti alati
Üldiselt on keeruline saada tulemust, kus `terraform plan` ütleb, et muudatust pole.

2. `terraform import` — sisseehitatud käsk Terraformis. Kuidas see töötab?
Sa kirjutad tühja TF faili ressursi nime ja kuvandi jaoks, siis käivitad `terraform import` ja edastad ressursi ID. Terraform pöördub teenusepakkuja poole, saab andmed ja loob tfstate faili.
Siin on kolm probleemi:
1. Saame ainult tfstate faili, aga tf on tühi, selle peab käsitsi kirjutama või konverteerima tfstate-st
2. Suudab töötada ainult ühe ressursiga korraga ega toeta kõiki ressursse. Ja mida ma pean jälle tegema 250+ baketiga?
3. Pead teadma ressursi ID-d — see tähendab, et tuleb selle ümber kirjutada kood, mis hangib ressurside nimekirja
Üldiselt on tulemus osaline ja ei sobi hästi skaleerimiseks.

Minu lahendus

Nõuded:
1. Võime luua tf ja tfstate faile ressurssidest. Näiteks alla laadida kõik bucketid/security group/koormuse tasakaalustajad ja et `terraform plan` näitaks, et muudatusi pole.
2. Vähemalt 2 pilve GCP + AWS.
3. Globaalne lahendus, mida on lihtne igal korral uuendada, mitte iga ressursi peale 3 päeva raisata.
4. Teha avatud lähtekoodiga – probleem, millega kõik kokku puutuvad.

Go keel – sellepärast mulle see meeldib, ja sellel on HCL failide loomise teek, mida kasutatakse terraformis + palju koodi terraformis, mis võib olla kasulik.

Tee

Esimene katse
Alustasin lihtsa variandiga. Ühendused pilve kaudu SDK abil vajaliku ressursi hankimiseks ja selle konverteerimine terraformi väljadeks. Katse suri kohe security group'iga, kuna mulle ei meeldinud 1.5 päeva kulutada ainult security group'i konverteerimiseks (ressursse on palju). Aeglane ja siis võivad väljad muutuda/atteraakon õlmida.

Teine katse
Põhineb kirjeldatud ideel. siit. Lihtsalt võtta ja konverteerida tfstate tf-ks. Kõik andmed on seal olemas ja väljad on samad. Kuidas saada täielik tfstate paljude ressursside jaoks?? Siin tuli appi käsk `terraform refresh`. Terraform võtab kõik ressursid tfstate's ja toob ID järgi need andmed ning kirjutab kõik tfstate'sse. Seega tuleb luua tühi tfstate, millel on ainult nimed ja ID, käivitada `terraform refresh`, siis saame täielikud tfstate'id. Hurraa!
Nüüd hakkame tegelema rekursiivse konverteri kirjutamisega tfstate'ist tf-ks. Neile, kes pole kunagi tfstate'i lugenud, on see JSON, aga erilisel kujul.
Siin on selle oluline osa attributes

 "attributes": {
                            "id": "default\/backend-logging-load-deployment",
                            "metadata.#": "1",
                            "metadata.0.annotations.%": "0",
                            "metadata.0.generate_name": "",
                            "metadata.0.generation": "24",
                            "metadata.0.labels.%": "1",
                            "metadata.0.labels.app": "backend-logging",
                            "metadata.0.name": "backend-logging-load-deployment",
                            "metadata.0.namespace": "default",
                            "metadata.0.resource_version": "109317427",
                            "metadata.0.self_link": "\/apis\/apps\/v1\/namespaces\/default\/deployments\/backend-logging-load-deployment",
                            "metadata.0.uid": "300ecda1-4138-11e9-9d5d-42010a8400b5",
                            "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",

Siit leiate:
1. id — string
2. metadata — massiiv suurusega 1 ja selles on objekt, mille väljad on allpool kirjeldatud
3. spec — hash, mille suurus on 1 ja sellel on key,value
Ühesõnaga tobe formaat, kõik võib minna sügavamale ka mitme tasandi võrra.

                   "spec.#": "1",
                            "spec.0.min_ready_seconds": "0",
                            "spec.0.paused": "false",
                            "spec.0.progress_deadline_seconds": "600",
                            "spec.0.replicas": "1",
                            "spec.0.revision_history_limit": "10",
                            "spec.0.selector.#": "1",
                            "spec.0.selector.0.match_expressions.#": "0",
                            "spec.0.selector.0.match_labels.%": "1",
                            "spec.0.selector.0.match_labels.app": "backend-logging-load",
                            "spec.0.strategy.#": "0",
                            "spec.0.template.#": "1",
                            "spec.0.template.0.metadata.#": "1",
                            "spec.0.template.0.metadata.0.annotations.%": "0",
                            "spec.0.template.0.metadata.0.generate_name": "",
                            "spec.0.template.0.metadata.0.generation": "0",
                            "spec.0.template.0.metadata.0.labels.%": "1",
                            "spec.0.template.0.metadata.0.labels.app": "backend-logging-load",
                            "spec.0.template.0.metadata.0.name": "",
                            "spec.0.template.0.metadata.0.namespace": "",
                            "spec.0.template.0.metadata.0.resource_version": "",
                            "spec.0.template.0.metadata.0.self_link": "",
                            "spec.0.template.0.metadata.0.uid": "",
                            "spec.0.template.0.spec.#": "1",
                            "spec.0.template.0.spec.0.active_deadline_seconds": "0",
                            "spec.0.template.0.spec.0.container.#": "1",
                            "spec.0.template.0.spec.0.container.0.args.#": "3",

Üldiselt, kes tahab programmeerimise ülesannet vestlusintervjuuks, siis paluge lihtsalt kirjutada parser selle jaoks 🙂
Pärast pikki katseid kirjutada parserit ilma vigadeta leidsin osa sellest terraformi koodist, mis on kõige olulisem osa. Ja kõik töötab nagu peab.

Katse kolm
Terraform provider on binaarfailid, milles on kood kõikide ressursside ja loogikaga, et töötada pilvete API-dega. Igal pilvel on oma provider ja terraform kutsub neid välja läbi oma RPC protokolli kahe protsessi vahel.
Nüüd otsustasin pöörduda otse terraformi providerite poole RPC kutsete kaudu. See toimis kenasti ja andis võimaluse asendada terraformi providerid uuemate vastu, saamata uut funktsionaalsust koodi muutmata. Selgus, et mitte kõik väljad tfstate-s ei pea olema tf-s, aga kuidas seda teada saada? Ainult küsides providerilt selle kohta. Siis algas veel üks rekursiivne hõbeke regulaarsete väljendite koostamiseks, otsides välju tfstate seest igal tasemel sügavusse.

Lõpuks sai kasulik CLI tööriist, millel on ühine infrastruktuur kõigi terraformi providerite jaoks ja uus on lihtne lisada. Samuti võtab ressursside lisamine vähe koodi. Pluss igasuguseid mugavusi, nagu ressursside vaheline seos. Loomulikult oli palju erinevaid probleeme, mida kõiki ei saa kirja panna.
Nimetasin looma Terrafomeriks.

Finaal

Kasutasime Terrafomeri abil 500-700 tuhat rida tf + tfstate koodi kahe pilvega. Suutsime võtta pärandlahendusi ja hakata neist käitama ainult terraformiga, nagu parimates ideedes infrastructure as code. Lihtsalt maagia, kui võtad suure pilve ja saad selle käsuga terraformifailidesse. Edasi grep/replace/git ja nii edasi.

Kalkuleerisin ja korrastasin, sain load. Avaldasin GitHubis kõigile neljapäeval (02.05.19). github.com/GoogleCloudPlatform/terraformer
Olen juba saanud 600 tähte, 2 pull requesti openstacki ja kubernete toe lisamiseks. Häid arvustusi. Üldiselt on projekt inimestele kasulik.
Soovitan kõigile, kes soovivad alustada Terraformiga töötamist ja mitte kõike selleks ümber kirjutada.
Olen rõõmus pull requestide, probleemide, tähtede üle.

Demo


Allikas: habr.com