Infrastruktura kao kod: prvo upoznavanje

U našoj kompaniji traje proces onboardinga SRE tima. U sve to sam ušao iz perspektive razvoja. Tokom procesa su mi se javljale misli i uvidi koje želim podeliti sa drugim programerima. U ovom članku razmišljanja govorim o tome šta se dešava, kako se dešava i kako dalje svi s tim da žive.

Infrastruktura kao kod: prvo upoznavanje

Nastavak serije članaka napisanih inspirisani našim unutrašnjim događajem. DevForum:

1. Mačka Šredingera bez kutije: problem konsenzusa u distribuiranim sistemima.
2. Infrastructure as code. (Tu ste.)
3. Generacija Typescript ugovora prema c# modelima. (U toku…)
4. Uvod u Raft algoritam konsenzusa. (U toku…)
…

Odlučili smo da formiramo SRE tim, ostvarujući ideje google sre. Iznajmili smo programere iz redova naših svojih developera i poslali ih na nekoliko meseci obuke.

Pred timom su bili sledeći obrazovni zadaci:

  • Opisati našu infrastrukturu, koja se većinom nalazi u Microsoft Azure, u obliku koda (Terraform i sve što ga prati).
  • Naučiti developere radu sa infrastrukturom.
  • Pripremiti developere za dežurstva.

Uvodimo pojam Infrastructure as code

U običnom modelu sveta (klasično administriranje) znanje o infrastrukturi se nalazi na dva mesta:

  1. Ili u obliku znanja u glavama eksperata.Infrastruktura kao kod: prvo upoznavanje
  2. Ili su ti podaci smešteni na nekim mašinama, deo kojih poznaju eksperti. Ali nije sigurno da će osoba sa strane (ukoliko cela naša ekipa iznenada umre) moći da razjasni šta i kako funkcioniše. Na mašini može biti mnogo podataka: pristupni podaci, cron poslovi, podmašino (vidi disk mounting) disk i jednostavno beskonačan spisak onoga što može da se dešava. Teško je razumeti šta se zapravo dešava.Infrastruktura kao kod: prvo upoznavanje

U oba slučaja nalazimo se u zamci, postajući zavisni:

  • ili od osobe koja je smrtna, podložna bolestima, zaljubljenostima, promenama raspoloženja i jednostavno banalnim otkazima;
  • ili od fizičke mašine koja takođe pada, može biti ukradena, donosi iznenađenja i nelagode.

Samo po sebi nameće se rešenje da bi idealno sve trebalo prevesti u ljudima čitljiv, održiv, kvalitetno napisan kod.

Dakle, infrastruktura kao kod (Infrastructure as Code – IaC) predstavlja opis cjelokupne postojeće infrastrukture u obliku koda, kao i prateća sredstva za rad s njim i stvaranje stvarne infrastrukture iz njega.

Zašto sve prevesti u kodLjudi nisu mašine. Ne mogu sve zapamtiti. Reakcija čovjeka i mašine je različita. Sve automatizovano potencijalno radi brže od onoga što radi čovjek. Najvažnije je imati jedan izvor istine (single source of truth).

Odakle dolaze novi SRE inženjeriDakle, odlučili smo angažovati nove SRE inženjere, ali odakle ih dovesti? Knjiga s pravim odgovorima (Google SRE knjiga) nam govori: iz programera. Oni rade s kodom, a vi postižete idealno stanje.

Dugo smo i intenzivno tražili njih na tržištu rada van naše kompanije. Međutim, moramo priznati da nismo pronašli nijednog koji odgovara našim zahtjevima. Bilo je potrebno pretražiti među našim resursima.

Problemi infrastrukture kao koda

Sada hajde da pogledamo primjere kako infrastruktura može biti integrisana u kod. Kod je dobro napisan, kvalitetan, sa komentarima i uvlačenjima.

Primjer koda iz Terraforma.

Infrastruktura kao kod: prvo upoznavanje

Primjer koda iz Ansibla.

Infrastruktura kao kod: prvo upoznavanje

Gospodo, ali da je sve tako jednostavno! Mi smo u stvarnom svijetu, a on vas uvijek može iznenaditi, donijeti iznenađenja i probleme. Nema ih ni ovdje.

1. Prvi problem je u tome što je u većini slučajeva IaC neki dsl.

A DSL, s druge strane, predstavlja opis strukture. Tačnije, onoga što bi ste trebali imati: Json, Yaml, modifikacije od nekih velikih kompanija koje su osmisle svoj dsl (u Terraformu se koristi HCL).

Problema je u tome što u njemu može lako nedostajati nekih uobičajenih stvari kao što su:

  • varijable;
  • uslovi;
  • negdje nedostaju komentari, na primjer, u Json-u, po defaultu nisu predviđeni;
  • funkcije;
  • a još ne govorim o visokim nivoima kao što su klase, nasljeđivanje i sve to.

2. Drugi problem takvog koda je to što je najčešće heterogena sredina. Obično radite s C#, tj. s jednim jezikom, jednim stakom, jednim ekosistemom. A ovdje imate ogromnu raznolikost tehnologija.

Potpuno realna situacija je kada bash sa Pythonom pokreće neki proces, u koji se ubacuje Json. Analizirate ga, a zatim neki generator izda još 30 datoteka. Za sve to dolaze ulazne varijable iz Azure Key Vault, koje se preuzimaju putem dodatka za drone.io, napisanog u Go, i te varijable prolaze kroz yaml, koji je dobijen kao rezultat generacije iz jsonnet templata. Prilično je teško imati strogo dobro opisani kod kada imate ovako raznoliku sredinu.

Tradicionalni razvoj unutar jednog zadatka odvija se na jednom jeziku. Ovdje radimo sa velikim brojem jezika.

3. Treći problem – to je alati. Navikli smo na sjajne uređivače (Ms Visual Studio, Jetbrains Rider), koji sve rade umjesto nas. I čak, ako se zabavimo, oni će nam reći da nismo u pravu. Čini se da je to normalno i prirodno.

Ali blizu je VSCode, u kojem postoje neki dodaci, koji se na neki način instaliraju, podržavaju ili ne podržavaju. Izašle su nove verzije, a nisu podržane. Banalan prelazak na implementaciju funkcije (čak i ako postoji) postaje složen i netrivijalan problem. Jednostavno preimenovanje varijable – to je zamjena u projektu iz desetak datoteka. Imaćete sreće ako zamjeni ono što treba. Naravno, negdje ima isticanja, ima automatskog dovršavanja, negdje ima formatiranja (iako mi nije uspjelo u Terraformu na Windowsu).

U trenutku pisanja članka vscode-terraform dodatak još nije objavljen za podršku verziji 0.12, iako je već puštena prije 3 meseca.

Došao je trenutak da zaboravimo na…

  1. Otklanjanje grešaka.
  2. Alat za refaktoring.
  3. Automatsko dovršavanje.
  4. Otkrivanje grešaka prilikom kompilacije.

Smiješno je, ali to povećava vrijeme razvoja i povećava broj grešaka koje neizbježno nastaju.

Najstrašnije je što smo prisiljeni razmišljati ne o tome kako projektirati, rasporediti datoteke po folderima, dekomponirati, učiniti kod održivim, čitljivim itd., nego o tome kako da ispravno napišem ovu komandu, jer sam je nekako pogrešno napisao.

Kao početnik pokušavate razumjeti Terraform, a IDE vam u tome nikako ne pomaže. Kada postoji dokumentacija – ušli ste, pogledali. Ali da ste ulazili u novi programski jezik, IDE bi vam sugerisala da postoji takav tip, a takvog nema. Bar na nivou int ili string. Ovo često može biti korisno.

A šta je sa testovima?

Pitajte se: "Kako su sa testovima, dragi programeri?" Ozbiljni momci testiraju sve u produkciji, i to je strogo. Evo primera jediničnog testa zaTerraform modul sa sajta Microsoft.

Infrastruktura kao kod: prvo upoznavanje

Imaju dobru dokumentaciju. Microsoft mi je oduvek bio zanimljiv sa svojim pristupom dokumentaciji i obuci. Ali ne moraš biti ujak Bob da shvatiš da ovde nema idealnog koda. Obratite pažnju na validaciju koja je pomerena udesno.

Problem jediničnog testa je u tome što možemo proveriti tačnost JSON-a na izlazu. Ubacio sam 5 parametara, a dobijena je JSON ekstenzija od 2000 redova. Mogu analizirati šta se dešava, validirati testni rezultat...

Teško je analizirati JSON u Go-u. A treba pisati u Go-u, jer je terraform na Go-u dobra praksa onoga što testiraš u jeziku u kojem pišeš. Sama organizacija koda je vrlo slaba. Ipak, to je najbolja biblioteka za testiranje.

Sam Microsoft piše svoje module, testirajući ih na ovaj način. Naravno, ovo je Open Source. Sve o čemu govorim možete doći i popraviti. Mogu da sednem i za nedelju dana sve popravim, otvorim izvore VS kod pluginova, Terraform, napravim plugin za Rider. Možda čak napišem par analizirača, priključim lintere, doprinosim biblioteci za testiranje. Sve mogu učiniti. Ali to nije ono čime bih trebao da se bavim.

Najbolje prakse infrastrukture kao koda

Idemo dalje. Ako u IaC nema testova, problemi su s IDE-om i alatima, onda moraju postojati barem najbolje prakse. Jednostavno sam otišao u Google Analytics i napravio poređenje dva pretraživačka zahteva: Terraform najbolje prakse i C# najbolje prakse.

Infrastruktura kao kod: prvo upoznavanje

Šta vidimo? Nemilosrdnu statistiku koja nije u našu korist. Po količini materijala – isto. U C# razvoju jednostavno plivamo u materijalima, imamo super najbolje prakse, postoje knjige napisane od strane eksperata, kao i knjige napisane o knjigama drugih stručnjaka koji kritikuju te knjige. More zvanične dokumentacije, članaka, edukativnih kurseva, sada još i open source razvoj.

Što se tiče pretrage za IaC: ovde pokušavate da sakupite informacije sa izlaganja visokog opterećenja ili HashiConf-a, sa zvanične dokumentacije i brojnih problema na GitHub-u. Kako uopšte rasporediti te module, šta uraditi s njima? Čini se da je to pravi problem... Postoji zajednica, dragi ljudi, gde na svako pitanje dobijete 10 komentara na GitHub-u. Ali to nije sigurno.

Nažalost, trenutno se stručnjaci tek počinju pojavljivati. Dok ih je još uvijek veoma malo. A samo zajednica je na samom početku.

Kuda sve ovo vodi i šta raditi

Možeš sve da ostaviš i vratiš se na C#, u svet Rider-a. Ali ne. Zašto bi se uopšte tim bavio ako ne tražiš rešenje? Dalje iznosim svoje subjektivne zaključke. Možete da se posvađate sa mnom u komentarima, biće zanimljivo.

Lično se oslanjam na nekoliko stvari:

  1. Razvoj u ovoj oblasti se dešava veoma brzo. Prikazujem grafikon pretraga po DevOps-u.

    Infrastruktura kao kod: prvo upoznavanje

    Možda je tema popularna, ali sama činjenica da se oblast širi budi neku nadu.

    Ako nešto raste tako brzo, sigurno će se pojaviti pametni ljudi koji će reći kako treba raditi, a kako ne. Povećanje popularnosti dovodi do toga da će neko konačno imati vremena da napiše plugin za jsonnet za vscode, koji će omogućiti prelazak na implementaciju funkcije, umesto da je tražite kroz ctrl+shift+f. Kada se sve razvija, pojavljuje se više materijala. Izdavanje knjige od Google-a o SRE-u je odličan primer za to.

  2. Postoje razvijene metode i prakse u konvencionalnom razvoju, koje možemo uspešno primeniti ovde. Da, postoje nijanse sa testiranjem i heterogenom okruženju, nedovoljan alat, ali je akumulirano ogroman broj praksi koje mogu biti korisne i pomoći.

    Banalan primer: saradnja kroz pair programming. To značajno pomaže u razumevanju. Kada pored tebe sedi neko ko takođe nešto pokušava da razume, bolje ćete zajedno shvatiti.

    Razumevanje kako se radi refaktorisanje pomaže čak i u takvoj situaciji. To jest, možeš da menjaš ne sve odjednom, već da promeniš imenovanje, zatim da promeniš lokaciju, možda da izdvajaš neku deo, oh, ovde nedostaju komentari.

Zaključak

Iako se moji zaključci mogu činiti pesimističkim, sa nadom gledam u budućnost i iskreno se nadam da ćemo (i vi) uspeti.

Uskoro pripremam drugi deo članka. U njemu ću govoriti o tome kako smo pokušali da primenjujemo prakse agilnog razvoja kako bismo poboljšali naš proces učenja i rad s infrastrukturom.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster