U našoj tvrtki trenutno se odvija proces onboardinga SRE tima. U sve to sam se uključio s perspektive razvoja. Tijekom procesa došao sam do misli i uvida koje želim podijeliti s drugim programerima. U ovom članku razmišljanja govorim o tome što se događa, kako se događa i kako ćemo svi živjeti s tim.

Nastavak serije članaka temeljenih na izlaganjima na našem internom događaju. :
2. Infrastructure as code. (Ovde ste)
3. Generiranje Typescript ugovora iz C# modela. (U procesu…)
4. Uvod u Raft algoritam konsenzusa. (U procesu…)
…
Odlučili smo osnovati SRE tim, ostvarujući ideje . Okupili smo programere iz svojih redova i poslali ih na obuku na nekoliko mjeseci.
Pred timom su se našli sljedeći zadaci za učenje:
- Opisati našu infrastrukturu, koja je većinom u Microsoft Azure-u, u obliku koda (Terraform i sve što ide uz to).
- Naučiti programere kako raditi s infrastrukturom.
- Pripremiti programere za dežurstva.
Uvodimo pojam Infrastructure as code
U uobičajenom modelu svijeta (klasično administiranje) znanje o infrastrukturi nalazi se na dva mjesta:
- Ili u obliku znanja u glavama stručnjaka.

- Ili su ti podaci pohranjeni na nekim mašinama, za koje samo neki stručnjaci znaju. No, nije sigurno da osoba s vanjske strane (u slučaju da cijeli naš tim iznenada umre) može shvatiti što i kako radi. Na mašini može biti puno podataka: pristupi, cron poslovi, podučeni (vidi ) disk i jednostavno beskrajan popis onoga što se može događati. Teško je shvatiti što se zapravo odvija.

U oba slučaja upadamo u zamku, postajući ovisni:
- ili o osobi koja je smrtna, podložna bolestima, zaljubljenostima, promjenama raspoloženja i jednostavno banalnim otkazima;
- ili o fizički radnoj mašini, koja također može pasti, biti ukradena, donijeti iznenađenja i neugodnosti.
Samo se nameće rješenje da bi idealno sve trebalo prevesti u lako čitljiv, održavan, kvalitetno napisan kod.
Dakle, infrastruktura kao kod (Infrastructure as Code – IaC) je opis sve postojeće infrastrukture u obliku koda, kao i prateća sredstva za rad s njom i pretvaranje u stvarnu infrastrukturu.
Zašto sve prevesti u kodLjudi nisu mašine. Ne mogu upamtiti sve. Reakcija čovjeka i mašine je različita. Sve automatizirano potencijalno radi brže od onoga što radi čovjek. Najvažnije je imati jedan izvor istine (single source of truth).
Odakle dolaze novi SRE inženjeriDakle, odlučili smo angažirati nove SRE inženjere, ali odakle ih uzeti? Knjiga s pravim odgovorima () govori nam: od programera. Oni rade s kodom, a vi dostižete idealno stanje.
Dugo smo i temeljito tražili na tržištu rada izvan naše kompanije. No, prisiljeni smo priznati da nismo pronašli nijednog koji ispunjava naše zahtjeve. Morali smo pretražiti među vlastitima.
Problemi Infrastructure as Code
Sada pogledajmo primjere toga kako infrastruktura može biti ugrađena u kod. Kod je dobro napisan, kvalitetan, s komentarima i odmakom.
Primjer koda iz Terraforma.

Primjer koda iz Ansiblea.

Gospodo, ali da je sve tako jednostavno! Mi smo u stvarnom svijetu, a on vas uvijek može iznenaditi, donijeti iznenađenja, probleme. Neizbježno je i ovdje.
1. Prvi problem je u tome što je u većini slučajeva IaC neka vrsta DSL-a.
A DSL, zauzvrat, je opis strukture. Točnije, ono što trebate imati: Json, Yaml, modifikacije nekih velikih kompanija koje su smislile svoj DSL (HCL se koristi u Terraformu).
Problem je što u njemu lako može nedostajati takvih uobičajenih stvari kao što su:
- varijable;
- uvjeti;
- negdje nema komentara, na primjer, u Json-u, prema zadanim postavkama nisu predviđeni;
- funkcije;
- i to još nisam spomenuo takve visokorangirane stvari poput klasa, nasljeđivanja i sličnog.
2. Drugi problem takvog koda – najčešće je to heterogena sredina.Obično radite s C#, tj. s jednim jezikom, jednim stakom, jednim ekosustavom. A ovdje imate ogroman niz tehnologija.
Prilično je realna situacija kada bash s Python-om pokreće neki proces, u koji se potura Json. Vi ga analizirate, zatim još neki generator izda dodatnih 30 datoteka. Sve te ulazne varijable dolaze iz Azure Key Vault-a, koji je povezan s drone.io putem dodatka napisanog na Go-u, i te varijable prolaze kroz yaml, koji je rezultat generacije iz šablonizatora jsonnet. Prilično je teško imati strogo dobro opisani kod kada imate toliko raznoliku okolinu.
Tradicionalni razvoj u okviru jedne zadaće ide s jednim jezikom. Ovdje radimo s velikim brojem jezika.
3. Treći problem – to je alati. Navikli smo na moćne uređivače (Ms Visual Studio, Jetbrains Rider), koji sve rade umjesto nas. I čak, ako zastranimo, oni će reći da nismo u pravu. Čini se da je to normalno i prirodno.
Ali negdje blizu je VSCode, u kojem postoji nekoliko dodataka koji se nekako instaliraju, podržavaju ili ne podržavaju. Izašle su nove verzije i nisu podržane. Običan prijelaz na implementaciju funkcije (čak i ako postoji) postaje složen i netrivijalan problem. Jednostavno preimenovanje varijable – to je zamjena u projektu iz nekoliko datoteka. Imaće sreće ako zamijeni ono što treba. Naravno, postoji negdje sintaktičko označavanje, auto dovršavanje, negdje postoji formatiranje (iako mi u terraform-u na Windows-u nije uspjelo).
U trenutku pisanja ovog članka još nisu izradili za podršku verzije 0.12, iako je već objavljena više od 3 mjeseca.
Došlo je vrijeme da zaboravimo na…
- Debugiranje.
- Alat za refaktorisanje.
- Auto dovršavanje.
- Otkrivanje grešaka prilikom kompilacije.
Smiješno je, ali to povećava vrijeme razvoja i povećava broj grešaka koje neizbježno nastaju.
Najstrašnije je to što smo prisiljeni razmišljati ne o tome kako projektirati, rasporediti datoteke po direktorijima, dekomponirati, učiniti kod podržavanjem, čitljivim i slično, već o tome kako bih ispravno napisao ovu naredbu, jer sam je nekako pogrešno napisao.
Kao početnik pokušavate svladati terraform, a IDE vam u tome nikako ne pomaže. Kada postoji dokumentacija - ušli ste, pogledali. Ali da ste se prilagođavali novom programskom jeziku, tada bi vam IDE sugerirao da postoji takav tip, a takvog nema. Bar ne na razini int ili string. To često može biti korisno.
A što je s testovima?
Pitat ćete: „Kako to misle, gospodo programeri?“ Ozbiljni dečki testiraju sve na produkciji, i to je strogo. Evo primjera unit testa za Terraform modul s web stranice .

Imaju dobru dokumentaciju. Microsoft mi se uvijek sviđao svojim pristupom dokumentaciji i obuci. No, ne trebate biti ujak Bob da shvatite da ovdje nije savršen kod. Obratite pozornost na validaciju, koja je pomjerena desno.
Problem unit testa je u tome što možemo provjeriti ispravnost izlaznog JSON-a. Postavio sam 5 parametara, ispljunuo mi je JSON dugačak 2000 linija. Mogu analizirati što se ovdje događa, validirati test rezultat…
Teško je analizirati JSON u Go. Trebalo bi pisati u Go, jer je Terraform napisan na Go – to je dobra praksa testirati na jeziku na kojem pišete. Sama organizacija koda je vrlo slaba. Ipak, to je najbolja biblioteka za testiranje.
Sami Microsoft piše svoje module testirajući ih na ovaj način. Naravno, to je Open Source. Sve o čemu govorim možete doći i popraviti. Mogu sjesti i u tjedan dana sve popraviti, open sorcati VS Code pluginove, Terraform, napraviti plugin za Rider. Možda ću napisati nekoliko analizatora, dodati lintere, kontributirati biblioteku za testiranje. Sve mogu učiniti. No, ne bih se trebao time baviti.
Najbolje prakse Infrastructure as Code
Idemo dalje. Ako u IaC nema testova, IDE i alati su loši, tada bi trebale postojati barem najbolje prakse. Jednostavno sam otišao u Google Analytics i napravio usporedbu dva pretraživačka upita: Terraform best practices i C# best practices.

Što vidimo? Nemilosrdnu statistiku koja nije u našu korist. Po količini materijala – isto tako. U C# razvoju jednostavno plivamo u materijalima, imamo super najbolje prakse, imamo knjige napisane stručnjacima i također knjige napisane o knjigama drugih stručnjaka koje kritiziraju te knjige. Mnoštvo službene dokumentacije, članaka, edukativnih tečajeva, sada još i open source razvoj.
Što se tiče upita za IaC: ovdje pokušavate skupiti informacije s prezentacija high-load-a ili HashiConf-a, službene dokumentacije i brojnih problema na GitHubu. Kako uopće rasporediti ove module, što učiniti s njima? Čini se da je to stvarni problem… Postoji zajednica, gospodo, gdje možete dobiti 10 komentara na bilo koje pitanje na GitHubu. No, to nije sigurno.
Nažalost, trenutno stručnjaci tek počinju dolaziti. Još ih je premalo. Samo zajedništvo je još uvijek na razini početka.
Kuda sve ovo ide i što učiniti
Možete sve ostaviti i vratiti se back na C#, u svijet rajdera. Ali ne. Zašto biste to uopće radili ako ne tražite rješenje? U nastavku iznosim svoje subjektivne zaključke. Možete se sa mnom raspraviti u komentarima, bilo bi zanimljivo.
Osobno, kladim se na nekoliko stvari:
- Razvoj u ovom području odvija se jako brzo. Prikazujem grafikon upita vezanih uz DevOps.

Možda je tema popularna, ali sam svest o tome da se područje širi ulijeva određenu nadu.Ako nešto raste tako brzo, sigurno će se pojaviti pametni ljudi koji će reći kako treba raditi, a kako ne. Povećanje popularnosti dovodi do toga da će možda netko napokon imati vremena dodati plugin za jsonnet za vscode, koji će omogućiti prijelaz na implementaciju funkcije, umjesto da je tražite putem ctrl+shift+f. Kada se sve razvija, pojavljuje se više materijala. Izdanje knjige od Googlea o SRE-u odličan je primjer.
- Postoje razvijene metode i prakse u uobičajenom razvoju, koje možemo uspješno primijeniti ovdje. Da, postoje nijanse s testiranjem i heterogenim sredinama, nedovoljan alat, ali akumulirano je ogroman broj praksi koje mogu biti korisne i pomoći.
Banalni primjer: suradnja kroz pair programming. Puno pomaže pri razumijevanju. Kada imate pored sebe nekoga tko također pokušava nešto razumjeti, zajedno ćete bolje shvatiti.
Razumijevanje kako se radi refaktoring pomaže čak i u takvoj situaciji. To znači da ne morate sve mijenjati odjednom, već možete promijeniti nazive, zatim premjestiti, pa možda izdvojiti neki dio, oh, ovdje nedostaju komentari.
Zaključak
Iako se moja razmišljanja mogu činiti pesimističnima, s nadom gledam u budućnost i iskreno se nadam da ćemo mi (i vi) uspjeti.
U pripremi je drugi dio članka. U njemu ću govoriti o tome kako smo pokušali primijeniti prakse agilnog razvoja kako bismo poboljšali naš proces učenja i rad s infrastrukturom.
Izvor: habr.com



