.NET Core na Linuxu, DevOps na konju

Razvijali smo DevOps kako smo mogli. Nas je bilo 8, a Vasia je bio najbolji za Windows. Iznenada je Vasia otišao, a ja sam dobio zadatak da pokrenem novi projekt koji isporučuje Windows razvoj. Kada sam na stol izneo ceo Windows razvojni stek, shvatio sam da je situacija - bol...

Tako počinje priča Aleksandra Sinčinova na DevOpsConf. Kada je iz kompanije otišao vodeći stručnjak za Windows, Aleksandar se zapitao šta sada raditi. Preći na Linux, naravno! Aleksandar će ispričati kako je uspeo da stvori presedan i prevede deo Windows razvoja na Linux na primeru realizovanog projekta sa 100.000 krajnjih korisnika.

.NET Core na Linuxu, DevOps na konju

Kako lako i nenametljivo dostaviti projekt u RPM, koristeći TFS, Puppet, Linux .NET core? Kako održavati verzionisanje BDP projekta, ako razvojni tim prvi put čuje reči Postgres i Flyway, a rok je sutra? Kako integrisati sa Dockerom? Kako motivisati .NET programere da se odriču Windowsa i smoothija u korist Puppeta i Linuxa? Kako rešavati ideološke sukobe, ako nemamo snage, želje ili resursa da održavamo Windows u produkciji? O tome, kao i o Web Deploy, testiranju, CI, o praksama korišćenja TFS u postojećim projektima, i naravno, o slomljenim štakama i funkcionalnim rešenjima, u transkriptu Aleksandrove prezentacije.

Igraj video

Dakle, Vasia je otišao, zadatak je na meni, programeri čekaju s vilama sa nestrpljenjem. Kada sam konačno shvatio da Vasia ne može da se vrati - prešao sam na posao. Prvo sam procenio procenat Win VM u našem parku. Rezultat nije bio u korist Windowsa.

.NET Core na Linuxu, DevOps na konju

Budući da aktivno razvijamo DevOps, shvatio sam da nešto mora da se menja u pristupu donošenja novog aplikacija. Rešenje je bilo jedno - prevesti sve na Linux, koliko god je to moguće. Google mi je pomogao - u to vreme .Net je već bio portovan na Linux i shvatio sam da je to rešenje!

Zašto .NET core u kombinaciji sa Linuxom?

Postojali su nekoliko razloga za to. Između „plaćanja novca“ i „ne plaćanja“, većina će izabrati drugo - kao i ja. Licenca za MSDB košta oko 1.000 $, održavanje parka virtuelnih mašina Windows iznosi stotine dolara. Za veliku kompaniju to su veliki troškovi. Zbog toga štednja — prvi razlog. Nije najvažniji, ali jedan od značajnih.

Virtuelne mašine Windows koriste više resursa nego njihove linux verzije - teške su. Uzimajući u obzir veličinu velike kompanije, odabrali smo Linux.

Sistem se jednostavno integriše u postojeći CI. Smatramo se progresivnim DevOps-ima, koristimo Bamboo, Jenkins i GitLab CI, tako da se većina naših aktivnosti odvija na Linuxu.

Zadnji razlog — praktično održavanje. Trebalo nam je smanjiti barijeru za „održavaoce“ — momke koji razumeju tehnički deo, obezbeđuju nesmetano funkcionisanje i održavaju usluge druge linije. Već su bili upoznati sa Linux stekom, pa im je mnogo lakše razumeti novi proizvod, podržavati ga i održavati, nego trošiti dodatne resurse na razumevanje slične funkcionalnosti softvera za Windows platformu.

Zahtevi

Prvo i najvažnije — praktičnost novog rešenja za programere. Ne svi su bili spremni na promene, posebno nakon što su čuli reč Linux. Programeri žele svoju omiljenu Visual Studio, TFS s automatizovanim testovima za gradnje i smoothie. Kako se vrši isporuka u produkciju — nije im važno. Zato smo odlučili da ne menjamo uobičajeni proces i ostavimo sve za Windows programere bez promena.

Novi projekat treba integrisati u postojeći CI. Rails su već postojali i sav posao je trebalo izvršiti uzimajući u obzir parametre sistema upravljanja konfiguracijom, usvojene standarde isporuke i sisteme monitoringa.

Jednostavnost održavanja i rada, kao uslov za minimalni prag ulaska za sve nove učesnike sa strane različitih sektora i odeljenja za podršku.

Rok — juče.

Grupa Win razvoja

Na čemu je tim Windows tada radio?

.NET Core na Linuxu, DevOps na konju

Sada mogu sa sigurnošću reći da IdentityServer4 — to je sjajna besplatna alternativa ADFS-u sa sličnim mogućnostima, ili da Entity Framework Core — raj za programere, gde možete slobodno opisivati upite ka bazi podataka u terminima OOP, a da ne brinete o pisanju SQL skripti. Ali tada, na sastanku o planu akcije, gledao sam na ovaj stek kao na sumersku klinastopis, prepoznajući samo PostgreSQL i Git.

U to vreme smo aktivno koristili Puppet kao sistem upravljanja konfiguracijom. U većini naših projekata smo koristili GitLab CI, Elastic, balansirali smo visoko opterećene servise pomoću HAProxy, pratili smo sve pomoću Zabbix, spajanja Grafana i Prometheus, Jaeger, i sve je to radilo na mašinama HP c ESXi na VMware. Svi znaju — klasika žanra.

.NET Core na Linuxu, DevOps na konju

Pogledajmo i pokušajmo razumjeti što se događalo prije nego smo započeli sve te intervencije.

Što je bilo

TFS je prilično moćan sustav koji ne samo da dostavlja kod od programera do konačne produkcijske mašine, nego također ima set za vrlo fleksibilnu integraciju s raznim servisima - za osiguranje CI na cross-platform nivou.

.NET Core na Linuxu, DevOps na konju
Ranije su to bile čiste rupe. TFS je koristio nekoliko Build-agenta, na kojima se skupljalo mnogo projekata. U svakom agentu su bila 3-4 radnika kako bi paralelizirali zadatke i optimizirali proces. Onda, prema planovima izdanja, TFS je dostavljao svježe pečen Build na Windows server aplikacija.

K čemu smo htjeli doći

Za isporuku i razvoj koristimo TFS, a pokrećemo aplikaciju na Linux Application serveru, i između njih je neka magija. Ova Magic Box jeste srž predstojećeg rada. Prije nego što ga razložim na dijelove, napraviću korak u stranu i reći ću dvije riječi o aplikaciji.

Projekt

Aplikacija pruža funkcionalnost za upravljanje unaprijed plaćenim karticama.

.NET Core na Linuxu, DevOps na konju

Klijent

Postojala su dva tipa korisnika. Prvi je pristupio autorizirajući se putem SSL SHA-2 certifikata. Drugi je imao pristup putem prijave i lozinke. bio je pristup putem korisničkog imena i lozinke.

HAProxy

Dalje, klijentski zahtjev stigao je u HAProxy, koji je rješavao sljedeće zadatke:

  • prvobitna autorizacija;
  • terminacija SSL-a;
  • tuning HTTP zahtjeva;
  • translacija zahtjeva.

Provjera klijentskog certifikata išla je kroz lanac. Mi smo autoritet i možemo si to priuštiti, jer sami izdajemo certifikate klijentima servisa.

Obratite pažnju na treću tačku, malo kasnije ćemo joj se vratiti.

Backend

Backend smo planirali napraviti na Linuxu. Backend komunicira s bazom podataka, učitava potrebnu listu privilegija i zatim, ovisno o tome koje privilegije ima autorizirani korisnik, pruža pristup za potpisivanje financijskih dokumenata i njihovo slanje na izvršenje, ili generiranje nekog izvještaja.

Ušteda s HAProxy

Pored dva konteksta kroz koje je išao svaki od klijenata, postojao je još kontekst identity. IdentityServer4 koji dopušta autorizaciju, to je besplatan i moćan analog za ADFS — Active Directory Federation Services.

Zahtjev u identity obrađivan je u nekoliko koraka. Prvi korak - klijent je ulazio u backend, koji je razmjenjivao podatke s ovim serverom i provjeravao prisutnost tokena za klijenta. Ako ga nije našao - zahtjev se vraćao nazad na kontekst iz kojeg je došao, ali već s preusmjeravanjem, i s preusmjeravanjem je išao na identity.

Drugi korak - zahtjev je stizao na stranicu za autentifikaciju u IdentityServer, gdje se klijent registrirao, a u bazi podataka IdentityServer se pojavljivao taj dugo čekani token.

Treći korak - klijent se vraćao na kontekst iz kojeg je došao.

.NET Core na Linuxu, DevOps na konju

IdentityServer4 ima posebnost: odgovor na povratni zahtjev vraća preko HTTP. Koliko god smo se trudili s konfiguracijom servera, koliko god se educirali kroz dokumentaciju, svaki put smo dobivali izvorni zahtjev klijenta s URL-om koji je došao preko HTTPS, a IdentityServer je vraćao isti taj kontekst, ali preko HTTP-a. Bili smo šokirani! I sve smo to prebacili preko konteksta identity na HAProxy, a u headerima smo morali modificirati protokol HTTP na HTTPS.

Što je poboljšano i gdje smo uštedjeli?

Uštedjeli smo novac koristeći besplatno rješenje za autentifikaciju grupe korisnika, resurse, budući da nismo koristili IdentityServer4 kao zasebnu nodu u zasebnom segmentu, već smo ga koristili zajedno s backendom na istom serveru gdje se vrti backend aplikacije.

Kako bi trebalo raditi

Dakle, kao što sam obećao - Magic Box. Već razumijemo da neizbježno idemo prema Linuxu. Hajdemo formulirati konkretne zadatke koji su zahtijevali rješenje.

.NET Core na Linuxu, DevOps na konju

Manifesti Puppet. Kako bismo dostavili i upravljali konfiguracijom servisa i aplikacije, trebalo je napisati odlične recepte. Rolica s olovkom slikovito pokazuje kako je ovo brzo i kvalitetno urađeno.

Način dostave. Standar - to je RPM. Svi razumiju da bez njega u Linuxu nema ništa, ali sam projekt nakon kompilacije predstavljao set izvršnih DLL datoteka. Bilo ih je oko 150, projekt je bio dovoljno težak. Jedino harmonizirano rješenje je pakirati tu binarnu masu u RPM i iz njega razvijati aplikaciju.

Verziooniranje. Trebali smo često objavljivati, pa je bilo potrebno odlučiti kako formirati ime paketa. To je pitanje integracije s TFS-om. Build-agens je bio na Linuxu. Kada TFS šalje zadatak radniku na Build-agens, on mu prenosi i niz varijabli koje ulaze u okruženje procesa radnika. Ove varijable okruženja prenose ime Build-a, ime verzije i druge varijable. Više o tome možete naći u odeljku „Sastavljanje RPM paketa”.

Podešavanje TFS-a svedeno je na podešavanje Pipeline-a. Ranije smo sva Windows-projekta gradili na Windows-agentima, a sada se pojavljuje Linux-agent - Build-agent, koji treba uključiti u grupu gradnje, obogatiti ga nekim artefaktima, reći koji tipovi projekata će se graditi na ovom Build-agents, i nekako modifikovati Pipeline.

IdentityServer. ADFS nije naš put, zalažemo se za Open Source.

Proći ćemo kroz komponente.

Magic Box

Sastoji se od četiri dela.

.NET Core na Linuxu, DevOps na konju

Linux Build-agent. Linux, jer ga pravimo - logično. Ovaj deo se sprovodi u tri koraka.

  • Podešavanje radnika i ne samo jednog, jer se predviđa distribuirani rad na projektu.
  • Instalirati .NET Core 1.x. Zašto baš 1.x, kada je već dostupna 2.0 u standardnom repozitorijumu? Zato što, kada smo počeli razvoj, stabilna verzija je bila 1.09, i odlučili smo da projekat radimo za nju.
  • Git 2.x.

RPM-repozitorijum. RPM-paketi su morali negde da se čuvaju. Pretpostavljalo se da ćemo koristiti isti korporativni RPM-repozitorijum, koji je dostupan svim Linux hostovima. Tako smo i postupili. Na serveru repozitorijuma je podešen webhook koji preuzima potrebni RPM-paket sa navedenog mesta. Verziju paketa webhook-u je prenosio Build-agent.

GitLab. Pažnja! GitLab se ovde ne koristi za razvojne svrhe, već od strane sektora za eksploataciju za kontrolu verzija aplikacije, verzija paketa, kontrolu stanja svih Linux mašina i u njemu se čuva recept - svi manifesti Puppet.

Puppet — razilazi sve sporne trenutke i isporučuje upravo tu konfiguraciju koju želimo, iz GitLab-a.

Počinjemo sa zaronjavanjem. Kako se vrši isporuka DLL u RPM?

Isporuka DLL u RPM

Recimo da imamo rock-zvezdu razvoja na .NET-u. On koristi Visual Studio i kreira verziju za objavljivanje. Nakon toga je_uploaduje u Git, i Git ovde predstavlja TFS-entitet, tj. ovo je repozitorijum aplikacije sa kojim radi programer.

.NET Core na Linuxu, DevOps na konju

Nakon što TFS vidi da je stigao novi commit. Koja aplikacija? U postavkama TFS-a postoji oznaka koja ukazuje na to kojim resursima raspolaže određeni Build-agent. U ovom slučaju on vidi da sastavljamo .NET Core projekat i odabire Linux Build-agent iz bazena.

Build-agent dobija izvorne kodove, preuzima potrebne dependencies iz .NET repozitorija, npm itd. i nakon sastavljanja same aplikacije i naknadnog pakovanja šalje RPM paket u RPM repozitorij.

S druge strane dešava se sledeće. Inženjer odeljenja za operacije se direktno bavi implementacijom projekta: menja verzije paketa u Hiera u repozitoriju, gde se čuva recept za aplikaciju, nakon čega Puppet pokreće Yum, preuzima novi paket iz repozitorija, i nova verzija aplikacije je spremna za korišćenje.

.NET Core na Linuxu, DevOps na konju

Na rečima je sve jednostavno, ali šta se dešava unutar samog Build-agenta?

Pakovanje DLL RPM

Dobijeni su izvorni kodovi projekta i zadatak za sastavljanje od TFS-a. Build-agent pokreće sastavljanje samog projekta iz izvora. Sastavljeni projekat je dostupan u obliku više DLL datoteka, koje su pakovane u zip arhiv za smanjenje opterećenja na fajl sistem.

ZIP arhiv se baca u direktorijum za sastavljanje RPM paketa. Zatim Bash skript inicijalizuje varijable okruženja, pronalazi verziju Build-a, verziju projekta, put do direktorijuma za sastavljanje, i pokreće RPM-build. Po završetku sastavljanja paket se objavljuje u lokalnom repozitoriju, koji se nalazi na Build-agentu.

Nakon toga, sa Build-agenta na server u RPM repozitorij se šalje JSON zahtev sa oznakom imena verzije i build-a. Webhook, o kojem sam ranije govorio, preuzima ovaj paket iz lokalnog repozitorija na Build-agentu i čini novu verziju dostupnom za instalaciju.

.NET Core na Linuxu, DevOps na konju

Zašto baš ovakav sistem isporuke paketa u RPM repozitorij? Zašto ne može odmah da se pošalje sastavljeni paket u repozitorij? Radi se o tome da je ovo uslov za obezbeđenje sigurnosti. Takav scenario ograničava mogućnost neovlašćenog učitavanja RPM paketa od strane stranih lica na server koji je dostupan svim Linux mašinama.

Verzionisanje Baze Podataka

Na konsilijumu sa razvojem je utvrđeno da su momcima bliži MS SQL, ali u većini non-Windows projekata smo već uveliko koristili PostgreSQL. Pošto smo već odlučili da se odrekremo svega što je plaćeno, počeli smo koristiti PostgreSQL i ovde.

.NET Core na Linuxu, DevOps na konju

U ovom dijelu ću objasniti kako smo vršili verzioniranje Baze podataka i kako smo birali između Flyway-a i Entity Framework Core-a. Razmotrićemo njihove prednosti i nedostatke.

Mane

Flyway ide samo u jednom smjeru, mi ne možemo se vratiti nazad — to je značajan nedostatak. Uporediti sa Entity Framework Core-om može se po drugim parametrima — s aspekta korisnosti za programere. Sigurno se sjećate da smo to stavili na prvo mjesto, a osnovni kriterijum je bio ne promijeniti ništa za Windows razvoj.

Za Flyway nam trebala je neka obloga, kako bi momci ne pisali SQL upite. Mnogo im je bliže da rade u terminima OOP-a. Napisali smo uputstva za rad sa objektima baze podataka, formirao se SQL upit i izvršen je. Nova verzija baze podataka je spremna, prošla je — sve je u redu, sve radi.

Entity Framework Core ima jedan nedostatak — pri velikim opterećenjima formira neoptimalne SQL upite, i pad po bazi podataka može biti značajan. No s obzirom na to da nemamo visoko opterećen servis, ne mjerimo opterećenje stotinama RPS-a, prihvatili smo te rizike i delegirali problem budućim nama.

Prednosti

Entity Framework Core radi iz kutije i zgodan je za razvoj, dok se Flyway lako integriše u postojeći CI.Ali mi to radimo za udobnost programera :)

Procedura primjene

Puppet vidi da dolazi do promjene verzije paketa među kojima je onaj koji odgovara za migraciju. Prvo instalira paket u kojem se nalaze migracijski skripti i funkcionalnost vezana za bazu podataka. Nakon toga se restartuje aplikacija koja radi sa bazom podataka. Zatim sledi instalacija preostalih komponenti. Redoslijed instalacije paketa i pokretanja aplikacija opisani su u manifestu Puppet-a.

Aplikacije koriste osjetljive podatke, kao što su tokeni, lozinke za bazu podataka, sve to se povlači u konfiguraciju sa Puppet master-a, gdje se čuvaju u enkriptovanom obliku.

Problemi sa TFS-om

Nakon što smo se odlučili i shvatili da nam sve zaista radi, odlučio sam da pogledam šta se dešava sa gradnjama u TFS-u u cjelini za odjel Win razvoja za druge projekte — brzo se gradimo ili puštamo, i otkrio sam značajne probleme sa brzinom.

Jedan od glavnih projekata gradi se 12-15 minuta — to je dugo, ovako se ne može živjeti. Brza analiza pokazala je strašan pad po I/O, i to na matricama.

Analizirajući komponentno, izdvojio sam tri žarišne tačke. Prva — «Kaspersky antivirus», koji na svim Windows Build agentima skenira izvore. Drugi — Windows Indexator. Nije bio isključen, i na Build agentima u realnom vremenu se indeksiralo sve tokom procesa implementacije.

Treći — Npm install. Ispostavilo se da smo u većini Pipelines koristili upravo ovaj scenarij. Što je loše u tome? Procedura Npm install se pokreće prilikom formiranja stabla zavisnosti u package-lock.json, gde se beleže verzije paketa koji će se koristiti za izradu projekta. Nedostatak je u tome što Npm install svaki put povlači aktuelne verzije paketa sa interneta, a to zahteva značajno vreme u slučaju velikog projekta.

Programeri ponekad eksperimentišu na lokalnom računaru kako bi proverili rad pojedinačnih delova ili celog projekta. Ponekad se dešavalo da lokalno sve izgleda sjajno, ali kada se sastavljalo i implementiralo - ništa nije radilo. Počinjemo da istražujemo u čemu je problem — ah, različite verzije paketa sa zavisnostima.

Rešenje

  • Izvori u isključenja AV.
  • Isključivanje indeksacije.
  • Prelazak na npm ci.

Prednost npm ci je u tome što sastavljamo stablo zavisnosti jedinstveno, i dobijamo mogućnost da pružimo programeru aktuelnu listu paketa, sa kojom može neograničeno eksperimentisati lokalno. To štedi vreme programerima koji pišu kod.

Konfiguracija

Sada malo o konfiguraciji repozitorijuma. Istorijski, koristimo Nexus za upravljanje repozitorijumima, uključujući Interni REPO. U ovaj interni repozitorijum se isporučuju sve komponente koje koristimo za unutrašnje potrebe, na primer, sopstvena praćenja.

.NET Core na Linuxu, DevOps na konju

Takođe koristimo NuGet, jer bolje kešira u poređenju sa drugim paket menadžerima.

Rezultat

Nakon što smo optimizovali Build agente, prosečno vreme izrade skraćeno je sa 12 minuta na 7.

Ako izračunamo sve mašine koje bismo mogli koristiti za Windows, ali smo ih preneli na Linux u ovom projektu, uštedeli smo oko $10,000. I to je samo na licencama, a ako uzmemo u obzir održavanje — više.

Planovi

Za sledeći kvartal planirali smo rad na optimizaciji isporuke koda.

Prelazak na prebuild Docker-image. TFS - sjajna stvar sa mnoštvom plugina koji omogućavaju integraciju u Pipeline, uključujući i izradu po okidaču, recimo, Docker-image. Ovaj okidač želimo da napravimo na taj način package-lock.json. Ako se na neki način promijeni sastav komponenata koje se koriste za izradu projekta, kreiramo novu Docker sliku. U budućnosti će se koristiti za pokretanje kontejnera sa prikupljenom aplikacijom. Trenutno toga nema, ali planiramo preći na mikroservisnu arhitekturu u Kubernetesu, koja se aktivno razvija u našoj kompaniji i već dugo podržava produkcijska rješenja.

Sažetak

Pozivam sve da izbace Windows, ali ne zato što ne znam kako ga pripremiti. Razlog je to što je velika većina Opensource rješenja - to je Linux stack. Dobro ćete uštedjeti na resursima. Po mom mišljenju, budućnost pripada Open Source rješenjima na Linuxu sa snažnom zajednicom.

Profil govornika Aleksandra Sinčinova na GitHub-u.

DevOps Conf – to je konferencija o integraciji procesa razvoja, testiranja i eksploatacije za profesionalce od profesionalaca. Upravo zbog toga je projekat o kojem je govorio Aleksandar? realizovan i funkcioniše, a na dan nastupa su sprovedena dva uspješna izdanja. Na DevOps Conf na RIT++ 27. i 28. maja biće još više sličnih slučajeva od praktičara. Još uvek možete da uskočite u poslednji voz i podnesete izlaganje ili polako rezervišete karte. Vidimo se u Skolkovu!

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster