Naši zaključci o godini migracije GitLab.com na Kubernetes

Napomena prev.: adaptacija Kubernetes-a u GitLab-u se smatra jednim od dva glavna faktora koji doprinose rastu kompanije. Ipak, do nedavno, infrastruktura online servisa GitLab.com je bila izgrađena na virtuelnim mašinama, a migracija na K8s je počela pre otprilike godinu dana i još uvek nije završena. Rado vam predstavljamo prevod nedavne članka SRE inženjera GitLab-a o tome kako se to odvija i koje zaključke donose inženjeri uključeni u projekat.

Naši zaključci o godini migracije GitLab.com na Kubernetes

Već skoro godinu dana naše infrastrukturno odeljenje se bavi migracijom svih servisa koji rade na GitLab.com u Kubernetes. Tokom ovog vremena suočili smo se sa problemima vezanim ne samo za premještanje servisa u Kubernetes, već i za upravljanje hibridnim razmeštajem tokom prelaska. O dragocenim lekcijama koje smo naučili biće reči u ovom članku.

Od samog početka, GitLab.com je njegovo servere radilo u oblaku na virtuelnim mašinama. Ove virtuelne mašine upravlja Chef, a njihova instalacija se vrši putem našeg službenog Linux paketa. Strategija razmeštanja u slučaju potrebe za ažuriranjem aplikacije, sastoji se u jednostavnom ažuriranju parka servera koordinaranim redom putem CI pipeline-a. Ova metoda — iako spora i pomalo dosadna — garantuje da GitLab.com koristi iste metode instalacije i konfiguracije kakve koriste korisnici autonomnih (self-managed) instalacija GitLab-a, koji za to koriste naše Linux pakete.

Koristimo ovu metodu jer je izuzetno važno osetiti sve patnje i radosti koje proživljavaju obični članovi zajednice kada instaliraju i konfigurišu svoje kopije GitLab-a. Ovaj pristup je dobro funkcionisao određeno vreme, međutim, kada je broj projekata na GitLab-u prešao 10 miliona, shvatili smo da više ne zadovoljava naše potrebe za skaliranjem i razmeštanjem.

Prvi koraci ka Kubernetes-u i cloud-native GitLab-u

U 2017. godini pokrenut je projekat GitLab Charts za pripremu GitLaba za implementaciju u oblaku, kao i kako bismo pružili korisnicima mogućnost instalacije GitLaba u Kubernetes klastere. Tada smo znali da će premještanje GitLaba u Kubernetes povećati mogućnosti skaliranja SaaS platforme, pojednostaviti implementacije i poboljšati efikasnost korištenja računalnih resursa. U isto vrijeme, mnoge funkcije naše aplikacije zavisile su od montiranih NFS particija, što je usporavalo prelazak sa virtuelnih mašina.

Težnja ka cloud native i Kubernetes omogućila je našim inženjerima da planiraju postepeni prelaz, tokom kojeg smo se odrekli nekih zavisnosti aplikacije od mrežnih skladišta, nastavljajući istovremeno razvijati nove funkcije. Otkako smo počeli planirati migraciju ljeta 2019. godine, mnoga od ovih ograničenja su uklonjena, a proces prevođenja GitLab.com na Kubernetes sada ide punom brzinom!

Karakteristike rada GitLab.com u Kubernetesu

Za GitLab.com koristimo jedinstveni regionalni GKE klaster koji obrađuje sav promet aplikacije. Kako bismo minimalizovali složenost (ionako komplicirane) migracije, fokusiramo se na servise koji ne zavise od lokalnog skladišta ili NFS. GitLab.com većinom koristi monolitnu kodnu bazu na Rails-u, i usmjeravamo promet u zavisnosti od karakteristika opterećenja na različite endpoint-e, izolovane u svoje vlastite čvora.

U slučaju frontenda, ovi tipovi dijele se na zahtjeve ka web-u, API-ju, Git SSH/HTTPS i Registry-ju. U slučaju backend-a, razdvajamo job-ove u redovima po različitim karakteristikama u zavisnosti od predefinisanih granica resursa, koje nam omogućavaju da postavimo ciljeve nivoa usluga (Service-Level Objectives, SLOs) za različita opterećenja.

Svi ovi servisi GitLab.com su podešeni pomoću nemodifikovanog Helm grafičkog čarta GitLab. Konfiguracija se provodi u subčartovima, koji mogu biti selektivno uključeni kako se postepeno prebacujemo na klaster. Čak i uz odluku da se neki od naših stateful servisa, kao što su Redis, Postgres, GitLab Pages i Gitaly, ne uključuju u migraciju, korištenje Kubernetesa omogućava drastično smanjenje broja VM-ova kojima trenutno upravlja Chef.

Transparentnost i upravljanje konfiguracijom Kubernetesa

Sve postavke se upravljaju samim GitLab-om. Za to se koriste tri projektna konfiguracije zasnovana na Terraformu i Helmu. Pokušavamo svuda gde je to moguće koristiti samo GitLab za pokretanje GitLab-a, ali za operativne zadatke imamo odvojenu instalaciju GitLab-a. Potrebna je kako bismo bili neovisni o dostupnosti GitLab.com prilikom sprovođenja rasporeda i ažuriranja GitLab.com.

Iako naši pipelini za Kubernetes klaster rade na odvojenoj instalaciji GitLab-a, repozitoriji koda imaju oglede, javno dostupne na sledećim adresama:

  • k8s-workloads/gitlab-com — konfiguracijska obloga GitLab.com za Helm grafikon GitLab-a;
  • k8s-workloads/gitlab-helmfiles — sadrži konfiguracije za usluge koje nisu direktno povezane sa aplikacijom GitLab. To uključuje konfiguracije za vođenje evidencije i praćenje klastera, kao i za integrisane alate kao što je PlantUML;
  • Gitlab-com-infrastructure — Terraform konfiguracija za Kubernetes i staru (legacy) VM infrastrukturu. Ovde se podešavaju svi resursi potrebni za pokretanje klastera, uključujući sam klaster, grupe čvorova, naloge servisa, rezervisanje IP adresa.

Naši zaključci o godini migracije GitLab.com na Kubernetes
Prilikom izmene prikazuje se javna kratka rezime sa linkom na detaljni diff, koji SRE analizira pre nego što izvrši promene u klasteru.

Za SRE, link vodi ka detaljnom diff-u u instalaciji GitLab-a koja se koristi za operaciju i pristup kojoj je ograničen. To omogućava zaposlenima i zajednici bez pristupa operativnom projektu (koji je otvoren samo za SRE) da pregledaju predložene promene u konfiguraciji. Kombinovanjem javne instance GitLab-a za kod sa zatvorenom instancom za CI pipelina, zadržavamo jedinstven radni proces, dok istovremeno osiguravamo neovisnost od GitLab.com prilikom ažuriranja konfiguracije.

Šta smo saznali tokom migracije

Tokom preseljenja stečeno je iskustvo koje primenjujemo na nove migracije i rasporede u Kubernetesu.

1. Povećanje troškova zbog saobraćaja između zona dostupnosti

Naši zaključci o godini migracije GitLab.com na Kubernetes
Dnevna egress statistika (bajtova dnevno) za skup Git repozitorija na GitLab.com

Google dijeli svoju mrežu na regione. Ovi se dalje dijele na zone dostupnosti (AZ). Git hosting je povezan s velikim količinama podataka, pa nam je važno kontrolirati mrežni egress. U slučaju unutarnjeg prometa, egress je besplatan samo ako ostane unutar jedne zone dostupnosti. U trenutku pisanja ovog članka, isporučujemo oko 100 TB podataka u prosječnom radnom danu (i to samo za Git repozitorije). Usluge koje su u našoj staroj topologiji, temeljnoj na VM-ima, bile na istim virtualnim mašinama, sada rade u različitim podovima Kubernetes-a. To znači da neki dio prometa, koji je ranije bio lokalni za VM, može potencijalno izlaziti izvan zona dostupnosti.

Regionalni GKE klasteri omogućavaju pokrivanje više zona dostupnosti radi rezervacije. Razmatramo mogućnost razdvajanja regionalnog GKE klastera na jednonazovne klastere za usluge koje generiraju velike količine prometa. To će smanjiti troškove egressa, dok će zadržati rezervacije na razini klastera.

2. Limitacije, zahtjevi resursa i skaliranje

Naši zaključci o godini migracije GitLab.com na Kubernetes
Broj replika koje obrađuju produkcijski promet na registry.gitlab.com. Promet dostiže svoj vrhunac u ~15:00 UTC.

Naša priča o migraciji započela je u avgustu 2019. godine, kada smo premjestili prvu uslugu — GitLab Registry kontejnera — u Kubernetes. Ova kritična usluga s visokim prometom bila je dobro prilagođena za prvu migraciju, jer predstavlja stateless aplikaciju s malo vanjskih zavisnosti. Prvi problem s kojim smo se susreli bili su veliki brojevi izbačenih podova zbog nedostatka memorije na čvorovima. Zbog toga smo morali mijenjati zahtjeve i limitacije.

Otkriveno je da u slučaju aplikacije koja s vremenom povećava potrošnju memorije, niski zahtjevi (rezervacije memorije za svaki pod) u kombinaciji s "generoznim" strogim limitom na korištenje dovode do zasićenja (saturation) čvorova i visokog nivoa izbacivanja. Kako bismo se nosili s ovim problemom, odlučeno je povećati zahtjeve i smanjiti limitacije.Ovo je skinulo pritisak sa čvorova i omogućilo životni ciklus podova koji nije vršio preveliki pritisak na čvor. Sada započinjemo migracije sa velikodušnim (i gotovo identičnim) vrednostima zahteva i ograničenja, prilagođavajući ih po potrebi.

3. Metrike i logovi

Naši zaključci o godini migracije GitLab.com na Kubernetes
Infrastrukturna jedinica fokusira se na latenciju, procenat grešaka i saturaciju sa postavljenim ciljevima nivoa usluge (SLO), vezanim za ukupnu dostupnost našeg sistema.

Tokom protekle godine jedan od ključnih događaja u infrastrukturnoj jedinici bili su napredak u praćenju i radu sa SLO. SLO su nam omogućila da postavljamo ciljeve za pojedinačne servise, koje smo pomno pratili tokom migracije. Ali čak i sa tako poboljšanom vidljivošću, nije uvek lako uočiti probleme koristeći metrike i alarme. Na primer, fokusirajući se na latenciju i procenat grešaka, ne pokrivamo u potpunosti sve scenarije korišćenja servisa koji prolazi migraciju.

Ovaj problem je otkriven gotovo odmah nakon prenosa dela radnog opterećenja u klaster. Posebno se istakao kada je trebalo proveriti funkcije čiji je broj zahteva mali, ali imaju veoma specifične konfiguracione zavisnosti. Jedna od ključnih lekcija sa migracije bila je potreba da se u monitoringu uzmu u obzir ne samo metrike, već i logovi i "dugi rep" (reč je o takvom njihovom raspodeli na grafiku — prim. prev.) grešaka. Sada za svaku migraciju uključujemo detaljnu listu zahteva ka logovima (log queries) i planiramo jasne procedure vraćanja, koje se u slučaju problema mogu preneti od jedne smene do druge.

Paralelno servisiranje istih zahteva na staroj VM infrastrukturi i novoj, zasnovanoj na Kubernetesu, predstavljalo je jedinstveni izazov. Za razliku od migracije tipa lift-and-shift (brzi prenos aplikacija "kako jesu" u novu infrastrukturu; više informacija može se pročitati, na primer, ovde — napomena prev.), paralelni rad na 'starim' VM i Kubernetes zahtijeva da alati za nadgledanje budu kompatibilni s oba okruženja i da mogu kombinirati metrike u jedan pregled. Važno je da koristimo iste dashboard-e i upite za logove kako bismo postigli dosljednu vidljivost tokom prijelaznog razdoblja.

4. Preusmjeravanje prometa na novi klaster

Za GitLab.com, dio servera je odvojen za kanarinsku (canary) fazu. Kanarinski park podržava naše interne projekte, a takođe može biti aktiviran od strane korisnika. No, prvenstveno je namijenjen testiranju promjena u infrastrukturi i aplikaciji. Prva preseljena usluga počela je sa primanjem ograničenog obima internog prometa, a mi i dalje koristimo ovu metodu da bismo se uvjerili da se poštuje SLO prije nego što preusmjerimo sav promet u klaster.

U slučaju migracije, to znači da se prvo u Kubernetes usmjeravaju zahtjevi za interne projekte, a zatim postupno preusmjeravamo ostatak prometa u klaster promjenom težine za backend putem HAProxy. Tokom prijelaza s VM na Kubernetes, postalo je jasno da je vrlo korisno imati jednostavan način za preusmjeravanje prometa između stare i nove infrastrukture i, shodno tome, držati staru infrastrukturu spremnom za povratak u prvih nekoliko dana nakon migracije.

5. Rezervne kapacitete podova i njihovo korištenje

Gotovo odmah je otkriven sljedeći problem: podovi za uslugu Registry brzo su se pokretali, ali pokretanje podova za Sidekiq trajalo je do dva minuta. Dugotrajno pokretanje podova za Sidekiq postalo je problem kada smo započeli migraciju radnih opterećenja za radnike u Kubernetesu, kojima je potrebno brzo obrađivati poslove i brzo se skalirati.

U ovom slučaju, lekcija je bila da, iako Horizontal Pod Autoscaler (HPA) u Kubernetesu dobro reaguje na rast prometa, važno je uzeti u obzir karakteristike radnih opterećenja i dodijeliti rezervne kapacitete podova (posebno u uslovima neujednačene potražnje). U našem slučaju, zabilježen je nagli porast poslova, što je dovelo do brze skalacije, a to je rezultiralo zasićenjem CPU resursa prije nego što smo uspjeli skalirati skup čvorova.

Uvijek postoji iskušenje da se iz klastera izvuče što više, međutim, nakon što smo se prvotno susreli s problemima s performansama, sada počinjemo s velikim budžetom za pod i smanjujemo ga kasnije, pažljivo prateći SLO. Pokretanje podova za uslugu Sidekiq značajno se ubrzalo i sada u prosjeku traje oko 40 sekundi. Od skraćivanja vremena pokretanja podova imali su koristi i GitLab.com, kao i naši korisnici instalacija self-managed koji koriste službeni Helm chart GitLab-a.

Zaključak

Nakon premještanja svake usluge, radovali smo se prednostima korištenja Kubernetes-a u produkciji: bržem i sigurnijem deployanju aplikacija, skalabilnosti i učinkovitijem distribuciji resursa. Pritom prednosti migracije nadilaze samu uslugu GitLab.com. Svako poboljšanje službenog Helm charta koristi njegovim korisnicima.

Nadam se da vam se svidjela priča o našim avanturama s migracijom na Kubernetes. Nastavljamo premještati nove usluge u klaster. Dodatne informacije možete pronaći u sljedećim publikacijama:

P.S. od prevodioca

Takođe pročitajte na našem blogu:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster