Rezervisanje u Kubernetesu: ono postoji

Ja sam Sergej iz kompanije ITSumma i želim vam ispričati kako se mi pristupamo rezervacijama u Kubernetesu. U poslednje vreme puno sam se bavio konsultacijama o implementaciji različitih devops rešenja za razne timove, a posebno radim na projektima koji koriste K8s. Na konferenciji Uptime day 4, koja je bila posvećena rezervacijama u složenim arhitekturama, održao sam prezentaciju o rezervaciji "kubika", i evo njenog slobodnog sažetka. Samo unapred upozoravam da ovo nije direktna uputstva za akciju, već više sažetak razmišljanja o ovoj temi.

Rezervisanje u Kubernetesu: ono postoji

U suštini, monitoring i rezervacije su dva osnovna alata za povećanje otpornosti svakog projekta. Ali, vi biste možda rekli, u kubernetesu se sve balansira samo, sve se skalira samo i ako nešto krene po zlu, sve će se automatski popraviti... Dakle, na prvom površnom istraživanju teme, internet mi je na pitanje kako se ko pristupa rezervacijama u K8s odgovorio "zašto?" Mnogi misle da kubernetes predstavlja neku magičnu stvar koja rešava sve infrastrukturne probleme i osigurava da projekat nikada ne padne. Ali... svet nije ono što se čini.

Kako smo se ranije pristupali procesu rezervacije? Imali smo identične platforme za hosting — ili su to bile virtuelne mašine, ili fizički serveri servera, na koje smo primenjivali tri osnovne prakse:

  1. sindikacija koda i statike
  2. sindikacija konfiguracija
  3. replikacija baza podataka

I voila: u bilo kom trenutku se prebacujemo na rezervnu platformu, svi su srećni, ustajemo i razilazimo se.

Rezervisanje u Kubernetesu: ono postoji

Šta nam se nudi za povećanje stalne dostupnosti naše kubernetes aplikacije? Prvo što neformalna dokumentacija naglašava jeste postavljanje mnogo mašina, stvaranje više master čvorova — njihov broj mora zadovoljiti uslove za dostizanje kvoruma unutar klastera, i da na svakom od mastera bude podignut etcd, api, MC, scheduler… I, naizgled, sve deluje odlično: kada nekoliko radnih čvorova ili mastera otkaže, naš klaster se prebalansira i aplikacija nastavlja da radi. Ponovo izgleda kao čarobnjaštvo! No, često je naš klaster smešten u okviru jednog data centra, a to može postaviti određena pitanja. Šta ako dođe bager i iskopava kabl, udari grom, dogodi se svetska poplava? Sve je propalo, našeg klastera više nema. Kako se postaviti prema rezerve uzimajući u obzir ovu stranu problema?

Prvo, treba da imate još jedan klaster koji je u toplom rezervi, dakle klaster na koji možete prebaciti u bilo trenutku. U tom smislu, sa stanovišta Kubera, infrastruktura mora biti potpuno identična. To znači da, ako postoje neki nestandardni dodaci za rad sa fajl sistemom, prilagođena rešenja za ingress, ona moraju biti apsolutno identična na vašim dva (ili tri, ili deset, koliko već imate sredstava i snage administracije) klastera. Potrebno je jasno definisati dva seta aplikacija (deployment-a, statefulset-a, daemonset-a, cronjob-a itd.): koje od njih mogu da rade na rezervi konstantno, a koje je bolje ne pokretati do neposrednog prebacivanja.

Da li naš rezervni klaster mora biti potpuno identičan našem produkcionom klasteru? Ne. Dok smo ranije u okviru rada sa monolitnim projektima, sa hardverskom infrastrukturom održavali gotovo potpuno identično okruženje, u okviru Kubera, smatram da to ne bi trebalo biti slučaj. Hajde da razmotrimo zašto.

Na primjer, započnimo s osnovnim entitetima Kubernetesa — deployments — koji moraju biti identični. Trebalo bi da se pokrenu aplikacije koje u bilo kojem trenutku mogu preuzeti obradu prometa i omogućiti našem projektu da nastavi da funkcioniše. Ako govorimo o konfiguracionim datotekama, ovde treba pogledati da li bi one trebale biti identične ili ne. Drugim rečima, ako mi, pametni ljudi, ne koristimo nikakve zabranjene supstance i ne čuvamo bazu u K8s, onda u našim configmapovima treba da budu podešavanja pristupa za produkcijsku bazu (proces rezervacije koje je postavljen zasebno). Takođe, za obezbeđivanje pristupa rezervnoj instanci baze podataka, treba da imamo posebnu konfiguracionu datoteku (configmap). Na isti način radimo i sa secretima: lozinkama za pristup bazi, API ključevima; u bilo kojem trenutku može da važi ili produkcioni secret ili rezervni. Dakle, već imamo dve entitete Kubernetesa čije rezervne verzije ne bi smele biti identične produkcijskim. Sledeća entitet na kojoj treba da se zadržimo je cronjob. Cronjobovi na rezervi ni u kojem slučaju ne bi smeli biti identični skupu cronjobova produkcijske klastere! Ako pokrenemo rezervni klaster i pokrenemo ga potpuno sa svim uključenim cronjobovima — na primer, ljudi će primati po dva mejla odjednom umesto jednog. Ili će neka sinhronizacija podataka sa spoljnim izvorima prolaziti dva puta, tako da počinjemo da patimo, plačemo, vikamo i svađamo se.

Rezervisanje u Kubernetesu: ono postoji

A kako nam predlažu da organizujemo rezervni klaster ljudi sa interneta? Drugi po popularnosti odgovor nakon „a zašto?“ — korišćenje Kubernetes Federation.

Šta je to? To je, da tako kažemo, veliki meta-klaster. Ako zamislimo arhitekturu Kubera — gde imamo master, nekoliko nodova — onda sa stanovišta federacije imamo takođe master i nekoliko nodova, samo što je svaki nod poseban klaster. To jest, radimo s istim entitetima, s istim primitivima kao i sa jedinstvenim Kuberom, samo što ne upravljamo fizičkim mašinama, već celim klasterima. U okviru federacije imamo potpunu sinhronizaciju federativnih resursa od roditelja ka potomcima. Na primer, ako pokrenemo neki deploy kroz federaciju — on će biti deploy-ovan na svaki naš pod-klaster. Ako uzmemo bilo koji configmap, tajnu, i distribuiramo ga putem federacije — on će se proširiti na sve naše pod-klastere; pri tom federacija omogućava prilagođavanje naših resursa na potomcima. To jest, uzeli smo neki configmap, deploy-ovali ga putem federacije i zatim, ako nam je potrebno nešto da popravimo na konkretnim klasterima, idemo da menjamo na posebnom klasteru, i ta izmena se više neće sinhronizovati.

Kubernetes Federacija — relativno nova alatka koja ne podržava sve resurse koje sam K8s pruža: u trenutku izdanja jedne od prvih verzija dokumentacije govorilo se o podršci samo za config mape, deployment pod replica set, ingress. Tajni podaci nisu podržani, a rad sa volume-ima također nije bio podržan. Previše ograničen set. Pogotovo ako volimo eksperimentisati, — na primer, preko custom resource definition prenositi svoje vlastite resurse Kubernetes-u, — u federaciju ih ne možemo poslati. Drugim rečima… rešenje koje izgleda kao istina, ali nas povremeno tera da sami sebi zadajemo rane. S druge strane, federacija omogućava fleksibilno upravljanje našim replica set-om. Na primer, želimo da pokrenemo 10 replika naše aplikacije, a federacija će automatski raspodeliti taj broj proporcionalno između dostupnih klastera. To se može dodatno konfigurisati! Možemo odrediti da na produkcionom klasteru treba držati 6 replika naše aplikacije, dok na rezervnom klasteru, radi uštede resursa, ili zbog nekih vlastitih zabava — samo 4 replike. To je takođe prilično zgodno. No, s federacijom moramo koristiti neka nova rešenja, nešto više razmišljati…

Da li možemo pristupiti procesu rezervisanja Kubernetes-a na jednostavniji način? Koji alati su nam zapravo dostupni?

Prvo, uvek imamo neku ci/cd sistem, što znači da ne radimo ručno, ne pišemo na serverima create/apply. Sistem generiše yaml datoteke za naše kontejnere.

Drugo, postoji nekoliko klastera, imamo ili jedan ili više (ako smo pametni) registri koji smo takođe uzeli i rezervisali. I imamo odličan alat kubectl, koji može raditi s nekoliko klastera istovremeno.

Rezervisanje u Kubernetesu: ono postoji

Dakle, po mom mišljenju, najjednostavnije i najispravnije rešenje za izgradnju rezervnog klastera je primitivni paralelni deploy. Postoji neki pipeline u ci/cd sistemu; prvo pravimo naše kontejnere, testiramo i raspoređujemo aplikacije putem kubectl na nekoliko nezavisnih klastera. Možemo praviti simultane isporuke na nekoliko klastera. Samim tim, isporuku konfiguracija takođe rešavamo u ovoj fazi. Možemo unapred odrediti set konfiguracija za naš produkcijski klaster, set konfiguracija za rezervni klaster i na nivou ci/cd sistema raspoređivati produkcijsko okruženje u produkcijski klaster, rezervno okruženje – u rezervni klaster. U poređenju sa federacijom, ne moramo odlaziti na svaki podređeni klaster nakon definisanja federativnog resursa i nešto predefinisati. To smo uradili unapred. Kakvi smo to majstori.

Ali... postoji... ja sam napisao, postoji "koren svih zala", ali ih u stvari ima dva. Prvo, datotečni sistem. Postoji neki PV, ili koristimo eksterni storage. Ako čuvamo datoteke unutar klastera, onda je potrebno delovati po starim praksama, preostalim iz doba čeličnih infrastruktura: na primer, sinhronizovati lsync-om. Pa ili nekim drugim ličnim omiljenim rešenjem. Raspoređujemo sve na druge mašine i živimo.

Drugo, i zapravo, čak i važnija tačka je baza podataka. Ako smo pametni ljudi i ne držimo bazu u kuberu, onda je proces rezervacije podataka po istoj staroj šemi – master-slave replikacija, zatim prebacivanje, replikaciju ćemo dostići i živeti srećno. Ali ako budemo držali našu DB unutar klastera, onda zapravo postoje mnoga gotova rešenja za organizaciju iste master-slave replikacije, mnoga rešenja za podizanje DB unutar kubera.
O rezervaciji baza podataka već je pročitano milijardama izlaganja, napisano milijardama članaka, ništa novo ovde, zapravo, nije potrebno. U suštini, sledite svoje snove, živite kako želite, izmišljajte sebi neka složena rešenja, ali obavezno razmislite kako ćete sve to rezervisati.

Sada ćemo objasniti kako ćemo generalno provoditi proces prebacivanja na rezervnu lokaciju u slučaju požara. Prvo, paralelno implementiramo stateless aplikacije. One ne utiču na poslovnu logiku naših aplikacija i našeg projekta, možemo neprekidno održavati dva seta pokrenutih aplikacija koje mogu početi primati saobraćaj. Veoma je važno tokom prebacivanja na rezervnu lokaciju proveriti — da li je potrebno redefinisati konfiguracije? Na primer, imamo produkcijski Kubernetes klaster, imamo rezervni Kubernetes klaster, imamo spoljašnju glavnu bazu podataka i rezervnu glavnu bazu podataka. Imamo četiri mogućnosti kako te aplikacije u produkciji mogu međusobno komunicirati. Može se promeniti baza, pa će se u produkcijskom klasteru prebaciti saobraćaj na novu bazu, ili se može dogoditi da klaster ne radi — i mi ćemo se prebaciti na rezervnu, ali nastaviti da radimo sa produkcijskom bazom, ili treća opcija, kada su se oboje pokvarilo, i prebacujemo obe aplikacije, redefinišemo našu konfiguraciju, kako bi nove aplikacije već radile sa novom bazom podataka.

Pa, kakve zaključke možemo izvući iz svega ovoga?

Rezervisanje u Kubernetesu: ono postoji

Prvi zaključak: sa rezervnim sistemom se dobro živi. Ali je skupo. Idealno, ne treba se oslanjati samo na jedan rezervni sistem. U idealnom slučaju, treba imati više rezervi. Prvo, rezervni sistem treba biti barem u različitim data centrima, i drugo, barem kod drugog pružatelja usluga. Često se dešavalo — i u mojim iskustvima je bilo tako. Nažalost, ne mogu da imenujem projekte, ali baš kada se desio požar u data centru... Rekao sam: prebacujemo se na rezervu! A rezervni serveri su stajali u istoj kabini...

Ili zamislite da je Amazon zabranjen u Rusiji (što se već dogodilo). I sve: kakva je korist od toga što naš rezerva leži na drugom Amazonu? I on je takođe nedostupan. Stoga ponavljam: držimo rezervu, barem u drugom data centru, a po mogućstvu — kod drugog pružatelja usluga.

Drugi izlaz: ako vaše aplikacije u Kubernetesu komuniciraju s vanjskim izvorima (to može biti i baza podataka ili neki vanjski API), obavezno ga definirajte kao servis s vanjskim endpoint-om, kako biste izbjegli ponovno deploy-anje 15 vaših aplikacija koje pristupaju istoj bazi. Definirajte bazu kao poseban servis, pristupajte joj kao da je unutar vašeg klastera: ako vam baza ne uspije, samo promijenite IP na jednom mjestu i nastavite sretno živjeti.

I za kraj: volim "kocku", kao i eksperimentiranje s njom. Također volim dijeliti rezultate tih eksperimenata i uopće svoje osobno iskustvo. Zbog toga sam snimio seriju webinara o K8s, dobrodošli na naš YouTube kanal za više informacija.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster