Dobrodošli u seriju kratkih vodiča o Kubernetesu. Ovo je redovni kolumn s najzanimljivijim pitanjima koja dobijamo online i na našim treninzima. Odgovara stručnjak za Kubernetes.
Današnji stručnjak je Daniele Polencic (). Daniele je instruktor i programer u .
Ako želite odgovor na svoje pitanje u sledećem postu, ili na .
Da li ste propustili prethodne postove? .
Kako povezati Kubernetes klastere u različitim podatkovnim centrima?
Ukratko: , a preporučujem i da pročitate o i .
Prilično često se infrastruktura replicira i raspoređuje po različitim regionima, posebno u kontrolisanim okruženjima.
Ako jedan region nije dostupan, saobraćaj se preusmerava na drugi kako bi se izbegli prekidi.
Sa Kubernetesom možete koristiti sličnu strategiju i raspoređivati radne opterećenja po različitim regionima.
Možete imati jedan ili više klastera po timu, regionu, okruženju ili kombinaciji ovih elemenata.
Vaši klasteri mogu biti smešteni u različitim oblacima i lokalnom okruženju.
Ali kako planirati infrastrukturu za takvu geografsku disperziju?
Treba da kreirate jedan veliki klaster koji se proteže preko više oblaka putem jedne mreže?
Ili da imate mnogo malih klastera i pronađete način da ih kontrolišete i sinhronizujete?
Jedan upravljački klaster
Kreirati jedan klaster putem jedne mreže nije tako jednostavno.
Zamislite, imate havariju, izgubljena je povezanost između segmenata klastera.
Ako imate jedan master server, polovina resursa neće moći da dobije nove komande jer se neće moći povezati sa masterom.
A pri tome imate stare tabele rutiranja (kube-proxy ne može da učita nove) i nijedne dodatne pod-ove (kubelet ne može da zahteva ažuriranja).
Što je još gore, ako Kubernetes ne vidi čvor, označava ga kao izgubljenog i raspoređuje nedostajuće pod-ove na postojeće čvore.
Na kraju imate dvostruko više pod-ova.
Ako napravite po jedan master server za svaku oblast, doći će do problema sa algoritmom postizanja konsenzusa u bazi podataka etcd. (napomena urednika — U stvarnosti, etcd baza podataka ne mora nužno biti na master serverima. Može se pokrenuti na odvojenoj grupi servera u jednom regionu. Međutim, to će rezultirati tačkom kvara klastera. Ali je brža.)
etcd koristi , da postigne saglasnost pre nego što upiše vrednost na disk.
Drugim rečima, većina instanci mora postići saglasnost pre nego što se stanje može zabeležiti u etcd.
Ako se latencija između instanci etcd naglo poveća, kao u slučaju sa tri instance etcd u različitim regionima, potrebno je mnogo vremena da se postigne saglasnost i zabeleži vrednost na disk.
To se odražava i na Kubernetes kontrolerima.
Kontroleru je potrebno više vremena da sazna o promeni i zabeleži odgovor u bazu podataka.
A pošto nije samo jedan kontroler, već više njih, dolazimo do lančane reakcije, i čitav klaster počinje raditi veoma sporo..
etcd je toliko osetljiv na latenciju da .
Trenutno ne postoje dobri primeri velike mreže za jedan klaster.
Uglavnom, zajednica programera i grupa SIG-cluster pokušavaju da shvate kako orkestrirati klastere kao što Kubernetes orkestrira kontejnere.
Opcija 1: federacija klastera sa kubefed
Zvaničan odgovor od SIG-cluster-a je .
Prvi put su pokušali upravljati kolekcijom klastera kao jednom jedinicom pomoću alata kube federacija.
Početak je bio dobar, ali na kraju kube federacija nije postala popularna, jer nije podržavala sve resurse.
Podržavala je zajedničke isporuke i servise, ali na primer, nije podržavala StatefulSets.
A takođe, konfiguracija federacije se prosleđivala u obliku anotacija i nije se odlikovala fleksibilnošću.
Zamislite kako bi mogli opisati podelu replika za svaki klaster u federaciji koristeći samo anotacije.
Izašlo je potpuno zbrkan.
SIG-cluster je uradio veliki posao nakon kubefed v1 i odlučio je pristupiti problemu iz drugog ugla.
Umesto anotacija, odlučili su da izdaju kontroler koji se instalira na klasterima. Moguće ga je konfigurisati pomoću korisničkih definicija resursa (Custom Resource Definition, CRD).
Za svaku resursu koja će biti deo federacije, imate prilagođenu definiciju CRD koja se sastoji od tri dela:
- standardna definicija resursa, kao što je deploy;
- odjeljak
placement, gde definišete kako će se resurs rasporediti u federaciji; - odjeljak
override, gde se za određeni resurs mogu prepisati težina i parametri iz placementa.
Evo primera objedinjene isporuke sa delovima placement i override.
apiVersion: types.federation.k8s.io/v1alpha1
kind: FederatedDeployment
metadata:
name: test-deployment
namespace: test-namespace
spec:
template:
metadata:
labels:
app: nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx
name: nginx
placement:
clusterNames:
- cluster2
- cluster1
overrides:
- clusterName: cluster2
clusterOverrides:
- path: spec.replicas
value: 5Kao što možete videti, isporuka je raspoređena na dva klastera: cluster1 i cluster2.
Prvi klaster isporučuje tri replike, dok je za drugi navedena vrednost 5.
Ako vam je potrebna veća kontrola nad brojem replikacija, kubefed2 pruža novi objekat ReplicaSchedulingPreference, gde se replike mogu raspoređivati prema težini:
apiVersion: scheduling.federation.k8s.io/v1alpha1
kind: ReplicaSchedulingPreference
metadata:
name: test-deployment
namespace: test-ns
spec:
targetKind: FederatedDeployment
totalReplicas: 9
clusters:
A:
weight: 1
B:
weight: 2Struktura CRD i API još uvek nisu potpuno spremni, a u zvaničnom repozitorijumu projekta se aktivno radi.
Pratite kubefed2, ali imajte na umu da za radnu sredinu još uvek nije pogodna.
Saznajte više o kubefed2 iz u blogu o Kubernetes i u .
Opcija 2: objedinjavanje klastera u stilu Booking.com
Razvijeteji Booking.com nisu se bavili kubefed v2, ali su smislili Shipper — operator za isporuku na više klastera, u više regiona i u više oblaka.
nešto slično kubefed2.
Oba alata omogućuju podešavanje strategije implementacije na više klastera (koji se klasteri koriste i koliko imaju replikacija).
Ali zadatak Shippera je smanjiti rizik od grešaka pri isporuci.
U Shipperu možete definisati niz koraka koji opisuju raspodelu replikacija između prethodnog i trenutnog deploya i obima dolaznog saobraćaja.
Kada šaljete resurs u klaster, kontroler Shipper postepeno implementira ovu promenu na svim objedinjеним klasterima.
A takođe, Shipper je vrlo ograničen.
Na primer, on prihvata Helm-čarate kao ulazne podatke. i ne podržava vanilla resurse.
U suštini, Shipper funkcioniše na sledeći način.
Umesto standardne isporuke, potrebno je kreirati resurs aplikacije koji uključuje Helm chart:
apiVersion: shipper.booking.com/v1alpha1
kind: Application
metadata:
name: super-server
spec:
revisionHistoryLimit: 3
template:
chart:
name: nginx
repoUrl: https://storage.googleapis.com/shipper-demo
version: 0.0.1
clusterRequirements:
regions:
- name: local
strategy:
steps:
- capacity:
contender: 1
incumbent: 100
name: staging
traffic:
contender: 0
incumbent: 100
- capacity:
contender: 100
incumbent: 0
name: full on
traffic:
contender: 100
incumbent: 0
values:
replicaCount: 3Shipper je dobar izbor za upravljanje više klastera, ali njegova tesna povezanost sa Helm-om to samo otežava.
A šta ako svi pređemo sa Helm-a na ili ?
Saznajte više o Shipper-u i njegovoj filozofiji u .
Ako želite da se upustite u kod, .
Opcija 3: „magijski“ spoj klastera
Kubefed v2 i Shipper rade sa federacijom klastera, pružajući klasterima nove resurse putem korisnički definisanih resursa.
Ali možda ne želite da prepisujete sve isporuke, StatefulSets, DaemonSets i sl. za spajanje?
Kako uključiti postojeći klaster u federaciju, bez menjanja YAML-a?
, koji se bavi opterećenjima raspoređivanja u klasterima.
Ali umesto da izmišlja novi način interakcije sa klasterom i obavija resurse u korisničke definicije, multi-cluster-scheduler se integriše u standardni životni ciklus Kubernetes-a i presreće sve pozive koji kreiraju podove.
Svaki kreirani pod odmah se zamenjuje prazninom.
multi-cluster-scheduler koristi , kako bi presreo poziv i stvorio neaktivni pod-prazninu.
Izvorni pod prolazi kroz još jedan ciklus raspoređivanja, gde, nakon upitne federacije, donosi se odluka o smeštaju.
Na kraju, pod se dostavlja u ciljni klaster.
Kao rezultat, imate dodatni pod koji ništa ne radi, samo zauzima prostor.
Prednost je u tome što niste morali pisati nove resurse za spajanje isporuka.
Svaki resurs koji stvara pod automatski je spreman za spajanje.
To je zanimljivo, jer odjednom dobijate isporuke raspoređene po nekoliko regija, a niste ni primetili. Ipak, to je prilično rizično, jer se sve ovde oslanja na magiju.
Ali ako Shipper nastoji pretežno da ublaži posledice isporuka, multi-cluster-scheduler preuzima općenitije zadatke i verovatno je bolje prilagođen za paketa zadatke.
Nema naprednog mehanizma postepenih isporuka.
Više o multi-cluster-scheduleru možete saznati na .
Ako želite čitati o multi-cluster-scheduleru u akciji, Admiralty ima — radnim procesima, događanjima, CI i CD Kubernetes.
Ostali alati i rešenja
Povezivanje više klastera i upravljanje njima je složen zadatak, sveobuhvatno rešenje ne postoji.
Ako želite detaljnije istražiti ovu temu, evo nekoliko resursa:
- — alat koji povezuje overlay mreže različitih Kubernetes klastera.
- Maloprodajna mreža Target koristi .
- Pokušajte koristiti IPV6 i .
- Možete koristiti service mesh, na primer .
- Cilium, dodatak za mrežu kontejnera, nudi , koja omogućava kombinovanje više klastera.
To je sve za danas.
Hvala što ste pročitali do kraja!
Ako znate kako efikasnije povezati nekoliko klastera, .
Dodajemo vaš metod k linkovima.
Posebna zahvalnost Krisu Nesbittu-Smitu () i Vincentu de Smetu () (inženjeru pouzdanosti na ) za čitanje članka i deljenje korisnih informacija o tome kako funkcioniše federacija.
Izvor: habr.com
