Kako povezati Kubernetes klastere u različitim podatkovnim centrima

Kako povezati Kubernetes klastere u različitim podatkovnim centrima
Dobrodošli u seriju kratkih vodiča o Kubernetesu. Ovo je redovni kolumn s najzanimljivijim pitanjima koja dobijamo online i na našim treninzima. Odgovara stručnjak za Kubernetes.

Današnji stručnjak je Daniele Polencic (Daniele Polencic). Daniele je instruktor i programer u Learnk8s.

Ako želite odgovor na svoje pitanje u sledećem postu, kontaktirajte nas putem e-pošte ili na Twitteru: @learnk8s.

Da li ste propustili prethodne postove? Potražite ih ovde.

Kako povezati Kubernetes klastere u različitim podatkovnim centrima?

Ukratko: uskoro izlazi Kubefed v2, a preporučujem i da pročitate o Shipper i projekat multi-cluster-scheduler.

Prilično često se infrastruktura replicira i raspoređuje po različitim regionima, posebno u kontrolisanim okruženjima.

Ako jedan region nije dostupan, saobraćaj se preusmerava na drugi kako bi se izbegli prekidi.

Sa Kubernetesom možete koristiti sličnu strategiju i raspoređivati radne opterećenja po različitim regionima.

Možete imati jedan ili više klastera po timu, regionu, okruženju ili kombinaciji ovih elemenata.

Vaši klasteri mogu biti smešteni u različitim oblacima i lokalnom okruženju.

Ali kako planirati infrastrukturu za takvu geografsku disperziju?
Treba da kreirate jedan veliki klaster koji se proteže preko više oblaka putem jedne mreže?
Ili da imate mnogo malih klastera i pronađete način da ih kontrolišete i sinhronizujete?

Jedan upravljački klaster

Kreirati jedan klaster putem jedne mreže nije tako jednostavno.

Zamislite, imate havariju, izgubljena je povezanost između segmenata klastera.

Ako imate jedan master server, polovina resursa neće moći da dobije nove komande jer se neće moći povezati sa masterom.

A pri tome imate stare tabele rutiranja (kube-proxy ne može da učita nove) i nijedne dodatne pod-ove (kubelet ne može da zahteva ažuriranja).

Što je još gore, ako Kubernetes ne vidi čvor, označava ga kao izgubljenog i raspoređuje nedostajuće pod-ove na postojeće čvore.

Na kraju imate dvostruko više pod-ova.

Ako napravite po jedan master server za svaku oblast, doći će do problema sa algoritmom postizanja konsenzusa u bazi podataka etcd. (napomena urednika — U stvarnosti, etcd baza podataka ne mora nužno biti na master serverima. Može se pokrenuti na odvojenoj grupi servera u jednom regionu. Međutim, to će rezultirati tačkom kvara klastera. Ali je brža.)

etcd koristi raft algoritam, da postigne saglasnost pre nego što upiše vrednost na disk.
Drugim rečima, većina instanci mora postići saglasnost pre nego što se stanje može zabeležiti u etcd.

Ako se latencija između instanci etcd naglo poveća, kao u slučaju sa tri instance etcd u različitim regionima, potrebno je mnogo vremena da se postigne saglasnost i zabeleži vrednost na disk.
To se odražava i na Kubernetes kontrolerima.

Kontroleru je potrebno više vremena da sazna o promeni i zabeleži odgovor u bazu podataka.

A pošto nije samo jedan kontroler, već više njih, dolazimo do lančane reakcije, i čitav klaster počinje raditi veoma sporo..

etcd je toliko osetljiv na latenciju da u zvaničnoj dokumentaciji se preporučuje korišćenje SSD umesto običnih hard diskova..

Trenutno ne postoje dobri primeri velike mreže za jedan klaster.

Uglavnom, zajednica programera i grupa SIG-cluster pokušavaju da shvate kako orkestrirati klastere kao što Kubernetes orkestrira kontejnere.

Opcija 1: federacija klastera sa kubefed

Zvaničan odgovor od SIG-cluster-a je kubefed2, nova verzija klijenta i operatora kube federacije..

Prvi put su pokušali upravljati kolekcijom klastera kao jednom jedinicom pomoću alata kube federacija.

Početak je bio dobar, ali na kraju kube federacija nije postala popularna, jer nije podržavala sve resurse.

Podržavala je zajedničke isporuke i servise, ali na primer, nije podržavala StatefulSets.
A takođe, konfiguracija federacije se prosleđivala u obliku anotacija i nije se odlikovala fleksibilnošću.

Zamislite kako bi mogli opisati podelu replika za svaki klaster u federaciji koristeći samo anotacije.

Izašlo je potpuno zbrkan.

SIG-cluster je uradio veliki posao nakon kubefed v1 i odlučio je pristupiti problemu iz drugog ugla.

Umesto anotacija, odlučili su da izdaju kontroler koji se instalira na klasterima. Moguće ga je konfigurisati pomoću korisničkih definicija resursa (Custom Resource Definition, CRD).

Za svaku resursu koja će biti deo federacije, imate prilagođenu definiciju CRD koja se sastoji od tri dela:

  • standardna definicija resursa, kao što je deploy;
  • odjeljak placement, gde definišete kako će se resurs rasporediti u federaciji;
  • odjeljak override, gde se za određeni resurs mogu prepisati težina i parametri iz placementa.

Evo primera objedinjene isporuke sa delovima placement i override.

apiVersion: types.federation.k8s.io/v1alpha1
kind: FederatedDeployment
metadata:
  name: test-deployment
  namespace: test-namespace
spec:
  template:
    metadata:
      labels:
        app: nginx
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
            - image: nginx
              name: nginx
  placement:
    clusterNames:
      - cluster2
      - cluster1
  overrides:
    - clusterName: cluster2
      clusterOverrides:
        - path: spec.replicas
          value: 5

Kao što možete videti, isporuka je raspoređena na dva klastera: cluster1 i cluster2.

Prvi klaster isporučuje tri replike, dok je za drugi navedena vrednost 5.

Ako vam je potrebna veća kontrola nad brojem replikacija, kubefed2 pruža novi objekat ReplicaSchedulingPreference, gde se replike mogu raspoređivati prema težini:

apiVersion: scheduling.federation.k8s.io/v1alpha1
kind: ReplicaSchedulingPreference
metadata:
  name: test-deployment
  namespace: test-ns
spec:
  targetKind: FederatedDeployment
  totalReplicas: 9
  clusters:
    A:
      weight: 1
    B:
      weight: 2

Struktura CRD i API još uvek nisu potpuno spremni, a u zvaničnom repozitorijumu projekta se aktivno radi.

Pratite kubefed2, ali imajte na umu da za radnu sredinu još uvek nije pogodna.

Saznajte više o kubefed2 iz zvaničnog članka o kubefed2 u blogu o Kubernetes i u zvaničnom repozitorijumu projekta kubefed.

Opcija 2: objedinjavanje klastera u stilu Booking.com

Razvijeteji Booking.com nisu se bavili kubefed v2, ali su smislili Shipper — operator za isporuku na više klastera, u više regiona i u više oblaka.

Shipper nešto slično kubefed2.

Oba alata omogućuju podešavanje strategije implementacije na više klastera (koji se klasteri koriste i koliko imaju replikacija).

Ali zadatak Shippera je smanjiti rizik od grešaka pri isporuci.

U Shipperu možete definisati niz koraka koji opisuju raspodelu replikacija između prethodnog i trenutnog deploya i obima dolaznog saobraćaja.

Kada šaljete resurs u klaster, kontroler Shipper postepeno implementira ovu promenu na svim objedinjеним klasterima.

A takođe, Shipper je vrlo ograničen.

Na primer, on prihvata Helm-čarate kao ulazne podatke. i ne podržava vanilla resurse.
U suštini, Shipper funkcioniše na sledeći način.

Umesto standardne isporuke, potrebno je kreirati resurs aplikacije koji uključuje Helm chart:

apiVersion: shipper.booking.com/v1alpha1
kind: Application
metadata:
  name: super-server
spec:
  revisionHistoryLimit: 3
  template:
    chart:
      name: nginx
      repoUrl: https://storage.googleapis.com/shipper-demo
      version: 0.0.1
    clusterRequirements:
      regions:
        - name: local
    strategy:
      steps:
        - capacity:
            contender: 1
            incumbent: 100
          name: staging
          traffic:
            contender: 0
            incumbent: 100
        - capacity:
            contender: 100
            incumbent: 0
          name: full on
          traffic:
            contender: 100
            incumbent: 0
    values:
      replicaCount: 3

Shipper je dobar izbor za upravljanje više klastera, ali njegova tesna povezanost sa Helm-om to samo otežava.

A šta ako svi pređemo sa Helm-a na kustomize ili kapitan?

Saznajte više o Shipper-u i njegovoj filozofiji u ovom zvaničnom saopštenju za medije.

Ako želite da se upustite u kod, posetite zvanični repozitorij projekta.

Opcija 3: „magijski“ spoj klastera

Kubefed v2 i Shipper rade sa federacijom klastera, pružajući klasterima nove resurse putem korisnički definisanih resursa.

Ali možda ne želite da prepisujete sve isporuke, StatefulSets, DaemonSets i sl. za spajanje?

Kako uključiti postojeći klaster u federaciju, bez menjanja YAML-a?

multi-cluster-scheduler je projekat Admirality, koji se bavi opterećenjima raspoređivanja u klasterima.

Ali umesto da izmišlja novi način interakcije sa klasterom i obavija resurse u korisničke definicije, multi-cluster-scheduler se integriše u standardni životni ciklus Kubernetes-a i presreće sve pozive koji kreiraju podove.

Svaki kreirani pod odmah se zamenjuje prazninom.

multi-cluster-scheduler koristi web-hooks za modifikaciju pristupa, kako bi presreo poziv i stvorio neaktivni pod-prazninu.

Izvorni pod prolazi kroz još jedan ciklus raspoređivanja, gde, nakon upitne federacije, donosi se odluka o smeštaju.

Na kraju, pod se dostavlja u ciljni klaster.

Kao rezultat, imate dodatni pod koji ništa ne radi, samo zauzima prostor.

Prednost je u tome što niste morali pisati nove resurse za spajanje isporuka.

Svaki resurs koji stvara pod automatski je spreman za spajanje.

To je zanimljivo, jer odjednom dobijate isporuke raspoređene po nekoliko regija, a niste ni primetili. Ipak, to je prilično rizično, jer se sve ovde oslanja na magiju.

Ali ako Shipper nastoji pretežno da ublaži posledice isporuka, multi-cluster-scheduler preuzima općenitije zadatke i verovatno je bolje prilagođen za paketa zadatke.

Nema naprednog mehanizma postepenih isporuka.

Više o multi-cluster-scheduleru možete saznati na stranici zvaničnog repozitorijuma..

Ako želite čitati o multi-cluster-scheduleru u akciji, Admiralty ima interesantan slučaj primene sa Argom — radnim procesima, događanjima, CI i CD Kubernetes.

Ostali alati i rešenja

Povezivanje više klastera i upravljanje njima je složen zadatak, sveobuhvatno rešenje ne postoji.

Ako želite detaljnije istražiti ovu temu, evo nekoliko resursa:

To je sve za danas.

Hvala što ste pročitali do kraja!

Ako znate kako efikasnije povezati nekoliko klastera, javite nam..

Dodajemo vaš metod k linkovima.

Posebna zahvalnost Krisu Nesbittu-Smitu (Chris Nesbitt-Smith) i Vincentu de Smetu (Vincent De Smet) (inženjeru pouzdanosti na swatmobile.io) za čitanje članka i deljenje korisnih informacija o tome kako funkcioniše federacija.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster