Hur man kopplar samman Kubernetes-kluster i olika datacenter

Hur man kopplar samman Kubernetes-kluster i olika datacenter
VÀlkommen till serien med korta guider om Kubernetes. Detta Àr en regelbunden kolumn med de mest intressanta frÄgorna som vi fÄr online och pÄ vÄra utbildningar. Svarar expert pÄ Kubernetes.

Dagens expert Àr Daniele Polencic (Daniele Polencic). Daniele arbetar som instruktör och mjukvaruutvecklare pÄ Learnk8s.

Om du vill fÄ svar pÄ din frÄga i nÀsta inlÀgg, kontakta oss via e-post eller i Twitter: @learnk8s.

Missade du tidigare inlÀgg? Sök dem hÀr.

Hur kopplar man samman Kubernetes-kluster i olika datacenter?

Kortfattat: snart slÀpps Kubefed v2, och jag rekommenderar att lÀsa om Shipper och projektet multi-cluster-scheduler.

Ofta repliceras och distribueras infrastrukturen över olika regioner, sÀrskilt i kontrollerade miljöer.

Om en region blir otillgÀnglig dirigeras trafiken till en annan för att undvika störningar.

Med Kubernetes kan man anvÀnda en liknande strategi och fördela arbetsbelastningen över olika regioner.

Du kan ha ett eller flera kluster per team, region, miljö eller en kombination av dessa.

Dina kluster kan vara placerade i olika moln och i en lokal miljö.

Men hur planerar man infrastrukturen för en sÄdan geografisk spridning?
Ska man skapa ett stort kluster över flera molnmiljöer genom ett gemensamt nÀtverk?
Eller ska man skapa mÄnga smÄ kluster och hitta ett sÀtt att styra och synkronisera dem?

Ett styrande kluster

Att skapa ett kluster över ett gemensamt nÀtverk Àr inte sÄ enkelt.

TÀnk dig att du har en incident och förlorad anslutning mellan klustersegment.

Om du har en masterserver kan hÀlften av resurserna inte ta emot nya kommandon eftersom de inte kan kommunicera med mastern.

Och medan detta pÄgÄr har du gamla rutningstabeller (kube-proxy kan inte ladda ner nya) och inga ytterligare poddar (kubelet kan inte begÀra uppdateringar).

Vad som Àr Ànnu vÀrre Àr att om Kubernetes inte ser en nod markerar den den som förlorad och fördelar de saknade poddarna över existerande noder.

I slutÀndan har du dubbelt sÄ mÄnga poddar.

Om du sĂ€tter upp en masterserver för varje region, kommer det att uppstĂ„ problem med algoritmen för att nĂ„ konsensus i databasen etcd. (Obs. red. — Egentligen behöver inte etcd-databasen ligga pĂ„ masterservrar. Den kan köras pĂ„ en separat grupp servrar i samma region. Men dĂ„ fĂ„r man en enda felpunkt i klustret. Å andra sidan gĂ„r det snabbt.)

etcd anvÀnder raft-algoritmen, för att enas om vÀrdet innan det skrivs till disken.
Det vill sÀga, de flesta instanser mÄste nÄ konsensus innan tillstÄndet kan skrivas till etcd.

Om fördröjningen mellan etcd-instanserna ökar kraftigt, som i fallet med tre etcd-instanser i olika regioner, tar det lÄng tid att enas om vÀrdet och skriva det till disken.
Detta Äterspeglas Àven i Kubernetes-kontrollerna.

Kontrollchefen behöver mer tid för att fÄ veta om en förÀndring och skriva svaret i databasen.

Och eftersom det inte bara finns en kontrollant, utan flera, blir det en kedjereaktion, och hela klustret börjar arbeta mycket lÄngsamt..

etcd Àr sÄ kÀnsligt för fördröjning att den officiella dokumentationen rekommenderar att anvÀnda SSD:er istÀllet för vanliga hÄrddiskar..

Det finns för nÀrvarande inga bra exempel pÄ ett stort nÀtverk för ett kluster.

I huvudsak försöker utvecklarcommunityn och SIG-clustergruppen förstÄ hur man orkestrerar kluster precis som Kubernetes orkestrerar containrar.

Alternativ 1: federering av kluster med kubefed.

Det officiella svaret frÄn SIG-cluster Àr kubefed2, den nya versionen av den ursprungliga klienten och operatören för kube federation..

Första gÄngen man försökte hantera en samling kluster som en enhet var med verktyget kube federation.

Det började bra, men i slutÀndan blev kube federation aldrig populÀrt eftersom den inte stödde alla resurser.

Det stödde sammanslagna distributioner och tjÀnster, men till exempel inte StatefulSets.
Dessutom överfördes federationens konfiguration som anteckningar och var inte sÀrskilt flexibel.

TÀnk dig hur man kan beskriva uppdelningen av repliker för varje kluster i federation med hjÀlp av enbart anteckningar.

Det blev en fullstÀndig röra.

SIG-cluster gjorde ett stort arbete efter kubefed v1 och beslutade att angripa problemet frÄn en annan sida.

IstÀllet för anteckningar valde de att slÀppa en kontrollant som installeras pÄ klustren. Den kan konfigureras med hjÀlp av anpassade resursdefinitioner (Custom Resource Definition, CRD).

För varje resurs som kommer att ingÄ i federationen har du en anpassad definition CRD med tre delar:

  • standarddefinition av resursen, som en deployment;
  • med pseudoklassomkopplare placement, dĂ€r du definierar hur resursen kommer att distribueras i federationen;
  • med pseudoklassomkopplare override, dĂ€r vikt och parametrar frĂ„n placement kan Ă„sidosĂ€ttas för en specifik resurs.

HÀr Àr ett exempel pÄ en sammanslagen deployment med sektionerna placement och override.

apiVersion: types.federation.k8s.io/v1alpha1
kind: FederatedDeployment
metadata:
  name: test-deployment
  namespace: test-namespace
spec:
  template:
    metadata:
      labels:
        app: nginx
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
            - image: nginx
              name: nginx
  placement:
    clusterNames:
      - cluster2
      - cluster1
  overrides:
    - clusterName: cluster2
      clusterOverrides:
        - path: spec.replicas
          value: 5

Som du kan se Àr deployment distribuerad över tvÄ kluster: cluster1 och cluster2.

Det första klustret levererar tre repliker, medan det andra har vÀrdet 5 angivet.

Om du behöver mer kontroll över antalet repliker tillhandahÄller kubefed2 ett nytt objekt ReplicaSchedulingPreference dÀr repliker kan distribueras efter vikt:

apiVersion: scheduling.federation.k8s.io/v1alpha1
kind: ReplicaSchedulingPreference
metadata:
  name: test-deployment
  namespace: test-ns
spec:
  targetKind: FederatedDeployment
  totalReplicas: 9
  clusters:
    A:
      weight: 1
    B:
      weight: 2

Strukturen för CRD och API Àr fortfarande inte helt fÀrdiga, och aktivt arbete pÄgÄr i projektets officiella repository.

Följ kubefed2, men kom ihÄg att det inte Àr klart för produktionsmiljöer Ànnu.

LÀr dig mer om kubefed2 frÄn den officiella artikeln om kubefed2 i bloggen om Kubernetes och i det officiella projektrepositoryt för kubefed.

Alternativ 2: sammanslagning av kluster i stil med Booking.com

Utvecklarna av Booking.com har inte arbetat med kubefed v2, men har istÀllet kommit pÄ Shipper - en operator för deployment pÄ flera kluster, i flera regioner och i flera moln.

Shipper det liknar kubefed2 pÄ nÄgot sÀtt.

BÄda verktygen möjliggör konfiguration av distributionsstrategi pÄ flera kluster (vilka kluster som anvÀnds och hur mÄnga repliker de har).

Men Shippers uppgift Àr att minska risken för fel vid deployment.

I Shipper kan en serie steg definieras som beskriver fördelningen av repliker mellan den tidigare och nuvarande deploymenten och mÀngden inkommande trafik.

NÀr du skickar en resurs till ett kluster, rullar Shipper-kontrollern stegvis ut denna Àndring över alla sammanslagna kluster.

Dessutom Àr Shipper mycket begrÀnsad.

Till exempel, den accepterar Helm-diagram som indata. och stöder inte vaniljresurser.
I stora drag fungerar Shipper pÄ följande sÀtt.

IstÀllet för standardleveransen mÄste du skapa en applikationsresurs som inkluderar en Helm-diagram:

apiVersion: shipper.booking.com/v1alpha1
kind: Application
metadata:
  name: super-server
spec:
  revisionHistoryLimit: 3
  template:
    chart:
      name: nginx
      repoUrl: https://storage.googleapis.com/shipper-demo
      version: 0.0.1
    clusterRequirements:
      regions:
        - name: local
    strategy:
      steps:
        - capacity:
            contender: 1
            incumbent: 100
          name: staging
          traffic:
            contender: 0
            incumbent: 100
        - capacity:
            contender: 100
            incumbent: 0
          name: full on
          traffic:
            contender: 100
            incumbent: 0
    values:
      replicaCount: 3

Shipper Àr ett bra alternativ för att hantera flera kluster, men dess nÀra koppling till Helm stÀller bara till besvÀr.

TÀnk om vi alla gÄr över frÄn Helm till kustomize eller kapitan?

LĂ€s mer om Shipper och dess filosofi i detta officiella pressmeddelande.

Om du vill grÀva i koden, gÄ till det officiella projektarkivet.

Alternativ 3: "magisk" sammanslagning av kluster

Kubefed v2 och Shipper fungerar med federation av kluster, vilket ger kluster nya resurser via anvÀndardefinierad resurser.

Men tÀnk om du inte vill skriva om alla leveranser, StatefulSets, DaemonSets osv. för att slÄ samman?

Hur man inkluderar ett befintligt kluster i federationen utan att Àndra YAML?

multi-cluster-scheduler Àr ett projekt frÄn Admirality, som hanterar arbetsbelastningar för schemalÀggning i kluster.

Men istÀllet för att hitta pÄ ett nytt sÀtt att interagera med klustret och linda resurser i anvÀndardefinitioner, integreras multi-cluster-scheduler i den standardiserade livscykeln för Kubernetes och fÄngar upp alla anrop som skapar pods.

Varje skapad pod ersÀtts omedelbart med en plats.

multi-cluster-scheduler anvÀnder webhooks för att modifiera Ätkomsten, för att fÄnga upp anropet och skapa en inaktiv pod-plats.

Den ursprungliga podden gÄr igenom ytterligare en schemalÀggningscykel, dÀr beslutet om placering fattas efter att hela federationen har konsulterats.

Slutligen levereras podden till det mÄlklustret.

Resultatet blir en överflödig pod som inte gör nÄgot, bara tar upp plats.

Fördelen Àr att du inte behövde skriva nya resurser för att slÄ samman leveranser.

Varje resurs som skapar en pod Àr automatiskt redo för sammanslagning.

Det Àr intressant, för plötsligt har ni leveranser spridda över flera regioner, utan att ni ens mÀrkte det. Men det Àr ganska riskabelt, eftersom allt hÀr bygger pÄ magi.

Men om Shipper försöker, i huvudsak, att mildra följderna av leveranser, sÄ utför multi-cluster-scheduler mer allmÀnna uppgifter och kanske passar bÀttre för batchuppgifter.

Den har inte en avancerad mekanism för gradvis leverans.

Mer om multi-cluster-scheduler kan du lÀsa pÄ den officiella repository-sidan.

Om du vill lĂ€sa om multi-cluster-scheduler i praktiken, har Admiralty en intressant anvĂ€ndningsfall med Argo – arbetsflöden, hĂ€ndelser, CI och CD i Kubernetes.

Andra verktyg och lösningar

Att koppla ihop flera kluster och hantera dem Àr en svÄr uppgift, det finns ingen universell lösning.

Om du vill studera detta Àmne mer i detalj, hÀr Àr nÄgra resurser:

Det var allt för idag.

Jag försökte att inte skriva för mycket, men ÀndÄ blev artikeln enligt min Äsikt ganska lÄng. De andra funktionerna i unRAID Àr enligt min Äsikt ganska enkla att konfigurera, sÀrskilt eftersom allt stÀlls in med mus.

Om du vet hur man effektivt kopplar ihop flera kluster, berÀtta för oss..

Vi lÀgger till din metod till lÀnkarna.

Ett stort tack till Chris Nesbitt-Smith (Chris Nesbitt-Smith) och Vincent De Smet (Vincent De Smet) (pÄlitlighetsingenjör pÄ swatmobile.io) för att ni lÀste artikeln och delade vÀrdefull information om hur federation fungerar.

KĂ€lla: habr.com

Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar đŸ”„ Köp pĂ„litlig webbhotell med DDoS-skydd, VPS VDS-servrar | ProHoster