Automātiska kanārijputnu izvietošana ar Flagger un Istio

CD tiek atzīts par uzņēmuma programmatūras praksi, un tas ir iedibināto CI principu dabiskas attīstības rezultāts. Tomēr CD joprojām ir diezgan reti sastopams, iespējams, pārvaldības sarežģītības un bailes no neveiksmīgas izvietošanas, kas ietekmē sistēmas pieejamību, dēļ.

Atzīmētājs ir atvērtā koda Kubernetes operators, kura mērķis ir novērst neskaidras attiecības. Tas automatizē Kanāriju izvietošanas veicināšanu, izmantojot Istio trafika nobīdi un Prometheus metriku, lai analizētu lietojumprogrammu darbību pārvaldītas izlaišanas laikā.

Tālāk ir sniegts soli pa solim ceļvedis, lai iestatītu un izmantotu atzīmētāju pakalpojumā Google Kubernetes Engine (GKE).

Kubernetes klastera iestatīšana

Vispirms izveidojiet GKE klasteru ar Istio papildinājumu (ja jums nav GCP konta, varat reģistrēties šeit - lai saņemtu bezmaksas kredītus).

Pierakstieties pakalpojumā Google Cloud, izveidojiet projektu un iespējojiet tā norēķinus. Instalējiet komandrindas utilītu gcloud un iestatiet savu projektu ar gcloud init.

Iestatiet noklusējuma projektu, aprēķina apgabalu un zonu (aizstāt PROJECT_ID jūsu projektam):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

Iespējojiet GKE pakalpojumu un izveidojiet kopu ar HPA un Istio papildinājumiem:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

Iepriekš minētā komanda izveidos noklusējuma mezglu kopu, kurā ietilpst divas virtuālās mašīnas n1-standard-2 (vCPU: 2, RAM 7,5 GB, disks: 30 GB). Ideālā gadījumā jums vajadzētu izolēt Istio komponentus no darba slodzēm, taču nav vienkārša veida, kā palaist Istio Pods speciālā mezglu pūlā. Istio manifesti tiek uzskatīti par tikai lasāmiem, un GKE atsauks visas izmaiņas, piemēram, saistīšanu ar mezglu vai atdalīšanu no poda.

Iestatiet akreditācijas datus kubectl:

gcloud container clusters get-credentials istio

Izveidojiet klastera administratora lomu saistīšanu:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

Instalējiet komandrindas rīku Stūre:

brew install kubernetes-helm

Homebrew 2.0 tagad ir pieejams arī Linux.

Izveidojiet pakalpojuma kontu un klastera lomu saistīšanu Tiller:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

Nosaukumvietā izvērsiet Tiller kube-system:

helm init --service-account tiller

Apsveriet iespēju izmantot SSL starp Helm un Tiller. Papildinformāciju par Helm instalācijas aizsardzību skatiet sadaļā docs.helm.sh

Apstipriniet iestatījumus:

kubectl -n istio-system get svc

Pēc dažām sekundēm GCP pakalpojumam ir jāpiešķir ārēja IP adrese istio-ingressgateway.

Istio ieejas vārtejas konfigurēšana

Izveidojiet statisku IP adresi ar nosaukumu istio-gatewayizmantojot Istio vārtejas IP adresi:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

Tagad jums ir nepieciešams interneta domēns un piekļuve jūsu DNS reģistratoram. Pievienojiet divus A ierakstus (aizstāt example.com uz jūsu domēnu):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

Pārbaudiet, vai DNS aizstājējzīme darbojas:

watch host test.istio.example.com

Izveidojiet vispārīgu Istio vārteju, lai nodrošinātu pakalpojumus ārpus pakalpojuma tīkla, izmantojot HTTP:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

Saglabājiet iepriekš minēto resursu kā public-gateway.yaml un pēc tam lietojiet to:

kubectl apply -f ./public-gateway.yaml

Neviena ražošanas sistēma nedrīkst nodrošināt pakalpojumus internetā bez SSL. Lai nodrošinātu Istio ieejas vārteju ar sertifikātu pārvaldnieku, CloudDNS un Let's Encrypt, lūdzu, izlasiet dokumentācija Atzīmētājs G.K.E.

Atzīmētāja uzstādīšana

GKE Istio papildinājums neietver Prometheus gadījumu, kas attīra Istio telemetrijas pakalpojumu. Tā kā atzīmētājs izmanto Istio HTTP metriku, lai veiktu kanāriju analīzi, jums ir jāizvieto šāda Prometheus konfigurācija, kas ir līdzīga tai, kas tiek piegādāta oficiālajā Istio Helm shēmā.

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

Pievienojiet atzīmētāja Helm repozitoriju:

helm repo add flagger [https://flagger.app](https://flagger.app/)

Izvērsiet Atzīmētājs līdz nosaukumvietai istio-systemiespējojot Slack paziņojumus:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

Jūs varat instalēt Flagger jebkurā nosaukumvietā, ja vien tas var sazināties ar pakalpojumu Istio Prometheus portā 9090.

Atzīmētājam ir Grafana informācijas panelis kanārijputnu analīzei. Instalējiet Grafana nosaukumvietā istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

Atklājiet Grafana, izmantojot atvērtu vārteju, izveidojot virtuālu pakalpojumu (aizstāt example.com uz jūsu domēnu):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

Saglabājiet iepriekš minēto resursu kā grafana-virtual-service.yaml un pēc tam lietojiet to:

kubectl apply -f ./grafana-virtual-service.yaml

Pārceļoties uz http://grafana.istio.example.com pārlūkprogrammā jums jānovirza uz Grafana pieteikšanās lapu.

Tīmekļa lietojumprogrammu izvietošana, izmantojot atzīmētāju

Atzīmētājs izvieto Kubernetes un pēc izvēles automātiski mērogo (HPA), pēc tam izveido objektu sēriju (Kubernetes izvietošana, ClusterIP pakalpojumi un Istio virtuālie pakalpojumi). Šie objekti pakļauj lietojumprogrammu pakalpojumu tīklam un kontrolē kanāriju analīzi un progresu.

Izveidojiet testa nosaukumvietu ar iespējotu Istio Sidecar injekciju:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

Izveidojiet izvietošanas un aplikācijas automātiskās mērogošanas rīku:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

Izvietojiet testa slodzes pakalpojumu, lai kanāriju analīzes laikā izveidotu trafiku:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

Izveidojiet pielāgotu kanārijputnu resursu (aizstāt example.com uz jūsu domēnu):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

Saglabājiet iepriekš minēto resursu kā podinfo-canary.yaml un pēc tam lietojiet to:

kubectl apply -f ./podinfo-canary.yaml

Ja iepriekš minētā analīze būs veiksmīga, tā darbosies piecas minūtes, pārbaudot HTTP metriku ik pēc pusminūtes. Varat noteikt minimālo laiku, kas nepieciešams, lai apstiprinātu un veicinātu kanārijputnu izvietošanu, izmantojot šādu formulu: interval * (maxWeight / stepWeight). Kanāriju CRD lauki ir dokumentēti šeit.

Pēc dažām sekundēm atzīmētājs izveidos kanāriju objektus:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

Atveriet pārlūkprogrammu un dodieties uz app.istio.example.com, jums vajadzētu redzēt versijas numuru demonstrācijas lietotnes.

Automātiska kanāriju analīze un veicināšana

Atzīmētājs ievieš vadības cilpu, kas pakāpeniski pārvieto datplūsmu uz Kanāriju, vienlaikus mērot galvenos veiktspējas rādītājus, piemēram, HTTP pieprasījuma panākumu līmeni, vidējo pieprasījuma ilgumu un aplikuma stāvokli. Pamatojoties uz KPI analīzi, kanārijputniņš tiek paaugstināts vai pārtraukts, un analīzes rezultāti tiek publicēti Slack.

Kanāriju izvietošana tiek aktivizēta, kad mainās kāds no šiem objektiem:

• Izvietot PodSpec (konteinera attēlu, komandu, portus, env utt.)
• ConfigMaps tiek montētas kā sējumi vai kartētas ar vides mainīgajiem
• Noslēpumi tiek uzstādīti kā sējumi vai pārveidoti par vides mainīgajiem

Atjauninot konteinera attēlu, palaist canary deploy:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

Atzīmētājs konstatē, ka izvietošanas versija ir mainījusies, un sāk tās parsēšanu:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

Analīzes laikā kanārijputniņu rezultātus var izsekot, izmantojot Grafana:

Lūdzu, ņemiet vērā: ja kanārijas analīzes laikā izvietošanai tiek piemērotas jaunas izmaiņas, atzīmētājs atsāks analīzes fāzi.

Izveidojiet visu jūsu klastera kanārijputnu sarakstu:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

Ja esat iespējojis Slack paziņojumus, jūs saņemsit šādus ziņojumus:

Automātiska atgriešana

Kanāriju analīzes laikā varat ģenerēt sintētiskas HTTP 500 kļūdas un lielu atbildes latentumu, lai noskaidrotu, vai atzīmētājs apturēs izvietošanu.

Izveidojiet testa bloku un veiciet tajā tālāk norādītās darbības.

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 kļūdu ģenerēšana:

watch curl http://podinfo-canary:9898/status/500

Aizkaves ģenerēšana:

watch curl http://podinfo-canary:9898/delay/1

Kad nesekmīgo pārbaužu skaits sasniedz slieksni, satiksme tiek novirzīta atpakaļ uz primāro kanālu, kanārijputniņš tiek mērogots līdz nullei un izvietošana tiek atzīmēta kā neizdevusies.

Kanāriju kļūdas un latentuma pieaugumi tiek reģistrēti kā Kubernetes notikumi, un atzīmētājs reģistrē JSON formātā:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

Ja esat iespējojis Slack paziņojumus, jūs saņemsit ziņojumu, kad tiks pārsniegts termiņš vai tiks sasniegts maksimālais nesekmīgo pārbaužu skaits analīzē:

Noslēgumā

Palaižot pakalpojumu tīklu, piemēram, Istio, papildus Kubernetes, tiks nodrošināta automātiska metrika, žurnāli un protokoli, taču darba slodzes izvietošana joprojām ir atkarīga no ārējiem rīkiem. Flagger vēlas to mainīt, pievienojot Istio iespējas progresīva piegāde.

Flagger ir saderīgs ar jebkuru Kubernetes CI/CD risinājumu, un kanārijputnu analīzi var viegli paplašināt, izmantojot tīmekļa aizķeres lai veiktu sistēmas integrācijas/pieņemšanas testus, slodzes testus vai citas pielāgotas pārbaudes. Tā kā atzīmētājs ir deklaratīvs un reaģē uz Kubernetes notikumiem, to var izmantot GitOps cauruļvados kopā ar Weave Flux vai DženkinsX. Ja izmantojat JenkinsX, varat instalēt Flagger ar jx papildinājumiem.

Atzīmētājs ir atbalstīts Weaveworks un nodrošina kanāriju izvietošanu Aust Mākoni. Projekts tiek testēts uz GKE, EKS un tukša metāla ar kubeadm.

Ja jums ir ieteikumi, kā uzlabot atzīmētāju, lūdzu, iesniedziet problēmu vai PR vietnē GitHub vietnē stefanprodāns/karogs. Ieguldījumi ir vairāk nekā apsveicami!

Paldies Rejs Tsangs.

Avots: www.habr.com