ការដាក់ពង្រាយ Canary ដោយស្វ័យប្រវត្តិជាមួយ Flagger និង Istio

ស៊ីឌីត្រូវបានទទួលស្គាល់ថាជាការអនុវត្តកម្មវិធីសហគ្រាស ហើយជាលទ្ធផលនៃការវិវត្តន៍ធម្មជាតិនៃគោលការណ៍ CI ដែលបានបង្កើតឡើង។ ទោះយ៉ាងណាក៏ដោយ ស៊ីឌីនៅតែកម្រណាស់ ប្រហែលជាដោយសារតែភាពស្មុគស្មាញនៃការគ្រប់គ្រង និងការភ័យខ្លាចនៃការដាក់ពង្រាយដែលបរាជ័យ ដែលប៉ះពាល់ដល់ភាពអាចរកបាននៃប្រព័ន្ធ។

ទង់ជាតិ គឺជាប្រតិបត្តិករ Kubernetes ប្រភពបើកចំហដែលមានគោលបំណងលុបបំបាត់ទំនាក់ទំនងដែលច្របូកច្របល់។ វាធ្វើឱ្យស្វ័យប្រវត្តិកម្មនៃការលើកកម្ពស់ការដាក់ពង្រាយ Canary ដោយប្រើអុហ្វសិតចរាចរណ៍ Istio និងម៉ែត្រ Prometheus ដើម្បីវិភាគឥរិយាបថកម្មវិធីកំឡុងពេលដំណើរការដែលបានគ្រប់គ្រង។

ខាងក្រោមនេះគឺជាការណែនាំជាជំហានៗក្នុងការដំឡើង និងប្រើប្រាស់ Flagger នៅលើ Google Kubernetes Engine (GKE)។

ការដំឡើងក្រុម Kubernetes

អ្នកចាប់ផ្តើមដោយបង្កើតចង្កោម GKE ជាមួយនឹងកម្មវិធីបន្ថែម Istio (ប្រសិនបើអ្នកមិនមានគណនី GCP អ្នកអាចចុះឈ្មោះបាន នៅទីនេះ - ដើម្បីទទួលបានឥណទានឥតគិតថ្លៃ) ។

ចូល Google Cloud បង្កើតគម្រោង និងបើកការចេញវិក្កយបត្រសម្រាប់វា។ ដំឡើងឧបករណ៍ប្រើប្រាស់បន្ទាត់ពាក្យបញ្ជា gcloud និងរៀបចំគម្រោងរបស់អ្នកជាមួយ gcloud init.

កំណត់គម្រោងលំនាំដើម តំបន់គណនា និងតំបន់ (ជំនួស PROJECT_ID សម្រាប់គម្រោងរបស់អ្នក)៖

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

បើកដំណើរការសេវាកម្ម GKE និងបង្កើតចង្កោមជាមួយកម្មវិធីបន្ថែម HPA និង Istio៖

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

ពាក្យបញ្ជាខាងលើនឹងបង្កើតក្រុមថ្នាំងលំនាំដើម រួមទាំង VMs ពីរ n1-standard-2 (vCPU: 2, RAM 7,5 GB, ថាស: 30 GB) ។ តាមឧត្ដមគតិ អ្នកគួរតែញែកសមាសធាតុ Istio ចេញពីបន្ទុកការងាររបស់អ្នក ប៉ុន្តែមិនមានវិធីងាយស្រួលក្នុងការដំណើរការ Istio Pods នៅក្នុងក្រុមថ្នាំងជាក់លាក់នោះទេ។ Istio manifests ត្រូវបានចាត់ទុកថាបានតែអាន ហើយ GKE នឹងមិនធ្វើវិញនូវការផ្លាស់ប្តូរណាមួយ ដូចជាការភ្ជាប់ទៅ node ឬការផ្ដាច់ចេញពី pod មួយ។

រៀបចំលិខិតសម្គាល់សម្រាប់ kubectl:

gcloud container clusters get-credentials istio

បង្កើតការចងតួនាទីអ្នកគ្រប់គ្រងចង្កោម៖

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

ដំឡើងឧបករណ៍បន្ទាត់ពាក្យបញ្ជា កាន់តំណែង:

brew install kubernetes-helm

Homebrew 2.0 ឥឡូវនេះក៏មានសម្រាប់ផងដែរ។ Linux.

បង្កើតគណនីសេវាកម្ម និងការចងតួនាទីជាក្រុមសម្រាប់ Tiller៖

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

ពង្រីក Tiller ក្នុង namespace kube-system:

helm init --service-account tiller

អ្នកគួរតែពិចារណាប្រើ SSL រវាង Helm និង Tiller ។ សម្រាប់ព័ត៌មានបន្ថែមអំពីការការពារការដំឡើងមួកសុវត្ថិភាពរបស់អ្នក សូមមើល docs.helm.sh

បញ្ជាក់ការកំណត់៖

kubectl -n istio-system get svc

បន្ទាប់ពីពីរបីវិនាទី GCP គួរតែកំណត់អាសយដ្ឋាន IP ខាងក្រៅសម្រាប់សេវាកម្ម istio-ingressgateway.

ការកំណត់រចនាសម្ព័ន្ធ Istio Ingress Gateway

បង្កើតអាសយដ្ឋាន IP ឋិតិវន្តជាមួយឈ្មោះមួយ។ istio-gatewayដោយប្រើអាសយដ្ឋាន IP នៃច្រកទ្វារ Istio:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

ឥឡូវនេះអ្នកត្រូវការដែនអ៊ីនធឺណេត និងចូលប្រើការចុះឈ្មោះ DNS របស់អ្នក។ បន្ថែមកំណត់ត្រា A ពីរ (ជំនួស example.com ទៅកាន់ដែនរបស់អ្នក)៖

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

ផ្ទៀងផ្ទាត់ថាអក្សរជំនួស DNS កំពុងដំណើរការ៖

watch host test.istio.example.com

បង្កើតច្រកផ្លូវ Istio ទូទៅដើម្បីផ្តល់សេវាកម្មនៅខាងក្រៅបណ្តាញសេវាតាមរយៈ HTTP៖

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

រក្សាទុកធនធានខាងលើជា public-gateway.yaml ហើយបន្ទាប់មកអនុវត្តវា៖

kubectl apply -f ./public-gateway.yaml

គ្មានប្រព័ន្ធផលិតកម្មគួរផ្តល់សេវានៅលើអ៊ីនធឺណិតដោយគ្មាន SSL ទេ។ ដើម្បីធានាបាននូវច្រកចេញចូល Istio ជាមួយ cert-manager, CloudDNS និង Let's Encrypt សូមអាន ឯកសារ ទង់ជាតិ G.K.E.

ការដំឡើងទង់

កម្មវិធីបន្ថែម GKE Istio មិនរួមបញ្ចូលឧទាហរណ៍ Prometheus ដែលសម្អាតសេវាតេឡេមេទ្រី Istio ទេ។ ដោយសារតែ Flagger ប្រើរង្វាស់ Istio HTTP ដើម្បីអនុវត្តការវិភាគ Canary អ្នកត្រូវដាក់ពង្រាយការកំណត់រចនាសម្ព័ន្ធ Prometheus ខាងក្រោម ស្រដៀងទៅនឹងអ្វីដែលភ្ជាប់មកជាមួយគ្រោងការណ៍ Istio Helm ផ្លូវការ។

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

បន្ថែមឃ្លាំង Flagger Helm៖

helm repo add flagger [https://flagger.app](https://flagger.app/)

ពង្រីកទង់ជាតិទៅចន្លោះឈ្មោះ istio-systemដោយបើកការជូនដំណឹង Slack៖

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

អ្នកអាចដំឡើង Flagger ក្នុងចន្លោះឈ្មោះណាមួយ ដរាបណាវាអាចទាក់ទងជាមួយសេវាកម្ម Istio Prometheus នៅលើច្រក 9090។

Flagger មានផ្ទាំងគ្រប់គ្រង Grafana សម្រាប់ការវិភាគ Canary ។ ដំឡើង Grafana ក្នុង namespace istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

លាតត្រដាង Grafana តាមច្រកបើកដោយបង្កើតសេវាកម្មនិម្មិត (ជំនួស example.com ទៅកាន់ដែនរបស់អ្នក)៖

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

រក្សាទុកធនធានខាងលើជា grafana-virtual-service.yaml ហើយបន្ទាប់មកអនុវត្តវា៖

kubectl apply -f ./grafana-virtual-service.yaml

នៅពេលផ្លាស់ទីទៅ http://grafana.istio.example.com នៅក្នុង browser អ្នកគួរតែត្រូវបានដឹកនាំទៅកាន់ទំព័រចូល Grafana ។

ការដាក់ឱ្យប្រើប្រាស់កម្មវិធីបណ្តាញជាមួយ Flagger

Flagger ដាក់ពង្រាយ Kubernetes និងកំណត់ជាជម្រើសដោយស្វ័យប្រវត្តិ (HPA) បន្ទាប់មកបង្កើតវត្ថុមួយចំនួន (ការដាក់ពង្រាយ Kubernetes សេវាកម្ម ClusterIP និងសេវាកម្មនិម្មិត Istio)។ វត្ថុទាំងនេះលាតត្រដាងកម្មវិធីទៅបណ្តាញសេវា និងគ្រប់គ្រងការវិភាគ និងវឌ្ឍនភាព។

បង្កើត​លំហ​ឈ្មោះ​សាកល្បង​ជាមួយ​នឹង​ការ​ចាក់ Istio Sidecar បាន​បើក៖

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

បង្កើត​ការ​ដាក់​ឱ្យ​ប្រើ​ប្រាស់ និង​ឧបករណ៍​ដក​មាត្រដ្ឋាន​ដោយ​ស្វ័យ​ប្រវត្តិ​ផតៈ

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

ដាក់ពង្រាយសេវាកម្មផ្ទុកសាកល្បង ដើម្បីបង្កើតចរាចរណ៍កំឡុងពេលការវិភាគ Canary៖

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

បង្កើតធនធាន Canary ផ្ទាល់ខ្លួន (ជំនួស example.com ទៅកាន់ដែនរបស់អ្នក)៖

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

រក្សាទុកធនធានខាងលើជា podinfo-canary.yaml ហើយបន្ទាប់មកអនុវត្តវា៖

kubectl apply -f ./podinfo-canary.yaml

ការវិភាគខាងលើ ប្រសិនបើជោគជ័យ នឹងដំណើរការរយៈពេលប្រាំនាទី ដោយពិនិត្យមើល HTTP metrics រៀងរាល់កន្លះនាទី។ អ្នកអាចកំណត់ពេលវេលាអប្បបរមាដែលត្រូវការដើម្បីធ្វើសុពលភាព និងលើកកម្ពស់ការដាក់ពង្រាយ Canary ដោយប្រើរូបមន្តខាងក្រោម៖ interval * (maxWeight / stepWeight). វាល Canary CRD ត្រូវបានចងក្រងជាឯកសារ នៅទីនេះ.

បន្ទាប់ពីពីរបីវិនាទី Flagger នឹងបង្កើតវត្ថុ Canary៖

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

បើកកម្មវិធីរុករកហើយចូលទៅកាន់ app.istio.example.comអ្នកគួរតែឃើញលេខកំណែ កម្មវិធីសាកល្បង.

ការវិភាគ និងផ្សព្វផ្សាយ Canary ដោយស្វ័យប្រវត្តិ

Flagger អនុវត្តរង្វិលជុំត្រួតពិនិត្យដែលផ្លាស់ទីបន្តិចម្តង ៗ ចរាចរទៅកាន់ Canary ខណៈពេលដែលវាស់ស្ទង់ការអនុវត្តសំខាន់ៗដូចជាអត្រាជោគជ័យសំណើ HTTP រយៈពេលស្នើសុំជាមធ្យម និងសុខភាពរបស់ pod ។ ដោយផ្អែកលើការវិភាគ KPI Canary ត្រូវបានផ្សព្វផ្សាយ ឬរំខាន ហើយលទ្ធផលនៃការវិភាគត្រូវបានបោះពុម្ពផ្សាយទៅ Slack ។

ការដាក់ពង្រាយ Canary ត្រូវបានបង្កឡើង នៅពេលដែលវត្ថុមួយក្នុងចំណោមវត្ថុខាងក្រោមផ្លាស់ប្តូរ៖

• ដាក់ពង្រាយ PodSpec (រូបភាពកុងតឺន័រ ពាក្យបញ្ជា ច្រក env ។ល។)
• ConfigMaps ត្រូវ​បាន​ម៉ោន​ជា​ភាគ ឬ​ត្រូវ​បាន​ផ្គូផ្គង​ទៅ​នឹង​អថេរ​បរិស្ថាន
• អាថ៌កំបាំងត្រូវបានម៉ោនជាភាគ ឬបំប្លែងទៅជាអថេរបរិស្ថាន

ដំណើរការ Canary deploy នៅពេលអាប់ដេតរូបភាពកុងតឺន័រ៖

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

Flagger រកឃើញថាកំណែដាក់ពង្រាយបានផ្លាស់ប្តូរ ហើយចាប់ផ្តើមញែកវា៖

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

ក្នុងអំឡុងពេលនៃការវិភាគ លទ្ធផល Canary អាចត្រូវបានតាមដានដោយប្រើ Grafana៖

សូមចំណាំថា ប្រសិនបើការផ្លាស់ប្តូរថ្មីត្រូវបានអនុវត្តចំពោះការដាក់ពង្រាយកំឡុងពេលការវិភាគ Canary នោះ Flagger នឹងចាប់ផ្តើមដំណាក់កាលវិភាគឡើងវិញ។

ធ្វើបញ្ជី Canaries ទាំងអស់នៅក្នុងចង្កោមរបស់អ្នក៖

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

ប្រសិនបើអ្នកបានបើកការជូនដំណឹង Slack អ្នកនឹងទទួលបានសារដូចខាងក្រោម៖

ការវិលត្រឡប់មកវិញដោយស្វ័យប្រវត្តិ

កំឡុងពេលការវិភាគ Canary អ្នកអាចបង្កើតកំហុស HTTP 500 សំយោគ និងការពន្យាពេលការឆ្លើយតបខ្ពស់ ដើម្បីមើលថាតើ Flagger នឹងបញ្ឈប់ការដាក់ឱ្យប្រើប្រាស់ដែរឬទេ។

បង្កើតប្រអប់សាកល្បង ហើយធ្វើដូចខាងក្រោមនៅក្នុងវា៖

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

ការបង្កើត HTTP 500 កំហុស៖

watch curl http://podinfo-canary:9898/status/500

ពន្យាពេលជំនាន់៖

watch curl http://podinfo-canary:9898/delay/1

នៅពេលដែលចំនួននៃការត្រួតពិនិត្យដែលបរាជ័យឈានដល់កម្រិតកំណត់ ចរាចរណ៍ត្រូវបានបញ្ជូនត្រឡប់ទៅប៉ុស្តិ៍ចម្បងវិញ Canary ត្រូវបានធ្វើមាត្រដ្ឋានទៅសូន្យ ហើយការដាក់ពង្រាយត្រូវបានសម្គាល់ថាបរាជ័យ។

កំហុស Canary និងការកើនឡើងនៃភាពយឺតយ៉ាវត្រូវបានកត់ត្រាជាព្រឹត្តិការណ៍ Kubernetes ហើយត្រូវបានកត់ត្រាដោយ Flagger ក្នុងទម្រង់ JSON៖

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

ប្រសិនបើអ្នកបានបើកការជូនដំណឹង Slack អ្នកនឹងទទួលបានសារមួយនៅពេលដែលហួសកំណត់ ឬចំនួនអតិបរមានៃការត្រួតពិនិត្យដែលបរាជ័យក្នុងការវិភាគត្រូវបានឈានដល់៖

នៅក្នុងសេចក្តីសន្និដ្ឋាន

ការដំណើរការបណ្តាញសេវាដូចជា Istio បន្ថែមលើ Kubernetes នឹងផ្តល់នូវការវាស់វែង កំណត់ហេតុ និងពិធីការដោយស្វ័យប្រវត្តិ ប៉ុន្តែការដាក់ពង្រាយបន្ទុកការងារនៅតែអាស្រ័យលើឧបករណ៍ខាងក្រៅ។ Flagger មានបំណងផ្លាស់ប្តូរវាដោយបន្ថែមសមត្ថភាព Istio ការបញ្ជូនបន្ត.

Flagger គឺត្រូវគ្នាជាមួយដំណោះស្រាយ Kubernetes CI/CD ណាមួយ ហើយការវិភាគ Canary អាចត្រូវបានពង្រីកយ៉ាងងាយស្រួលជាមួយ webhooks ដើម្បីអនុវត្តការរួមបញ្ចូលប្រព័ន្ធ/ការធ្វើតេស្តការទទួលយក ការធ្វើតេស្តផ្ទុក ឬការត្រួតពិនិត្យផ្ទាល់ខ្លួនផ្សេងទៀត។ ដោយសារ Flagger គឺជាការប្រកាស និងឆ្លើយតបទៅនឹងព្រឹត្តិការណ៍ Kubernetes វាអាចត្រូវបានប្រើនៅក្នុង GitOps pipelines រួមជាមួយនឹង Weave Flux ឬ ជេនគីន. ប្រសិនបើអ្នកកំពុងប្រើ JenkinsX អ្នកអាចដំឡើង Flagger ជាមួយ jx addons ។

ទង់ជាតិត្រូវបានគាំទ្រ ការងារត្បាញ និងផ្តល់នូវការដាក់ពង្រាយ Canary នៅក្នុង ត្បាញពពក. គម្រោងនេះកំពុងត្រូវបានសាកល្បងនៅលើ GKE, EKS និងដែកទទេជាមួយ kubeadm ។

ប្រសិនបើអ្នកមានការផ្ដល់យោបល់ដើម្បីកែលម្អ Flagger សូមបញ្ជូនបញ្ហា ឬ PR នៅលើ GitHub នៅ Stefanprodan / អ្នកបង្កើតទង់ជាតិ. ការចូលរួមចំណែកលើសពីការស្វាគមន៍!

ស្ទ្រីម រ៉ាយ តាំង.

ប្រភព: www.habr.com