🥇 फ्लॅगर आणि Istio सह स्वयंचलित कॅनरी उपयोजन

सीडी ही एंटरप्राइझ सॉफ्टवेअर प्रॅक्टिस म्हणून ओळखली जाते आणि स्थापित सीआय तत्त्वांची नैसर्गिक उत्क्रांती आहे. तथापि, सीडी अजूनही दुर्मिळ आहे, कदाचित व्यवस्थापनाच्या जटिलतेमुळे आणि सिस्टम उपलब्धतेवर परिणाम करणाऱ्या अयशस्वी तैनातीच्या भीतीमुळे.

ध्वजांकित एक ओपन सोर्स Kubernetes ऑपरेटर आहे ज्याचा उद्देश गोंधळात टाकणारे संबंध दूर करणे आहे. हे व्यवस्थापित रोलआउट दरम्यान ऍप्लिकेशनच्या वर्तनाचे विश्लेषण करण्यासाठी Istio ट्रॅफिक ऑफसेट आणि प्रोमिथियस मेट्रिक्स वापरून कॅनरी उपयोजनांची जाहिरात स्वयंचलित करते.

खाली Google Kubernetes Engine (GKE) वर फ्लॅगर सेट करण्यासाठी आणि वापरण्यासाठी चरण-दर-चरण मार्गदर्शक आहे.

Kubernetes क्लस्टर सेट करत आहे

तुम्ही Istio अॅड-ऑनसह GKE क्लस्टर तयार करून सुरुवात करता (जर तुमच्याकडे GCP खाते नसेल, तर तुम्ही साइन अप करू शकता. येथे - विनामूल्य क्रेडिट्स प्राप्त करण्यासाठी).

Google Cloud मध्ये साइन इन करा, एक प्रकल्प तयार करा आणि त्यासाठी बिलिंग सक्षम करा. कमांड लाइन युटिलिटी स्थापित करा gCloud आणि यासह आपला प्रकल्प कॉन्फिगर करा gcloud init.

डीफॉल्ट प्रकल्प, गणना क्षेत्र आणि झोन सेट करा (बदला PROJECT_ID तुमच्या प्रकल्पासाठी):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

GKE सेवा सक्षम करा आणि HPA आणि Istio अॅड-ऑनसह क्लस्टर तयार करा:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

वरील आदेश दोन VM चा समावेश असलेला डीफॉल्ट नोड पूल तयार करेल n1-standard-2 (vCPU: 2, RAM 7,5 GB, डिस्क: 30 GB). आदर्शपणे, Istio घटक त्यांच्या वर्कलोड्सपासून वेगळे केले पाहिजेत, परंतु समर्पित नोड पूलवर Istio पॉड्स चालवण्याचा कोणताही सोपा मार्ग नाही. Istio मॅनिफेस्ट केवळ-वाचनीय मानले जातात आणि GKE नोडला बंधनकारक किंवा पॉडमधून वेगळे करणे यासारखे कोणतेही बदल परत करेल.

साठी क्रेडेन्शियल्स सेट करा kubectl:

gcloud container clusters get-credentials istio

क्लस्टर प्रशासक भूमिका बंधनकारक तयार करा:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

कमांड लाइन टूल स्थापित करा प्रमुखपदी:

brew install kubernetes-helm

Homebrew 2.0 आता यासाठी देखील उपलब्ध आहे linux.

टिलरसाठी सेवा खाते आणि क्लस्टर रोल बंधनकारक तयार करा:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

नावाच्या जागेत टिलर विस्तृत करा kube-system:

helm init --service-account tiller

तुम्ही हेल्म आणि टिलर दरम्यान SSL वापरण्याचा विचार केला पाहिजे. तुमच्या हेल्म इंस्टॉलेशनचे संरक्षण करण्याबद्दल अधिक माहितीसाठी, पहा docs.helm.sh

सेटिंग्जची पुष्टी करा:

kubectl -n istio-system get svc

काही सेकंदांनंतर, GCP ने सेवेला बाह्य IP पत्ता नियुक्त केला पाहिजे istio-ingressgateway.

Istio Ingress गेटवे सेट करणे

नावासह एक स्थिर IP पत्ता तयार करा istio-gatewayIstio गेटवे IP पत्ता वापरून:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

आता तुम्हाला इंटरनेट डोमेन आणि तुमच्या DNS रजिस्ट्रारमध्ये प्रवेश आवश्यक आहे. दोन ए रेकॉर्ड जोडा (बदला example.com तुमच्या डोमेनवर):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

DNS वाइल्डकार्ड कार्यरत असल्याचे सत्यापित करा:

watch host test.istio.example.com

HTTP वर सेवा जाळीच्या बाहेर सेवा प्रदान करण्यासाठी एक सामान्य Istio गेटवे तयार करा:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

वरील स्त्रोत public-gateway.yaml म्हणून सेव्ह करा आणि नंतर ते लागू करा:

kubectl apply -f ./public-gateway.yaml

कोणत्याही उत्पादन प्रणालीने SSL शिवाय इंटरनेटवर सेवा देऊ नये. प्रमाणपत्र-व्यवस्थापक, क्लाउडडीएनएस आणि लेट्स एनक्रिप्टसह तुमचा Istio प्रवेश गेटवे सुरक्षित करण्यासाठी, कृपया वाचा दस्तऐवजीकरण ध्वजांकित G.K.E.

फ्लॅगर स्थापना

GKE Istio ऍड-ऑन मध्ये Prometheus उदाहरण समाविष्ट नाही जे Istio टेलिमेट्री सेवा साफ करते. फ्लॅगर कॅनरी विश्लेषण करण्यासाठी Istio HTTP मेट्रिक्स वापरत असल्याने, तुम्हाला खालील Prometheus कॉन्फिगरेशन तैनात करणे आवश्यक आहे, जे अधिकृत Istio Helm स्कीमासह येते.

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

फ्लॅगर हेल्म रेपॉजिटरी जोडा:

helm repo add flagger [https://flagger.app](https://flagger.app/)

फ्लॅगरला नेमस्पेसमध्ये विस्तृत करा istio-systemस्लॅक सूचना सक्षम करून:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

जोपर्यंत तो पोर्ट 9090 वरील Istio Prometheus सेवेशी संवाद साधू शकतो तोपर्यंत तुम्ही फ्लॅगर कोणत्याही नेमस्पेसमध्ये स्थापित करू शकता.

फ्लॅगरकडे कॅनरी विश्लेषणासाठी ग्राफना डॅशबोर्ड आहे. नेमस्पेसमध्ये ग्राफना स्थापित करा istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

व्हर्च्युअल सेवा तयार करून ओपन गेटवेद्वारे ग्राफाना उघड करा (बदला example.com तुमच्या डोमेनवर):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

वरील संसाधन grafana-virtual-service.yaml म्हणून जतन करा आणि नंतर ते लागू करा:

kubectl apply -f ./grafana-virtual-service.yaml

जात असताना http://grafana.istio.example.com तुमच्या ब्राउझरने तुम्हाला Grafana लॉगिन पृष्ठावर पुनर्निर्देशित केले पाहिजे.

फ्लॅगरसह वेब अनुप्रयोग तैनात करणे

फ्लॅगर कुबर्नेट्स तैनात करतो आणि आवश्यक असल्यास, क्षैतिज ऑटोस्केलिंग (HPA), नंतर ऑब्जेक्ट्सची मालिका तयार करतो (कुबर्नेट्स उपयोजन, क्लस्टरआयपी सेवा आणि Istio आभासी सेवा). हे ऑब्जेक्ट्स सर्व्हिस मेशमध्ये अनुप्रयोग उघड करतात आणि कॅनरी विश्लेषण आणि जाहिरात व्यवस्थापित करतात.

Istio Sidecar अंमलबजावणी सक्षम करून चाचणी नेमस्पेस तयार करा:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

पॉडसाठी उपयोजन आणि स्वयंचलित क्षैतिज स्केलिंग साधन तयार करा:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

कॅनरी विश्लेषणादरम्यान रहदारी निर्माण करण्यासाठी लोड चाचणी सेवा तैनात करा:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

सानुकूल कॅनरी संसाधन तयार करा (बदला example.com तुमच्या डोमेनवर):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

वरील संसाधन podinfo-canary.yaml म्हणून जतन करा आणि नंतर ते लागू करा:

kubectl apply -f ./podinfo-canary.yaml

वरील विश्लेषण, यशस्वी झाल्यास, दर अर्ध्या मिनिटाला HTTP मेट्रिक्स तपासत, पाच मिनिटे चालेल. तुम्ही खालील सूत्र वापरून कॅनरी तैनातीची चाचणी आणि प्रचार करण्यासाठी लागणारा किमान वेळ ठरवू शकता: interval * (maxWeight / stepWeight). कॅनरी CRD फील्ड दस्तऐवजीकरण आहेत येथे.

काही सेकंदांनंतर, फ्लॅगर कॅनरी वस्तू तयार करेल:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

तुमचा ब्राउझर उघडा आणि वर जा app.istio.example.com, तुम्ही आवृत्ती क्रमांक पहावा डेमो अनुप्रयोग.

स्वयंचलित कॅनरी विश्लेषण आणि जाहिरात

फ्लॅगर एक कंट्रोल लूप लागू करतो जे HTTP विनंती यश दर, सरासरी विनंती कालावधी आणि पॉड हेल्थ यासारखे प्रमुख कार्यप्रदर्शन निर्देशक मोजताना हळूहळू कॅनरीकडे रहदारी हलवते. KPI विश्लेषणावर आधारित, कॅनरीला प्रोत्साहन दिले जाते किंवा संपुष्टात आणले जाते आणि विश्लेषणाचे परिणाम स्लॅकमध्ये प्रकाशित केले जातात.

खालीलपैकी एखादी वस्तू बदलते तेव्हा कॅनरी उपयोजन ट्रिगर केले जाते:

पॉडस्पेक तैनात करा (कंटेनर इमेज, कमांड, पोर्ट्स, एनव्ही, इ.)
कॉन्फिगमॅप्स व्हॉल्यूम म्हणून माउंट केले जातात किंवा पर्यावरण व्हेरिएबल्समध्ये रूपांतरित केले जातात
सिक्रेट्स व्हॉल्यूम म्हणून माउंट केले जातात किंवा पर्यावरण व्हेरिएबल्समध्ये रूपांतरित केले जातात

कंटेनर इमेज अपडेट करताना कॅनरी डिप्लॉयमेंट चालवा:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

फ्लॅगरला डिप्लॉयमेंट आवृत्ती बदलल्याचे आढळून येते आणि त्याचे विश्लेषण करणे सुरू होते:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

विश्लेषणादरम्यान, Grafana वापरून कॅनरी परिणामांचे परीक्षण केले जाऊ शकते:

कृपया लक्षात ठेवा: कॅनरी विश्लेषणादरम्यान उपयोजनामध्ये नवीन बदल लागू केल्यास, फ्लॅगर विश्लेषणाचा टप्पा पुन्हा सुरू करेल.

तुमच्या क्लस्टरमधील सर्व कॅनरींची यादी बनवा:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

तुम्ही स्लॅक सूचना सक्षम केल्या असल्यास, तुम्हाला खालील संदेश प्राप्त होतील:

स्वयंचलित रोलबॅक

कॅनरी विश्लेषणादरम्यान, फ्लॅगर उपयोजन थांबवेल की नाही हे तपासण्यासाठी तुम्ही कृत्रिम HTTP 500 त्रुटी आणि उच्च प्रतिसाद विलंब जनरेट करू शकता.

चाचणी पॉड तयार करा आणि त्यामध्ये पुढील गोष्टी करा:

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 त्रुटी निर्माण करत आहे:

watch curl http://podinfo-canary:9898/status/500

विलंब निर्मिती:

watch curl http://podinfo-canary:9898/delay/1

जेव्हा अयशस्वी चेकची संख्या उंबरठ्यावर पोहोचते, तेव्हा वाहतूक प्राथमिक चॅनेलवर परत केली जाते, कॅनरी शून्यावर मोजली जाते आणि उपयोजन अयशस्वी म्हणून चिन्हांकित केले जाते.

कॅनरी एरर आणि लेटन्सी स्पाइक कुबरनेट इव्हेंट म्हणून लॉग केले जातात आणि फ्लॅगरद्वारे JSON फॉरमॅटमध्ये रेकॉर्ड केले जातात:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

तुम्ही स्लॅक सूचना सक्षम केल्या असल्यास, विश्लेषणामध्ये अयशस्वी पुनरावलोकनांची कमाल संख्या पूर्ण करण्याची किंवा पोहोचण्याची अंतिम मुदत ओलांडल्यावर तुम्हाला संदेश प्राप्त होईल:

शेवटी

Kubernetes च्या शीर्षस्थानी Istio सारखी सेवा जाळी चालवल्याने स्वयंचलित मेट्रिक्स, नोंदी आणि नोंदी मिळतील, परंतु कार्यभार उपयोजित करणे अद्याप बाह्य साधनांवर अवलंबून आहे. Istio क्षमता जोडून हे बदलण्याचे फ्लॅगरचे उद्दिष्ट आहे प्रगतीशील वितरण.

फ्लॅगर कुबर्नेट्ससाठी कोणत्याही सीआय/सीडी सोल्यूशनशी सुसंगत आहे आणि कॅनरी विश्लेषण सहजपणे विस्तारित केले जाऊ शकते वेबहुक सिस्टम इंटिग्रेशन/स्वीकृती चाचण्या, लोड चाचण्या किंवा इतर कोणत्याही सानुकूल चाचण्या करण्यासाठी. कारण फ्लॅगर घोषणात्मक आहे आणि कुबर्नेट्स इव्हेंट्सना प्रतिसाद देतो, ते GitOps पाइपलाइनसह वापरले जाऊ शकते विणणे फ्लक्स किंवा जेनकिन्सएक्स. तुम्ही JenkinsX वापरत असल्यास, तुम्ही jx अॅड-ऑनसह Flagger इंस्टॉल करू शकता.

फ्लॅगर समर्थित विणकाम आणि मध्ये कॅनरी तैनाती प्रदान करते मेघ विणणे. प्रकल्पाची चाचणी GKE, EKS आणि kubeadm सह बेअर मेटलवर केली जाते.

तुमच्याकडे फ्लॅगर सुधारण्यासाठी सूचना असल्यास, कृपया येथे GitHub वर समस्या किंवा PR सबमिट करा स्टीफनप्रोडन/फ्लेगर. योगदान स्वागतापेक्षा अधिक आहे!

Спасибо रे त्सांग.

स्त्रोत: www.habr.com

फ्लॅगर आणि Istio सह स्वयंचलित कॅनरी उपयोजन