फ्लैगर और इस्तियो के साथ कैनरी की स्वचालित तैनाती

सीडी को एक उद्यम सॉफ्टवेयर अभ्यास के रूप में मान्यता प्राप्त है और यह स्थापित सीआई सिद्धांतों के प्राकृतिक विकास का परिणाम है। हालांकि, सीडी अभी भी काफी दुर्लभ है, शायद प्रबंधन की जटिलता और सिस्टम की उपलब्धता को प्रभावित करने वाले असफल परिनियोजन के डर के कारण।

फ्लैगर एक खुला स्रोत कुबेरनेट्स ऑपरेटर है जिसका उद्देश्य भ्रमित करने वाले रिश्तों को खत्म करना है। यह एक प्रबंधित रोलआउट के दौरान एप्लिकेशन व्यवहार का विश्लेषण करने के लिए Istio ट्रैफ़िक ऑफ़सेट और प्रोमेथियस मेट्रिक्स का उपयोग करके कैनरी परिनियोजन के प्रचार को स्वचालित करता है।

नीचे Google Kubernetes Engine (GKE) पर फ़्लैगर को सेट अप करने और उसका उपयोग करने के लिए चरण-दर-चरण मार्गदर्शिका दी गई है।

कुबेरनेट्स क्लस्टर की स्थापना

आप Istio ऐड-ऑन के साथ GKE क्लस्टर बनाकर शुरू करते हैं (यदि आपके पास GCP खाता नहीं है, तो आप साइन अप कर सकते हैं यहां - मुफ्त क्रेडिट पाने के लिए)।

Google क्लाउड में साइन इन करें, एक प्रोजेक्ट बनाएं और इसके लिए बिलिंग सक्षम करें। कमांड लाइन उपयोगिता स्थापित करें gcloud और के साथ अपना प्रोजेक्ट सेट करें gcloud init.

डिफ़ॉल्ट प्रोजेक्ट सेट करें, क्षेत्र की गणना करें, और ज़ोन (प्रतिस्थापित करें PROJECT_ID आपकी परियोजना के लिए):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

GKE सेवा को सक्षम करें और HPA और इस्तियो ऐड-ऑन के साथ एक क्लस्टर बनाएँ:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

उपरोक्त आदेश दो वीएम सहित एक डिफ़ॉल्ट नोड पूल बनाएगा n1-standard-2 (वीसीपीयू: 2, रैम 7,5 जीबी, डिस्क: 30 जीबी)। आदर्श रूप से, आपको इस्तियो घटकों को अपने कार्यभार से अलग करना चाहिए, लेकिन इस्तियो पॉड्स को समर्पित नोड्स पूल में चलाने का कोई आसान तरीका नहीं है। Istio मेनिफ़ेस्ट को केवल पढ़ने के लिए माना जाता है और GKE किसी भी परिवर्तन को पूर्ववत कर देगा, जैसे नोड से लिंक करना या पॉड से अलग करना।

के लिए क्रेडेंशियल्स सेट करें kubectl:

gcloud container clusters get-credentials istio

एक क्लस्टर व्यवस्थापक रोल बाइंडिंग बनाएँ:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

कमांड लाइन टूल इंस्टॉल करें पतवार:

brew install kubernetes-helm

Homebrew 2.0 अब के लिए भी उपलब्ध है Linux.

टिलर के लिए एक सेवा खाता और क्लस्टर रोल बाइंडिंग बनाएँ:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

नामस्थान में टिलर का विस्तार करें kube-system:

helm init --service-account tiller

आपको हेलम और टिलर के बीच एसएसएल का उपयोग करने पर विचार करना चाहिए। अपनी हेल्म स्थापना की सुरक्षा के बारे में अधिक जानकारी के लिए, देखें डॉक्स.हेल्म.श

सेटिंग्स की पुष्टि करें:

kubectl -n istio-system get svc

कुछ सेकंड के बाद, GCP को सेवा के लिए एक बाहरी IP पता निर्दिष्ट करना चाहिए istio-ingressgateway.

इस्तियो इनग्रेस गेटवे को कॉन्फ़िगर करना

एक नाम के साथ एक स्थिर IP पता बनाएँ istio-gatewayइस्तियो गेटवे के आईपी पते का उपयोग करना:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

अब आपको एक इंटरनेट डोमेन और अपने DNS रजिस्ट्रार तक पहुंच की आवश्यकता है। दो ए रिकॉर्ड जोड़ें (बदलें example.com आपके डोमेन के लिए):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

सत्यापित करें कि DNS वाइल्डकार्ड काम कर रहा है:

watch host test.istio.example.com

HTTP पर सर्विस मेश के बाहर सेवाएं प्रदान करने के लिए एक सामान्य इस्तियो गेटवे बनाएं:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

उपरोक्त संसाधन को public-gateway.yaml के रूप में सहेजें और फिर इसे लागू करें:

kubectl apply -f ./public-gateway.yaml

एसएसएल के बिना किसी भी उत्पादन प्रणाली को इंटरनेट पर सेवाएं प्रदान नहीं करनी चाहिए। सर्टिफिकेट-मैनेजर, CloudDNS और लेट्स एनक्रिप्ट के साथ Istio प्रवेश द्वार को सुरक्षित करने के लिए, कृपया पढ़ें प्रलेखन फ्लैगर जी.के.ई.

फ्लैगर स्थापना

GKE Istio ऐड-ऑन में Prometheus उदाहरण शामिल नहीं है जो Istio टेलीमेट्री सेवा को साफ़ करता है। क्योंकि फ्लैगर कैनरी विश्लेषण करने के लिए इस्तियो एचटीटीपी मेट्रिक्स का उपयोग करता है, आपको आधिकारिक इस्तियो हेल्म स्कीमा के साथ आने वाले के समान निम्नलिखित प्रोमेथियस कॉन्फ़िगरेशन को तैनात करने की आवश्यकता है।

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

फ़्लैगर हेल्म रिपॉजिटरी जोड़ें:

helm repo add flagger [https://flagger.app](https://flagger.app/)

फ्लैगर को नेमस्पेस में विस्तृत करें istio-systemसुस्त सूचनाओं को सक्षम करके:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

आप फ़्लैगर को किसी भी नामस्थान में तब तक स्थापित कर सकते हैं जब तक वह पोर्ट 9090 पर इस्तियो प्रोमेथियस सेवा के साथ संचार कर सकता है।

फ्लैगर के पास कैनरी विश्लेषण के लिए एक ग्राफाना डैशबोर्ड है। ग्राफाना को नेमस्पेस में स्थापित करें istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

एक आभासी सेवा बनाकर एक खुले प्रवेश द्वार के माध्यम से ग्राफाना का पर्दाफाश करें (प्रतिस्थापन example.com आपके डोमेन के लिए):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

उपरोक्त संसाधन को grafana-virtual-service.yaml के रूप में सहेजें और फिर इसे लागू करें:

kubectl apply -f ./grafana-virtual-service.yaml

चलते समय http://grafana.istio.example.com ब्राउज़र में, आपको ग्राफाना लॉगिन पृष्ठ पर निर्देशित किया जाना चाहिए।

फ़्लैगर के साथ वेब एप्लिकेशन परिनियोजित करना

फ़्लैगर कुबेरनेट्स को तैनात करता है और वैकल्पिक रूप से स्वचालित रूप से (HPA) को मापता है, फिर वस्तुओं की एक श्रृंखला बनाता है (Kubernetes परिनियोजन, ClusterIP सेवाएँ और Istio वर्चुअल सेवाएँ)। ये ऑब्जेक्ट एप्लिकेशन को सेवा जाल में उजागर करते हैं और कैनरी विश्लेषण और प्रगति को नियंत्रित करते हैं।

इस्तियो साइडकार इंजेक्शन सक्षम के साथ एक परीक्षण नाम स्थान बनाएँ:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

एक परिनियोजन और एक पॉड स्वचालित स्केल-आउट टूल बनाएँ:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

कैनरी विश्लेषण के दौरान ट्रैफ़िक जनरेट करने के लिए टेस्ट लोड सेवा परिनियोजित करें:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

एक कस्टम कैनरी संसाधन बनाएँ (प्रतिस्थापित करें example.com आपके डोमेन के लिए):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

उपरोक्त संसाधन को podinfo-canary.yaml के रूप में सहेजें और फिर इसे लागू करें:

kubectl apply -f ./podinfo-canary.yaml

उपरोक्त विश्लेषण, सफल होने पर, पाँच मिनट तक चलेगा, हर आधे मिनट में HTTP मेट्रिक्स की जाँच करेगा। आप निम्न सूत्र का उपयोग करके कैनरी परिनियोजन को सत्यापित करने और बढ़ावा देने के लिए आवश्यक न्यूनतम समय निर्धारित कर सकते हैं: interval * (maxWeight / stepWeight). कैनरी सीआरडी फ़ील्ड प्रलेखित हैं यहां.

कुछ सेकंड के बाद, फ़्लैगर कैनरी ऑब्जेक्ट बनाएगा:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

एक ब्राउज़र खोलें और पर जाएं app.istio.example.com, आपको संस्करण संख्या देखनी चाहिए डेमो ऐप्स.

स्वचालित कैनरी विश्लेषण और प्रचार

फ्लैगर एक नियंत्रण लूप को लागू करता है जो HTTP अनुरोध सफलता दर, औसत अनुरोध अवधि और पॉड स्वास्थ्य जैसे प्रमुख प्रदर्शन मेट्रिक्स को मापते हुए धीरे-धीरे कैनरी में ट्रैफ़िक ले जाता है। KPI विश्लेषण के आधार पर, कैनरी को बढ़ावा दिया जाता है या बाधित किया जाता है, और विश्लेषण के परिणाम स्लैक को प्रकाशित किए जाते हैं।

निम्न वस्तुओं में से एक परिवर्तन होने पर कैनरी परिनियोजन शुरू हो जाता है:

• पॉडस्पेक (कंटेनर छवि, कमांड, पोर्ट, एनवी, आदि) को तैनात करें।
• ConfigMaps को वॉल्यूम के रूप में आरोहित किया जाता है या पर्यावरण चर के लिए मैप किया जाता है
• राज़ को वॉल्यूम के रूप में माउंट किया जाता है या पर्यावरण चर में परिवर्तित किया जाता है

कंटेनर छवि को अपडेट करते समय कैनरी परिनियोजन चलाएँ:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

फ्लैगर पता लगाता है कि परिनियोजन संस्करण बदल गया है और इसे पार्स करना शुरू कर देता है:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

विश्लेषण के दौरान, ग्राफाना का उपयोग करके कैनरी के परिणामों को ट्रैक किया जा सकता है:

कृपया ध्यान दें कि यदि कैनरी विश्लेषण के दौरान परिनियोजन में नए परिवर्तन लागू किए जाते हैं, तो फ्लैगर विश्लेषण चरण को फिर से शुरू करेगा।

अपने क्लस्टर में सभी कैनरी की सूची बनाएं:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

यदि आपने स्लैक सूचनाएं सक्षम की हैं, तो आपको निम्न संदेश प्राप्त होंगे:

स्वचालित रोलबैक

कैनरी विश्लेषण के दौरान, आप यह देखने के लिए सिंथेटिक HTTP 500 त्रुटियां और उच्च प्रतिक्रिया विलंबता उत्पन्न कर सकते हैं कि फ़्लैगर परिनियोजन को रोक देगा या नहीं।

एक टेस्ट पॉड बनाएं और उसमें निम्न कार्य करें:

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 त्रुटि उत्पन्न करना:

watch curl http://podinfo-canary:9898/status/500

विलंब पीढ़ी:

watch curl http://podinfo-canary:9898/delay/1

जब विफल जांचों की संख्या दहलीज तक पहुंच जाती है, तो यातायात को प्राथमिक चैनल पर वापस भेज दिया जाता है, कैनरी को शून्य पर स्केल किया जाता है, और परिनियोजन विफल के रूप में चिह्नित किया जाता है।

कैनरी त्रुटियां और विलंबता स्पाइक्स कुबेरनेट्स घटनाओं के रूप में लॉग किए जाते हैं और फ्लैगर द्वारा JSON प्रारूप में लॉग किए जाते हैं:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

यदि आपने सुस्त सूचनाओं को सक्षम किया है, तो समय सीमा समाप्त होने या विश्लेषण में विफल जाँचों की अधिकतम संख्या तक पहुँचने पर आपको एक संदेश प्राप्त होगा:

अंत में

कुबेरनेट्स के अलावा इस्तियो जैसे सर्विस मेश चलाने से स्वचालित मेट्रिक्स, लॉग और प्रोटोकॉल उपलब्ध होंगे, लेकिन कार्यभार परिनियोजन अभी भी बाहरी उपकरणों पर निर्भर करता है। फ़्लैगर का लक्ष्य इस्तियो क्षमताओं को जोड़कर इसे बदलना है प्रगतिशील आपूर्ति.

फ्लैगर किसी भी कुबेरनेट्स सीआई/सीडी समाधान के साथ संगत है, और कैनरी विश्लेषण को आसानी से बढ़ाया जा सकता है webhooks सिस्टम एकीकरण/स्वीकृति परीक्षण, लोड परीक्षण, या कोई अन्य कस्टम जांच करने के लिए। चूँकि फ्लैगर घोषणात्मक है और कुबेरनेट्स घटनाओं पर प्रतिक्रिया करता है, इसका उपयोग GitOps पाइपलाइनों के साथ किया जा सकता है वेव फ्लक्स या जेनकिंसक्स. यदि आप जेनकिन्सएक्स का उपयोग कर रहे हैं तो आप फ्लैगर को जेएक्स एडॉन्स के साथ इंस्टॉल कर सकते हैं।

फ्लैगर समर्थित बुनाई का काम और कैनरी की तैनाती प्रदान करता है बादल बुनें. परियोजना का परीक्षण जीकेई, ईकेएस और कुबेएडम के साथ नंगे धातु पर किया जा रहा है।

यदि आपके पास फ़्लैगर को बेहतर बनाने के सुझाव हैं, तो कृपया GitHub पर कोई समस्या या PR सबमिट करें स्टीफनप्रोडान/फ्लैगर. योगदान स्वागत से अधिक हैं!

धन्यवाद रे त्सांग.

स्रोत: www.habr.com