🥇 फ्ल्यागर र Istio संग स्वचालित क्यानरी तैनाती

सीडीलाई उद्यम सफ्टवेयर अभ्यासको रूपमा मान्यता दिइन्छ र स्थापित CI सिद्धान्तहरूको प्राकृतिक विकासको परिणाम हो। यद्यपि, सीडी अझै धेरै दुर्लभ छ, सायद व्यवस्थापनको जटिलता र प्रणाली उपलब्धतालाई असर गर्ने असफल परिनियोजनको डरले।

फ्ल्यागर एक खुला स्रोत Kubernetes अपरेटर हो जसले भ्रमित सम्बन्धहरू हटाउने लक्ष्य राख्छ। यसले व्यवस्थित रोलआउटको बखत एप्लिकेसन व्यवहारको विश्लेषण गर्न Istio ट्राफिक अफसेट र Prometheus मेट्रिक्स प्रयोग गरेर क्यानरी डिप्लोइमेन्टको प्रवर्द्धनलाई स्वचालित बनाउँछ।

तल Google Kubernetes Engine (GKE) मा फ्ल्यागर सेटअप गर्न र प्रयोग गर्नको लागि चरणबद्ध गाइड छ।

Kubernetes क्लस्टर सेटअप गर्दै

तपाईं Istio एड-अनसँग GKE क्लस्टर सिर्जना गरेर सुरु गर्नुहुन्छ (यदि तपाईंसँग GCP खाता छैन भने, तपाईंले साइन अप गर्न सक्नुहुन्छ। यहाँ - नि: शुल्क क्रेडिट प्राप्त गर्न)।

Google क्लाउडमा साइन इन गर्नुहोस्, एउटा परियोजना सिर्जना गर्नुहोस्, र यसको लागि बिलिङ सक्षम गर्नुहोस्। कमांड लाइन उपयोगिता स्थापना गर्नुहोस् gCloud र आफ्नो परियोजना सेटअप गर्नुहोस् gcloud init.

पूर्वनिर्धारित परियोजना, गणना क्षेत्र, र क्षेत्र सेट गर्नुहोस् (बदल्नुहोस् PROJECT_ID तपाईंको परियोजनाको लागि):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

GKE सेवा सक्षम गर्नुहोस् र HPA र Istio add-ons को साथ क्लस्टर सिर्जना गर्नुहोस्:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

माथिको आदेशले दुई VM हरू सहित पूर्वनिर्धारित नोड पूल सिर्जना गर्नेछ n1-standard-2 (vCPU: 2, RAM 7,5 GB, डिस्क: 30 GB)। आदर्श रूपमा, तपाईंले आफ्नो वर्कलोडहरूबाट Istio कम्पोनेन्टहरू अलग गर्नुपर्छ, तर नोडहरूको समर्पित पूलमा Istio पोडहरू चलाउने कुनै सजिलो तरिका छैन। Istio manifests लाई पढ्नको लागि मात्र मानिन्छ र GKE ले कुनै पनि परिवर्तनहरू पूर्ववत गर्नेछ, जस्तै नोडमा लिङ्क गर्ने वा पोडबाट अलग गर्ने।

को लागि प्रमाणहरू सेट अप गर्नुहोस् kubectl:

gcloud container clusters get-credentials istio

क्लस्टर प्रशासक भूमिका बाध्यकारी सिर्जना गर्नुहोस्:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

कमांड लाइन उपकरण स्थापना गर्नुहोस् हेलमेट:

brew install kubernetes-helm

Homebrew 2.0 अब को लागि पनि उपलब्ध छ लिनक्स.

टिलरको लागि सेवा खाता र क्लस्टर भूमिका बाध्यकारी सिर्जना गर्नुहोस्:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

नामस्थानमा टिलर विस्तार गर्नुहोस् kube-system:

helm init --service-account tiller

तपाईंले हेल्म र टिलर बीचको SSL प्रयोग गर्ने विचार गर्नुपर्छ। तपाईंको हेलम स्थापनाको सुरक्षाको बारेमा थप जानकारीको लागि, हेर्नुहोस् docs.helm.sh

सेटिङहरू पुष्टि गर्नुहोस्:

kubectl -n istio-system get svc

केही सेकेन्ड पछि, GCP ले सेवाको लागि बाह्य IP ठेगाना तोक्नुपर्छ istio-ingressgateway.

Istio Ingress गेटवे कन्फिगर गर्दै

नामको साथ एक स्थिर आईपी ठेगाना सिर्जना गर्नुहोस् istio-gatewayIstio गेटवे को IP ठेगाना प्रयोग गर्दै:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

अब तपाईलाई इन्टरनेट डोमेन र तपाईको DNS रजिस्ट्रारमा पहुँच चाहिन्छ। दुई ए रेकर्डहरू थप्नुहोस् (बदल्नुहोस् example.com तपाईको डोमेनमा):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

DNS वाइल्डकार्डले काम गरिरहेको छ भनी प्रमाणित गर्नुहोस्:

watch host test.istio.example.com

HTTP मा सेवा जाल बाहिर सेवाहरू प्रदान गर्न सामान्य Istio गेटवे सिर्जना गर्नुहोस्:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

माथिको स्रोतलाई public-gateway.yaml को रूपमा बचत गर्नुहोस् र त्यसपछि यसलाई लागू गर्नुहोस्:

kubectl apply -f ./public-gateway.yaml

कुनै उत्पादन प्रणालीले SSL बिना इन्टरनेटमा सेवाहरू प्रदान गर्नु हुँदैन। प्रमाणपत्र-प्रबन्धक, CloudDNS र Let's Encrypt सँग Istio प्रवेश गेटवे सुरक्षित गर्न, कृपया पढ्नुहोस् कागजात झण्डाकार G.K.E.

फ्ल्यागर स्थापना

GKE Istio एड-अनले Istio टेलिमेट्री सेवालाई सफा गर्ने प्रोमेथियस उदाहरण समावेश गर्दैन। किनकी फ्ल्यागरले क्यानरी विश्लेषण गर्न Istio HTTP मेट्रिक्स प्रयोग गर्दछ, तपाईंले निम्न Prometheus कन्फिगरेसन प्रयोग गर्न आवश्यक छ, जुन आधिकारिक Istio Helm स्किमासँग आउँछ।

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

फ्ल्यागर हेलम भण्डार थप्नुहोस्:

helm repo add flagger [https://flagger.app](https://flagger.app/)

फ्ल्यागरलाई नेमस्पेसमा विस्तार गर्नुहोस् istio-systemSlack सूचनाहरू सक्षम गरेर:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

तपाईंले फ्ल्यागरलाई कुनै पनि नेमस्पेसमा स्थापना गर्न सक्नुहुन्छ जबसम्म यसले पोर्ट 9090 मा Istio Prometheus सेवासँग सञ्चार गर्न सक्छ।

फ्ल्यागरसँग क्यानरी विश्लेषणको लागि Grafana ड्यासबोर्ड छ। नामस्थानमा Grafana स्थापना गर्नुहोस् istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

भर्चुअल सेवा (बदल्नुहोस् example.com तपाईको डोमेनमा):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

माथिको स्रोत grafana-virtual-service.yaml को रूपमा बचत गर्नुहोस् र त्यसपछि यसलाई लागू गर्नुहोस्:

kubectl apply -f ./grafana-virtual-service.yaml

मा सर्दा http://grafana.istio.example.com ब्राउजरमा, तपाईंलाई Grafana लगइन पृष्ठमा निर्देशित गरिनु पर्छ।

फ्ल्यागरको साथ वेब अनुप्रयोगहरू प्रयोग गर्दै

फ्ल्यागरले Kubernetes डिप्लोय गर्छ र वैकल्पिक रूपमा स्वचालित रूपमा (HPA) मापन गर्छ, त्यसपछि वस्तुहरूको श्रृंखला सिर्जना गर्दछ (Kubernetes deployments, ClusterIP सेवाहरू, र Istio भर्चुअल सेवाहरू)। यी वस्तुहरूले अनुप्रयोगलाई सेवा जाल र नियन्त्रण क्यानरी विश्लेषण र प्रगतिमा पर्दाफास गर्दछ।

Istio Sidecar इंजेक्शन सक्षम पारिएको परीक्षण नामस्थान सिर्जना गर्नुहोस्:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

एक डिप्लोयमेन्ट र पोड स्वचालित स्केल-आउट उपकरण सिर्जना गर्नुहोस्:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

क्यानरी विश्लेषणको समयमा ट्राफिक उत्पन्न गर्न परीक्षण लोड सेवा प्रयोग गर्नुहोस्:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

अनुकूलन क्यानरी स्रोत सिर्जना गर्नुहोस् (बदल्नुहोस् example.com तपाईको डोमेनमा):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

माथिको स्रोतलाई podinfo-canary.yaml को रूपमा बचत गर्नुहोस् र त्यसपछि यसलाई लागू गर्नुहोस्:

kubectl apply -f ./podinfo-canary.yaml

माथिको विश्लेषण, सफल भएमा, हरेक आधा मिनेटमा HTTP मेट्रिक्स जाँच गर्दै, पाँच मिनेटसम्म चल्नेछ। तपाईंले निम्न सूत्र प्रयोग गरेर क्यानरी डिप्लोइमेन्टलाई प्रमाणीकरण र प्रवर्द्धन गर्न आवश्यक न्यूनतम समय निर्धारण गर्न सक्नुहुन्छ: interval * (maxWeight / stepWeight)। क्यानरी सीआरडी क्षेत्रहरू दस्तावेज गरिएका छन् यहाँ.

केही सेकेन्ड पछि, फ्ल्यागरले क्यानरी वस्तुहरू सिर्जना गर्नेछ:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

ब्राउजर खोल्नुहोस् र जानुहोस् app.istio.example.com, तपाईंले संस्करण नम्बर हेर्नु पर्छ डेमो अनुप्रयोगहरू.

स्वचालित क्यानरी विश्लेषण र पदोन्नति

फ्ल्यागरले कन्ट्रोल लूप लागू गर्दछ जसले ट्राफिकलाई बिस्तारै क्यानरीमा सार्छ जबकि HTTP अनुरोध सफलता दर, औसत अनुरोध अवधि, र पोड स्वास्थ्य जस्ता मुख्य कार्यसम्पादन मेट्रिक्स मापन गर्दछ। केपीआई विश्लेषणको आधारमा, क्यानरी प्रवर्द्धन वा अवरोध गरिएको छ, र विश्लेषणको नतिजा स्ल्याकमा प्रकाशित गरिन्छ।

क्यानरी डिप्लोयमेन्ट ट्रिगर हुन्छ जब निम्न वस्तुहरू मध्ये एक परिवर्तन हुन्छ:

PodSpec डिप्लोय गर्नुहोस् (कन्टेनर छवि, आदेश, पोर्टहरू, env, आदि)
ConfigMaps भोल्युमको रूपमा माउन्ट गरिएको छ वा वातावरण चरहरूमा म्याप गरिएको छ
गोप्यहरू भोल्युमको रूपमा माउन्ट गरिन्छ वा वातावरण चरहरूमा रूपान्तरण गरिन्छ

कन्टेनर छवि अद्यावधिक गर्दा क्यानरी डिप्लोय चलाउनुहोस्:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

फ्ल्यागरले डिप्लोइमेन्ट संस्करण परिवर्तन भएको पत्ता लगाउँछ र यसलाई पार्स गर्न थाल्छ:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

विश्लेषणको क्रममा, क्यानरी परिणामहरू Grafana प्रयोग गरेर ट्र्याक गर्न सकिन्छ:

कृपया ध्यान दिनुहोस् कि यदि नयाँ परिवर्तनहरू क्यानरी विश्लेषणको क्रममा डिप्लोइमेन्टमा लागू गरियो भने, फ्ल्यागरले विश्लेषण चरण पुन: सुरु गर्नेछ।

तपाईंको क्लस्टरमा सबै क्यानरीहरूको सूची बनाउनुहोस्:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

यदि तपाईंले Slack सूचनाहरू सक्षम गर्नुभएको छ भने, तपाईंले निम्न सन्देशहरू प्राप्त गर्नुहुनेछ:

स्वचालित रोलब्याक

क्यानरी विश्लेषणको क्रममा, तपाईंले सिंथेटिक HTTP 500 त्रुटिहरू र उच्च प्रतिक्रिया विलम्बता उत्पन्न गर्न सक्नुहुन्छ कि फ्ल्यागरले डिप्लोइमेन्ट रोक्छ कि गर्दैन।

एउटा परीक्षण पोड सिर्जना गर्नुहोस् र यसमा निम्न गर्नुहोस्:

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 त्रुटिहरू उत्पन्न गर्दै:

watch curl http://podinfo-canary:9898/status/500

ढिलाइ उत्पादन:

watch curl http://podinfo-canary:9898/delay/1

जब असफल चेकहरूको संख्या थ्रेसहोल्डमा पुग्छ, ट्राफिकलाई प्राथमिक च्यानलमा फर्काइन्छ, क्यानरीलाई शून्यमा मापन गरिन्छ, र डिप्लोइमेन्टलाई असफल भनी चिन्ह लगाइन्छ।

क्यानरी त्रुटिहरू र लेटन्सी स्पाइकहरू Kubernetes घटनाहरूको रूपमा लग इन गरिएका छन् र JSON ढाँचामा Flagger द्वारा लग इन गरिएको छ:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

यदि तपाईंले Slack अधिसूचनाहरू सक्षम गर्नुभएको छ भने, तपाईंले म्याद नाघेको वा विश्लेषणमा असफल जाँचहरूको अधिकतम संख्या पुगेपछि सन्देश प्राप्त गर्नुहुनेछ:

निष्कर्षमा

Kubernetes को अतिरिक्त Istio जस्तै सेवा जाल चलाउँदा स्वचालित मेट्रिक्स, लगहरू, र प्रोटोकलहरू प्रदान गर्दछ, तर कार्यभार तैनाती अझै पनि बाह्य उपकरणहरूमा निर्भर गर्दछ। Flagger ले Istio क्षमताहरू थपेर यसलाई परिवर्तन गर्ने लक्ष्य राख्छ प्रगतिशील आपूर्ति.

फ्ल्यागर कुनै पनि Kubernetes CI/CD समाधानसँग उपयुक्त छ, र क्यानरी विश्लेषण सजिलैसँग विस्तार गर्न सकिन्छ। वेबहुकहरू प्रणाली एकीकरण/स्वीकृति परीक्षणहरू, लोड परीक्षणहरू, वा कुनै अन्य अनुकूलन जाँचहरू प्रदर्शन गर्न। फ्ल्यागर घोषणात्मक भएकोले र Kubernetes घटनाहरूमा प्रतिक्रिया दिन्छ, यो GitOps पाइपलाइनहरूमा प्रयोग गर्न सकिन्छ बुनाई फ्लक्स वा जेन्किन्सएक्स। यदि तपाइँ JenkinsX प्रयोग गर्दै हुनुहुन्छ भने तपाइँ jx addons संग Flagger स्थापना गर्न सक्नुहुन्छ।

फ्ल्यागर समर्थित बुनाई कामहरू र मा क्यानरी तैनाती प्रदान गर्दछ बादल बुन्नुहोस्। परियोजना GKE, EKS, र kubeadm संग बेयर मेटलमा परीक्षण भइरहेको छ।

यदि तपाईंसँग फ्ल्यागर सुधार गर्न सुझावहरू छन् भने, कृपया GitHub मा मुद्दा वा PR पेश गर्नुहोस् stefanprodan/flagger। योगदानहरू स्वागत भन्दा बढी छन्!

Спасибо रे त्साङ.

स्रोत: www.habr.com

फ्ल्यागर र Istio संग स्वचालित क्यानरी तैनाती