ફ્લેગર અને ઇસ્ટિઓ સાથે સ્વચાલિત કેનેરી જમાવટ

CD ને એન્ટરપ્રાઇઝ સોફ્ટવેર પ્રેક્ટિસ તરીકે ઓળખવામાં આવે છે અને તે સ્થાપિત CI સિદ્ધાંતોની કુદરતી ઉત્ક્રાંતિ છે. જો કે, સીડી હજુ પણ ખૂબ જ દુર્લભ છે, કદાચ મેનેજમેન્ટની જટિલતા અને સિસ્ટમની ઉપલબ્ધતાને અસર કરતી નિષ્ફળ જમાવટના ભયને કારણે.

ફ્લેગર એક ઓપન સોર્સ કુબરનેટ્સ ઓપરેટર છે જેનો ઉદ્દેશ્ય ગૂંચવણભર્યા સંબંધોને દૂર કરવાનો છે. તે સંચાલિત રોલઆઉટ દરમિયાન એપ્લિકેશન વર્તનનું વિશ્લેષણ કરવા માટે Istio ટ્રાફિક ઑફસેટ્સ અને પ્રોમિથિયસ મેટ્રિક્સનો ઉપયોગ કરીને કેનેરી જમાવટના પ્રમોશનને સ્વચાલિત કરે છે.

Google Kubernetes Engine (GKE) પર ફ્લેગર સેટ કરવા અને તેનો ઉપયોગ કરવા માટે નીચે એક પગલું-દર-પગલાની માર્ગદર્શિકા છે.

Kubernetes ક્લસ્ટર સુયોજિત કરી રહ્યા છીએ

તમે Istio એડ-ઓન સાથે GKE ક્લસ્ટર બનાવીને શરૂઆત કરો છો (જો તમારી પાસે GCP એકાઉન્ટ ન હોય, તો તમે સાઇન અપ કરી શકો છો. અહીં - મફત ક્રેડિટ મેળવવા માટે).

Google Cloud માં સાઇન ઇન કરો, એક પ્રોજેક્ટ બનાવો અને તેના માટે બિલિંગ સક્ષમ કરો. કમાન્ડ લાઇન યુટિલિટી ઇન્સ્ટોલ કરો gCloud અને સાથે તમારા પ્રોજેક્ટને ગોઠવો gcloud init.

ડિફૉલ્ટ પ્રોજેક્ટ, ગણતરી વિસ્તાર અને ઝોન સેટ કરો (બદલો PROJECT_ID તમારા પ્રોજેક્ટ માટે):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

GKE સેવાને સક્ષમ કરો અને HPA અને Istio એડ-ઓન્સ સાથે ક્લસ્ટર બનાવો:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

ઉપરોક્ત આદેશ મૂળભૂત નોડ પૂલ બનાવશે જેમાં બે VM નો સમાવેશ થાય છે n1-standard-2 (vCPU: 2, RAM 7,5 GB, ડિસ્ક: 30 GB). આદર્શ રીતે, Istio ઘટકો તેમના વર્કલોડથી અલગ હોવા જોઈએ, પરંતુ સમર્પિત નોડ પૂલ પર Istio પોડ્સ ચલાવવા માટે કોઈ સરળ રીત નથી. Istio મેનિફેસ્ટને ફક્ત વાંચવા માટે ગણવામાં આવે છે, અને GKE કોઈપણ ફેરફારો જેમ કે નોડ સાથે બંધનકર્તા અથવા પોડમાંથી અલગ કરવા જેવા કોઈપણ ફેરફારોને પાછું ફેરવશે.

માટે ઓળખપત્રો સેટ કરો kubectl:

gcloud container clusters get-credentials istio

ક્લસ્ટર એડમિન રોલ બંધનકર્તા બનાવો:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

કમાન્ડ લાઇન ટૂલ ઇન્સ્ટોલ કરો હેલ્મ:

brew install kubernetes-helm

હોમબ્રુ 2.0 હવે માટે પણ ઉપલબ્ધ છે Linux.

ટિલર માટે સર્વિસ એકાઉન્ટ અને ક્લસ્ટર રોલ બંધનકર્તા બનાવો:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

નેમસ્પેસમાં ટિલર વિસ્તૃત કરો kube-system:

helm init --service-account tiller

તમારે હેલ્મ અને ટિલર વચ્ચે SSL નો ઉપયોગ કરવાનું વિચારવું જોઈએ. તમારા હેલ્મ ઇન્સ્ટોલેશનને સુરક્ષિત કરવા વિશે વધુ માહિતી માટે, જુઓ docs.helm.sh

સેટિંગ્સની પુષ્ટિ કરો:

kubectl -n istio-system get svc

થોડીક સેકંડ પછી, GCP એ સેવાને બાહ્ય IP સરનામું સોંપવું જોઈએ istio-ingressgateway.

ઇસ્ટિઓ ઇન્ગ્રેસ ગેટવે સેટ કરી રહ્યું છે

નામ સાથે સ્થિર IP સરનામું બનાવો istio-gatewayIstio ગેટવે IP સરનામાંનો ઉપયોગ કરીને:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

હવે તમારે ઇન્ટરનેટ ડોમેન અને તમારા DNS રજિસ્ટ્રારની ઍક્સેસની જરૂર છે. બે A રેકોર્ડ ઉમેરો (બદલો example.com તમારા ડોમેન પર):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

ચકાસો કે DNS વાઇલ્ડકાર્ડ કામ કરી રહ્યું છે:

watch host test.istio.example.com

HTTP પર સર્વિસ મેશની બહાર સેવાઓ પ્રદાન કરવા માટે એક સામાન્ય Istio ગેટવે બનાવો:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

ઉપરોક્ત સંસાધનને public-gateway.yaml તરીકે સાચવો અને પછી તેને લાગુ કરો:

kubectl apply -f ./public-gateway.yaml

કોઈપણ ઉત્પાદન પ્રણાલીએ SSL વિના ઇન્ટરનેટ પર સેવાઓ પ્રદાન કરવી જોઈએ નહીં. પ્રમાણપત્ર-મેનેજર, CloudDNS અને ચાલો એન્ક્રિપ્ટ સાથે તમારા Istio પ્રવેશ ગેટવેને સુરક્ષિત કરવા માટે, કૃપા કરીને વાંચો દસ્તાવેજીકરણ ફ્લેગર G.K.E.

ફ્લેગર ઇન્સ્ટોલેશન

GKE Istio ઍડ-ઑનમાં Prometheus ઉદાહરણનો સમાવેશ થતો નથી જે Istio ટેલિમેટ્રી સેવાને સાફ કરે છે. ફ્લેગર કેનેરી વિશ્લેષણ કરવા માટે Istio HTTP મેટ્રિક્સનો ઉપયોગ કરતું હોવાથી, તમારે નીચેની પ્રોમિથિયસ ગોઠવણીને જમાવવાની જરૂર છે, જે અધિકૃત Istio Helm સ્કીમા સાથે આવે છે.

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

ફ્લેગર હેલ્મ રીપોઝીટરી ઉમેરો:

helm repo add flagger [https://flagger.app](https://flagger.app/)

ફ્લેગરને નેમસ્પેસમાં વિસ્તૃત કરો istio-systemસ્લૅક સૂચનાઓને સક્ષમ કરીને:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

જ્યાં સુધી તે પોર્ટ 9090 પર Istio Prometheus સેવા સાથે વાતચીત કરી શકે ત્યાં સુધી તમે ફ્લેગરને કોઈપણ નેમસ્પેસમાં ઇન્સ્ટોલ કરી શકો છો.

ફ્લેગર પાસે કેનેરી વિશ્લેષણ માટે ગ્રાફના ડેશબોર્ડ છે. નેમસ્પેસમાં ગ્રાફના ઇન્સ્ટોલ કરો istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

વર્ચ્યુઅલ સેવા (બદલો example.com તમારા ડોમેન પર):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

ઉપરોક્ત સંસાધનને grafana-virtual-service.yaml તરીકે સાચવો અને પછી તેને લાગુ કરો:

kubectl apply -f ./grafana-virtual-service.yaml

જ્યારે જવું http://grafana.istio.example.com તમારા બ્રાઉઝરએ તમને Grafana લૉગિન પૃષ્ઠ પર રીડાયરેક્ટ કરવું જોઈએ.

ફ્લેગર સાથે વેબ એપ્લીકેશનનો ઉપયોગ

ફ્લેગર કુબરનેટ્સનો ઉપયોગ કરે છે અને, જો જરૂરી હોય તો, હોરિઝોન્ટલ ઓટોસ્કેલિંગ (HPA), પછી ઑબ્જેક્ટ્સની શ્રેણી બનાવે છે (કુબરનેટ્સ ડિપ્લોયમેન્ટ્સ, ક્લસ્ટરઆઈપી સેવાઓ અને Istio વર્ચ્યુઅલ સેવાઓ). આ ઑબ્જેક્ટ્સ એપ્લિકેશનને સર્વિસ મેશમાં ખુલ્લા પાડે છે અને કેનેરી વિશ્લેષણ અને પ્રમોશનનું સંચાલન કરે છે.

Istio Sidecar અમલીકરણ સક્ષમ સાથે પરીક્ષણ નેમસ્પેસ બનાવો:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

પોડ માટે ડિપ્લોયમેન્ટ અને ઓટોમેટિક હોરીઝોન્ટલ સ્કેલિંગ ટૂલ બનાવો:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

કેનેરી વિશ્લેષણ દરમિયાન ટ્રાફિક જનરેટ કરવા માટે લોડ ટેસ્ટ સેવાનો ઉપયોગ કરો:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

કસ્ટમ કેનેરી રિસોર્સ બનાવો (બદલો example.com તમારા ડોમેન પર):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

ઉપરોક્ત સંસાધનને podinfo-canary.yaml તરીકે સાચવો અને પછી તેને લાગુ કરો:

kubectl apply -f ./podinfo-canary.yaml

ઉપરોક્ત વિશ્લેષણ, જો સફળ થશે, તો પાંચ મિનિટ ચાલશે, દર અડધી મિનિટે HTTP મેટ્રિક્સ તપાસશે. તમે નીચેના સૂત્રનો ઉપયોગ કરીને કેનેરી જમાવટનું પરીક્ષણ અને પ્રચાર કરવા માટે જરૂરી ન્યૂનતમ સમય નક્કી કરી શકો છો: interval * (maxWeight / stepWeight). કેનેરી CRD ક્ષેત્રો દસ્તાવેજીકૃત છે અહીં.

થોડી સેકંડ પછી, ફ્લેગર કેનેરી વસ્તુઓ બનાવશે:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

તમારું બ્રાઉઝર ખોલો અને પર જાઓ app.istio.example.com, તમારે સંસ્કરણ નંબર જોવો જોઈએ ડેમો એપ્લિકેશન્સ.

સ્વચાલિત કેનેરી વિશ્લેષણ અને પ્રમોશન

ફ્લેગર કંટ્રોલ લૂપનો અમલ કરે છે જે એચટીટીપી વિનંતી સફળતા દર, સરેરાશ વિનંતી સમયગાળો અને પોડ હેલ્થ જેવા મુખ્ય પ્રદર્શન સૂચકાંકોને માપતી વખતે ટ્રાફિકને ધીમે ધીમે કેનેરી તરફ લઈ જાય છે. કેપીઆઈ વિશ્લેષણના આધારે, કેનેરીને પ્રોત્સાહન આપવામાં આવે છે અથવા સમાપ્ત કરવામાં આવે છે, અને વિશ્લેષણના પરિણામો સ્લેકમાં પ્રકાશિત થાય છે.

જ્યારે નીચેનામાંથી કોઈ એક ઑબ્જેક્ટ બદલાય ત્યારે કેનેરી ડિપ્લોયમેન્ટ ટ્રિગર થાય છે:

• PodSpec (કન્ટેનર ઇમેજ, કમાન્ડ, પોર્ટ્સ, env, વગેરે) નો ઉપયોગ કરો.
• ConfigMaps વોલ્યુમ તરીકે માઉન્ટ થયેલ છે અથવા પર્યાવરણ ચલોમાં રૂપાંતરિત છે
• રહસ્યો વોલ્યુમ તરીકે માઉન્ટ થયેલ છે અથવા પર્યાવરણ ચલોમાં રૂપાંતરિત થાય છે

કન્ટેનર ઇમેજ અપડેટ કરતી વખતે કેનેરી ડિપ્લોયમેન્ટ ચલાવો:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

ફ્લેગર શોધે છે કે જમાવટ સંસ્કરણ બદલાઈ ગયું છે અને તેનું વિશ્લેષણ કરવાનું શરૂ કરે છે:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

વિશ્લેષણ દરમિયાન, ગ્રાફનાનો ઉપયોગ કરીને કેનેરી પરિણામોનું નિરીક્ષણ કરી શકાય છે:

મહેરબાની કરીને નોંધ કરો: જો કેનેરી વિશ્લેષણ દરમિયાન જમાવટમાં નવા ફેરફારો લાગુ કરવામાં આવે, તો ફ્લેગર વિશ્લેષણનો તબક્કો ફરી શરૂ કરશે.

તમારા ક્લસ્ટરમાં તમામ કેનેરીઓની સૂચિ બનાવો:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

જો તમે Slack સૂચનાઓ સક્ષમ કરી હોય, તો તમને નીચેના સંદેશા પ્રાપ્ત થશે:

આપોઆપ રોલબેક

કેનેરી વિશ્લેષણ દરમિયાન, તમે ફ્લેગર જમાવટ બંધ કરશે કે કેમ તે તપાસવા માટે સિન્થેટિક HTTP 500 ભૂલો અને ઉચ્ચ પ્રતિસાદ લેટન્સી જનરેટ કરી શકો છો.

ટેસ્ટ પોડ બનાવો અને તેમાં નીચેના કરો:

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 ભૂલો જનરેટ કરી રહી છે:

watch curl http://podinfo-canary:9898/status/500

વિલંબ જનરેશન:

watch curl http://podinfo-canary:9898/delay/1

જ્યારે નિષ્ફળ તપાસની સંખ્યા થ્રેશોલ્ડ સુધી પહોંચે છે, ત્યારે ટ્રાફિકને પ્રાથમિક ચેનલ પર પાછું મોકલવામાં આવે છે, કેનેરી શૂન્ય પર માપવામાં આવે છે, અને જમાવટને નિષ્ફળ તરીકે ચિહ્નિત કરવામાં આવે છે.

કેનેરી ભૂલો અને લેટન્સી સ્પાઇક્સ કુબરનેટ્સ ઇવેન્ટ્સ તરીકે લોગ કરવામાં આવે છે અને ફ્લેગર દ્વારા JSON ફોર્મેટમાં રેકોર્ડ કરવામાં આવે છે:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

જો તમે સ્લૅક સૂચનાઓ સક્ષમ કરી હોય, તો જ્યારે વિશ્લેષણમાં નિષ્ફળ સમીક્ષાઓની મહત્તમ સંખ્યાને પૂર્ણ કરવા અથવા પહોંચવા માટેની સમયમર્યાદા ઓળંગાઈ જાય ત્યારે તમને એક સંદેશ પ્રાપ્ત થશે:

અંતમા

Kubernetes ની ટોચ પર Istio જેવી સર્વિસ મેશ ચલાવવાથી આપોઆપ મેટ્રિક્સ, લોગ્સ અને લોગ્સ મળશે, પરંતુ વર્કલોડને જમાવવું હજુ પણ બાહ્ય સાધનો પર આધારિત છે. ફ્લેગરનો હેતુ Istio ક્ષમતાઓ ઉમેરીને આને બદલવાનો છે પ્રગતિશીલ ડિલિવરી.

ફ્લેગર કુબરનેટ્સ માટેના કોઈપણ CI/CD સોલ્યુશન સાથે સુસંગત છે, અને કેનેરી વિશ્લેષણને સરળતાથી વિસ્તૃત કરી શકાય છે. વેબહુક્સ સિસ્ટમ એકીકરણ/સ્વીકૃતિ પરીક્ષણો, લોડ પરીક્ષણો અથવા કોઈપણ અન્ય કસ્ટમ પરીક્ષણો કરવા માટે. કારણ કે ફ્લેગર ઘોષણાત્મક છે અને કુબરનેટ્સ ઇવેન્ટ્સને પ્રતિસાદ આપે છે, તેનો ઉપયોગ GitOps પાઇપલાઇન્સમાં સાથે થઈ શકે છે. વણાટ પ્રવાહ અથવા જેનકિન્સએક્સ. જો તમે JenkinsX નો ઉપયોગ કરી રહ્યાં છો, તો તમે jx એડ-ઓન્સ સાથે ફ્લેગર ઇન્સ્ટોલ કરી શકો છો.

ફ્લેગર સપોર્ટેડ વણાટકામ અને માં કેનેરી જમાવટ પૂરી પાડે છે વીવ ક્લાઉડ. પ્રોજેક્ટનું પરીક્ષણ GKE, EKS અને kubeadm સાથે બેર મેટલ પર કરવામાં આવે છે.

જો તમારી પાસે ફ્લેગરને સુધારવા માટે સૂચનો હોય, તો કૃપા કરીને GitHub પર કોઈ મુદ્દો અથવા PR સબમિટ કરો સ્ટેફનપ્રોડન/ફ્લેગર. યોગદાન આવકાર્ય કરતાં વધુ છે!

Спасибо રે ત્સંગ.

સોર્સ: www.habr.com