ফ্ল্যাগার এবং ইস্টিও সহ স্বয়ংক্রিয় ক্যানারি স্থাপনা

সিডি একটি এন্টারপ্রাইজ সফ্টওয়্যার অনুশীলন হিসাবে স্বীকৃত এবং এটি প্রতিষ্ঠিত CI নীতিগুলির একটি প্রাকৃতিক বিবর্তনের ফলাফল। যাইহোক, সিডি এখনও বেশ বিরল, সম্ভবত ব্যবস্থাপনার জটিলতার কারণে এবং সিস্টেমের প্রাপ্যতাকে প্রভাবিত করে ব্যর্থ স্থাপনার ভয়ের কারণে।

ফ্ল্যাগার একটি ওপেন সোর্স Kubernetes অপারেটর যার লক্ষ্য বিভ্রান্তিকর সম্পর্ক দূর করা। এটি একটি পরিচালিত রোলআউটের সময় অ্যাপ্লিকেশন আচরণ বিশ্লেষণ করতে ইস্টিও ট্র্যাফিক অফসেট এবং প্রমিথিউস মেট্রিক্স ব্যবহার করে ক্যানারি স্থাপনার প্রচার স্বয়ংক্রিয় করে।

Google Kubernetes Engine (GKE) এ ফ্ল্যাগার সেট আপ এবং ব্যবহার করার জন্য নীচে একটি ধাপে ধাপে নির্দেশিকা রয়েছে৷

একটি Kubernetes ক্লাস্টার সেট আপ করা হচ্ছে

আপনি Istio অ্যাড-অন দিয়ে একটি GKE ক্লাস্টার তৈরি করে শুরু করেন (যদি আপনার একটি GCP অ্যাকাউন্ট না থাকে, আপনি সাইন আপ করতে পারেন এখানে - বিনামূল্যে ক্রেডিট পেতে)।

Google ক্লাউডে সাইন ইন করুন, একটি প্রকল্প তৈরি করুন এবং এর জন্য বিলিং সক্ষম করুন৷ কমান্ড লাইন ইউটিলিটি ইনস্টল করুন জিক্লাউড এবং এর সাথে আপনার প্রকল্প সেট আপ করুন gcloud init.

ডিফল্ট প্রকল্প, গণনা এলাকা, এবং জোন সেট করুন (প্রতিস্থাপন করুন PROJECT_ID আপনার প্রকল্পের জন্য):

gcloud config set project PROJECT_ID
gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-a

GKE পরিষেবা সক্ষম করুন এবং HPA এবং Istio অ্যাড-অনগুলির সাথে একটি ক্লাস্টার তৈরি করুন:

gcloud services enable container.googleapis.com
K8S_VERSION=$(gcloud beta container get-server-config --format=json | jq -r '.validMasterVersions[0]')
gcloud beta container clusters create istio 
--cluster-version=${K8S_VERSION} 
--zone=us-central1-a 
--num-nodes=2 
--machine-type=n1-standard-2 
--disk-size=30 
--enable-autorepair 
--no-enable-cloud-logging 
--no-enable-cloud-monitoring 
--addons=HorizontalPodAutoscaling,Istio 
--istio-config=auth=MTLS_PERMISSIVE

উপরের কমান্ডটি দুটি VM সহ একটি ডিফল্ট নোড পুল তৈরি করবে n1-standard-2 (vCPU: 2, RAM 7,5 GB, ডিস্ক: 30 GB)। আদর্শভাবে, আপনার কাজের চাপ থেকে Istio উপাদানগুলিকে বিচ্ছিন্ন করা উচিত, তবে নোডগুলির একটি উত্সর্গীকৃত পুলে Istio পডগুলি চালানোর কোনও সহজ উপায় নেই৷ Istio ম্যানিফেস্টগুলিকে শুধুমাত্র পঠনযোগ্য হিসাবে বিবেচনা করা হয় এবং GKE কোনো পরিবর্তনকে পূর্বাবস্থায় ফিরিয়ে আনবে, যেমন একটি নোডের সাথে লিঙ্ক করা বা একটি পড থেকে বিচ্ছিন্ন করা।

জন্য শংসাপত্র সেট আপ করুন kubectl:

gcloud container clusters get-credentials istio

একটি ক্লাস্টার অ্যাডমিনিস্ট্রেটর রোল বাইন্ডিং তৈরি করুন:

kubectl create clusterrolebinding "cluster-admin-$(whoami)" 
--clusterrole=cluster-admin 
--user="$(gcloud config get-value core/account)"

কমান্ড লাইন টুল ইনস্টল করুন হাল:

brew install kubernetes-helm

Homebrew 2.0 এখন এর জন্যও উপলব্ধ লিনাক্স.

টিলারের জন্য একটি পরিষেবা অ্যাকাউন্ট এবং ক্লাস্টার রোল বাইন্ডিং তৈরি করুন:

kubectl -n kube-system create sa tiller && 
kubectl create clusterrolebinding tiller-cluster-rule 
--clusterrole=cluster-admin 
--serviceaccount=kube-system:tiller

নামস্থানে টিলার প্রসারিত করুন kube-system:

helm init --service-account tiller

আপনার হেলম এবং টিলারের মধ্যে SSL ব্যবহার করা উচিত। আপনার হেলম ইনস্টলেশন সুরক্ষা সম্পর্কে আরও তথ্যের জন্য, দেখুন docs.helm.sh

সেটিংস নিশ্চিত করুন:

kubectl -n istio-system get svc

কয়েক সেকেন্ড পরে, GCP পরিষেবার জন্য একটি বহিরাগত IP ঠিকানা বরাদ্দ করা উচিত istio-ingressgateway.

ইস্টিও ইনগ্রেস গেটওয়ে কনফিগার করা হচ্ছে

একটি নামের সাথে একটি স্ট্যাটিক আইপি ঠিকানা তৈরি করুন istio-gatewayIstio গেটওয়ের IP ঠিকানা ব্যবহার করে:

export GATEWAY_IP=$(kubectl -n istio-system get svc/istio-ingressgateway -ojson | jq -r .status.loadBalancer.ingress[0].ip)
gcloud compute addresses create istio-gateway --addresses ${GATEWAY_IP} --region us-central1

এখন আপনার একটি ইন্টারনেট ডোমেইন এবং আপনার DNS রেজিস্ট্রারে অ্যাক্সেস প্রয়োজন। দুটি A রেকর্ড যোগ করুন (প্রতিস্থাপন করুন example.com আপনার ডোমেনে):

istio.example.com   A ${GATEWAY_IP}
*.istio.example.com A ${GATEWAY_IP}

DNS ওয়াইল্ডকার্ড কাজ করছে কিনা যাচাই করুন:

watch host test.istio.example.com

এইচটিটিপি-তে পরিষেবা জালের বাইরে পরিষেবাগুলি সরবরাহ করার জন্য একটি সাধারণ Istio গেটওয়ে তৈরি করুন:

apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: public-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
    - port:
        number: 80
        name: http
        protocol: HTTP
      hosts:
        - "*"

উপরের সম্পদকে public-gateway.yaml হিসাবে সংরক্ষণ করুন এবং তারপরে এটি প্রয়োগ করুন:

kubectl apply -f ./public-gateway.yaml

SSL ছাড়া ইন্টারনেটে কোনো উৎপাদন ব্যবস্থার পরিষেবা প্রদান করা উচিত নয়। সার্ট-ম্যানেজার, ক্লাউডডিএনএস এবং লেটস এনক্রিপ্টের সাথে ইস্টিও ইনগ্রেস গেটওয়ে সুরক্ষিত করতে, অনুগ্রহ করে পড়ুন ডকুমেন্টেশন ফ্ল্যাগার G.K.E.

ফ্ল্যাগার ইনস্টলেশন

GKE Istio অ্যাড-অনে এমন একটি প্রমিথিউস দৃষ্টান্ত অন্তর্ভুক্ত নয় যা ইস্টিও টেলিমেট্রি পরিষেবাকে পরিষ্কার করে। যেহেতু ফ্ল্যাগার ক্যানারি বিশ্লেষণ করতে Istio HTTP মেট্রিক্স ব্যবহার করে, তাই আপনাকে নিম্নলিখিত প্রমিথিউস কনফিগারেশনটি স্থাপন করতে হবে, যা অফিসিয়াল ইস্টিও হেলম স্কিমার সাথে আসে।

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/gke/istio-prometheus.yaml

ফ্ল্যাগার হেলম সংগ্রহস্থল যোগ করুন:

helm repo add flagger [https://flagger.app](https://flagger.app/)

নামস্থানে ফ্ল্যাগার প্রসারিত করুন istio-systemস্ল্যাক বিজ্ঞপ্তি সক্রিয় করে:

helm upgrade -i flagger flagger/flagger 
--namespace=istio-system 
--set metricsServer=http://prometheus.istio-system:9090 
--set slack.url=https://hooks.slack.com/services/YOUR-WEBHOOK-ID 
--set slack.channel=general 
--set slack.user=flagger

যতক্ষণ না এটি পোর্ট 9090 এ ইস্টিও প্রমিথিউস পরিষেবার সাথে যোগাযোগ করতে পারে ততক্ষণ আপনি যে কোনও নামস্থানে ফ্ল্যাগার ইনস্টল করতে পারেন৷

ক্যানারি বিশ্লেষণের জন্য ফ্ল্যাগারের একটি গ্রাফানা ড্যাশবোর্ড রয়েছে। নামস্থানে Grafana ইনস্টল করুন istio-system:

helm upgrade -i flagger-grafana flagger/grafana 
--namespace=istio-system 
--set url=http://prometheus.istio-system:9090 
--set user=admin 
--set password=change-me

একটি ভার্চুয়াল পরিষেবা তৈরি করে একটি খোলা গেটওয়ের মাধ্যমে গ্রাফানাকে প্রকাশ করুন (প্রতিস্থাপন করুন example.com আপনার ডোমেনে):

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana
  namespace: istio-system
spec:
  hosts:
    - "grafana.istio.example.com"
  gateways:
    - public-gateway.istio-system.svc.cluster.local
  http:
    - route:
        - destination:
            host: flagger-grafana

উপরের সংস্থানটিকে grafana-virtual-service.yaml হিসাবে সংরক্ষণ করুন এবং তারপর এটি প্রয়োগ করুন:

kubectl apply -f ./grafana-virtual-service.yaml

যখন সরানো http://grafana.istio.example.com ব্রাউজারে, আপনাকে Grafana লগইন পৃষ্ঠায় নির্দেশিত করা উচিত।

ফ্ল্যাগারের সাথে ওয়েব অ্যাপ্লিকেশন স্থাপন করা হচ্ছে

ফ্ল্যাগার Kubernetes স্থাপন করে এবং ঐচ্ছিকভাবে স্বয়ংক্রিয়ভাবে (HPA) স্কেল আউট করে, তারপর অবজেক্টের একটি সিরিজ তৈরি করে (Kubernetes স্থাপনা, ClusterIP পরিষেবা এবং Istio ভার্চুয়াল পরিষেবা)। এই বস্তুগুলি অ্যাপ্লিকেশনটিকে পরিষেবা জালের কাছে প্রকাশ করে এবং ক্যানারি বিশ্লেষণ এবং অগ্রগতি নিয়ন্ত্রণ করে।

Istio Sidecar ইনজেকশন সক্ষম করে একটি পরীক্ষার নামস্থান তৈরি করুন:

REPO=https://raw.githubusercontent.com/stefanprodan/flagger/master
kubectl apply -f ${REPO}/artifacts/namespaces/test.yaml

একটি স্থাপনা এবং একটি পড স্বয়ংক্রিয় স্কেল-আউট টুল তৈরি করুন:

kubectl apply -f ${REPO}/artifacts/canaries/deployment.yaml
kubectl apply -f ${REPO}/artifacts/canaries/hpa.yaml

ক্যানারি বিশ্লেষণের সময় ট্রাফিক তৈরি করতে একটি পরীক্ষা লোড পরিষেবা স্থাপন করুন:

helm upgrade -i flagger-loadtester flagger/loadtester 
--namepace=test

একটি কাস্টম ক্যানারি সংস্থান তৈরি করুন (প্রতিস্থাপন example.com আপনার ডোমেনে):

apiVersion: flagger.app/v1alpha3
kind: Canary
metadata:
  name: podinfo
  namespace: test
spec:
  targetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: podinfo
  progressDeadlineSeconds: 60
  autoscalerRef:
    apiVersion: autoscaling/v2beta1
    kind: HorizontalPodAutoscaler
    name: podinfo
  service:
    port: 9898
    gateways:
    - public-gateway.istio-system.svc.cluster.local
    hosts:
    - app.istio.example.com
  canaryAnalysis:
    interval: 30s
    threshold: 10
    maxWeight: 50
    stepWeight: 5
    metrics:
    - name: istio_requests_total
      threshold: 99
      interval: 30s
    - name: istio_request_duration_seconds_bucket
      threshold: 500
      interval: 30s
    webhooks:
      - name: load-test
        url: http://flagger-loadtester.test/
        timeout: 5s
        metadata:
          cmd: "hey -z 1m -q 10 -c 2 http://podinfo.test:9898/"

উপরের সংস্থানটিকে podinfo-canary.yaml হিসাবে সংরক্ষণ করুন এবং তারপরে এটি প্রয়োগ করুন:

kubectl apply -f ./podinfo-canary.yaml

উপরের বিশ্লেষণ, সফল হলে, পাঁচ মিনিটের জন্য চলবে, প্রতি অর্ধ মিনিটে HTTP মেট্রিক্স পরীক্ষা করবে। আপনি নিম্নলিখিত সূত্র ব্যবহার করে একটি ক্যানারি স্থাপনার বৈধতা এবং প্রচারের জন্য প্রয়োজনীয় সর্বনিম্ন সময় নির্ধারণ করতে পারেন: interval * (maxWeight / stepWeight). ক্যানারি CRD ক্ষেত্র নথিভুক্ত করা হয় এখানে.

কয়েক সেকেন্ড পরে, ফ্ল্যাগার ক্যানারি বস্তু তৈরি করবে:

# applied 
deployment.apps/podinfo
horizontalpodautoscaler.autoscaling/podinfo
canary.flagger.app/podinfo
# generated 
deployment.apps/podinfo-primary
horizontalpodautoscaler.autoscaling/podinfo-primary
service/podinfo
service/podinfo-canary
service/podinfo-primary
virtualservice.networking.istio.io/podinfo

একটি ব্রাউজার খুলুন এবং যান app.istio.example.com, আপনি সংস্করণ নম্বর দেখতে হবে ডেমো অ্যাপস.

স্বয়ংক্রিয় ক্যানারি বিশ্লেষণ এবং প্রচার

ফ্ল্যাগার একটি কন্ট্রোল লুপ প্রয়োগ করে যা ট্রাফিককে ধীরে ধীরে ক্যানারিতে নিয়ে যায় যখন মূল কর্মক্ষমতা মেট্রিক্স যেমন HTTP অনুরোধের সাফল্যের হার, গড় অনুরোধের সময়কাল এবং পড স্বাস্থ্য পরিমাপ করে। কেপিআই বিশ্লেষণের উপর ভিত্তি করে, ক্যানারিকে উন্নীত করা হয় বা বাধা দেওয়া হয় এবং বিশ্লেষণের ফলাফল স্ল্যাকে প্রকাশিত হয়।

নিম্নলিখিত অবজেক্টগুলির মধ্যে একটি পরিবর্তন হলে ক্যানারি স্থাপনা শুরু হয়:

• পডস্পেক স্থাপন করুন (কন্টেইনার ইমেজ, কমান্ড, পোর্ট, এনভি, ইত্যাদি)
• ConfigMaps ভলিউম হিসাবে মাউন্ট করা হয় বা পরিবেশ ভেরিয়েবলে ম্যাপ করা হয়
• সিক্রেটগুলি ভলিউম হিসাবে মাউন্ট করা হয় বা পরিবেশ ভেরিয়েবলে রূপান্তরিত হয়

একটি ধারক চিত্র আপডেট করার সময় ক্যানারি স্থাপনা চালান:

kubectl -n test set image deployment/podinfo 
podinfod=quay.io/stefanprodan/podinfo:1.4.1

ফ্ল্যাগার সনাক্ত করে যে স্থাপনার সংস্করণ পরিবর্তিত হয়েছে এবং এটি পার্স করা শুরু করে:

kubectl -n test describe canary/podinfo

Events:

New revision detected podinfo.test
Scaling up podinfo.test
Waiting for podinfo.test rollout to finish: 0 of 1 updated replicas are available
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Advance podinfo.test canary weight 20
Advance podinfo.test canary weight 25
Advance podinfo.test canary weight 30
Advance podinfo.test canary weight 35
Advance podinfo.test canary weight 40
Advance podinfo.test canary weight 45
Advance podinfo.test canary weight 50
Copying podinfo.test template spec to podinfo-primary.test
Waiting for podinfo-primary.test rollout to finish: 1 of 2 updated replicas are available
Promotion completed! Scaling down podinfo.test

বিশ্লেষণের সময়, ক্যানারি ফলাফল গ্রাফানা ব্যবহার করে ট্র্যাক করা যেতে পারে:

অনুগ্রহ করে মনে রাখবেন যে ক্যানারি বিশ্লেষণের সময় যদি নতুন পরিবর্তনগুলি একটি স্থাপনায় প্রয়োগ করা হয়, তাহলে ফ্ল্যাগার বিশ্লেষণ পর্বটি পুনরায় চালু করবে।

আপনার ক্লাস্টারে সমস্ত ক্যানারিগুলির একটি তালিকা তৈরি করুন:

watch kubectl get canaries --all-namespaces
NAMESPACE   NAME      STATUS        WEIGHT   LASTTRANSITIONTIME
test        podinfo   Progressing   15       2019-01-16T14:05:07Z
prod        frontend  Succeeded     0        2019-01-15T16:15:07Z
prod        backend   Failed        0        2019-01-14T17:05:07Z

আপনি যদি স্ল্যাক বিজ্ঞপ্তিগুলি সক্ষম করে থাকেন তবে আপনি নিম্নলিখিত বার্তাগুলি পাবেন:

স্বয়ংক্রিয় রোলব্যাক

ক্যানারি বিশ্লেষণের সময়, আপনি সিন্থেটিক HTTP 500 ত্রুটি তৈরি করতে পারেন এবং ফ্ল্যাগার স্থাপনা বন্ধ করবে কিনা তা দেখতে উচ্চ প্রতিক্রিয়া লেটেন্সি তৈরি করতে পারেন।

একটি পরীক্ষার পড তৈরি করুন এবং এতে নিম্নলিখিতগুলি করুন:

kubectl -n test run tester 
--image=quay.io/stefanprodan/podinfo:1.2.1 
-- ./podinfo --port=9898
kubectl -n test exec -it tester-xx-xx sh

HTTP 500 ত্রুটি তৈরি করা হচ্ছে:

watch curl http://podinfo-canary:9898/status/500

বিলম্ব প্রজন্ম:

watch curl http://podinfo-canary:9898/delay/1

ব্যর্থ চেকের সংখ্যা থ্রেশহোল্ডে পৌঁছে গেলে, ট্র্যাফিককে প্রাথমিক চ্যানেলে ফিরিয়ে দেওয়া হয়, ক্যানারি শূন্যে স্কেল করা হয় এবং স্থাপনা ব্যর্থ হিসাবে চিহ্নিত করা হয়।

ক্যানারি ত্রুটি এবং লেটেন্সি স্পাইকগুলি Kubernetes ইভেন্ট হিসাবে লগ করা হয়েছে এবং JSON ফর্ম্যাটে ফ্ল্যাগার দ্বারা লগ করা হয়েছে:

kubectl -n istio-system logs deployment/flagger -f | jq .msg

Starting canary deployment for podinfo.test
Advance podinfo.test canary weight 5
Advance podinfo.test canary weight 10
Advance podinfo.test canary weight 15
Halt podinfo.test advancement success rate 69.17% < 99%
Halt podinfo.test advancement success rate 61.39% < 99%
Halt podinfo.test advancement success rate 55.06% < 99%
Halt podinfo.test advancement success rate 47.00% < 99%
Halt podinfo.test advancement success rate 37.00% < 99%
Halt podinfo.test advancement request duration 1.515s > 500ms
Halt podinfo.test advancement request duration 1.600s > 500ms
Halt podinfo.test advancement request duration 1.915s > 500ms
Halt podinfo.test advancement request duration 2.050s > 500ms
Halt podinfo.test advancement request duration 2.515s > 500ms
Rolling back podinfo.test failed checks threshold reached 10
Canary failed! Scaling down podinfo.test

আপনি যদি স্ল্যাক বিজ্ঞপ্তিগুলি সক্ষম করে থাকেন, আপনি একটি বার্তা পাবেন যখন সময়সীমা অতিক্রম হয়ে যাবে বা বিশ্লেষণে ব্যর্থ চেকের সর্বোচ্চ সংখ্যা পৌঁছে যাবে:

উপসংহার ইন

Kubernetes ছাড়াও Istio-এর মতো একটি পরিষেবা জাল চালানো স্বয়ংক্রিয় মেট্রিক্স, লগ এবং প্রোটোকল প্রদান করবে, কিন্তু কাজের চাপ মোতায়েন এখনও বাহ্যিক সরঞ্জামগুলির উপর নির্ভর করে। ফ্ল্যাগারের লক্ষ্য Istio ক্ষমতা যোগ করে এটি পরিবর্তন করা প্রগতিশীল ডেলিভারি.

ফ্ল্যাগার যেকোন কুবারনেটস সিআই/সিডি সমাধানের সাথে সামঞ্জস্যপূর্ণ, এবং ক্যানারি বিশ্লেষণ সহজেই এর সাথে প্রসারিত করা যেতে পারে ওয়েবহুক সিস্টেম ইন্টিগ্রেশন/গ্রহণযোগ্যতা পরীক্ষা, লোড পরীক্ষা, বা অন্য কোনো কাস্টম চেক সঞ্চালন করতে। যেহেতু ফ্ল্যাগার ঘোষণামূলক এবং কুবারনেটস ইভেন্টগুলিতে প্রতিক্রিয়া জানায়, তাই এটি GitOps পাইপলাইনে ব্যবহার করা যেতে পারে ওয়েভ ফ্লাক্স বা জেনকিনসএক্স. আপনি যদি JenkinsX ব্যবহার করেন তাহলে আপনি jx addons সহ Flagger ইনস্টল করতে পারেন।

ফ্ল্যাগার সমর্থিত তাঁতের কাজ এবং ক্যানারি স্থাপনা প্রদান করে ওয়েভ ক্লাউড. প্রকল্পটি জিকেই, ইকেএস, এবং বেয়ার মেটালে কিউবিএডএমের সাথে পরীক্ষা করা হচ্ছে।

যদি আপনার কাছে ফ্ল্যাগার উন্নত করার পরামর্শ থাকে, তাহলে অনুগ্রহ করে GitHub-এ একটি সমস্যা বা PR জমা দিন স্টেফানপ্রোডান/ফ্ল্যাগার. অবদান স্বাগত বেশী!

Спасибо রে সাং.

উত্স: www.habr.com