🥇 Prometheus र KEDA प्रयोग गरेर Kubernetes अनुप्रयोगहरू स्वत: स्केल गर्दै

Cimuanos द्वारा बेलुन म्यान

स्केलेबिलिटी क्लाउड अनुप्रयोगहरूको लागि एक प्रमुख आवश्यकता हो। Kubernetes को साथ, एप्लिकेसन मापन गर्नु उति नै सरल छ जत्तिकै उपयुक्त डिप्लोइको लागि प्रतिकृतिहरूको संख्या बढाउने वा ReplicaSet तर यो म्यानुअल प्रक्रिया हो।

Kubernetes ले अनुप्रयोगहरूलाई स्वचालित रूपमा मापन गर्न अनुमति दिन्छ (जस्तै पोडहरू डिप्लोयमा वा ReplicaSet) तेर्सो पोड अटोस्केलर विशिष्टता प्रयोग गरेर घोषणात्मक तरिकामा। स्वचालित स्केलिंगको लागि पूर्वनिर्धारित मापदण्ड CPU उपयोग मेट्रिक्स (संसाधन मेट्रिक्स) हो, तर तपाईं अनुकूलन र बाह्य रूपमा प्रदान गरिएको मेट्रिक्स एकीकृत गर्न सक्नुहुन्छ।

टोली Kubernetes aaS Mail.ru बाट Kubernetes अनुप्रयोग स्वचालित रूपमा मापन गर्न बाह्य मेट्रिक्स कसरी प्रयोग गर्ने भन्ने बारे एउटा लेख अनुवाद गरियो। सबै कुरा कसरी काम गर्दछ भनेर देखाउन, लेखकले HTTP पहुँच अनुरोध मेट्रिक्स प्रयोग गर्दछ, जुन प्रोमेथियस प्रयोग गरेर सङ्कलन गरिन्छ।

पोडहरूको तेर्सो अटोस्केलिंगको सट्टा, Kubernetes Event Driven Autoscaling (KEDA) प्रयोग गरिन्छ, एक खुला स्रोत Kubernetes अपरेटर। यो घटना-संचालित कार्यभारहरूको लागि सिमलेस अटोस्केलिंग (शून्यबाट/शून्य सहित) प्रदान गर्न होरिजोन्टल पोड अटोस्केलरसँग नेटिभ रूपमा एकीकृत हुन्छ। कोड उपलब्ध छ GitHub.

प्रणाली को संक्षिप्त अवलोकन

रेखाचित्रले सबै कुरा कसरी काम गर्छ भन्ने संक्षिप्त विवरण देखाउँछ:

अनुप्रयोगले प्रोमिथियस ढाँचामा HTTP हिट गणना मेट्रिक्स प्रदान गर्दछ।
प्रोमेथियस यी मेट्रिकहरू सङ्कलन गर्न कन्फिगर गरिएको छ।
KEDA मा प्रोमिथियस स्केलर HTTP हिटहरूको संख्यामा आधारित अनुप्रयोगलाई स्वचालित रूपमा मापन गर्न कन्फिगर गरिएको छ।

अब म तपाईंलाई प्रत्येक तत्वको बारेमा विस्तृत रूपमा बताउनेछु।

केडा र प्रोमेथियस

Prometheus एक खुला स्रोत प्रणाली अनुगमन र चेतावनी टूलकिट, भाग हो क्लाउड नेटिभ कम्प्युटिंग फाउन्डेशन। विभिन्न स्रोतहरूबाट मेट्रिकहरू सङ्कलन गर्दछ र तिनीहरूलाई समय श्रृंखला डेटाको रूपमा भण्डार गर्दछ। तपाईंले प्रयोग गर्न सक्ने डाटा कल्पना गर्न ग्राफाना वा Kubernetes API सँग काम गर्ने अन्य भिजुअलाइजेशन उपकरणहरू।

KEDA ले स्केलरको अवधारणालाई समर्थन गर्दछ - यसले KEDA र बाह्य प्रणाली बीचको पुलको रूपमा काम गर्दछ। स्केलर कार्यान्वयन प्रत्येक लक्ष्य प्रणालीको लागि विशिष्ट छ र यसबाट डाटा निकाल्छ। KEDA ले तिनीहरूलाई स्वचालित मापन नियन्त्रण गर्न प्रयोग गर्दछ।

स्केलरहरूले धेरै डेटा स्रोतहरू समर्थन गर्छन्, उदाहरणका लागि, काफ्का, रेडिस, प्रोमेथियस। अर्थात्, KEDA मापदण्डको रूपमा प्रोमिथियस मेट्रिक्स प्रयोग गरेर Kubernetes डिप्लोयमेन्टहरू स्वचालित रूपमा मापन गर्न प्रयोग गर्न सकिन्छ।

परीक्षण आवेदन

Golang परीक्षण अनुप्रयोग HTTP मार्फत पहुँच प्रदान गर्दछ र दुई महत्त्वपूर्ण कार्यहरू प्रदर्शन गर्दछ:

एप्लिकेसनलाई इन्स्ट्रुमेन्ट गर्न र हिट काउन्ट समावेश गर्ने http_requests मेट्रिक प्रदान गर्न Prometheus Go क्लाइन्ट लाइब्रेरी प्रयोग गर्दछ। प्रोमेथियस मेट्रिक्स उपलब्ध हुने अन्तिम बिन्दु URI मा अवस्थित छ /metrics.
```
var httpRequestsCounter = promauto.NewCounter(prometheus.CounterOpts{
       Name: "http_requests",
       Help: "number of http requests",
   })
```

अनुरोधको जवाफमा GET अनुप्रयोगले कुञ्जीको मान बढाउँछ (access_count) Redis मा। यो HTTP ह्यान्डलरको भागको रूपमा काम गर्ने र प्रोमेथियस मेट्रिक्स जाँच गर्ने सजिलो तरिका हो। मेट्रिक मान मान जस्तै हुनुपर्छ access_count Redis मा।

func main() {
       http.Handle("/metrics", promhttp.Handler())
       http.HandleFunc("/test", func(w http.ResponseWriter, r 
*http.Request) {
           defer httpRequestsCounter.Inc()
           count, err := client.Incr(redisCounterName).Result()
           if err != nil {
               fmt.Println("Unable to increment redis counter", err)
               os.Exit(1)
           }
           resp := "Accessed on " + time.Now().String() + "nAccess count " + strconv.Itoa(int(count))
           w.Write([]byte(resp))
       })
       http.ListenAndServe(":8080", nil)
   }

अनुप्रयोग मार्फत Kubernetes मा तैनात गरिएको छ Deployment। सेवा पनि सिर्जना गरिएको छ ClusterIP, यसले प्रोमेथियस सर्भरलाई अनुप्रयोग मेट्रिक्स प्राप्त गर्न अनुमति दिन्छ।

यहाँ आवेदनको लागि डिप्लोयमेन्ट मेनिफेस्ट.

प्रोमेथियस सर्भर

प्रोमेथियस डिप्लोइमेन्ट मेनिफेस्टमा समावेश छ:

ConfigMap - प्रोमेथियस कन्फिगरेसन स्थानान्तरण गर्न;
Deployment - कुबर्नेट्स क्लस्टरमा प्रोमेथियस तैनात गर्नको लागि;
ClusterIP - UI Prometheus को पहुँच को लागी सेवा;
ClusterRole, ClusterRoleBinding и ServiceAccount - Kubernetes (स्वत: खोज) मा सेवाहरूको स्वत: पत्ता लगाउनको लागि।

यहाँ प्रोमेथियस चलाउनको लागि प्रकट.

KEDA Prometheus ScaledObject

स्केलरले केडा र बाह्य प्रणाली बीचको पुलको रूपमा काम गर्दछ जसबाट मेट्रिक्स प्राप्त गर्न आवश्यक छ। ScaledObject यो एक अनुकूलन स्रोत हो जुन घटना स्रोतसँग डिप्लोइमेन्ट सिङ्क्रोनाइज गर्न तैनाथ गर्न आवश्यक छ, यस अवस्थामा प्रोमेथियस।

ScaledObject परिनियोजन मापन जानकारी, घटना स्रोत मेटाडेटा (जस्तै जडान रहस्य, लाम नाम), मतदान अन्तराल, रिकभरी अवधि, र अन्य डेटा समावेश गर्दछ। यसले परिनियोजन मापन गर्न सम्बन्धित अटोस्केलिंग संसाधन (HPA परिभाषा) मा परिणाम दिन्छ।

जब एक वस्तु ScaledObject मेटाइएको छ, सम्बन्धित HPA परिभाषा खाली गरिएको छ।

यहाँ परिभाषा छ ScaledObject हाम्रो उदाहरणको लागि, यसले स्केलर प्रयोग गर्दछ Prometheus:

apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:
 name: prometheus-scaledobject
 namespace: default
 labels:
   deploymentName: go-prom-app
spec:
 scaleTargetRef:
   deploymentName: go-prom-app
 pollingInterval: 15
 cooldownPeriod:  30
 minReplicaCount: 1
 maxReplicaCount: 10
 triggers:
 - type: prometheus
   metadata:
     serverAddress: 
http://prometheus-service.default.svc.cluster.local:9090
     metricName: access_frequency
     threshold: '3'
     query: sum(rate(http_requests[2m]))

कृपया निम्न बुँदाहरूलाई ध्यान दिनुहोस्:

उसले औंल्याउँछ Deployment नाम संग go-prom-app.
ट्रिगर प्रकार - Prometheus। प्रोमेथियस सर्भर ठेगाना मेट्रिक नाम, थ्रेसहोल्ड र साथ उल्लेख गरिएको छ PromQL क्वेरी, जुन प्रयोग गरिनेछ। PromQL प्रश्न - sum(rate(http_requests[2m])).
अनुसार pollingInterval,केडाले प्रत्येक पन्ध्र सेकेन्डमा प्रोमेथियसबाट लक्ष्य अनुरोध गर्दछ। कम्तिमा एक अन्तर्गत (minReplicaCount), र पोडहरूको अधिकतम संख्या नाघिदैन maxReplicaCount (यस उदाहरणमा - दस)।

स्थापना गर्न सकिन्छ minReplicaCount शून्य बराबर। यस अवस्थामा, KEDA ले शून्य-देखि-वन डिप्लोइमेन्ट सक्रिय गर्छ र त्यसपछि थप स्वचालित स्केलिंगको लागि HPA लाई उजागर गर्दछ। उल्टो क्रम पनि सम्भव छ, त्यो हो, एक देखि शून्य मा स्केलिंग। उदाहरणमा, हामीले शून्य चयन गरेका छैनौं किनभने यो एक HTTP सेवा हो र एक माग प्रणाली होइन।

स्वत: स्केलिङ भित्रको जादू

थ्रेसहोल्ड तैनाती मापन गर्न ट्रिगरको रूपमा प्रयोग गरिन्छ। हाम्रो उदाहरणमा, PromQL क्वेरी sum(rate (http_requests [2m])) पछिल्लो दुई मिनेटमा मापन गरिएको समग्र HTTP अनुरोध दर (प्रति सेकेन्ड अनुरोधहरू) फर्काउँछ।

थ्रेसहोल्ड मान तीन भएको हुनाले, यसको मतलब त्यहाँ एक मुनि हुनेछ जबकि मान sum(rate (http_requests [2m])) तीन भन्दा कम। यदि मान बढ्छ भने, प्रत्येक पटक अतिरिक्त उप थपिन्छ sum(rate (http_requests [2m])) तीनले बढ्छ। उदाहरण को लागी, यदि मान 12 देखि 14 सम्म छ, तब पोड को संख्या चार छ।

अब यसलाई सेट अप गर्ने प्रयास गरौं!

पूर्व सेटिङ

तपाईलाई कुबेरनेट क्लस्टर र कन्फिगर गरिएको उपयोगिता चाहिन्छ kubectl। यो उदाहरणले क्लस्टर प्रयोग गर्दछ minikube, तर तपाईं कुनै पनि अर्को लिन सक्नुहुन्छ। क्लस्टर स्थापना गर्न त्यहाँ छ गाईड.

म्याकमा नवीनतम संस्करण स्थापना गर्नुहोस्:

curl -Lo minikube 
https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 
&& chmod +x minikube
sudo mkdir -p /usr/local/bin/
sudo install minikube /usr/local/bin/

सेट kubectlKubernetes क्लस्टर पहुँच गर्न।

म्याकमा नवीनतम संस्करण स्थापना गर्नुहोस्:

curl -LO 
"https://storage.googleapis.com/kubernetes-release/release/$(curl -s
https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/darwin/amd64/kubectl"
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl
kubectl version

KEDA स्थापना

तपाईं धेरै तरिकामा KEDA तैनात गर्न सक्नुहुन्छ, तिनीहरू सूचीबद्ध छन् कागजात। म मोनोलिथिक YAML प्रयोग गर्दैछु:

kubectl apply -f
https://raw.githubusercontent.com/kedacore/keda/master/deploy/KedaScaleController.yaml

KEDA र यसका कम्पोनेन्टहरू नेमस्पेसमा स्थापित छन् keda। जाँच गर्न आदेश:

kubectl get pods -n keda

KEDA अपरेटर सुरु हुनको लागि कुर्नुहोस् र जानुहोस् Running State। र त्यस पछि, जारी राख्नुहोस्।

हेल्म प्रयोग गरेर रेडिस स्थापना गर्दै

यदि तपाइँसँग हेलम स्थापना छैन भने, यो प्रयोग गर्नुहोस् नेतृत्व। म्याकमा स्थापना गर्न आदेश:

brew install kubernetes-helm
helm init --history-max 200

helm init स्थानीय कमाण्ड लाइन इन्टरफेस प्रारम्भ गर्दछ र स्थापना गर्दछ Tiller Kubernetes क्लस्टरमा।

kubectl get pods -n kube-system | grep tiller

टिलर पोड चलिरहेको अवस्थामा प्रवेश गर्नको लागि पर्खनुहोस्।

अनुवादकको टिप्पणी: लेखकले हेल्म@2 प्रयोग गर्दछ, जसलाई टिलर सर्भर कम्पोनेन्ट स्थापना गर्न आवश्यक छ। अब Helm@3 सान्दर्भिक छ, यसलाई सर्भर भाग आवश्यक पर्दैन।

हेलम स्थापना गरेपछि, Redis सुरु गर्न एक आदेश पर्याप्त छ:

helm install --name redis-server --set cluster.enabled=false --set 
usePassword=false stable/redis

प्रमाणित गर्नुहोस् कि Redis सफलतापूर्वक सुरु भएको छ:

kubectl get pods/redis-server-master-0

Redis राज्यमा जानको लागि पर्खनुहोस् Running.

आवेदन परिनियोजन

परिनियोजन आदेश:

kubectl apply -f go-app.yaml

//output
deployment.apps/go-prom-app created
service/go-prom-app-service created

जाँच गर्नुहोस् कि सबै कुरा सुरु भएको छ:

kubectl get pods -l=app=go-prom-app

Redis राज्य प्रवेश गर्न को लागी प्रतीक्षा गर्नुहोस् Running.

Prometheus सर्भर तैनाथ गर्दै

Prometheus manifest प्रयोग गर्दछ प्रोमेथियसका लागि कुबर्नेट्स सेवा खोज। यसले सेवा लेबलमा आधारित अनुप्रयोग पोडहरूको गतिशील खोजलाई अनुमति दिन्छ।

kubernetes_sd_configs:
   - role: service
   relabel_configs:
   - source_labels: [__meta_kubernetes_service_label_run]
     regex: go-prom-app-service
     action: keep

प्रयोग गर्न:

kubectl apply -f prometheus.yaml

//output
clusterrole.rbac.authorization.k8s.io/prometheus created
serviceaccount/default configured
clusterrolebinding.rbac.authorization.k8s.io/prometheus created
configmap/prom-conf created
deployment.extensions/prometheus-deployment created
service/prometheus-service created

जाँच गर्नुहोस् कि सबै कुरा सुरु भएको छ:

kubectl get pods -l=app=prometheus-server

प्रोमेथियस राज्यमा जानको लागि पर्खनुहोस् Running.

प्रयोग गर्नुहोस् kubectl port-forward Prometheus प्रयोगकर्ता इन्टरफेस (वा API सर्भर) मा पहुँच गर्न http://localhost:9090.

kubectl port-forward service/prometheus-service 9090

KEDA स्वत: स्केलिंग कन्फिगरेसन तैनात गर्दै

सिर्जना गर्न आदेश ScaledObject:

kubectl apply -f keda-prometheus-scaledobject.yaml

KEDA अपरेटर लगहरू जाँच गर्नुहोस्:

KEDA_POD_NAME=$(kubectl get pods -n keda 
-o=jsonpath='{.items[0].metadata.name}')
kubectl logs $KEDA_POD_NAME -n keda

परिणाम यस्तो देखिन्छ:

time="2019-10-15T09:38:28Z" level=info msg="Watching ScaledObject:
default/prometheus-scaledobject"
time="2019-10-15T09:38:28Z" level=info msg="Created HPA with 
namespace default and name keda-hpa-go-prom-app"

अनुप्रयोगहरू अन्तर्गत जाँच गर्नुहोस्। एउटा उदाहरण चलिरहेको हुनुपर्छ किनभने minReplicaCount बराबर १:

kubectl get pods -l=app=go-prom-app

प्रमाणित गर्नुहोस् कि HPA संसाधन सफलतापूर्वक सिर्जना गरिएको थियो:

kubectl get hpa

तपाईंले जस्तै केहि हेर्नु पर्छ:

NAME                   REFERENCE                TARGETS     MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-go-prom-app   Deployment/go-prom-app   0/3 (avg)   1         10        1          45s

स्वास्थ्य जाँच: आवेदन पहुँच

हाम्रो अनुप्रयोगको REST अन्त्य बिन्दु पहुँच गर्न, चलाउनुहोस्:

kubectl port-forward service/go-prom-app-service 8080

तपाईं अब ठेगाना प्रयोग गरेर आफ्नो Go एप पहुँच गर्न सक्नुहुन्छ http://localhost:8080। यो गर्न, आदेश चलाउनुहोस्:

curl http://localhost:8080/test

परिणाम यस्तो देखिन्छ:

Accessed on 2019-10-21 11:29:10.560385986 +0000 UTC 
m=+406004.817901246
Access count 1

यस बिन्दुमा पनि Redis जाँच गर्नुहोस्। तपाईंले त्यो कुञ्जी देख्नुहुनेछ access_count 1 मा बढ्यो:

kubectl exec -it redis-server-master-0 -- redis-cli get access_count
//output
"1"

निश्चित गर्नुहोस् कि मेट्रिक मान हो http_requests उस्तै:

curl http://localhost:8080/metrics | grep http_requests
//output
# HELP http_requests number of http requests
# TYPE http_requests counter
http_requests 1

लोड सिर्जना

हामी प्रयोग गर्नेछौं हे - लोड उत्पन्न गर्न उपयोगिता:

curl -o hey https://storage.googleapis.com/hey-release/hey_darwin_amd64 
&& chmod a+x hey

तपाईं पनि उपयोगिता डाउनलोड गर्न सक्नुहुन्छ लिनक्स वा Windows.

यसलाई चलाउनुहोस्:

./hey http://localhost:8080/test

पूर्वनिर्धारित रूपमा, उपयोगिताले 200 अनुरोधहरू पठाउँछ। तपाइँ यसलाई Prometheus मेट्रिक्स र Redis प्रयोग गरेर प्रमाणित गर्न सक्नुहुन्छ।

curl http://localhost:8080/metrics | grep http_requests
//output
# HELP http_requests number of http requests
# TYPE http_requests counter
http_requests 201
kubectl exec -it redis-server-master-0 -- redis-cli get access_count
//output
201

वास्तविक मेट्रिकको मान प्रमाणित गर्नुहोस् (PromQL क्वेरीद्वारा फिर्ता गरिएको):

curl -g 
'http://localhost:9090/api/v1/query?query=sum(rate(http_requests[2m]))'
//output
{"status":"success","data":{"resultType":"vector","result":[{"metric":{},"value":[1571734214.228,"1.686057971014493"]}]}}

यस मामला मा वास्तविक परिणाम छ 1,686057971014493 र फिल्डमा प्रदर्शित हुन्छ value। यो स्केलिंगको लागि पर्याप्त छैन, किनकि हामीले सेट गरेको थ्रेसहोल्ड 3 हो।

थप लोड!

नयाँ टर्मिनलमा, एप्लिकेसन पोडहरूको संख्या निगरानी गर्नुहोस्:

kubectl get pods -l=app=go-prom-app -w

आदेश प्रयोग गरेर लोड बढाउनुहोस्:

./hey -n 2000 http://localhost:8080/test

केहि समय पछि, तपाईले HPA ले डिप्लोयमेन्ट स्केल गर्दै र नयाँ पोडहरू सुरू गरेको देख्नुहुनेछ। यो सुनिश्चित गर्न आफ्नो HPA जाँच गर्नुहोस्:

kubectl get hpa
NAME                   REFERENCE                TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-go-prom-app   Deployment/go-prom-app   1830m/3 (avg)   1         10        6          4m22s

यदि लोड असंगत छ भने, तैनाती बिन्दुमा घटाइनेछ जहाँ केवल एक पोड चलिरहेको छ। यदि तपाइँ वास्तविक मेट्रिक (PromQL क्वेरी द्वारा फिर्ता गरिएको) जाँच गर्न चाहनुहुन्छ भने, त्यसपछि आदेश प्रयोग गर्नुहोस्:

curl -g 
'http://localhost:9090/api/v1/query?query=sum(rate(http_requests[2m]))'

सफाई

//Delete KEDA
kubectl delete namespace keda
//Delete the app, Prometheus server and KEDA scaled object
kubectl delete -f .
//Delete Redis
helm del --purge redis-server

निष्कर्षमा

KEDA ले तपाइँलाई बाह्य मेट्रिक्सको डाटाको आधारमा तपाइँको Kubernetes डिप्लोयमेन्टहरू (शून्यमा/शून्यबाट) मापन गर्न अनुमति दिन्छ। उदाहरणका लागि, प्रोमिथियस मेट्रिक्समा आधारित, रेडिसमा लाइनको लम्बाइ, काफ्का विषयमा उपभोक्ता विलम्बता।

KEDA बाह्य स्रोतसँग एकीकृत हुन्छ र Metrics Server मार्फत Horizontal Pod Autoscaler मा आफ्नो मेट्रिक्स प्रदान गर्दछ।

शुभकामना!

अरु के पढ्ने:

स्रोत: www.habr.com

Prometheus र KEDA प्रयोग गरेर Kubernetes अनुप्रयोगहरू स्वत: स्केल गर्दै