Autoscaling Kubernetes application uchishandisa Prometheus uye KEDA

Balloon Man naCimuanos

Масштабируемость — ключевое требование для облачных приложений. С Kubernetes масштабировать приложение так же просто, как и увеличить количество реплик для соответствующего развертывания или ReplicaSet - asi inzira yemanyorero.

Kubernetes inobvumira maapplication kuti azviyerwe otomatiki (kureva maPods mune deployment kana ReplicaSet) nenzira yekuzivisa uchishandisa Horizontal Pod Autoscaler yakatarwa. Iyo yekumisikidza chiyero chekuyera otomatiki ndeye CPU yekushandisa metrics (resource metrics), asi iwe unogona kubatanidza tsika uye kunze metrics yakapihwa.

chikwata Kubernetes aaS kubva kuMail.ru перевела статью о том, как использовать внешние метрики для автоматического масштабирования приложения Kubernetes. Чтобы показать, как все работает, автор использует метрики запросов HTTP-доступа, они собираются с помощью Prometheus.

Вместо горизонтального автомасштабирования подов, применяется Kubernetes Event Driven Autoscaling (KEDA) — оператор Kubernetes с открытым исходным кодом. Он изначально интегрируется с Horizontal Pod Autoscaler, чтобы обеспечить плавное автомасштабирование (в том числе до/от нуля) для управляемых событиями рабочих нагрузок. Код доступен на GitHub.

Краткий обзор работы системы

Dhiagiramu inoratidza tsananguro pfupi yekuti zvese zvinoshanda sei:

1. Chishandiso chinopa HTTP hit count count metrics muPrometheus fomati.
2. Prometheus inogadzirirwa kuunganidza aya metrics.
3. Iyo Prometheus scaler muKEDA inogadzirirwa kuyera otomatiki application zvichienderana nehuwandu hweHTTP hits.

Теперь подробно расскажу о каждом элементе.

KEDA uye Prometheus

Prometheus ndeye yakavhurika sosi system yekutarisa uye yekunyevera toolkit, chikamu Cloud Native Computing Nheyo. Inounganidza metrics kubva kwakasiyana masosi uye inoachengeta senge data data. Kuti uone data yaunogona kushandisa grafana kana mamwe maturusi ekuona anoshanda neKubernetes API.

KEDA inotsigira pfungwa ye scaler - inoita sebhiriji pakati peKEDA nekunze system. Kuitwa kwe scaler kwakananga kune yega yega chinangwa system uye inobvisa data kubva mairi. KEDA yobva yavashandisa kudzora otomatiki kuyera.

Scalers inotsigira akawanda data masosi, semuenzaniso, Kafka, Redis, Prometheus. Ndokunge, KEDA inogona kushandiswa kuyera otomatiki Kubernetes deployments uchishandisa Prometheus metrics semaitiro.

Test application

Iyo Golang test application inopa mukana kuburikidza neHTTP uye inoita maviri akakosha mabasa:

1. Inoshandisa iyo Prometheus Go mutengi raibhurari kuridza chishandiso uye kupa iyo http_requests metric, ine hit count. Iyo yekupedzisira iyo Prometheus metrics inowanikwa inowanikwa kuURI /metrics.

   var httpRequestsCounter = promauto.NewCounter(prometheus.CounterOpts{
          Name: "http_requests",
          Help: "number of http requests",
      })
   

2. Mukupindura chikumbiro GET приложение увеличивает значение ключа (access_count) в Redis. Это простой способ выполнить работу как часть обработчика HTTP, а также проверить метрики Prometheus. Значение метрики должно быть таким же, как значение access_count muRedis.

   func main() {
          http.Handle("/metrics", promhttp.Handler())
          http.HandleFunc("/test", func(w http.ResponseWriter, r 
   *http.Request) {
              defer httpRequestsCounter.Inc()
              count, err := client.Incr(redisCounterName).Result()
              if err != nil {
                  fmt.Println("Unable to increment redis counter", err)
                  os.Exit(1)
              }
              resp := "Accessed on " + time.Now().String() + "nAccess count " + strconv.Itoa(int(count))
              w.Write([]byte(resp))
          })
          http.ListenAndServe(":8080", nil)
      }
   

Iyo application inotumirwa kuKubernetes kuburikidza Deployment. Sevhisi inogadzirwa zvakare ClusterIP, inobvumira sevha yePrometheus kuwana mametric ekushandisa.

pano deployment manifest yekushandiswa.

Prometheus Server

Манифест развертывания Prometheus состоит из:

• ConfigMap — для передачи конфига Prometheus;
• Deployment - yekuendesa Prometheus muboka reKubernetes;
• ClusterIP — сервис для доступа к UI Prometheus;
• ClusterRole, ClusterRoleBinding и ServiceAccount - yekutarisa otomatiki masevhisi muKubernetes (Auto-discovery).

pano манифест для запуска Prometheus.

KEDA Prometheus ScaledObject

Скейлер действует как мост между KEDA и внешней системой, из которой нужно получать метрики. ScaledObject itsika sosi inoda kuisirwa kuwiriranisa kutumirwa neyechiitiko sosi, mune iyi kesi Prometheus.

ScaledObject ine ruzivo rwekuyeresa, chiitiko sosi metadata (sezvakavanzika zvekubatanidza, zita remutsetse), nguva yekuvhota, nguva yekudzoreredza, uye imwe data. Iyo inoguma mune inoenderana autoscaling sosi (HPA tsananguro) kuyera kutumirwa.

Когда объект ScaledObject удаляется, соответствующее ему определение HPA очищается.

Heino tsanangudzo ScaledObject для нашего примера, в нем используется скейлер Prometheus:

apiVersion: keda.k8s.io/v1alpha1
kind: ScaledObject
metadata:
 name: prometheus-scaledobject
 namespace: default
 labels:
   deploymentName: go-prom-app
spec:
 scaleTargetRef:
   deploymentName: go-prom-app
 pollingInterval: 15
 cooldownPeriod:  30
 minReplicaCount: 1
 maxReplicaCount: 10
 triggers:
 - type: prometheus
   metadata:
     serverAddress: 
http://prometheus-service.default.svc.cluster.local:9090
     metricName: access_frequency
     threshold: '3'
     query: sum(rate(http_requests[2m]))

Chimbofunga pfungwa dzinotevera:

1. Anonongedzera Deployment Nezita go-prom-app.
2. Trigger type - Prometheus. Iyo Prometheus server kero inotaurwa pamwe chete nezita remetric, chikumbaridzo uye PromQL mubvunzo, который будет использоваться. Запрос PromQL — sum(rate(http_requests[2m])).
3. Maererano ne pollingInterval,KEDA inokumbira chinangwa kubva kuPrometheus masekonzi gumi neshanu ega ega. Inenge imwe pasi (minReplicaCount), а максимальное количество подов не превышает maxReplicaCount (mumuenzaniso uyu - gumi).

Inogona kuisa minReplicaCount zvakaenzana ne zero. Muchiitiko ichi, KEDA inomisa zero-kune-imwe kutumirwa uye yobva yafumura iyo HPA kuti iwedzere kuyera otomatiki. Kurongeka kwemashure kunogonekawo, kureva, kuyera kubva kune imwe kuenda ku zero. Mumuenzaniso, isu hatina kusarudza zero nekuti iyi ibasa reHTTP uye kwete pane-inodiwa system.

Iwo mashiripiti mukati autoscaling

Пороговое значение используют в качестве триггера для масштабирования развертывания. В нашем примере запрос PromQL sum(rate (http_requests [2m])) inodzosa iyo yakaunganidzwa yeHTTP yekukumbira mwero (zvikumbiro pasekondi), yakayerwa pamaminetsi maviri apfuura.

Sezvo kukosha kwechikumbaridzo kuri matatu, zvinoreva kuti pachave neimwe pasi apo kukosha sum(rate (http_requests [2m])) меньше трех. Если же значение возрастает, добавляется дополнительный под каждый раз, когда sum(rate (http_requests [2m])) увеличивается на три. Например, если значение от 12 до 14, то количество подов — четыре.

Теперь давайте попробуем настроить!

Pre-setting

Всё, что вам нужно — кластер Kubernetes и настроенная утилита kubectl. Uyu muenzaniso unoshandisa cluster minikube, asi unogona kutora chero imwe ipi zvayo. Kuisa cluster iripo gwara.

Установить последнюю версию на Mac:

curl -Lo minikube 
https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 
&& chmod +x minikube
sudo mkdir -p /usr/local/bin/
sudo install minikube /usr/local/bin/

Set kubectl, чтобы получить доступ к кластеру Kubernetes.

Isa iyo yazvino vhezheni paMac:

curl -LO 
"https://storage.googleapis.com/kubernetes-release/release/$(curl -s
https://storage.googleapis.com/kubernetes-release/release/stable.txt)/bin/darwin/amd64/kubectl"
chmod +x ./kubectl
sudo mv ./kubectl /usr/local/bin/kubectl
kubectl version

Установка KEDA

Вы можете развернуть KEDA несколькими способами, они перечислены в zvinyorwa. Ndiri kushandisa monolithic YAML:

kubectl apply -f
https://raw.githubusercontent.com/kedacore/keda/master/deploy/KedaScaleController.yaml

KEDA и ее компоненты устанавливаются в пространство имен keda. Команда для проверки:

kubectl get pods -n keda

Mirira KEDA Operator kutanga uye kuenda Running State. Uye shure kwaizvozvo, enderera.

Установка Redis при помощи Helm

Если у вас не установлен Helm, воспользуйтесь этим utungamiri. Raira kuisa paMac:

brew install kubernetes-helm
helm init --history-max 200

helm init инициализирует локальный интерфейс командной строки, а также устанавливает Tiller kune Kubernetes cluster.

kubectl get pods -n kube-system | grep tiller

Mirira iyo Tiller pod kuti ipinde muRunning state.

Chiziviso chemushanduri: Munyori anoshandisa Helm @ 2, iyo inoda kuti Tiller server chikamu kuti iiswe. Iye zvino Helm @ 3 yakakosha, haidi sevha chikamu.

Mushure mekuisa Helm, murairo mumwe wakakwana kutanga Redis:

helm install --name redis-server --set cluster.enabled=false --set 
usePassword=false stable/redis

Tarisa kuti Redis yatanga zvinobudirira:

kubectl get pods/redis-server-master-0

Дождитесь, когда под Redis перейдет в состояние Running.

Application Deployment

Команда для развертывания:

kubectl apply -f go-app.yaml

//output
deployment.apps/go-prom-app created
service/go-prom-app-service created

Tarisa kuti zvese zvatanga:

kubectl get pods -l=app=go-prom-app

Mirira kuti Redis ipinde mudunhu Running.

Kutumira Prometheus Server

Iyo Prometheus inoratidza inoshandisa Kubernetes Service Discovery yePrometheus. Iyo inobvumira kuwanikwa kwemaitiro ekushandisa pods zvichibva pane iyo sevhisi label.

kubernetes_sd_configs:
   - role: service
   relabel_configs:
   - source_labels: [__meta_kubernetes_service_label_run]
     regex: go-prom-app-service
     action: keep

Kutumira:

kubectl apply -f prometheus.yaml

//output
clusterrole.rbac.authorization.k8s.io/prometheus created
serviceaccount/default configured
clusterrolebinding.rbac.authorization.k8s.io/prometheus created
configmap/prom-conf created
deployment.extensions/prometheus-deployment created
service/prometheus-service created

Tarisa kuti zvese zvatanga:

kubectl get pods -l=app=prometheus-server

Mirira kuti Prometheus apinde muhurumende Running.

Shandisa kubectl port-forward kuwana iyo Prometheus mushandisi interface (kana API server) pa http://localhost:9090.

kubectl port-forward service/prometheus-service 9090

Развертывание конфигурации автомасштабирования KEDA

Raira kugadzira ScaledObject:

kubectl apply -f keda-prometheus-scaledobject.yaml

Проверьте логи оператора KEDA:

KEDA_POD_NAME=$(kubectl get pods -n keda 
-o=jsonpath='{.items[0].metadata.name}')
kubectl logs $KEDA_POD_NAME -n keda

Результат выглядит примерно так:

time="2019-10-15T09:38:28Z" level=info msg="Watching ScaledObject:
default/prometheus-scaledobject"
time="2019-10-15T09:38:28Z" level=info msg="Created HPA with 
namespace default and name keda-hpa-go-prom-app"

Проверьте под приложения. Должен быть запущен один экземпляр, поскольку minReplicaCount zvakaenzana ne1:

kubectl get pods -l=app=go-prom-app

Tarisa kuti HPA sosi yakagadzirwa zvinobudirira:

kubectl get hpa

Вы должны увидеть что-то вроде:

NAME                   REFERENCE                TARGETS     MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-go-prom-app   Deployment/go-prom-app   0/3 (avg)   1         10        1          45s

Проверка работоспособности: доступ к приложению

Чтобы получить доступ к конечной точке REST нашего приложения, запустите:

kubectl port-forward service/go-prom-app-service 8080

Теперь вы можете получить доступ к приложению Go, используя адрес http://localhost:8080. Kuti uite izvi, shandisa murairo:

curl http://localhost:8080/test

Результат выглядит примерно так:

Accessed on 2019-10-21 11:29:10.560385986 +0000 UTC 
m=+406004.817901246
Access count 1

Panguva ino zvakare tarisa Redis. Uchaona kuti kiyi yacho access_count yakawedzera kusvika ku1:

kubectl exec -it redis-server-master-0 -- redis-cli get access_count
//output
"1"

Убедитесь, что значение метрики http_requests zvimwe chete:

curl http://localhost:8080/metrics | grep http_requests
//output
# HELP http_requests number of http requests
# TYPE http_requests counter
http_requests 1

Load Creation

Tichashandisa Hey - chishandiso chekugadzira mutoro:

curl -o hey https://storage.googleapis.com/hey-release/hey_darwin_amd64 
&& chmod a+x hey

Iwe unogona zvakare kudhawunirodha chishandiso che Linux kana Windows.

Imhanye:

./hey http://localhost:8080/test

По умолчанию утилита отправляет 200 запросов. Вы можете убедиться в этом, используя метрики Prometheus, а также Redis.

curl http://localhost:8080/metrics | grep http_requests
//output
# HELP http_requests number of http requests
# TYPE http_requests counter
http_requests 201
kubectl exec -it redis-server-master-0 -- redis-cli get access_count
//output
201

Подтвердите значение фактической метрики (возвращенной запросом PromQL):

curl -g 
'http://localhost:9090/api/v1/query?query=sum(rate(http_requests[2m]))'
//output
{"status":"success","data":{"resultType":"vector","result":[{"metric":{},"value":[1571734214.228,"1.686057971014493"]}]}}

Muchiitiko ichi mhedzisiro chaiyo ndeye 1,686057971014493 uye inoratidzwa mumunda value. Izvi hazvina kukwana kuyera, sezvo chikumbaridzo chatinoisa chiri 3.

Больше нагрузки!

Mune itsva terminal, tarisa huwandu hwemapodhi ekushandisa:

kubectl get pods -l=app=go-prom-app -w

Давайте увеличим нагрузку с помощью команды:

./hey -n 2000 http://localhost:8080/test

Mushure mechinguva, iwe uchaona HPA ichiyera kutumirwa uye kuvhura mapodhi matsva. Tarisa HPA yako kuti uve nechokwadi:

kubectl get hpa
NAME                   REFERENCE                TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
keda-hpa-go-prom-app   Deployment/go-prom-app   1830m/3 (avg)   1         10        6          4m22s

Если нагрузка непостоянна, развертывание уменьшится до точки, при которой работает только один под. Если хотите проверить фактическую метрику (возвращенную запросом PromQL), то используйте команду:

curl -g 
'http://localhost:9090/api/v1/query?query=sum(rate(http_requests[2m]))'

Kuchenesa

//Delete KEDA
kubectl delete namespace keda
//Delete the app, Prometheus server and KEDA scaled object
kubectl delete -f .
//Delete Redis
helm del --purge redis-server

mhedziso

KEDA inokutendera kuti uzviyere otomatiki yako Kubernetes deployments (ku/kubva zero) zvichibva pane data kubva kunze metrics. Semuenzaniso, zvichibva paPrometheus metrics, kureba kwemutsetse muRedis, mutengi latency muKafka musoro.

KEDA inosanganisirwa neyekunze sosi uye inopawo metrics yayo kuburikidza neMetrics Server kune Horizontal Pod Autoscaler.

Good luck!

Zvimwe zvekuverenga:

1. Maitiro akanakisa uye akanakisa maitiro ekumhanyisa midziyo uye Kubernetes munzvimbo dzekugadzira.
2. 90+ maturusi anobatsira eKubernetes: kuendesa, manejimendi, kutarisa, kuchengetedza uye nezvimwe.
3. Yedu chiteshi Around Kubernetes muTeregiramu.

Source: www.habr.com