🥇Prometheus: Blackbox экспорттаушысы арқылы HTTP мониторингі

Бәріңе сәлем. Мамыр айында OTUS іске қосылады мониторинг және каротаж бойынша семинар, Zabbix, Prometheus, Grafana және ELK пайдаланатын инфрақұрылым және қолданбалар. Осыған орай біз дәстүрлі түрде тақырып бойынша пайдалы материалмен бөлісеміз.

Blackbox экспорттаушысы Prometheus үшін HTTP, HTTPS, DNS, TCP, ICMP арқылы сыртқы қызметтерді бақылауды жүзеге асыруға мүмкіндік береді. Бұл мақалада мен Blackbox экспорттаушысы арқылы HTTP/HTTPS мониторингін орнату жолын көрсетемін. Біз Blackbox экспорттауын Kubernetes-те іске қосамыз.

Қоршау

Бізге келесілер қажет болады:

Kubernetes
Прометей операторы

Экспорттаушы қара жәшік конфигурациясы

Blackbox арқылы конфигурациялау ConfigMap параметрлер үшін http веб-қызметтерді бақылау модулі.

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
data:
  blackbox.yaml: |
    modules:
      http_2xx:
        http:
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

Модуль http_2xx веб-қызмет HTTP 2xx күй кодын қайтаратынын тексеру үшін пайдаланылады. Қара жәшік экспорттаушы конфигурациясы толығырақ бөлімде сипатталған құжаттама.

Қара жәшік экспорттауын Kubernetes кластеріне орналастыру

Сипаттау Deployment и Service Kubernetes-те орналастыру үшін.

---
kind: Service
apiVersion: v1
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 9115
      protocol: TCP
  selector:
    app: prometheus-blackbox-exporter

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-blackbox-exporter
  template:
    metadata:
      labels:
        app: prometheus-blackbox-exporter
    spec:
      restartPolicy: Always
      containers:
        - name: blackbox-exporter
          image: "prom/blackbox-exporter:v0.15.1"
          imagePullPolicy: IfNotPresent
          securityContext:
            readOnlyRootFilesystem: true
            runAsNonRoot: true
            runAsUser: 1000
          args:
            - "--config.file=/config/blackbox.yaml"
          resources:
            {}
          ports:
            - containerPort: 9115
              name: http
          livenessProbe:
            httpGet:
              path: /health
              port: http
          readinessProbe:
            httpGet:
              path: /health
              port: http
          volumeMounts:
            - mountPath: /config
              name: config
        - name: configmap-reload
          image: "jimmidyson/configmap-reload:v0.2.2"
          imagePullPolicy: "IfNotPresent"
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          args:
            - --volume-dir=/etc/config
            - --webhook-url=http://localhost:9115/-/reload
          resources:
            {}
          volumeMounts:
            - mountPath: /etc/config
              name: config
              readOnly: true
      volumes:
        - name: config
          configMap:
            name: prometheus-blackbox-exporter

Blackbox экспорттаушысы келесі пәрмен арқылы орналастырылуы мүмкін. Атау кеңістігі monitoring Prometheus операторына сілтеме жасайды.

kubectl --namespace=monitoring apply -f blackbox-exporter.yaml

Келесі пәрменді пайдаланып барлық қызметтер жұмыс істеп тұрғанын тексеріңіз:

kubectl --namespace=monitoring get all --selector=app=prometheus-blackbox-exporter

Қара жәшікті тексеру

арқылы Blackbox экспорттаушы веб-интерфейсіне қол жеткізе аласыз port-forward:

kubectl --namespace=monitoring port-forward svc/prometheus-blackbox-exporter 9115:9115

Blackbox экспорттаушы веб-интерфейсіне веб-шолғыш арқылы қосылыңыз жергілікті: 9115.

Мекенжайға барсаңыз http://localhost:9115/probe?module=http_2xx&target=https://www.google.com, сіз көрсетілген URL мекенжайын тексеру нәтижесін көресіз (https://www.google.com).

Метрикалық мән probe_success 1-ге тең тексеру сәтті болғанын білдіреді. 0 мәні қатені көрсетеді.

Прометейді орнату

BlackBox экспорттаушысын орнатқаннан кейін біз Prometheus-ті конфигурациялаймыз prometheus-additional.yaml.

- job_name: 'kube-api-blackbox'
  scrape_interval: 1w
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
   - targets:
      - https://www.google.com
      - http://www.example.com
      - https://prometheus.io
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

Біз қалыптастырамыз Secretкелесі пәрменді пайдалану.

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

Көрсетіңіз additional-scrape-configs Prometheus операторы үшін additionalScrapeConfigs.

kubectl --namespace=monitoring edit prometheuses k8s
...
spec:
  additionalScrapeConfigs:
    key: prometheus-additional.yaml
    name: additional-scrape-configs

Біз Prometheus веб-интерфейсіне өтіп, көрсеткіштер мен мақсаттарды тексереміз.

kubectl --namespace=monitoring port-forward svc/prometheus-k8s 9090:9090

Біз Blackbox көрсеткіштері мен мақсаттарын көреміз.

Хабарландырулар үшін ережелерді қосу (ескерту)

Blackbox экспорттаушысынан хабарландырулар алу үшін Prometheus операторына ережелерді қосамыз.

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: blackbox-exporter
    rules:
    - alert: ProbeFailed
      expr: probe_success == 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "Probe failed (instance {{ $labels.instance }})"
        description: "Probe failedn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowProbe
      expr: avg_over_time(probe_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow probe (instance {{ $labels.instance }})"
        description: "Blackbox probe took more than 1s to completen  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpStatusCode
      expr: probe_http_status_code <= 199 OR probe_http_status_code >= 400
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "HTTP Status Code (instance {{ $labels.instance }})"
        description: "HTTP status code is not 200-399n  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateWillExpireSoon
      expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "SSL certificate will expire soon (instance {{ $labels.instance }})"
        description: "SSL certificate expires in 30 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateHasExpired
      expr: probe_ssl_earliest_cert_expiry - time()  <= 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "SSL certificate has expired (instance {{ $labels.instance }})"
        description: "SSL certificate has expired alreadyn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpSlowRequests
      expr: avg_over_time(probe_http_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "HTTP slow requests (instance {{ $labels.instance }})"
        description: "HTTP request took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowPing
      expr: avg_over_time(probe_icmp_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow ping (instance {{ $labels.instance }})"
        description: "Blackbox ping took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"

Prometheus веб-интерфейсінде Күй => Ережелер тармағына өтіп, қара жәшік-экспортшыға арналған ескерту ережелерін табыңыз.

Kubernetes API серверінің SSL сертификатының жарамдылық мерзімі туралы хабарландыруларды конфигурациялау

Kubernetes API Server SSL сертификатының жарамдылық мерзімін бақылауды конфигурациялайық. Ол хабарландыруларды аптасына бір рет жібереді.

Kubernetes API серверінің аутентификациясы үшін Blackbox экспорттаушы модулін қосу.

kubectl --namespace=monitoring edit configmap prometheus-blackbox-exporter
...
      kube-api:
        http:
          method: GET
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          tls_config:
            insecure_skip_verify: false
            ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
          bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

Prometheus скреп конфигурациясын қосу

- job_name: 'kube-api-blackbox'
  metrics_path: /probe
  params:
    module: [kube-api]
  static_configs:
   - targets:
      - https://kubernetes.default.svc/api
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

Прометей құпиясын пайдалану

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

Ескерту ережелерін қосу

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: k8s-api-server-cert-expiry
    rules:
    - alert: K8sAPIServerSSLCertExpiringAfterThreeMonths
      expr: probe_ssl_earliest_cert_expiry{job="kube-api-blackbox"} - time() < 86400 * 90 
      for: 1w
      labels:
        severity: warning
      annotations:
        summary: "Kubernetes API Server SSL certificate will expire after three months (instance {{ $labels.instance }})"
        description: "Kubernetes API Server SSL certificate expires in 90 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"

Пайдалы сілтемелер

Docker жүйесінде бақылау және кіру

Ақпарат көзі: www.habr.com