🥇Prometheus: HTTP monitooring Blackbox eksportijaga

Tere kõigile. Mai kuus korraldab OTUS praktikumit jälgimise ja logimise kohta, nii infrastruktuuri kui rakenduste osas kasutades Zabbixit, Prometheust, Grafanat ja ELK-d. Seoses sellega jagame traditsiooniliselt kasulikku materjali selle teema kohta.

Blackbox eksportija Prometheuse jaoks võimaldab välist teenuste jälgimist HTTP, HTTPS, DNS, TCP, ICMP kaudu. Selles artiklis näitan teile, kuidas seadistada HTTP/HTTPS jälgimine Blackbox eksportija abil. Käivitame Blackbox eksportija Kuberneteses.

Keskkond

Meil on vaja järgmist:

Kubernetes
Prometheus Operator

Blackbox eksportija konfiguratsioon

Seadistame Blackboxi ConfigMap seadmise jaoks http veebiteenuste jälgimise moodul.

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
data:
  blackbox.yaml: |
    modules:
      http_2xx:
        http:
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

Modul http_2xx kasutatakse kontrollimiseks, et veebiteenus tagastab HTTP olekukoodi 2xx. Blackbox eksportija konfiguratsiooni on üksikasjalikult kirjeldatud dokumentatsioonis.

Blackbox eksportija juurutamine Kubernetes klastris

Kirjeldage Deployment ja Teenused juurutamiseks Kuberneteses.

---
kind: Service
apiVersion: v1
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 9115
      protocol: TCP
  selector:
    app: prometheus-blackbox-exporter

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-blackbox-exporter
  template:
    metadata:
      labels:
        app: prometheus-blackbox-exporter
    spec:
      restartPolicy: Always
      containers:
        - name: blackbox-exporter
          image: "prom/blackbox-exporter:v0.15.1"
          imagePullPolicy: IfNotPresent
          securityContext:
            readOnlyRootFilesystem: true
            runAsNonRoot: true
            runAsUser: 1000
          args:
            - "--config.file=/config/blackbox.yaml"
          resources:
            {}
          ports:
            - containerPort: 9115
              name: http
          livenessProbe:
            httpGet:
              path: /health
              port: http
          readinessProbe:
            httpGet:
              path: /health
              port: http
          volumeMounts:
            - mountPath: /config
              name: config
        - name: configmap-reload
          image: "jimmidyson/configmap-reload:v0.2.2"
          imagePullPolicy: "IfNotPresent"
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          args:
            - --volume-dir=/etc/config
            - --webhook-url=http://localhost:9115/-/reload
          resources:
            {}
          volumeMounts:
            - mountPath: /etc/config
              name: config
              readOnly: true
      volumes:
        - name: config
          configMap:
            name: prometheus-blackbox-exporter

Blackbox eksportöör saab käivitada järgmise käsuga. Nimi ruum monitoring on seotud Prometheus Operaatoriga.

kubectl --namespace=monitoring apply -f blackbox-exporter.yaml

Veenduge, et kõik teenused töötavad, kasutades järgmisi käsku:

kubectl --namespace=monitoring get all --selector=app=prometheus-blackbox-exporter

Blackbox kontrollimine

Minge Blackbox eksportööri veebiliidesele aadressil port-forward:

kubectl --namespace=monitoring port-forward svc/prometheus-blackbox-exporter 9115:9115

Külastage Blackbox eksportööri veebiliidest veebilehitseja kaudu aadressil localhost:9115.

Kui külastate aadressi http://localhost:9115/probe?module=http_2xx&target=https://www.google.com, näete määratud URL-i kontrollimise tulemust (https://www.google.com).

Mõõtme väärtus probe_success ühtib 1, mis tähendab edukat kontrolli. Väärtus 0 viitab veale.

Prometheuse seadistamine

Pärast BlackBox eksportööri käivitamist seadistame Prometheuse failis prometheus-additional.yaml.

- job_name: 'kube-api-blackbox'
  scrape_interval: 1w
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
   - targets:
      - https://www.google.com
      - http://www.example.com
      - https://prometheus.io
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # Blackbox eksportör.

Genereerime Saladus, kasutades järgmist käsku.

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

Määrake additional-scrape-configs Prometheus Operatori jaoks, kasutades additionalScrapeConfigs.

kubectl --namespace=monitoring edit prometheuses k8s
...
spec:
  additionalScrapeConfigs:
    key: prometheus-additional.yaml
    name: additional-scrape-configs

Siseneme Prometheuse veebiliidesesse, kontrollime mõõdikuid ja sihte.

kubectl --namespace=monitoring port-forward svc/prometheus-k8s 9090:9090

Näeme Blackboxi mõõdikuid ja sihte.

Hoiatusereeglite lisamine (alert)

Mustkastie eksportija teavituste saamiseks lisame reeglid Prometheus Operatorisse.

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: blackbox-exporter
    rules:
    - alert: ProbeFailed
      expr: probe_success == 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "Proov ebaõnnestus (instance {{ $labels.instance }})"
        description: "Proov ebaõnnestus
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"
    - alert: SlowProbe
      expr: avg_over_time(probe_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Aeglane proov (instance {{ $labels.instance }})"
        description: "Blackbox'i proov kestis kauem kui 1s
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"
    - alert: HttpStatusCode
      expr: probe_http_status_code = 400
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "HTTP staatuse kood (instance {{ $labels.instance }})"
        description: "HTTP staatuse kood ei ole 200-399
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"
    - alert: SslCertificateWillExpireSoon
      expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "SSL-sertifikaat aegub peagi (instance {{ $labels.instance }})"
        description: "SSL-sertifikaat aegub 30 päeva jooksul
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"
    - alert: SslCertificateHasExpired
      expr: probe_ssl_earliest_cert_expiry - time()  1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "HTTP aeglased päringud (instance {{ $labels.instance }})"
        description: "HTTP päring kestis kauem kui 1s
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"
    - alert: SlowPing
      expr: avg_over_time(probe_icmp_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Aeglane ping (instance {{ $labels.instance }})"
        description: "Blackbox'i ping kestis kauem kui 1s
  VÄÄRTUS = {{ $value }}
  SILDID: {{ $labels }}"

Prometheuse veebiliideses minge jaotisse Status => Rules ning leidke blackbox-exporteri häirereeglid.

Kubernetes API serveri SSL-sertifikaatide aegumisteadete seadistamine.

Seame üles Kubernetes API serveri SSL-sertifikaatide aegumise jälgimise. See saadab teateid kord nädalas.

Lisame Blackbox eksportija mooduli Kubernetes API serveri autentimiseks.

kubectl --namespace=monitoring edit configmap prometheus-blackbox-exporter
...
      kube-api:
        http:
          meetod: GET
          ei_järgida_suunamisi: vale
          eelistatud_ip_protokoll: ip4
          tls_config:
            ebausaldusväärselt_jätma_kinnitamata: vale
            ca_fail: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
          bearer_token_fail: /var/run/secrets/kubernetes.io/serviceaccount/token
          kehtivad_http_versioonid:
          - HTTP/1.1
          - HTTP/2
          kehtivad_staatuse_koodid: []
        prober: http
        timeout: 5s

Lisame Prometheuse scrape-konfiguratsiooni.

- job_name: 'kube-api-blackbox'
  metrics_path: /probe
  params:
    moodul: [kube-api]
  staatilised_konfiguratsioonid:
   - sihtmärgid:
      - https://kubernetes.default.svc/api
  ümberlabelimise_konfiguratsioonid:
   - allika_sildid: [__address__]
     siht_silt: __param_target
   - allika_sildid: [__param_target]
     siht_silt: instance
   - siht_silt: __address__
     asendamine: prometheus-blackbox-exporter:9115 # Blackbox eksportija.

Rakendame Prometheuse Salajase.

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

Lisame häirereeglid.

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: k8s-api-server-cert-expiry
    rules:
    - alert: K8sAPIServerSSLCertExpiringAfterThreeMonths
      expr: probe_ssl_earliest_cert_expiry{job="kube-api-blackbox"} - time() < 86400 * 90 
      for: 1w
      labels:
        severity: warning
      annotations:
        summary: "Kubernetes API Server SSL sertifika aegub kolme kuu pärast (instants {{ $labels.instance }})"
        description: "Kubernetes API Server SSL sertifika aegub 90 päeva jooksuln  VÄÄRTUS = {{ $value }}n  SILDID: {{ $labels }}"