🥇Prometheus៖ ការត្រួតពិនិត្យ HTTP តាមរយៈ Blackbox exporter

សួស្តីអ្នកទាំងអស់គ្នា។ នៅខែឧសភា OTUS ចាប់ផ្តើម សិក្ខាសាលាស្តីពីការត្រួតពិនិត្យ និងការកាប់ឈើទាំងហេដ្ឋារចនាសម្ព័ន្ធ និងកម្មវិធីដោយប្រើ Zabbix, Prometheus, Grafana និង ELK ។ ក្នុងន័យនេះ យើងចែករំលែកជាប្រពៃណីនូវសម្ភារៈដែលមានប្រយោជន៍លើប្រធានបទ។

អ្នកនាំចេញប្រអប់ខ្មៅ សម្រាប់ Prometheus អនុញ្ញាតឱ្យអ្នកអនុវត្តការត្រួតពិនិត្យសេវាកម្មខាងក្រៅតាមរយៈ HTTP, HTTPS, DNS, TCP, ICMP ។ នៅក្នុងអត្ថបទនេះ ខ្ញុំនឹងបង្ហាញអ្នកពីរបៀបដំឡើងការត្រួតពិនិត្យ HTTP/HTTPS ដោយប្រើ Blackbox exporter។ យើងនឹងបើកដំណើរការអ្នកនាំចេញ Blackbox នៅក្នុង Kubernetes ។

បរិស្ថាន

យើងនឹងត្រូវការដូចខាងក្រោមៈ

Kubernetes
ប្រតិបត្តិករ Prometheus

ការកំណត់រចនាសម្ព័ន្ធប្រអប់ខ្មៅនាំចេញ

កំណត់រចនាសម្ព័ន្ធ Blackbox តាមរយៈ ConfigMap សម្រាប់ការកំណត់ http ម៉ូឌុលត្រួតពិនិត្យសេវាកម្មគេហទំព័រ។

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
data:
  blackbox.yaml: |
    modules:
      http_2xx:
        http:
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

ម៉ូឌុល http_2xx ប្រើដើម្បីពិនិត្យមើលថាសេវាគេហទំព័រត្រឡប់លេខកូដស្ថានភាព HTTP 2xx ។ ការកំណត់រចនាសម្ព័ន្ធអ្នកនាំចេញប្រអប់ខ្មៅត្រូវបានពិពណ៌នាលម្អិតបន្ថែមទៀតនៅក្នុង ឯកសារ.

ការដាក់ពង្រាយអ្នកនាំចេញប្រអប់ខ្មៅទៅកាន់ចង្កោម Kubernetes

ពិពណ៌នា Deployment и Service សម្រាប់ការដាក់ពង្រាយនៅក្នុង Kubernetes ។

---
kind: Service
apiVersion: v1
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 9115
      protocol: TCP
  selector:
    app: prometheus-blackbox-exporter

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-blackbox-exporter
  template:
    metadata:
      labels:
        app: prometheus-blackbox-exporter
    spec:
      restartPolicy: Always
      containers:
        - name: blackbox-exporter
          image: "prom/blackbox-exporter:v0.15.1"
          imagePullPolicy: IfNotPresent
          securityContext:
            readOnlyRootFilesystem: true
            runAsNonRoot: true
            runAsUser: 1000
          args:
            - "--config.file=/config/blackbox.yaml"
          resources:
            {}
          ports:
            - containerPort: 9115
              name: http
          livenessProbe:
            httpGet:
              path: /health
              port: http
          readinessProbe:
            httpGet:
              path: /health
              port: http
          volumeMounts:
            - mountPath: /config
              name: config
        - name: configmap-reload
          image: "jimmidyson/configmap-reload:v0.2.2"
          imagePullPolicy: "IfNotPresent"
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          args:
            - --volume-dir=/etc/config
            - --webhook-url=http://localhost:9115/-/reload
          resources:
            {}
          volumeMounts:
            - mountPath: /etc/config
              name: config
              readOnly: true
      volumes:
        - name: config
          configMap:
            name: prometheus-blackbox-exporter

អ្នកនាំចេញប្រអប់ខ្មៅអាចត្រូវបានដាក់ពង្រាយដោយប្រើពាក្យបញ្ជាខាងក្រោម។ Namespace monitoring សំដៅលើ Prometheus Operator ។

kubectl --namespace=monitoring apply -f blackbox-exporter.yaml

ត្រូវប្រាកដថាសេវាកម្មទាំងអស់កំពុងដំណើរការដោយប្រើពាក្យបញ្ជាខាងក្រោម៖

kubectl --namespace=monitoring get all --selector=app=prometheus-blackbox-exporter

ពិនិត្យប្រអប់ខ្មៅ

អ្នកអាចចូលប្រើចំណុចប្រទាក់បណ្ដាញអ្នកនាំចេញ Blackbox ដោយប្រើ port-forward:

kubectl --namespace=monitoring port-forward svc/prometheus-blackbox-exporter 9115:9115

ភ្ជាប់ទៅចំណុចប្រទាក់បណ្ដាញអ្នកនាំចេញ Blackbox តាមរយៈកម្មវិធីរុករកតាមអ៊ីនធឺណិតនៅ localhost: 9115 ។

ប្រសិនបើអ្នកទៅអាសយដ្ឋាន http://localhost:9115/probe?module=http_2xx&target=https://www.google.comអ្នកនឹងឃើញលទ្ធផលនៃការពិនិត្យ URL ដែលបានបញ្ជាក់ (https://www.google.com).

តម្លៃម៉ែត្រ probe_success ស្មើនឹង 1 មានន័យថាការត្រួតពិនិត្យជោគជ័យ។ តម្លៃ 0 បង្ហាញពីកំហុស។

ការដំឡើង Prometheus

បន្ទាប់ពីដាក់ពង្រាយអ្នកនាំចេញ BlackBox យើងកំណត់រចនាសម្ព័ន្ធ Prometheus នៅក្នុង prometheus-additional.yaml.

- job_name: 'kube-api-blackbox'
  scrape_interval: 1w
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
   - targets:
      - https://www.google.com
      - http://www.example.com
      - https://prometheus.io
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

យើងបង្កើត Secretដោយប្រើពាក្យបញ្ជាខាងក្រោម។

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

ចង្អុលបង្ហាញ additional-scrape-configs សម្រាប់ប្រតិបត្តិករ Prometheus ប្រើ additionalScrapeConfigs.

kubectl --namespace=monitoring edit prometheuses k8s
...
spec:
  additionalScrapeConfigs:
    key: prometheus-additional.yaml
    name: additional-scrape-configs

យើងចូលទៅកាន់ចំណុចប្រទាក់បណ្ដាញ Prometheus ហើយពិនិត្យមើលម៉ែត្រ និងគោលដៅ។

kubectl --namespace=monitoring port-forward svc/prometheus-k8s 9090:9090

យើងឃើញមាត្រដ្ឋាន និងគោលដៅរបស់ Blackbox ។

ការបន្ថែមច្បាប់សម្រាប់ការជូនដំណឹង (ការជូនដំណឹង)

ដើម្បីទទួលបានការជូនដំណឹងពីអ្នកនាំចេញ Blackbox យើងនឹងបន្ថែមច្បាប់ទៅកាន់ Prometheus Operator។

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: blackbox-exporter
    rules:
    - alert: ProbeFailed
      expr: probe_success == 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "Probe failed (instance {{ $labels.instance }})"
        description: "Probe failedn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowProbe
      expr: avg_over_time(probe_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow probe (instance {{ $labels.instance }})"
        description: "Blackbox probe took more than 1s to completen  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpStatusCode
      expr: probe_http_status_code <= 199 OR probe_http_status_code >= 400
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "HTTP Status Code (instance {{ $labels.instance }})"
        description: "HTTP status code is not 200-399n  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateWillExpireSoon
      expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "SSL certificate will expire soon (instance {{ $labels.instance }})"
        description: "SSL certificate expires in 30 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateHasExpired
      expr: probe_ssl_earliest_cert_expiry - time()  <= 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "SSL certificate has expired (instance {{ $labels.instance }})"
        description: "SSL certificate has expired alreadyn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpSlowRequests
      expr: avg_over_time(probe_http_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "HTTP slow requests (instance {{ $labels.instance }})"
        description: "HTTP request took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowPing
      expr: avg_over_time(probe_icmp_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow ping (instance {{ $labels.instance }})"
        description: "Blackbox ping took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"

នៅក្នុងចំណុចប្រទាក់បណ្ដាញ Prometheus សូមចូលទៅកាន់ ស្ថានភាព => ច្បាប់ ហើយស្វែងរកច្បាប់ជូនដំណឹងសម្រាប់ blackbox-exporter ។

កំណត់រចនាសម្ព័ន្ធការជូនដំណឹងអំពីផុតកំណត់វិញ្ញាបនបត្រ SSL Server Kubernetes API

ចូរកំណត់រចនាសម្ព័ន្ធការត្រួតពិនិត្យការផុតកំណត់វិញ្ញាបនបត្រ SSL ម៉ាស៊ីនបម្រើ Kubernetes API ។ វានឹងផ្ញើការជូនដំណឹងម្តងក្នុងមួយសប្តាហ៍។

ការបន្ថែមម៉ូឌុលនាំចេញប្រអប់ខ្មៅសម្រាប់ការផ្ទៀងផ្ទាត់ម៉ាស៊ីនមេ Kubernetes API ។

kubectl --namespace=monitoring edit configmap prometheus-blackbox-exporter
...
      kube-api:
        http:
          method: GET
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          tls_config:
            insecure_skip_verify: false
            ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
          bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

ការបន្ថែមការកំណត់រចនាសម្ព័ន្ធរបស់ Prometheus scrape

- job_name: 'kube-api-blackbox'
  metrics_path: /probe
  params:
    module: [kube-api]
  static_configs:
   - targets:
      - https://kubernetes.default.svc/api
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

ការប្រើប្រាស់ Prometheus Secret

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

ការបន្ថែមច្បាប់ជូនដំណឹង

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: k8s-api-server-cert-expiry
    rules:
    - alert: K8sAPIServerSSLCertExpiringAfterThreeMonths
      expr: probe_ssl_earliest_cert_expiry{job="kube-api-blackbox"} - time() < 86400 * 90 
      for: 1w
      labels:
        severity: warning
      annotations:
        summary: "Kubernetes API Server SSL certificate will expire after three months (instance {{ $labels.instance }})"
        description: "Kubernetes API Server SSL certificate expires in 90 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"

តំណមានប្រយោជន៍

ការត្រួតពិនិត្យ និងចូល Docker

ប្រភព: www.habr.com