🥇پروميٿيس: بليڪ باڪس ايڪسپورٽر ذريعي HTTP مانيٽرنگ

هيلو سڀ. مئي ۾ OTUS شروع ٿئي ٿو نگراني ۽ لاگنگ تي ورڪشاپ، ٻئي زيربنا ۽ ايپليڪيشنون استعمال ڪندي Zabbix، Prometheus، Grafana ۽ ELK. ان سلسلي ۾، اسان روايتي طور تي موضوع تي مفيد مواد حصيداري ڪندا آهيون.

بليڪ باڪس برآمد ڪندڙ Prometheus لاءِ توهان کي اجازت ڏئي ٿو ته HTTP، HTTPS، DNS، TCP، ICMP ذريعي ٻاهرين خدمتن جي نگراني کي لاڳو ڪرڻ. هن آرٽيڪل ۾، مان توهان کي ڏيکاريندس ته ڪيئن قائم ڪجي HTTP/HTTPS مانيٽرنگ بليڪ باڪس ايڪسپورٽر استعمال ڪندي. اسان ڪبرنيٽس ۾ بليڪ باڪس برآمد ڪندڙ لانچ ڪنداسين.

ماحول

اسان کي هيٺين جي ضرورت پوندي:

ڪوبنيٿس
Prometheus آپريٽر

ايڪسپورٽ بليڪ باڪس جي ترتيب

بليڪ باڪس ذريعي ترتيب ڏيڻ ConfigMap سيٽنگون لاء http ويب سروسز مانيٽرنگ ماڊل.

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
data:
  blackbox.yaml: |
    modules:
      http_2xx:
        http:
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

ماڊلول http_2xx چيڪ ڪرڻ لاءِ استعمال ڪيو ويو ته ويب سروس واپسي هڪ HTTP 2xx اسٽيٽس ڪوڊ. بليڪ باڪس برآمد ڪندڙ جي تشڪيل ۾ وڌيڪ تفصيل سان بيان ڪيو ويو آهي دستاويز.

هڪ بليڪ باڪس برآمد ڪندڙ کي ڪبرنيٽس ڪلستر تي ترتيب ڏيڻ

بيان ڪريو Deployment и Service Kubernetes ۾ تعیناتي لاء.

---
kind: Service
apiVersion: v1
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  type: ClusterIP
  ports:
    - name: http
      port: 9115
      protocol: TCP
  selector:
    app: prometheus-blackbox-exporter

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-blackbox-exporter
  labels:
    app: prometheus-blackbox-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-blackbox-exporter
  template:
    metadata:
      labels:
        app: prometheus-blackbox-exporter
    spec:
      restartPolicy: Always
      containers:
        - name: blackbox-exporter
          image: "prom/blackbox-exporter:v0.15.1"
          imagePullPolicy: IfNotPresent
          securityContext:
            readOnlyRootFilesystem: true
            runAsNonRoot: true
            runAsUser: 1000
          args:
            - "--config.file=/config/blackbox.yaml"
          resources:
            {}
          ports:
            - containerPort: 9115
              name: http
          livenessProbe:
            httpGet:
              path: /health
              port: http
          readinessProbe:
            httpGet:
              path: /health
              port: http
          volumeMounts:
            - mountPath: /config
              name: config
        - name: configmap-reload
          image: "jimmidyson/configmap-reload:v0.2.2"
          imagePullPolicy: "IfNotPresent"
          securityContext:
            runAsNonRoot: true
            runAsUser: 65534
          args:
            - --volume-dir=/etc/config
            - --webhook-url=http://localhost:9115/-/reload
          resources:
            {}
          volumeMounts:
            - mountPath: /etc/config
              name: config
              readOnly: true
      volumes:
        - name: config
          configMap:
            name: prometheus-blackbox-exporter

بليڪ باڪس برآمد ڪندڙ ھيٺ ڏنل حڪم استعمال ڪندي ترتيب ڏئي سگھجي ٿو. نالي جي جاءِ monitoring پروميٿيوس آپريٽر ڏانهن اشارو آهي.

kubectl --namespace=monitoring apply -f blackbox-exporter.yaml

پڪ ڪريو ته سڀئي خدمتون هلائي رهيا آهن هيٺ ڏنل حڪم استعمال ڪندي:

kubectl --namespace=monitoring get all --selector=app=prometheus-blackbox-exporter

بليڪ باڪس چيڪ

توهان استعمال ڪري سگهو ٿا Blackbox ايڪسپورٽر ويب انٽرفيس استعمال ڪندي port-forward:

kubectl --namespace=monitoring port-forward svc/prometheus-blackbox-exporter 9115:9115

بليڪ باڪس ايڪسپورٽر ويب انٽرفيس سان ڳنڍيو ويب برائوزر ذريعي مقامي هلو: 9115.

جيڪڏھن توھان ائڊريس ڏانھن وڃو http://localhost:9115/probe?module=http_2xx&target=https://www.google.com، توهان ڏسندا ته مخصوص URL چيڪ ڪرڻ جو نتيجو (https://www.google.com).

ميٽرڪ قدر probe_success برابر 1 مطلب ڪامياب چيڪ. 0 جو قدر هڪ غلطي کي ظاهر ڪري ٿو.

Prometheus قائم ڪرڻ

بليڪ باڪس برآمد ڪندڙ کي ترتيب ڏيڻ کان پوء، اسان Prometheus کي ترتيب ڏيون ٿا prometheus-additional.yaml.

- job_name: 'kube-api-blackbox'
  scrape_interval: 1w
  metrics_path: /probe
  params:
    module: [http_2xx]
  static_configs:
   - targets:
      - https://www.google.com
      - http://www.example.com
      - https://prometheus.io
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

اسان پيدا ڪريون ٿا Secretهيٺ ڏنل حڪم استعمال ڪندي.

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

ظاهر ڪيو additional-scrape-configs استعمال ڪندي Prometheus آپريٽر لاء additionalScrapeConfigs.

kubectl --namespace=monitoring edit prometheuses k8s
...
spec:
  additionalScrapeConfigs:
    key: prometheus-additional.yaml
    name: additional-scrape-configs

اسان وڃون ٿا Prometheus ويب انٽرفيس ۽ چيڪ ڪريو ميٽرڪس ۽ مقصدن.

kubectl --namespace=monitoring port-forward svc/prometheus-k8s 9090:9090

اسان ڏسون ٿا ميٽرڪس ۽ مقصد بليڪ باڪس جا.

نوٽيفڪيشن لاء ضابطا شامل ڪرڻ (خبردار)

بليڪ باڪس برآمد ڪندڙ کان نوٽيفڪيشن حاصل ڪرڻ لاءِ، اسان Prometheus آپريٽر ۾ ضابطا شامل ڪنداسين.

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: blackbox-exporter
    rules:
    - alert: ProbeFailed
      expr: probe_success == 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "Probe failed (instance {{ $labels.instance }})"
        description: "Probe failedn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowProbe
      expr: avg_over_time(probe_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow probe (instance {{ $labels.instance }})"
        description: "Blackbox probe took more than 1s to completen  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpStatusCode
      expr: probe_http_status_code <= 199 OR probe_http_status_code >= 400
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "HTTP Status Code (instance {{ $labels.instance }})"
        description: "HTTP status code is not 200-399n  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateWillExpireSoon
      expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 30
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "SSL certificate will expire soon (instance {{ $labels.instance }})"
        description: "SSL certificate expires in 30 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SslCertificateHasExpired
      expr: probe_ssl_earliest_cert_expiry - time()  <= 0
      for: 5m
      labels:
        severity: error
      annotations:
        summary: "SSL certificate has expired (instance {{ $labels.instance }})"
        description: "SSL certificate has expired alreadyn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: HttpSlowRequests
      expr: avg_over_time(probe_http_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "HTTP slow requests (instance {{ $labels.instance }})"
        description: "HTTP request took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"
    - alert: SlowPing
      expr: avg_over_time(probe_icmp_duration_seconds[1m]) > 1
      for: 5m
      labels:
        severity: warning
      annotations:
        summary: "Slow ping (instance {{ $labels.instance }})"
        description: "Blackbox ping took more than 1sn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"

Prometheus ويب انٽرفيس ۾، وڃو Status => قاعدا ۽ ڳولھيو الرٽ ضابطا for blackbox-exporter.

Kubernetes API سرور SSL سرٽيفڪيٽ ختم ٿيڻ جي اطلاعن کي ترتيب ڏيڻ

اچو ته ترتيب ڏيو Kubernetes API سرور SSL سرٽيفڪيٽ ختم ٿيڻ جي نگراني. اهو هفتي ۾ هڪ ڀيرو اطلاع موڪليندو.

ڪبرنيٽس API سرور جي تصديق لاءِ بليڪ باڪس ايڪسپورٽر ماڊل شامل ڪرڻ.

kubectl --namespace=monitoring edit configmap prometheus-blackbox-exporter
...
      kube-api:
        http:
          method: GET
          no_follow_redirects: false
          preferred_ip_protocol: ip4
          tls_config:
            insecure_skip_verify: false
            ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
          bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
          valid_http_versions:
          - HTTP/1.1
          - HTTP/2
          valid_status_codes: []
        prober: http
        timeout: 5s

شامل ڪرڻ Prometheus scrape configuration

- job_name: 'kube-api-blackbox'
  metrics_path: /probe
  params:
    module: [kube-api]
  static_configs:
   - targets:
      - https://kubernetes.default.svc/api
  relabel_configs:
   - source_labels: [__address__]
     target_label: __param_target
   - source_labels: [__param_target]
     target_label: instance
   - target_label: __address__
     replacement: prometheus-blackbox-exporter:9115 # The blackbox exporter.

Prometheus راز استعمال ڪندي

PROMETHEUS_ADD_CONFIG=$(cat prometheus-additional.yaml | base64)
cat << EOF | kubectl --namespace=monitoring apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: additional-scrape-configs
type: Opaque
data:
  prometheus-additional.yaml: $PROMETHEUS_ADD_CONFIG
EOF

خبرداري جا ضابطا شامل ڪرڻ

kubectl --namespace=monitoring edit prometheusrules prometheus-k8s-rules
...
  - name: k8s-api-server-cert-expiry
    rules:
    - alert: K8sAPIServerSSLCertExpiringAfterThreeMonths
      expr: probe_ssl_earliest_cert_expiry{job="kube-api-blackbox"} - time() < 86400 * 90 
      for: 1w
      labels:
        severity: warning
      annotations:
        summary: "Kubernetes API Server SSL certificate will expire after three months (instance {{ $labels.instance }})"
        description: "Kubernetes API Server SSL certificate expires in 90 daysn  VALUE = {{ $value }}n  LABELS: {{ $labels }}"