🥇Monitorowanie postgres wewnątrz Openshift

Dzień dobry, mieszkańcy Habra!

Dziś chciałbym opowiedzieć, jak bardzo chcieliśmy monitorować Postgresa oraz kilka innych elementów w klastrze OpenShift i jak to zrealizowaliśmy.

Na wejściu mieliśmy:

Openshift
Helm
Prometheus

Praca z aplikacją Java była dość prosta i przejrzysta, a jeśli dokładniej, to:

1) Dodanie do build.gradle

 implementation "io.micrometer:micrometer-registry-prometheus"

2) Uruchomienie Prometheus z konfiguracją

 - job_name: 'job-name'
    metrics_path: '\/actuator\/prometheus'
    scrape_interval: 5s
    kubernetes_sd_configs:
    - role: pod
      namespaces:
        names: 
          - 'name'

3) Dodanie wyświetlania w Grafanie

Zanim jednak wróciliśmy do monitorowania baz, które znajdują się w naszej przestrzeni nazw (tak, to źle, nikt tak nie robi, ale zdarza się różnie).

Jak to działa?

Oprócz podu z Postgres i samego Prometheus potrzebujemy jeszcze jednego elementu — exportera.

Exporter w ogólnym ujęciu to agent, który zbiera metryki z aplikacji lub nawet serwera. Dla Postgres, exporter jest napisany w Go, działa na zasadzie uruchamiania wewnętrznie skryptów SQL w bazie, a następnie uzyskane wyniki są odbierane przez Prometheus. Pozwala to również na rozszerzenie zbieranych metryk, dodając własne.

Deployujemy go w ten sposób (przykład deployment.yaml, niczego nie zobowiązujący):


---
apiVersion: extensions\/v1beta1
kind: Deployment
metadata:
  name: postgres-exporter
  labels:
    app: {{ .Values.name }}
    monitoring: prometheus
spec:
  serviceName: {{ .Values.name }}
  replicas: 1
  revisionHistoryLimit: 5
  template:
    metadata:
      labels:
        app: postgres-exporter
        monitoring: prometheus
    spec:
      containers:
      - env:
        - name: DATA_SOURCE_URI
          value: postgresdb:5432\/pstgr?sslmode=disable
        - name: DATA_SOURCE_USER
          value: postgres
        - name: DATA_SOURCE_PASS
          value: postgres
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
          requests:
            cpu: 100m
            memory: 50Mi
        livenessProbe:
          tcpSocket:
            port: metrics
          initialDelaySeconds: 30
          periodSeconds: 30
        readinessProbe:
          tcpSocket:
            port: metrics
          initialDelaySeconds: 10
          periodSeconds: 30
        image: exporter
        name: postgres-exporter
        ports:
        - containerPort: 9187
          name: metrics

Potrzebny był również serwis oraz image stream

Po wdrożeniu bardzo chcemy, aby wszystkie elementy się widziały.

Dodajemy do konfiguracji Prometeusza następujący fragment:

  - job_name: 'postgres_exporter'
    metrics_path: '\/metrics'
    scrape_interval: 5s
    dns_sd_configs:
    - names:
      - 'postgres-exporter'
      type: 'A'
      port: 9187

I właśnie w tym momencie wszystko zaczęło działać, wystarczy dodać to wszystko do Grafany i cieszyć się wynikami.

Oprócz możliwości dodawania własnych zapytań, w prometheus można zmieniać ustawienia, aby zbierać bardziej ukierunkowane metryki.

W podobny sposób zrobiono dla: