कुबर्नेट्स क्लस्टरवर बाह्य सेवांचे निरीक्षण आणि लॉगिंग

सर्वांना शुभेच्छा.

मध्ये तैनात केलेल्या सिस्टममध्ये तृतीय-पक्ष सेवांमधून मेट्रिक्स लॉग इन करणे आणि गोळा करणे यावर मला ऑनलाइन सामान्यीकृत मार्गदर्शक सापडला नाही कुबेरनेट्स. मी माझा उपाय पोस्ट करत आहे. हा लेख गृहीत धरतो की तुमच्याकडे आधीपासूनच काम आहे Prometheus आणि इतर सेवा. बाह्य स्टेटफुल सेवेसाठी डेटा स्रोताचे उदाहरण म्हणून, DBMS वापरला जाईल पोस्टग्रे एसक्यूएल कंटेनर मध्ये गोदी कामगार. कंपनी पॅकेज मॅनेजर वापरते प्रमुखपदी, खाली मजकुरात त्यावर उदाहरणे असतील. संपूर्ण समाधानासाठी, आम्ही आमचा स्वतःचा तक्ता तयार करत आहोत, ज्यामध्ये वापरलेल्या सर्व सेवांचे नेस्टेड चार्ट समाविष्ट आहेत.

लॉगिंग

अनेक कंपन्या लॉग गोळा करण्यासाठी, पाहण्यासाठी आणि केंद्रीकृत करण्यासाठी तंत्रज्ञानाचा स्टॅक वापरतात Elasticsearch + लॉगस्टॅश + किबाना, ELK म्हणून संक्षिप्त. आमच्या बाबतीत, सामग्री अनुक्रमित करण्याची आवश्यकता नाही आणि मी अधिक हलके वापरले लोकी. हे हेल्म पॅकेज म्‍हणून उपलब्‍ध आहे, आम्‍ही आमच्‍या सिस्‍टमला अनुकूल होण्‍यासाठी प्रवेश आणि pv ची व्हॅल्यूज बदलून सबचार्ट म्‍हणून जोडले.

values.yaml

ingress:
  enabled: true
  annotations:
     kubernetes.io/ingress.class: nginx
  hosts:
    - host: kube-loki.example.domain
      paths: 
        - /
  tls: []

....

persistence:
  type: pvc
  enabled: true
  accessModes:
    - ReadWriteOnce
  size: 100Gi
  finalizers:
    - kubernetes.io/pvc-protection
  existingClaim: "pv-loki"

एखाद्या प्रसंगावर लॉग पाठवण्यासाठी लोकी वापरा लोकी डॉकर लॉगिंग ड्रायव्हर.

तुम्ही हे अॅड-ऑन प्रत्येक गोष्टीवर इंस्टॉल करणे आवश्यक आहे गोदी कामगार होस्ट ज्यावरून तुम्हाला लॉग प्राप्त करायचे आहेत. पॅडिंग कसे वापरावे हे डिमनला सांगण्याचे अनेक मार्ग आहेत. मी यामलमध्ये ड्रायव्हर निवडतो डॉकर लिहिणे, जो भाग आहे उत्तर द्या प्लेबुक

postgres.yaml

    - name: Run containers
      docker_compose:
        project_name: main-postgres
        definition:
          version: '3.7'
          services:
            p:
              image: "{{ postgres_version }}"
              container_name: postgresql
              restart: always
              volumes:
                - "{{ postgres_dir }}/data:/var/lib/postgresql/data"
                - "{{ postgres_dir }}/postgres_init_scripts:/docker-entrypoint-initdb.d"
              environment:
                POSTGRES_PASSWORD: {{ postgres_pass }}
                POSTGRES_USER: {{ postgres_user }}
              ports:
                - "{{ postgres_ip }}:{{ postgres_port }}:5432"
              logging:
                driver: "loki"
                options:
                  loki-url: "{{ loki_url }}"
                  loki-batch-size: "{{ loki_batch_size }}"
                  loki-retries: "{{ loki_retries }}"
...

कुठे loki_url: kube-loki.example.domain/loki/api/v1/push

मेट्रिक्स

मेट्रिक्स PostgreSQL वापरून गोळा केले जातात postgres_exporter ते Prometheus. उपरोक्त फाईल चालू ठेवणे उत्तर द्या प्लेबुक

postgres.yaml

...
            pexp:
              image: "wrouesnel/postgres_exporter"
              container_name: pexporter
              restart: unless-stopped
              environment:
                DATA_SOURCE_NAME: "postgresql://{{ postgres_user }}:{{ postgres_pass }}@p:5432/postgres?sslmode=disable"
              ports:
                - "{{ postgres_ip }}:{{ postgres_exporter_port }}:9187"
              logging:
                driver: "json-file"
                options:
                  max-size: "5m"
...

अधिक स्पष्टतेसाठी, आम्ही एंडपॉइंट्स वापरून बाह्य स्टेटफुल सेवांची नावे लिहू.

postgres-service.yaml

apiVersion: v1
kind: Endpoints
metadata:
  name: postgres-exporter
subsets:
  - addresses:
      - ip: {{ .Values.service.postgres.ip }}
    ports:
      - port: {{ .Values.service.postgres.port }}
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: postgres-exporter
  labels:
    chart:  "{{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}"
spec:
  ports:
    - protocol: TCP
      port: {{ .Values.service.postgres.port }}
      targetPort: {{ .Values.service.postgres.port }}

पोस्टग्रेस_एक्सपोर्टर डेटा प्राप्त करण्यासाठी प्रोमिथियस कॉन्फिगर करणे सबचार्टमधील मूल्ये संपादित करून केले जाते.

values.yaml

scrape_configs:
...
  - job_name: postgres-exporter
    static_configs:
      - targets: 
         - postgres-exporter.applicationnamespace.svc.cluster.local:9187
        labels:
          alias: postgres
...

प्राप्त डेटाची कल्पना करण्यासाठी, योग्य डॅशबोर्ड स्थापित करा
ग्राफाना आणि डेटा स्रोत कॉन्फिगर करा. हे ग्राफना सबचार्टमधील मूल्यांद्वारे देखील केले जाऊ शकते.

ते कशासारखे दिसते

मला आशा आहे की या छोट्या लेखाने तुम्हाला या उपायामागील मुख्य कल्पना समजून घेण्यात मदत केली आहे आणि कुबर्नेट्स क्लस्टरमध्ये लोकी/प्रोमेथियससाठी बाह्य सेवांचे निरीक्षण आणि लॉगिंग सेट करताना तुमचा वेळ वाचला आहे.

स्त्रोत: www.habr.com