Kubernetes ক্লাস্টারে বাহ্যিক পরিষেবাগুলি পর্যবেক্ষণ এবং লগিং করা

সবার জন্য শুভকামনা.

আমি নিয়োজিত সিস্টেমগুলিতে তৃতীয় পক্ষের পরিষেবাগুলি থেকে মেট্রিক্স লগিং এবং সংগ্রহ করার বিষয়ে অনলাইনে একটি সাধারণ গাইড খুঁজে পাইনি Kubernetes. আমি আমার সমাধান পোস্ট করছি. এই নিবন্ধটি অনুমান করে যে আপনি ইতিমধ্যে একটি কাজ আছে প্রমিথিউস এবং অন্যান্য পরিষেবা। একটি বহিরাগত রাষ্ট্রীয় পরিষেবার জন্য একটি ডেটা উত্সের উদাহরণ হিসাবে, একটি DBMS ব্যবহার করা হবে৷ পোস্টগ্রি একটি পাত্রে ডকশ্রমিক. কোম্পানি একটি প্যাকেজ ম্যানেজার ব্যবহার করে হাল, পাঠ্যের নীচে এটির উদাহরণ থাকবে। সম্পূর্ণ সমাধানের জন্য, আমরা আমাদের নিজস্ব চার্ট প্রস্তুত করছি, যার মধ্যে ব্যবহৃত সমস্ত পরিষেবার নেস্টেড চার্ট রয়েছে।

লগিং

অনেক কোম্পানি লগ সংগ্রহ, দেখতে এবং কেন্দ্রীভূত করতে প্রযুক্তির স্ট্যাক ব্যবহার করে Elasticsearch + Logstash + কিবানা, সংক্ষেপে ELK হিসাবে। আমাদের ক্ষেত্রে, বিষয়বস্তু সূচী করার কোন প্রয়োজন নেই এবং আমি আরও হালকা ব্যবহার করেছি লোকি. এটি একটি হেলম প্যাকেজ হিসাবে উপলব্ধ, আমরা আমাদের সিস্টেমের সাথে মানানসই প্রবেশ এবং pv এর মান পরিবর্তন করে এটিকে একটি সাবচার্ট হিসাবে যুক্ত করেছি।

values.yaml

ingress:
  enabled: true
  annotations:
     kubernetes.io/ingress.class: nginx
  hosts:
    - host: kube-loki.example.domain
      paths: 
        - /
  tls: []

....

persistence:
  type: pvc
  enabled: true
  accessModes:
    - ReadWriteOnce
  size: 100Gi
  finalizers:
    - kubernetes.io/pvc-protection
  existingClaim: "pv-loki"

একটি উদাহরণে লগ পাঠাতে লোকি ব্যবহার লোকি ডকার লগিং ড্রাইভার.

আপনাকে অবশ্যই সবকিছুতে এই অ্যাড-অনটি ইনস্টল করতে হবে ডকশ্রমিক হোস্ট যেগুলো থেকে আপনি লগ পেতে চান। কিভাবে প্যাডিং ব্যবহার করতে হয় তা ডেমনকে বলার বিভিন্ন উপায় রয়েছে। আমি ইয়ামলে ড্রাইভার নির্বাচন করি ডকার রচনা, যা অংশ Ansible প্লেবুক

postgres.yaml

    - name: Run containers
      docker_compose:
        project_name: main-postgres
        definition:
          version: '3.7'
          services:
            p:
              image: "{{ postgres_version }}"
              container_name: postgresql
              restart: always
              volumes:
                - "{{ postgres_dir }}/data:/var/lib/postgresql/data"
                - "{{ postgres_dir }}/postgres_init_scripts:/docker-entrypoint-initdb.d"
              environment:
                POSTGRES_PASSWORD: {{ postgres_pass }}
                POSTGRES_USER: {{ postgres_user }}
              ports:
                - "{{ postgres_ip }}:{{ postgres_port }}:5432"
              logging:
                driver: "loki"
                options:
                  loki-url: "{{ loki_url }}"
                  loki-batch-size: "{{ loki_batch_size }}"
                  loki-retries: "{{ loki_retries }}"
...

যেখানে loki_url: kube-loki.example.domain/loki/api/v1/push

মেট্রিক্স

মেট্রিক্স PostgreSQL থেকে সংগ্রহ করা হয় ব্যবহার করে postgres_exporter থেকে প্রমিথিউস. উপরের ফাইলের ধারাবাহিকতা Ansible প্লেবুক

postgres.yaml

...
            pexp:
              image: "wrouesnel/postgres_exporter"
              container_name: pexporter
              restart: unless-stopped
              environment:
                DATA_SOURCE_NAME: "postgresql://{{ postgres_user }}:{{ postgres_pass }}@p:5432/postgres?sslmode=disable"
              ports:
                - "{{ postgres_ip }}:{{ postgres_exporter_port }}:9187"
              logging:
                driver: "json-file"
                options:
                  max-size: "5m"
...

আরও স্পষ্টতার জন্য, আমরা এন্ডপয়েন্ট ব্যবহার করে বাহ্যিক রাষ্ট্রীয় পরিষেবাগুলির নাম লিখব।

postgres-service.yaml

apiVersion: v1
kind: Endpoints
metadata:
  name: postgres-exporter
subsets:
  - addresses:
      - ip: {{ .Values.service.postgres.ip }}
    ports:
      - port: {{ .Values.service.postgres.port }}
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: postgres-exporter
  labels:
    chart:  "{{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}"
spec:
  ports:
    - protocol: TCP
      port: {{ .Values.service.postgres.port }}
      targetPort: {{ .Values.service.postgres.port }}

পোস্টগ্রেস_এক্সপোর্টার ডেটা পাওয়ার জন্য প্রমিথিউস কনফিগার করা সাবচার্টের মানগুলি সম্পাদনা করে করা হয়।

values.yaml

scrape_configs:
...
  - job_name: postgres-exporter
    static_configs:
      - targets: 
         - postgres-exporter.applicationnamespace.svc.cluster.local:9187
        labels:
          alias: postgres
...

প্রাপ্ত ডেটা কল্পনা করতে, উপযুক্ত ড্যাশবোর্ড ইনস্টল করুন
গ্রাফানা এবং ডেটা উত্স কনফিগার করুন। এটি Grafana সাবচার্টের মানগুলির মাধ্যমেও করা যেতে পারে।

দেখতে কেমন লাগে

আমি আশা করি এই সংক্ষিপ্ত নিবন্ধটি আপনাকে এই সমাধানের পিছনের মূল ধারণাগুলি বুঝতে সাহায্য করেছে এবং একটি Kubernetes ক্লাস্টারে Loki/Prometheus-এর জন্য বাহ্যিক পরিষেবাগুলির নিরীক্ষণ এবং লগিং সেট আপ করার সময় আপনার সময় বাঁচিয়েছে।

উত্স: www.habr.com