{"id":86200,"date":"2020-06-22T13:42:20","date_gmt":"2020-06-22T11:42:20","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitoring-i-logirovanie-vneshnih-servisov-v-klaster-kubernetes"},"modified":"2020-06-22T13:42:20","modified_gmt":"2020-06-22T11:42:20","slug":"monitoring-i-logirovanie-vneshnih-servisov-v-klaster-kubernetes","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-i-logirovanie-vneshnih-servisov-v-klaster-kubernetes","title":{"rendered":"\u00dcberwachung und Protokollierung externer Dienste im Kubernetes-Cluster.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"\u00dcberwachung
\n
\nHallo zusammen.<\/p>\n

Ich habe im Netz keine allgemeine Anleitung f\u00fcr das Logging und das Sammeln von Metriken aus externen Diensten in bereitgestellte Systeme gefunden. Kubernetes<\/a><\/noindex>Ich ver\u00f6ffentliche meine L\u00f6sung. Dieser Artikel setzt voraus, dass Sie bereits ein funktionierendes Prometheus<\/a><\/noindex> und andere Dienste haben. Als Beispiel f\u00fcr eine Datenquelle eines externen Stateful-Services wird eine Datenbank verwendet. PostgreSQL<\/a><\/noindex> im Container Docker<\/a><\/noindex>In der Firma wird ein Paketmanager verwendet. Helm<\/a><\/noindex>Nachfolgend finden Sie Beispiele daf\u00fcr. F\u00fcr die gesamte L\u00f6sung erstellen wir unser eigenes Chart, das alle verwendeten Dienste mit enthaltenen Charts umfasst.
\n <\/a><\/noindex><\/p>\n

Protokollierung<\/h4>\n

\nViele Unternehmen nutzen einen Technologiestack f\u00fcr das Sammeln, Betrachten und Zentralisieren von Logs. Elasticsearch<\/a><\/noindex> + Logstash<\/a><\/noindex> + Kibana<\/a><\/noindex>, abgek\u00fcrzt ELK. In unserem Fall ist es nicht notwendig, den Inhalt zu indizieren, und ich habe eine leichtere L\u00f6sung angewendet. Loki<\/a><\/noindex>Es ist als Helm-Paket verf\u00fcgbar, und wir haben es als Subchart hinzugef\u00fcgt, indem wir die Werte f\u00fcr Ingress und PV an unser System angepasst haben.<\/p>\n

values.yaml<\/b><\/p>\n

ingress:\n  enabled: true\n  annotations:\n     kubernetes.io\/ingress.class: nginx\n  hosts:\n    - host: kube-loki.example.domain\n      paths: \n        - \/\n  tls: []\n\n....\n\npersistence:\n  type: pvc\n  enabled: true\n  accessModes:\n    - ReadWriteOnce\n  size: 100Gi\n  finalizers:\n    - kubernetes.io\/pvc-protection\n  existingClaim: \"pv-loki\"\n<\/code><\/pre>\n
Um Logs an die Instanz zu senden, Loki<\/a><\/noindex> VPS KVM Loki Docker Logging Driver<\/a><\/noindex>.<\/p>\n
muss dieses Plugin auf allen Docker<\/a><\/noindex> Hosts, von denen Sie Protokolle erhalten m\u00f6chten. Es gibt mehrere M\u00f6glichkeiten, dem Daemon anzugeben, wie das Add-on verwendet werden soll. Ich w\u00e4hle den Treiber in YAML aus. Docker Compose<\/a><\/noindex>, das Teil von Ansible<\/a><\/noindex> Playbook.<\/p>\n
                        postgres.yaml<\/b><\/p>\n
    - name: Run containers\n      docker_compose:\n        project_name: main-postgres\n        definition:\n          version: '3.7'\n          services:\n            p:\n              image: \"{{ postgres_version }}\"\n              container_name: postgresql\n              restart: always\n              volumes:\n                - \"{{ postgres_dir }}\/data:\/var\/lib\/postgresql\/data\"\n                - \"{{ postgres_dir }}\/postgres_init_scripts:\/docker-entrypoint-initdb.d\"\n              environment:\n                POSTGRES_PASSWORD: {{ postgres_pass }}\n                POSTGRES_USER: {{ postgres_user }}\n              ports:\n                - \"{{ postgres_ip }}:{{ postgres_port }}:5432\"\n              logging:\n                driver: \"loki\"\n                options:\n                  loki-url: \"{{ loki_url }}\"\n                  loki-batch-size: \"{{ loki_batch_size }}\"\n                  loki-retries: \"{{ loki_retries }}\"\n...\n<\/code><\/pre>\n
\nwo loki_url: kube-loki.example.domain\/loki\/api\/v1\/push<\/a><\/noindex> <\/p>\n
Metriken<\/h4>\n
\n Metriken werden von PostgreSQL mithilfe von postgres_exporter<\/a><\/noindex> f\u00fcr Prometheus<\/a><\/noindex>. Fortsetzung der oben genannten Datei Ansible<\/a><\/noindex> Playbook.<\/p>\n
                        postgres.yaml<\/b><\/p>\n
...\n            pexp:\n              image: \"wrouesnel\/postgres_exporter\"\n              container_name: pexporter\n              restart: unless-stopped\n              environment:\n                DATA_SOURCE_NAME: \"postgresql:\/\/{{ postgres_user }}:{{ postgres_pass }}@p:5432\/postgres?sslmode=disable\"\n              ports:\n                - \"{{ postgres_ip }}:{{ postgres_exporter_port }}:9187\"\n              logging:\n                driver: \"json-file\"\n                options:\n                  max-size: \"5m\"\n...\n<\/code><\/pre>\n
Um die externen stateful-Services besser zu veranschaulichen, definieren wir sie \u00fcber Endpoints.<\/p>\n
                        postgres-service.yaml<\/b><\/p>\n
apiVersion: v1\nkind: Endpoints\nmetadata:\n  name: postgres-exporter\nsubsets:\n  - addresses:\n      - ip: {{ .Values.service.postgres.ip }}\n    ports:\n      - port: {{ .Values.service.postgres.port }}\n        protocol: TCP\n---\napiVersion: v1\nkind: Service\nmetadata:\n  name: postgres-exporter\n  labels:\n    chart:  "{{ .Chart.Name }}-{{ .Chart.Version | replace "+" "_" }}"\nspec:\n  ports:\n    - protocol: TCP\n      port: {{ .Values.service.postgres.port }}\n      targetPort: {{ .Values.service.postgres.port }}\n<\/code><\/pre>\n
Die Konfiguration von Prometheus zur Erfassung der Daten von postgres_exporter erfolgt durch Anpassung der values im Subchart.<\/p>\n
                        values.yaml<\/b><\/p>\n
scrape_configs:\n...\n  - job_name: postgres-exporter\n    static_configs:\n      - targets: \n         - postgres-exporter.applicationnamespace.svc.cluster.local:9187\n        labels:\n          alias: postgres\n...\n<\/code><\/pre>\n
Um die gesammelten Daten zu visualisieren, installieren Sie das entsprechende Dashboard in
\nGrafana<\/a><\/noindex> und konfigurieren Sie die Datenquellen. Dies kann auch \u00fcber die values im Subchart Grafana erfolgen.<\/p>\n
                        So sieht das aus<\/b>
\n                        \"\u00dcberwachung<\/p>\n
\nIch hoffe, dass dieser kurze Artikel Ihnen geholfen hat, die grundlegenden Ideen hinter dieser L\u00f6sung zu verstehen, und dass er Ihnen Zeit bei der Einrichtung von Monitoring und Logging f\u00fcr externe Services mit Loki\/Prometheus im Kubernetes-Cluster spart.
\n
Quelle: habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"
\u0414\u043e\u0431\u0440\u043e\u0433\u043e \u0432\u0441\u0435\u043c. \u042f \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u0432 \u0441\u0435\u0442\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u043f\u043e \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438 \u0441\u0431\u043e\u0440\u0443 \u043c\u0435\u0442\u0440\u0438\u043a \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044b\u0435 \u0432 Kubernetes. \u041f\u0443\u0431\u043b\u0438\u043a\u0443\u044e \u0441\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0443\u0436\u0435 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0447\u0438\u0439 Prometheus \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u0443\u0436\u0431\u044b. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e stateful-\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0421\u0423\u0411\u0414 PostgreSQL \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 Docker. \u0412 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":86201,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-86200","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47\u00dcberwachung und Logging externer Dienste im Kubernetes-Cluster | ProHoster","description":"Hallo zusammen. Ich habe im Internet keine umfassende Anleitung zum Logging und zur Sammlung von Metriken von externen Diensten in Kubernetes-Deployments gefunden. Daher teile ich meine L\u00f6sung. Dieser Artikel setzt voraus, dass Sie bereits einen funktionierenden Prometheus und andere Dienste eingerichtet haben. Als Beispiel f\u00fcr eine externe stateful Datenquelle wird die PostgreSQL-Datenbank in einem Docker-Container verwendet. Im Unternehmen nutzen wir","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-i-logirovanie-vneshnih-servisov-v-klaster-kubernetes","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 \u0438 \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440 Kubernetes | ProHoster","og:description":"\u0414\u043e\u0431\u0440\u043e\u0433\u043e \u0432\u0441\u0435\u043c. \u042f \u043d\u0435 \u043d\u0430\u0448\u0435\u043b \u0432 \u0441\u0435\u0442\u0438 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0430 \u043f\u043e \u043b\u043e\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438 \u0441\u0431\u043e\u0440\u0443 \u043c\u0435\u0442\u0440\u0438\u043a \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0445 \u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044b\u0435 \u0432 Kubernetes. \u041f\u0443\u0431\u043b\u0438\u043a\u0443\u044e \u0441\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0443\u0436\u0435 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0440\u0430\u0431\u043e\u0447\u0438\u0439 Prometheus \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u0443\u0436\u0431\u044b. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e stateful-\u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0421\u0423\u0411\u0414 PostgreSQL \u0432 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 Docker. \u0412 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-i-logirovanie-vneshnih-servisov-v-klaster-kubernetes","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-06-22T11:42:20+00:00","article:modified_time":"2020-06-22T11:42:20+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"86200","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 14:21:08","updated":"2022-09-28 06:57:45"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/86200","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=86200"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/86200\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/86201"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=86200"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=86200"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=86200"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}