Мониторинг PostgreSQL с использованием Zabbix

Мониторинг PostgreSQL с использованием Zabbix
Доклад Дарьи Вилковой для Zabbix Meetup Online

Я хочу познакомить вас со средством мониторинга PostgreSQL и операционной системы, которое разрабатывается нашей компанией с использованием Zabbix.

Мы выбрали Zabbix в качестве средства мониторинга уже давно, потому что это платформа с открытым исходным кодом, поддерживаемая активным сообществом, которая пользуется большой популярностью в России.

Мы создали активный агент — Mamonsu, который обеспечивал более гибкий мониторинг, чем на тот момент позволяли стандартные средства, и обеспечивал сбор метрик и их отправку на Zabbix Server. В нашей компании Mamonsu используется при проведении аудита.

Mamonsu

Mamonsu — активный агент (Zabbix Trapper) для мониторинга PostgreSQL и операционной системы. Mamonsu (написанный на Python) позволяет настроить параметры мониторинга PostgreSQL и операционной системы за пять минут.

Mamonsu обладает дополнительными инструментами:

  • mamonsu tune — команда, редактирующая параметры настройки в конфигурационном файле PostgreSQL под машину на который установлен агент Mamonsu.
  • mamonsu report — команда, создающая ответы об операционной системе и PostgreSQL.

Mamonsu устанавливается на сервер СУБД, собирает информацию, компонует ее в JSON, который отправляет для визуализации на Zabbix Server, где должен быть шаблон для его метрик.

Мониторинг PostgreSQL с использованием Zabbix

Схема работы Mamonsu

Возможности Mamonsu

  • Эффективная работа с PostgreSQL. Постоянное соединение с PostgreSQL — главное преимущество Mamonsu. При этом максимальное количество соединений равно максимальному количеству баз данных, к которым он подключается.
  • Расширяемость. Mamonsu полностью «плагинный» агент, и, благодаря фиксированной структуре каждого плагина и относительной простоте Python, можно легко научиться писать новые или редактировать стандартные плагины, т. е. параметры сбора метрик.
  • Широкий охват метрик для мониторинга для PotgreSQL в том числе метрик специфических расширений.
  • Быстрый запуск, доступность «из коробки».
  • Выгрузка шаблонов и конфигурационных файлов, а также загрузка на Zabbix Server.
  • Кроссплатформенность, что важно для наших заказчиков, которые пользуются различными дистрибутивами Linux, в том числе отечественными.
  • BSD-clause license.

На данный момент мы предлагаем множество плагинов и в каждой следующей версии стараемся добавить что-то новое.

  • 14 плагинов для PostgreSQL,
  • 8 плагинов для OS Linux,
  • 4 плагина для OS Windows.

Mamonsu собирает более 110 метрик PostgreSQL и операционных систем:

  • 70 метрик PostgreSQL,
  • 40 метрик OS Linux,
  • 8 метрик OS Windows.

Основные метрики включают доступность СУБД, количество соединений, размер базы данных, чекпойнты, скорость чтения/записи, блокировки, количество процессов автовакуум и скорость генерации WAL. Полный список доступных метрик, а также подробное описание всех инструментов доступны в репозитории на сайте GitHub.

Мониторинг PostgreSQL с использованием Zabbix

Список доступных метрик на сайте GitHub

Запуск Mamonsu за 5 минут

Для настройки мониторинг PostgreSQL и операционной системы с помощью Mamonsu можно за 5 минут, выполнив 5 простых действий.

  1. Установка Mamonsu. Mamonsu можно собрать из исходников или воспользоваться доступными пакетами.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

  1. Настройка соединений. Необходимо прописать параметры соединения c PostgreSQL и Zabbix Server в файле agent.conf.

/etc/mamonsu/agent.conf

  1. Экспорт шаблона в Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

  1. Добавление узла сети в Zabbix Server. Экспортированный шаблон будет автоматически подключен к новому узлу сети на Zabbix Server.

$ mamonsu zabbix host create mamonsu-demo

  1. Запуск.

$ service mamonsu start

Направления развития Mamonsu

В рамках развития Mamonsu мы планируем дорабатывать метрики и создавать новые плагины, например плагин мониторинга размера отдельных таблиц. Мы также планируем улучшать и создавать дополнительные инструменты, а также расширять возможности автонастройки через команду mamonsu tune.

Модуль мониторинга PostgreSQL в составе Zabbix Agent 2

Для соединения с PostgreSQL используется быстрый и популярный драйвер pgx (PG driver and toolkit for Go).

Пока мы используем два интерфейса: Exporter, вызывающий обработчик по ключу, и Configurator Zabbix Agent 2, который считывает и проверяет параметры соединения с сервером, заданные в конфигурационном файле.

Мы постарались оптимизировать работу СУБД, группируя метрики и используя обработчик (handler) для метрик и групп метрик, а также используя группы метрик в JSON как зависимые переменные (dependency items), и низкоуровневое обнаружение (discovery rules).

Основные возможности

  • сохранение постоянного соединения с PostgreSQL между проверками;
  • поддержка гибких интервалов опроса;
  • совместимость с версиями PostgreSQL, начиная с 10, и Zabbix Server, начиная с версии 4.4;
  • возможность подключения и мониторинга нескольких инстансов PostgreSQL одновременно благодаря тому, что Zabbix Agent 2 позволяет создавать несколько сессий.

Уровни параметров подключения к PostgreSQL

Всего доступны три уровня параметров подключения к PostgreSQL, т. е. задач и настроек:

  • Global,
  • Sessions,
  • Macros.

  1. Параметры Global задаются на уровне агента, параметры Session и Macros определяют параметры подключения базе.

  2. Параметры подключения к PostgreSQL — Sessions задаются в файле zabbix_agent2.conf.

Мониторинг PostgreSQL с использованием Zabbix

Параметры подключения к PostgreSQL — Sessions

  • После ключевого слова Sessions указывается уникальное имя сессии, которое должно быть указано в ключе (шаблоне).
  • Параметры URI и UserName обязательны для каждой сессии.
  • Если имя базы не задано, используется общее по умолчанию имя базы для всех сессий для PostgreSQL, которое также задается в конфигурационном файле.

  1. Параметры подключения к PostgreSQL — Macros задаются в ключе метрики в шаблоне (аналогично способу, использованному в Zabbix Agent 1), т. е. создаются в шаблоне и далее указываются как параметры в ключе. При этом последовательность макросов фиксирована, т. е., например, URI всегда указывается на первом месте.

Мониторинг PostgreSQL с использованием Zabbix

Параметры подключения к PostgreSQL — Macros

Модуль мониторинга PostgreSQL включает уже более 95 метрик, которые позволяют охватить довольно широкий объем параметров PostgreSQL, включая:

  • количество соединений,
  • объем баз данных,
  • архивация wal-файлов,
  • контрольные точки,
  • количество «раздувшихся» таблиц,
  • статус репликации,
  • отставание реплики.

Метрики PostgreSQL не информативны без параметров операционной системы. Но Zabbix Agent 2 уже умеет собирать параметры операционной системы, поэтому для получения полной картины просто подключаем к узлу сети необходимые шаблоны.

Обработчик (handler)

Обработчик (handler) — основная единица модуля, в которой выполняется сам запрос и которая позволяет получать метрики.

Чтобы получить простую метрику:

  1. Создаем файл для получения новой метрики:

zabbix/src/go/plugins/postgres/handler_uptime.go

  1. Подключаем пакет и указываем уникальный ключ (ключи) метрик:

Мониторинг PostgreSQL с использованием Zabbix

  1. Создаем обработчик (handler) с запросом, т. е. инициируем переменную, в которой будет результат:

Мониторинг PostgreSQL с использованием Zabbix

  1. Выполняем запрос:

Мониторинг PostgreSQL с использованием Zabbix

Необходимо проверить запрос на предмет ошибок, после чего результат будет подхвачен процессом Zabbix Agent 2.

  1. Регистрируем ключ новой метрики:

Мониторинг PostgreSQL с использованием Zabbix

После регистрации метрики можно пересобирать агент с новой метрикой.

Модуль доступен, начиная с Zabbix 5.0 на сайте https://www.zabbix.com/download. В этой версии Zabbix параметры задаются отдельно через host и port. В версии Zabbix 5.0.2, которая скоро выйдет, параметры подключения будут скомпонованы в один URI.

Спасибо за внимание!

Полезные ссылки

GitHub Mamonsu

Документация по Mamonsu

Zabbix Git

Источник: habr.com

Добавить комментарий