Мониторинг на PostgreSQL с използване на Zabbix

Доклад на Дария Вилкова за Zabbix Meetup Online

Искам да ви запозная с инструмент за мониторинг на PostgreSQL и операционна система, който се разработва от нашата компания с използването на Zabbix.

Отдавна избрахме Zabbix за инструмент за мониторинг, защото е платформа с отворен код, която се поддържа от активно общество и е много популярна в Русия.

Създадохме активен агент — Mamonsu, който осигурява по-гъвкав мониторинг от стандартните средства по онова време и събира метрики, които изпраща на Zabbix Server. Mamonsu се използва в нашата компания при провеждането на одити.

Mamonsu

Mamonsu — активен агент (Zabbix Trapper) за мониторинг на PostgreSQL и операционна система. Mamonsu (написан на Python) позволява настройка на параметрите за мониторинг на PostgreSQL и операционна система за пет минути.

Mamonsu разполага с допълнителни инструменти:

• mamonsu tune — команда, редактираща параметрите на настройка в конфигурационния файл PostgreSQL за машината, на която е инсталиран агентът Mamonsu.
• mamonsu report — команда, която създава отчети за операционната система и PostgreSQL.

Mamonsu се инсталира на сървъра на СУБД, събира информация и я компоново в JSON, който изпраща за визуализация на Zabbix Server, където трябва да има шаблон за неговите метрики.

Схема на работа на Mamonsu

Възможности на Mamonsu

• Ефективна работа с PostgreSQL. Постоянното свързване с PostgreSQL е основно предимство на Mamonsu. При това максималният брой връзки е равен на максималния брой бази данни, с които се свързва.
• Разширяемост. Mamonsu е напълно „плъгин“ агент и, благодарение на фиксираната структура на всеки плъгин и относителната простота на Python, лесно може да се научи как да се пишат нови или да се редактират стандартни плъгини.
• Широк обхват на метрики за мониторинг за PostgreSQL включително метрики на специфични разширения.
• Бърз старт, достъпност „извън кутията“.
• Изнасяне на шаблони и конфигурационни файлове, както и качване на Zabbix Server.
• Кроссплатформеност, което е важно за нашите клиенти, които използват различни дистрибуции на Linux, включително родни.
• Лиценз по BSD-клауза.

В момента предлагаме множество плъгини и във всяка следваща версия се стараем да добавим нещо ново.

• 14 плъгина за PostgreSQL,
• 8 плъгина за ОС Linux,
• 4 плъгина за OS Windows.

Mamonsu събира над 110 метрики за PostgreSQL и операционни системи:

• 70 метрики за PostgreSQL,
• 40 метрики за OS Linux,
• 8 метрики за OS Windows.

Основните метрики включват наличност на СУБД, брой свързвания, размер на базата данни, чекпойнтове, скорост на четене/писане, блокировки, брой процеси за автопочистване и скорост на генериране на WAL. Пълният списък с налични метрики, както и подробното описание на всички инструменти са налични на репозитории в сайта GitHub.

Списък с налични метрики на сайта GitHub

Стартиране на Mamonsu за 5 минути

Настройката на мониторинга за PostgreSQL и операционната система с помощта на Mamonsu може да бъде извършена за 5 минути, чрез изпълнение на 5 прости действия.

1. Инсталация на Mamonsu. Mamonsu може да бъде компилиран от изходен код или да се използват наличните пакети.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

1. Настройка на свързванията. Необходими са параметри за свързване с PostgreSQL и Zabbix Server в файла agent.conf.

/etc/mamonsu/agent.conf

1. Експорт на шаблон в Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

1. Добавяне на мрежов узел в Zabbix Server. Експортният шаблон ще бъде автоматично свързан с новия мрежов узел на Zabbix Server.

$ mamonsu zabbix host create mamonsu-demo

1. Стартирането.

$ service mamonsu start

Направления за развитие на Mamonsu

В рамките на развитието на Mamonsu планираме да доразвиваме метриките и да създадем нови плъгини, например плъгин за мониторинг на размера на отделни таблици. Планираме също да подобрим и създадем допълнителни инструменти, както и да разширим възможностите за автоматична настройка чрез командата mamonsu tune.

Модул за мониторинг на PostgreSQL в състава на Zabbix Agent 2

За свързване с PostgreSQL се използва бърз и популярен драйвер pgx (PG драйвер и toolkit за Go).

В момента използваме два интерфейса: Exporter, който извиква обработвача по ключ, и Configurator за Zabbix Agent 2, който прочита и провери параметрите за свързване със сървъра, зададени в конфигурационния файл.

Опитахме се да оптимизираме работата на СУБД, групирайки метриките и използвайки обработвач (handler) за метриките и групите метрики, както и използвайки групи метрики в JSON като зависими променливи (dependency items), и нискоуровнево откритие (discovery rules).

Основни възможности

• запазване на постоянно свързване с PostgreSQL между проверките;
• поддръжка на гъвкави интервали за опрос;
• съвместимост с версии на PostgreSQL, начиная от 10, и Zabbix Server, начиная от версия 4.4;
• възможност за свързване и мониторинг на няколко PostgreSQL инстанса едновременно, благодарение на Zabbix Agent 2, който позволява създаването на няколко сесии.

Нива на параметрите за свързване с PostgreSQL

Общо са налични три нива на параметрите за свързване с PostgreSQL, т.е. задачи и настройки:

• Global,
• Sessions,
• Macros.

1. Global параметрите се задават на ниво агент, а параметрите Session и Macros определят параметрите за свързване с базата.

2. Параметрите за свързване с PostgreSQL — Sessions се задават в файла zabbix_agent2.conf.

Параметрите за свързване с PostgreSQL — Sessions

• След ключовата дума Sessions се посочва уникално име на сесия, което трябва да бъде посочено в ключа (шаблона).
• Параметри URI и UserName е задължително за всяка сесия.
• Ако името на базата не е зададено, се използва общото по подразбиране име на базата за всички сесии за PostgreSQL, което също се задава в конфигурационния файл.

1. Параметрите за свързване с PostgreSQL — Macros се задават в ключа на метриката в шаблона (по аналогия с метода, използван в Zabbix Agent 1), т.е. създават се в шаблона и след това се посочват като параметри в ключа. При това последователността на макросите е фиксирана, т.е. например, URI винаги се посочва на първо място.

Параметрите за свързване с PostgreSQL — Macros

Модулът за мониторинг на PostgreSQL включва вече над 95 метрики, които позволяват да се обхване доста широк спектър от параметри на PostgreSQL, включително:

• броя на връзките,
• обема на базите данни,
• архивиране на wal файлове,
• контролни точки,
• брой на „раздути“ таблици,
• статус на репликация,
• изоставането на репликата.

Метриките на PostgreSQL не са информативни без параметри на операционната система. Но Zabbix Agent 2 вече може да събира параметри на операционната система, така че за да получим пълна картина, просто свързваме необходимите шаблони към узла в мрежата.

Обработчик (handler)

Обработчик (handler) — основната единица на модула, в която се изпълнява самият запитване и която позволява да се получават метрики.

За да получим проста метрика:

1. Създаваме файл за получаване на нова метрика:

zabbix/src/go/plugins/postgres/handler_uptime.go

1. Свързваме пакета и посочваме уникален ключ (ключове) на метриките:

1. Създаваме обработчик (handler) с запитване, т.е. инициираме променлива, в която ще бъде резултата:

1. Изпълняваме запитването:

Необходимо е да проверите запитването за грешки, след което резултатът ще бъде подхванат от процеса на Zabbix Agent 2.

1. Регистрираме ключа на новата метрика:

След регистрацията на метриката можете да реконструирате агента с новата метрика.

Модулът е наличен от Zabbix 5.0 на сайта https://www.zabbix.com/download. В тази версия Zabbix параметрите се задават отделно чрез host и port. В версия Zabbix 5.0.2, която ще излезе скоро, параметрите за свързване ще бъдат комбинирани в един URI.

Благодаря за вниманието!

Полезни връзки

GitHub Mamonsu

Документация за Mamonsu

Zabbix Git

Източник: habr.com