Мониторинг на PostgreSQL с помощта на Zabbix

Доклад от Дария Вилкова за Zabbix Meetup Online

Искам да ви запозная с PostgreSQL и инструмента за наблюдение на операционната система, който се разработва от нашата компания с помощта на Zabbix.

Ние избрахме Zabbix като наш инструмент за наблюдение от дълго време, защото това е платформа с отворен код, поддържана от активна общност, която е много популярна в Русия.

Създадохме активен агент - Mamonsu, който осигури по-гъвкаво наблюдение, отколкото позволяваха стандартните инструменти по това време, и осигури събирането на метрики и изпращането им до Zabbix сървъра. В нашата компания Mamonsu се използва в одита.

Мамонсу

Mamonsu е активен агент (Zabbix Trapper) за наблюдение на PostgreSQL и операционната система. Mamonsu (написан на Python) ви позволява да конфигурирате PostgreSQL и настройките за наблюдение на операционната система за пет минути.

Mamonsu има допълнителни инструменти:

• mamonsu tune е команда, която редактира настройките в конфигурационния файл на PostgreSQL за машината, на която е инсталиран агентът Mamonsu.
• mamonsu report е команда, която генерира отговори за операционната система и PostgreSQL.

Mamonsu се инсталира на СУБД сървъра, събира информация, композира я в JSON, който я изпраща на Zabbix сървър за визуализация, където трябва да има шаблон за нейните метрики.

Работна схема на Mamonsu

Характеристики Mamonsu

• Ефективна работа с PostgreSQL. Постоянната връзка с PostgreSQL е основното предимство на Mamonsu. В този случай максималният брой връзки е равен на максималния брой бази данни, към които се свързва.
• Разширяемост. Mamonsu е изцяло "плъгин" агент и поради фиксираната структура на всеки плъгин и относителната простота на Python, човек може лесно да се научи как да пише нови или да редактира стандартни плъгини, т.е. параметри за събиране на показатели.
• Широко покритие на показателите за наблюдение за PotgreSQL, включително специфични за разширението показатели.
• бърз обяд, наличност извън кутията.
• Качване на шаблони и конфигурационни файлове, както и качване на Zabbix сървър.
• Междуплатформена, което е важно за нашите клиенти, които използват различни Linux дистрибуции, включително домашни.
• BSD-клауза лиценз.

В момента предлагаме много плъгини и във всяка следваща версия се опитваме да добавяме нещо ново.

• 14 добавки за PostgreSQL,
• 8 добавки за OS Linux,
• 4 добавки за OS Windows.

Mamonsu събира над 110 показателя за PostgreSQL и операционна система:

• 70 метрики на PostgreSQL,
• 40 показателя за OS Linux,
• 8 OS Windows показатели.

Ключовите показатели включват наличност на СУБД, брой връзки, размер на базата данни, контролни точки, скорост на четене/запис, заключвания, брой автовакуумни процеси и скорост на генериране на WAL. Пълен списък с налични показатели, както и подробно описание на всички инструменти, можете да намерите в хранилища на сайта GitHub.

Списък на наличните показатели в GitHub

Стартирайте Mamonsu за 5 минути

За да настроите наблюдение на PostgreSQL и операционната система с помощта на Mamonsu, можете да го направите за 5 минути, като следвате 5 прости стъпки.

1. Инсталиране на Mamonsu. Mamonsu може да бъде изграден от изходния код или да използва наличните пакети.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

1. Настройка на връзката. Необходимо е да зададете параметрите на връзката за PostgreSQL и Zabbix сървъра във файла agent.conf.

/etc/mamonsu/agent.conf

1. Експортиране на шаблон към Zabbix сървър.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

1. Добавяне на хост към Zabbix сървър. Експортираният шаблон ще бъде автоматично свързан към новия хост на Zabbix сървъра.

$ mamonsu zabbix host create mamonsu-demo

1. хвърлям.

$ service mamonsu start

Насоки за развитие на Mamonsu

Като част от развитието на Mamonsu планираме да прецизираме показателите и да създадем нови плъгини, като например плъгин за наблюдение на размера на отделни таблици. Също така планираме да подобрим и създадем допълнителни инструменти, както и да разширим възможностите за автоматична настройка чрез командата мелодия мамонсу.

PostgreSQL модул за наблюдение като част от Zabbix Agent 2

Бърз и популярен драйвер се използва за свързване към PostgreSQL pgx (PG драйвер и инструментариум за Go).

Досега използваме два интерфейса: Exporter, който извиква манипулатора по ключ, и Configurator Zabbix Agent 2, който чете и проверява параметрите на връзката със сървъра, посочен в конфигурационния файл.

Опитахме се да оптимизираме работата на СУБД чрез групиране на метрики и използване на манипулатор (обработчик) за метрики и групи метрики, както и използване на групи от метрики в JSON като зависими променливи (елементи на зависимост) и откриване на ниско ниво (правила за откриване ).

Основни характеристики

• поддържане на постоянна връзка с PostgreSQL между проверките;
• поддръжка за гъвкави интервали на гласуване;
• съвместимост с версии на PostgreSQL от 10 и Zabbix сървър от версия 4.4;
• възможността за свързване и наблюдение на множество PostgreSQL екземпляри едновременно поради факта, че Zabbix Agent 2 ви позволява да създавате множество сесии.

Нива на параметрите на свързване на PostgreSQL

Общо има три нива на параметрите за свързване на PostgreSQL, т.е. задачи и настройки:

• Глобално,
• сесия,
• Макроси.

1. Глобалните параметри се задават на ниво агент, параметрите Session и Macros определят параметрите за връзка с базата данни.

2. Параметрите за свързване към PostgreSQL - сесиите са зададени във файла zabbix_agent2.conf.

Опции за свързване на PostgreSQL - сесии

• След ключова дума сесии е посочено уникално име на сесията, което трябва да бъде посочено в ключа (шаблона).
• Параметри URI,en и UserName необходими за всяка сесия.
• Ако базовото име не е посочено, се използва общото базово име по подразбиране за всички сесии на PostgreSQL, което също е зададено в конфигурационния файл.

1. Параметрите на връзката към PostgreSQL - Макросите се задават в метричния ключ в шаблона (подобно на метода, използван в Zabbix Agent 1), т.е. те се създават в шаблона и след това се посочват като параметри в ключа. В този случай последователността от макроси е фиксирана, т.е. URI,en винаги изброени първи.

Параметри на PostgreSQL връзка - Макроси

Модулът за наблюдение на PostgreSQL вече включва повече от 95 показателя, които ви позволяват да покриете доста широк диапазон от параметри на PostgreSQL, включително:

• брой връзки
• размер на база данни,
• архивиране на wal файлове,
• контролно-пропускателни пунктове,
• броя на "раздутите" маси,
• състояние на репликация,
• забавяне на репликата.

Метриките на PostgreSQL не са информативни без параметри на операционната система. Но Zabbix Agent 2 вече знае как да събира параметри на операционната система, така че за да получим пълната картина, ние просто свързваме необходимите шаблони към хоста.

Манипулатор

Манипулаторът е основната единица на модула, в която се изпълнява самата заявка и която ви позволява да получавате метрики.

За да получите прост показател:

1. Създайте файл, за да получите нов показател:

zabbix/src/go/plugins/postgres/handler_uptime.go

1. Свързваме пакета и посочваме уникалния ключ (ключове) на показателите:

1. Създаваме манипулатор (обработчик) със заявка, т.е. инициираме променлива, която ще съдържа резултата:

1. Изпълняваме заявката:

Необходимо е да проверите заявката за грешки, след което резултатът ще бъде взет от процеса на Zabbix Agent 2.

1. Регистрирайте новия метричен ключ:

След като регистрирате показателя, можете да възстановите агента с новия показател.

Модулът е достъпен от Zabbix 5.0 на уебсайта https://www.zabbix.com/download. В тази версия на Zabbix параметрите се задават отделно чрез хост и порт. В Zabbix 5.0.2, който ще бъде пуснат скоро, параметрите на връзката ще бъдат пакетирани в един URI.

Спасибо за внимание!

Полезни връзки

GitHub Mamonsu

Документация на Mamonsu

Zabbix Git

Източник: www.habr.com