🥇Overvåking av PostgreSQL med Zabbix

Foredrag av Darya Vilkova for Zabbix Meetup Online

Jeg vil introdusere deg for et overvåkingsverktøy for PostgreSQL og operativsystemet som utvikles av vårt selskap ved hjelp av Zabbix.

Vi har valgt Zabbix som overvåkingsverktøy for lenge siden, fordi det er en plattform med åpen kildekode, støttet av et aktivt fellesskap, som er svært populær i Russland.

Vi har laget en aktiv agent — Mamonsu, som gir mer fleksibel overvåking enn hva de standard verktøyene tillot på den tiden, og som sørger for innsamling av metrikker og sending til Zabbix Server. I vårt selskap brukes Mamonsu ved gjennomføring av revisjoner.

Mamonsu

Mamonsu er en aktiv agent (Zabbix Trapper) for overvåking av PostgreSQL og operativsystemet. Mamonsu (skrevet i Python) lar deg konfigurere overvåkingsparametere for PostgreSQL og operativsystemet på fem minutter.

Mamonsu har ekstra verktøy:

mamonsu tune — en kommando som redigerer konfigurasjonsinnstillingene i PostgreSQL-filen for maskinen som har Mamonsu-agenten installert.
mamonsu report — en kommando som skaper svar om operativsystemet og PostgreSQL.

Mamonsu installeres på databaseserveren, samler informasjon, komprimerer den til JSON, som sendes for visualisering til Zabbix Server, hvor det må være en mal for metrikene.

Arbeidsflyt for Mamonsu

Muligheter med Mamonsu

Effektiv håndtering av PostgreSQL. En konstant tilkobling til PostgreSQL er den største fordelen med Mamonsu. Det maksimale antallet tilkoblinger er likt det maksimale antallet databaser som det kobles til.
Utvidbarhet. Mamonsu er en helt «plugin»-basert agent, og takket være den faste strukturen til hver plugin og enkelheten av Python, kan man lett lære å skrive nye eller redigere standard plugins, dvs. parametere for innsamling av metrikker.
Bred dekning av metrikker for overvåking for PostgreSQL, inkludert metrikker fra spesifikke utvidelser.
Rask oppstart, tilgjengelighet «ut av boksen».
Eksport av maler og konfigurasjonsfiler, samt opplasting til Zabbix Server.
Kryssplattform, noe som er viktig for våre kunder som bruker forskjellige Linux-distribusjoner, inkludert innenlandske.
BSD-klausul-lisens.

For now, we offer a variety of plugins, and in each subsequent version, we strive to add something new.

14 plugins for PostgreSQL,
8 plugins for OS Linux,
4 plugins for OS Windows.

Mamonsu collects over 110 metrics from PostgreSQL and operating systems:

70 PostgreSQL metrics,
40 OS Linux metrics,
8 OS Windows metrics.

Key metrics include database availability, connection count, database size, checkpoints, read/write speed, locks, number of autovacuum processes, and WAL generation speed. The complete list of available metrics, along with detailed descriptions of all tools, can be found on depotet the GitHub site.

List of available metrics on the GitHub site

Launch Mamonsu in 5 minutes

Setting up PostgreSQL monitoring and the operating system with Mamonsu can be done in 5 minutes by performing 5 simple actions.

Installing Mamonsu. Mamonsu can be built from source or use available packages.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

Configuring connections. Connection parameters for PostgreSQL and Zabbix Server must be specified in the agent.conf file.

/etc/mamonsu/agent.conf

Exporting the template to Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

Adding a network node in Zabbix Server. The exported template will be automatically connected to the new network node on the Zabbix Server.

$ mamonsu zabbix host create mamonsu-demo

Start.

$ service mamonsu start

Development directions for Mamonsu

As part of the development of Mamonsu, we plan to enhance metrics and create new plugins, such as a plugin for monitoring the size of individual tables. We also plan to improve and create additional tools, as well as expand auto-tuning capabilities through the command mamonsu tune.

PostgreSQL monitoring module within Zabbix Agent 2

A fast and popular driver is used to connect to PostgreSQL pgx (PG driver and toolkit for Go).

Currently, we use two interfaces: Exporter, which invokes the handler by key, and Configurator Zabbix Agent 2, which reads and validates connection parameters set in the configuration file.

We have optimized the work of the DBMS by grouping metrics and using a handler for metrics and groups of metrics, as well as using metric groups in JSON as dependent variables (dependency items), and low-level discovery (discovery rules).

Hovedmuligheter

maintaining persistent connections to PostgreSQL between checks;
support for flexible polling intervals;
kompatibilitet med PostgreSQL-versjoner fra 10 og Zabbix Server fra versjon 4.4;
muligheten for å koble til og overvåke flere PostgreSQL-instansene samtidig, takket være at Zabbix Agent 2 lar deg opprette flere sesjoner.

Nivåer for tilkoblingsparametere til PostgreSQL

Det finnes totalt tre nivåer av tilkoblingsparametere til PostgreSQL, altså oppgaver og innstillinger:

Global,
Sessions,
Macros.

Global-innstillingene defineres på agentnivå, mens Sessions og Macros bestemmer tilkoblingsparametrene til databasen.
Tilkoblingsparametrene til PostgreSQL — Sessions angis i filen zabbix_agent2.conf.

Tilkoblingsparametrene til PostgreSQL — Sessions

Etter nøkkelordet Sessions angis et unikt sesjonsnavn, som må oppgis i nøkkelen (malen).
Parametere URI og UserName er obligatoriske for hver sesjon.
Hvis databasens navn ikke er angitt, brukes et globalt standarddatabase-navn for alle sesjoner for PostgreSQL, som også er angitt i konfigurasjonsfilen.

Tilkoblingsparametrene til PostgreSQL — Macros angis i metrikkens nøkkel i malen (på samme måte som i Zabbix Agent 1), altså opprettes i malen og angis videre som parametre i nøkkelen. Sekvensen av makroer er fast, for eksempel, URI angis alltid først.

Tilkoblingsparametrene til PostgreSQL — Macros

PostgreSQL-overvåkningsmodulen inneholder allerede over 95 metrikker, som gir et ganske bredt spektrum av PostgreSQL-parametere, inkludert:

antall forbindelser,
størrelse på databaser,
arkivering av wal-filer,
kontrollpunkter,
antall "utvidede" tabeller,
replikasjonsstatus,
replikasjonsforsinkelse.

PostgreSQL-metrikker er ikke informative uten operativsystemparametere. Men Zabbix Agent 2 kan allerede samle operativsystemparametere, så for å få et komplett bilde kobler vi bare nødvendige maler til nettverksnoden.

Behandler (handler)

Behandler (handler) — den grunnleggende enheten av modulen, hvor selve forespørselen utføres og som lar deg motta metrikker.

For å få en enkel metrikk:

Opprett en fil for å hente den nye metrikken:

zabbix/src/go/plugins/postgres/handler_uptime.go

Koble til pakken og angi den unike nøkkelen (nøklene) for metrikker:

Opprett en behandler (handler) med forespørselen, det vil si initier en variabel som vil inneholde resultatet:

Utfør forespørselen:

Det er nødvendig å sjekke forespørselen for feil, hvoretter resultatet vil bli fanget opp av Zabbix Agent 2-prosessen.

Vi registrerer nøkkelen til den nye metrikken:

Etter registreringen av metrikken kan agenten bygges om med den nye metrikken.

Modulen er tilgjengelig fra Zabbix 5.0 på nettstedet https://www.zabbix.com/download. I denne versjonen av Zabbix angis parametrene separat via vert og port. I Zabbix 5.0.2, som snart vil bli utgitt, vil tilkoblingsparameterne bli kompaktisert i én URI.

Takk for oppmerksomheten!