Övervakning av PostgreSQL med Zabbix

Daria Vilkova's presentation for Zabbix Meetup Online

Jag vill introducera ett övervakningsverktyg för PostgreSQL och operativsystemet som utvecklas av vårt företag med hjälp av Zabbix.

Vi valde Zabbix som övervakningsverktyg för länge sedan, eftersom det är en öppen källkodsplattform som stöds av en aktiv gemenskap och är mycket populär i Ryssland.

Vi skapade en aktiv agent – Mamonsu, som möjliggjorde mer flexibel övervakning än vad standardverktygen vid den tiden tillät och möjliggjorde insamling av metrik och deras sändning till Zabbix Server. I vårt företag används Mamonsu vid genomförande av revisioner.

Mamonsu

Mamonsu är en aktiv agent (Zabbix Trapper) för övervakning av PostgreSQL och operativsystemet. Mamonsu (skrivet i Python) gör det möjligt att konfigurera övervakningsparametrar för PostgreSQL och operativsystemet på fem minuter.

Mamonsu har ytterligare verktyg:

• mamonsu tune – ett kommando som redigerar konfigurationsparametrar i PostgreSQL:s konfigurationsfil för den maskin som har Mamonsu-agenten installerad.
• mamonsu report – ett kommando som skapar rapporter om operativsystemet och PostgreSQL.

Mamonsu installeras på DB-servern, samlar information och sammanställer den i JSON som skickas för visualisering till Zabbix Server, där det bör finnas en mall för dess metrik.

Arbetsmodellen för Mamonsu

Möjligheterna hos Mamonsu

• Effektiv hantering av PostgreSQL. En konstant anslutning till PostgreSQL är Mamonsus främsta fördel. Det maximala antalet anslutningar är lika med det maximala antalet databaser som det ansluter till.
• Utbyggbarhet. Mamonsu är en helt "plugin-baserad" agent, och tack vare den fasta strukturen för varje plugin och den relativa enkelheten i Python kan man enkelt lära sig att skriva nya eller redigera standardplugins, dvs. insamlingsparameternas.
• Brett urval av metrik för övervakning för PostgreSQL, inklusive metrik för specifika tillägg.
• Snabb installation, tillgänglighet "ur lådan".
• Export av mallar och konfigurationsfiler, samt uppladdning till Zabbix Server.
• Korsplattformskompatibilitet, vilket är viktigt för våra kunder som använder olika Linux-distributioner, inklusive inhemska.
• BSD-klausullicens.

För närvarande erbjuder vi många plugins och i varje ny version strävar vi efter att lägga till något nytt.

• 14 plugins för PostgreSQL,
• 8 plugins för OS Linux,
• 4 plugins för OS Windows.

Mamonsu samlar in över 110 mätvärden för PostgreSQL och operativsystem:

• 70 mätvärden för PostgreSQL,
• 40 mätvärden för OS Linux,
• 8 mätvärden för OS Windows.

De viktigaste mätvärdena inkluderar tillgänglighet för databashanteraren, antal anslutningar, storlek på databasen, checkpoints, läs-/skrivhastigheter, låsningar, antal autovakuumprocesser och hastighet av WAL-generering. En fullständig lista över tillgängliga mätvärden samt en detaljerad beskrivning av alla verktyg finns på förrådet GitHub-sidan.

Listan över tillgängliga mätvärden finns på GitHub

Starta Mamonsu på 5 minuter

För att konfigurera övervakning av PostgreSQL och operativsystem med hjälp av Mamonsu kan det göras på 5 minuter genom att följa 5 enkla steg.

1. Installation av Mamonsu. Mamonsu kan byggas från källkod eller installeras med tillgängliga paket.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

1. Konfigurera anslutningar. Du måste ange anslutningsparametrar för PostgreSQL och Zabbix Server i filen agent.conf.

/etc/mamonsu/agent.conf

1. Exportera mall till Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

1. Lägg till nätverksnod i Zabbix Server. Den exporterade mallen kommer automatiskt att kopplas till den nya nätverksnoden på Zabbix Server.

$ mamonsu zabbix host create mamonsu-demo

1. Launch.

$ service mamonsu start

Framtidsplaner för Mamonsu

Som en del av utvecklingen av Mamonsu planerar vi att förbättra mätvärdena och skapa nya plugins, som en plugin för övervakning av storleken på specifika tabeller. Vi planerar också att förbättra och skapa ytterligare verktyg samt utöka automatiseringsmöjligheterna genom kommandot mamonsu tune.

Övervakningsmodul för PostgreSQL i Zabbix Agent 2

För att ansluta till PostgreSQL används en snabb och populär drivrutin pgx (PG-drivrutin och toolkit för Go).

För närvarande använder vi två gränssnitt: Exporter, som anropar en handler med en nyckel, och Configurator Zabbix Agent 2, som läser och kontrollerar anslutningsparametrarna till servern som anges i konfigurationsfilen.

Vi har försökt optimera databashanterarens funktion genom att gruppera mätvärden och använda en handler för mätvärden och grupper av mätvärden, samt genom att använda grupper av mätvärden i JSON som beroende variabler (dependency items) och lågnivåupptäckning (discovery rules).

Huvudfunktioner

• bevarande av en konstant anslutning till PostgreSQL mellan kontroller;
• stöd för flexibla förfrågningsintervall;
• kompatibilitet med PostgreSQL-versioner från och med 10 och Zabbix Server från version 4.4;
• möjlighet att ansluta och övervaka flera PostgreSQL-instanser samtidigt tack vare att Zabbix Agent 2 tillåter skapandet av flera sessioner.

Nivåer för anslutningsparametrar till PostgreSQL

Det finns tre tillgängliga nivåer av anslutningsparametrar till PostgreSQL, dvs. uppgifter och inställningar:

• Global,
• Sessioner,
• Makron.

1. Global-parametrar ställs in på agentnivå, session- och makro-parametrar definierar anslutningsparametrar till databasen.

2. Anslutningsparametrar till PostgreSQL — Sessioner ställs in i filen zabbix_agent2.conf.

Anslutningsparametrar till PostgreSQL — Sessioner

• Efter nyckelordet Sessioner anges ett unikt sessionsnamn som måste anges i nyckeln (mallen).
• Parametrar URI och UserName är obligatoriska för varje session.
• Om databasenamn inte anges används ett gemensamt standarddatabasenamn för alla sessioner i PostgreSQL, vilket också anges i konfigurationsfilen.

1. Anslutningsparametrar till PostgreSQL — Makron ställs in i metriknyckeln i mallen (på liknande sätt som i Zabbix Agent 1), dvs. skapas i mallen och anges sedan som parametrar i nyckeln. Här är sekvensen av makron fast, dvs. till exempel URI anges alltid först.

Anslutningsparametrar till PostgreSQL — Makron

PostgreSQL-övervakningsmodulen inkluderar redan över 95 metrik som tillåter att fånga en ganska bred mängd PostgreSQL-parametrar, inklusive:

• antal anslutningar,
• databasens storlek,
• arkivering av wal-filer,
• kontrollpunkter,
• antal "uppsvällda" tabeller,
• replikationsstatus,
• replikafördröjning.

PostgreSQL-metrik är inte informativa utan operativsystemets parametrar. Men Zabbix Agent 2 kan redan samla operativsystemets parametrar, så för att få en komplett bild ansluter vi bara de nödvändiga mallarna till nätverksnoden.

Handler

Handler — den grundläggande enheten i modulen där själva förfrågan utförs och som gör det möjligt att hämta metrik.

För att få en enkel metrik:

1. Skapa en fil för att få en ny metrik:

zabbix/src/go/plugins/postgres/handler_uptime.go

1. Anslut paketet och ange en unik nyckel (nycklar) för metrik:

1. Skapa en handler med en förfrågan, dvs. initiera en variabel där resultatet kommer att lagras:

1. Utför förfrågan:

Det är nödvändigt att kontrollera förfrågan för fel, varefter resultatet kommer att fångas av Zabbix Agent 2-processen.

1. Registrera nyckeln för den nya metriken:

Efter registreringen av mätvärden kan agenten återuppbyggas med det nya mätvärdet.

Modulen är tillgänglig från Zabbix 5.0 på webbplatsen https://www.zabbix.com/download. I denna version av Zabbix anges parametrarna separat via host och port. I version Zabbix 5.0.2, som snart kommer att släppas, kommer anslutningsparametrarna att kompileras i en enda URI.

Tack för uppmärksamheten!

Nyttiga länkar

GitHub Mamonsu

Dokumentation om Mamonsu

Zabbix Git

Källa: habr.com