Monitoring PostgreSQL-a koristeći Zabbix

Monitoring PostgreSQL-a koristeći Zabbix
Izvještaj Darije Vilkove za Zabbix Meetup Online

Želim da vas upoznam s alatom za nadzor PostgreSQL i operativnog sistema koji naša kompanija razvija koristeći Zabbix.

Dugo smo odabrali Zabbix kao alat za nadzor jer je to platforma otvorenog koda koju podržava aktivna zajednica i koja je veoma popularna u Rusiji.

Stvorili smo aktivnog agenta — Mamonsu, koji pruža fleksibilniji nadzor nego što su tada omogućavala standardna sredstva i omogućava prikupljanje metrika i njihovo slanje na Zabbix Server. U našoj kompaniji, Mamonsu se koristi prilikom provođenja revizije.

Mamonsu

Mamonsu je aktivni agent (Zabbix Trapper) za nadzor PostgreSQL i operativnog sistema. Mamonsu (napisan u Pythonu) omogućava podešavanje parametara nadzora PostgreSQL i operativnog sistema za pet minuta.

Mamonsu ima dodatne alate:

  • mamonsu tune — komanda koja uređuje parametre podešavanja u konfiguracionom fajlu PostgreSQL za mašinu na kojoj je instaliran agent Mamonsu.
  • mamonsu report — komanda koja kreira odgovore o operativnom sistemu i PostgreSQL.

Mamonsu se instalira na serveru DBMS, prikuplja informacije, kompresuje ih u JSON, koji šalje za vizualizaciju na Zabbix Server, gdje bi trebao biti šablon za njegove metrike.

Monitoring PostgreSQL-a koristeći Zabbix

Shema rada Mamonsu

Mogućnosti Mamonsu

  • Efikasno djelovanje s PostgreSQL. Stalna veza s PostgreSQL je glavna prednost Mamonsu. Pri tome, maksimalan broj veza je jednak maksimalnom broju baza podataka na koje se povezuje.
  • Skalabilnost. Mamonsu je potpuno 'plugin' agent, i zahvaljujući fiksnoj strukturi svakog plugina i relativnoj jednostavnosti Pythona, lako se može naučiti pisati nove ili uređivati standardne plugine, tj. parametre prikupljanja metrika.
  • Širok spektar metrika za nadzor za PostgreSQL uključujući metrike specifičnih ekstenzija.
  • Brzo pokretanje, dostupnost 'iz paketa'.
  • Izvlačenje šablona i konfiguracionih fajlova, kao i upload na Zabbix Server.
  • Kros-platformnost, što je važno za naše klijente koji koriste različite distribucije Linuxa, uključujući domaće.
  • BSD-clause license.

Trenutno nudimo mnoge plugine i u svakoj narednoj verziji trudimo se dodati nešto novo.

  • 14 plugina za PostgreSQL,
  • 8 plugina za OS Linux,
  • 4 plugina za OS Windows.

Mamonsu prikuplja više od 110 metrika PostgreSQL i operativnih sistema:

  • 70 metrika PostgreSQL,
  • 40 metrika OS Linux,
  • 8 metrika OS Windows.

Glavne metrike uključuju dostupnost DBMS-a, broj konekcija, veličinu baze podataka, checkpointe, brzinu čitanja/pisanja, blokade, broj procesa auto-vakuma i brzinu generiranja WAL-a. Potpuni spisak dostupnih metrika, kao i detaljan opis svih alata dostupni su na repozitorijumu web sajtu GitHub.

Monitoring PostgreSQL-a koristeći Zabbix

Spisak dostupnih metrika na web sajtu GitHub

Pokretanje Mamonsu za 5 minuta

Za postavljanje monitoringa PostgreSQL i operativnog sistema putem Mamonsu može se uraditi za 5 minuta, izvršavanjem 5 jednostavnih koraka.

  1. Instalacija Mamonsu. Mamonsu može biti izgrađen iz izvornog koda ili se mogu koristiti dostupni paketi.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

  1. Podešavanje konekcija. Potrebno je uneti parametre konekcije sa PostgreSQL i Zabbix Server u datoteci agent.conf.

/etc/mamonsu/agent.conf

  1. Izvoz šablona u Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

  1. Dodavanje čvora mreže u Zabbix Server. Izvezeni šablon će automatski biti povezan sa novim čvorom mreže na Zabbix Server.

$ mamonsu zabbix host create mamonsu-demo

  1. Pokretanje.

$ service mamonsu start

Pravci razvoja Mamonsu

U okviru razvoja Mamonsu planiramo da unapredimo metrike i kreiramo nove plugine, poput plugina za monitoring veličine pojedinačnih tabela. Takođe planiramo poboljšati i kreirati dodatne alate, kao i proširiti mogućnosti auto-podešavanja putem komande mamonsu tune.

Modul za monitoring PostgreSQL u okviru Zabbix Agent 2

Za konekciju sa PostgreSQL koristi se brz i popularan drajver pgx (PG drajver i alatki za Go).

Trenutno koristimo dva interfejsa: Exporter, koji poziva handler po ključeve, i Configurator Zabbix Agent 2, koji čita i proverava parametre konekcije sa serverom, zadate u konfiguracionoj datoteci.

Trudili smo se da optimizujemo rad DBMS-a grupisanjem metrika i korišćenjem handler-a za metrike i grupe metrika, kao i korišćenjem grupa metrika u JSON-u kao zavisnih varijabli (dependency items), i niskonivoa otkrivanja (discovery rules).

Glavne funkcionalnosti

  • očuvanje stalne konekcije sa PostgreSQL između provera;
  • podrška za fleksibilne intervale ispitivanja;
  • kompatibilnost sa verzijama PostgreSQL, počev od 10, i Zabbix Server, počev od verzije 4.4;
  • mogućnost povezivanja i praćenja više PostgreSQL instanci istovremeno zahvaljujući tome što Zabbix Agent 2 omogućava kreiranje više sesija.

Nivoi parametara povezivanja za PostgreSQL

Ukupno su dostupna tri nivoa parametara povezivanja za PostgreSQL, tj. zadatke i podešavanja:

  • Globalni,
  • Sesije,
  • Makroi.

  1. Globalni parametri se postavljaju na nivou agenta, dok parametri Sesije i Makroi definišu parametre povezivanja bazi.

  2. Parametri povezivanja za PostgreSQL — Sesije definišu se u datoteci zabbix_agent2.conf.

Monitoring PostgreSQL-a koristeći Zabbix

Parametri povezivanja za PostgreSQL — Sesije

  • Nakon ključne reči Sesije navodi se jedinstveno ime sesije koje treba biti navedeno u ključu (šablonu).
  • Postavke URI i UserName je obavezan za svaku sesiju.
  • Ako ime baze nije određeno, koristi se opšte ime baze kao podrazumevano za sve sesije za PostgreSQL, koje se takođe definiše u konfiguracionoj datoteci.

  1. Parametri povezivanja za PostgreSQL — Makroi definišu se u ključu metrike u šablonu (slično načinu korišćenom u Zabbix Agent 1), tj. kreiraju se u šablonu i zatim navode kao parametri u ključu. Pri tome je redosled makroa fiksan, tj. na primer, URI uvek se navodi na prvom mestu.

Monitoring PostgreSQL-a koristeći Zabbix

Parametri povezivanja za PostgreSQL — Makroi

Modul za praćenje PostgreSQL već uključuje više od 95 metrika koje omogućavaju pokrivanje širokog spektra parametara PostgreSQL, uključujući:

  • broj konekcija,
  • prostor baza podataka,
  • arhiviranje wal fajlova,
  • kontrolne tačke,
  • broj 'naduvanih' tabela,
  • status replikacije,
  • zaostajanje replike.

Metrike PostgreSQL nisu informativne bez parametara operativnog sistema. Međutim, Zabbix Agent 2 već može prikupljati parametre operativnog sistema, pa za dobijanje potpune slike jednostavno povezujemo potrebne šablone na mrežnom čvoru.

Obradnik (handler)

Obradnik (handler) — osnovna jedinica modula u kojoj se izvodi sam zahtev i koja omogućava prikupljanje metrika.

Da bismo dobili jednostavnu metriku:

  1. Kreiramo datoteku za prikupljanje nove metrike:

zabbix/src/go/plugins/postgres/handler_uptime.go

  1. Povezujemo paket i određujemo jedinstveni ključ (ključeve) metrika:

Monitoring PostgreSQL-a koristeći Zabbix

  1. Kreiramo obradnik (handler) sa zahtevom, tj. iniciramo promenljivu u kojoj će biti rezultat:

Monitoring PostgreSQL-a koristeći Zabbix

  1. Izvršavamo zahtev:

Monitoring PostgreSQL-a koristeći Zabbix

Potrebno je proveriti zahtev na greške, nakon čega će rezultat biti uhvaćen od strane procesa Zabbix Agent 2.

  1. Registrujemo ključ nove metrike:

Monitoring PostgreSQL-a koristeći Zabbix

Nakon registracije metrike možete ponovo sastaviti agenta s novom metrikom.

Modul je dostupan od Zabbix 5.0 na stranici https://www.zabbix.com/download. U ovoj verziji Zabbix, parametri se postavljaju odvojeno putem hosta i porta. U verziji Zabbix 5.0.2, koja će uskoro biti dostupna, parametri povezivanja će biti objedinjeni u jedan URI.

Hvala na pažnji!

Korisne poveznice

GitHub Mamonsu

Dokumentacija za Mamonsu

Zabbix Git

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster