Praćenje PostgreSQL-a uz pomoć Zabbixa

Praćenje PostgreSQL-a uz pomoć Zabbixa
Izvještaj Darje Vilkove za Zabbix Meetup Online

Želim vas upoznati s alatom za praćenje PostgreSQL i operativnog sustava koji razvija naša tvrtka koristeći Zabbix.

Zabbix smo odabrali kao alat za praćenje već odavno, jer je to platforma s otvorenim izvorom koju podržava aktivna zajednica i koja je veoma popularna u Rusiji.

Stvorili smo aktivnu agenta — Mamonsu, koja je omogućila fleksibilnije praćenje nego što su to tada mogli standardni alati, a također je omogućila prikupljanje metrika i njihovo slanje na Zabbix Server. U našoj tvrtki Mamonsu koristimo prilikom provođenja audita.

Mamonsu

Mamonsu je aktivan agent (Zabbix Trapper) za praćenje PostgreSQL i operativnog sustava. Mamonsu (napisan u Pythonu) omogućava podešavanje parametara praćenja PostgreSQL i operativnog sustava u roku od pet minuta.

Mamonsu ima dodatne alate:

  • mamonsu tune — naredba koja uređuje parametre postavke u konfiguracijskoj datoteci PostgreSQL za stroj na kojem je instaliran agent Mamonsu.
  • mamonsu report — naredba koja stvara odgovore o operativnom sustavu i PostgreSQL.

Mamonsu se instalira na server baze podataka, prikuplja informacije, oblikuje ih u JSON koji se šalje za vizualizaciju na Zabbix Server, gdje bi trebao biti šablon za njegove metrike.

Praćenje PostgreSQL-a uz pomoć Zabbixa

Shema rada Mamonsu

Mogućnosti Mamonsu

  • Eficijentno upravljanje s PostgreSQL. Kontinuirana povezanost s PostgreSQL je glavna prednost Mamonsu. Maksimalan broj veza jednak je maksimalnom broju baza podataka kojima se prijavljuje.
  • Ekstenzibilnost. Mamonsu je potpuno 'plugin-aranžirani' agent, i zahvaljujući fiksnoj strukturi svakog plugina i relativnoj jednostavnosti Pythona, lako se može naučiti pisati nove ili uređivati standardne plugine, tj. parametre za prikupljanje metrika.
  • Širok spektar metrika za praćenje uključujući metrike specifičnih proširenja za PostgreSQL.
  • Brzo pokretanje, dostupnost 'iz kutije'.
  • Izvoz šablona i konfiguracijskih datoteka, kao i učitavanje na Zabbix Server.
  • Krosplatformnost, što je važno za naše klijente koji koriste različite distribucije Linuxa, uključujući domaće.
  • BSD-licenca.

Trenutno nudimo mnogo plugina i u svakoj sljedećoj verziji trudimo se dodati nešto novo.

  • 14 plugina za PostgreSQL,
  • 8 plugina za OS Linux,
  • 4 plugina za OS Windows.

Mamonsu prikuplja više od 110 metrika PostgreSQL i operativnih sustava:

  • 70 metrika PostgreSQL,
  • 40 metrika OS Linux,
  • 8 metrika OS Windows.

Glavne metrike uključuju dostupnost DBMS-a, broj vezanih konekcija, veličinu baze podataka, checkpoint-e, brzinu čitanja/pisanja, blokade, broj procesa auto-vakuuma i brzinu generiranja WAL. Cijeli popis dostupnih metrika, kao i detaljan opis svih alata dostupni su na repozitoriju web stranici GitHub.

Praćenje PostgreSQL-a uz pomoć Zabbixa

Popis dostupnih metrika na web stranici GitHub

Pokretanje Mamonsu u 5 minuta

Za postavljanje nadgledanja PostgreSQL-a i operativnog sustava pomoću Mamonsu potrebno je samo 5 minuta, slijedeći 5 jednostavnih koraka.

  1. Instalacija Mamonsu. Mamonsu se može izraditi iz izvornog koda ili koristiti dostupne pakete.

$ git clone ... && cd mamonsu && python setup.py

build && python setup.py install

  1. Postavljanje poveznica. Potrebno je unijeti parametre za povezivanje s PostgreSQL-om i Zabbix Serverom u datoteci agent.conf.

/etc/mamonsu/agent.conf

  1. Izvoz predloška u Zabbix Server.

$ mamonsu zabbix template export

/usr/share/mamonsu/example.xml

  1. Dodavanje mrežnog čvora u Zabbix Server. Izvezeni predložak će automatski biti povezan s novim mrežnim čvorom na Zabbix Serveru.

$ mamonsu zabbix host create mamonsu-demo

  1. Pokretanje.

$ service mamonsu start

Smjerovi razvoja Mamonsu

U okviru razvoja Mamonsu planiramo nadograditi metrike i stvoriti nove dodatke, poput dodatka za praćenje veličine pojedinih tablica. Također planiramo poboljšati i stvoriti dodatne alate te proširiti mogućnosti auto-podešavanja putem komande mamonsu tune.

Modul za nadgledanje PostgreSQL-a unutar Zabbix Agent 2

Za povezivanje s PostgreSQL koristi se brz i popularan upravljač pgx (PG upravljač i alat za Go).

Trenutno koristimo dva sučelja: Exporter koji poziva obrtnika po ključu, i Configurator Zabbix Agent 2, koji čita i provjerava parametre povezivanja sa serverom definirane u konfiguracijskoj datoteci.

Pokušali smo optimizirati rad DBMS-a grupiranjem metrika i korištenjem obradnika (handler) za metrike i grupe metrika, kao i korištenjem grupa metrika u JSON-u kao zavisnih varijabli (dependency items), te nisko-razinskim otkrivanjem (discovery rules).

Osnovne mogućnosti

  • očuvanje stalne veze s PostgreSQL-om između provjeravanja;
  • podrška za fleksibilne intervale ispitivanja;
  • kompatibilnost sa verzijama PostgreSQL-a, počevši od 10, i Zabbix Serverom, počevši od verzije 4.4;
  • mogućnost povezivanja i nadzora nekoliko instanci PostgreSQL u isto vrijeme zahvaljujući tome što Zabbix Agent 2 omogućava kreiranje više sesija.

Nivoi parametara povezivanja za PostgreSQL

Ukupno su dostupna tri nivoa parametara povezivanja za PostgreSQL, tj. zadatka i postavki:

  • Global,
  • Sesije,
  • Makroi.

  1. Globalni parametri se postavljaju na nivou agenta, dok parametri sesije i makroi definišu parametre povezivanja sa bazom.

  2. Parametri povezivanja za PostgreSQL — Sesije se postavljaju u datoteci zabbix_agent2.conf.

Praćenje PostgreSQL-a uz pomoć Zabbixa

Parametri povezivanja za PostgreSQL — Sesije

  • Nakon ključne riječi Sesije navodi se jedinstveno ime sesije, koje mora biti navedeno u ključu (predlošku).
  • Postavke URI i Korisničko ime obavezno je za svaku sesiju.
  • Ako ime baze nije definirano, koristi se zadano ime baze za sve sesije za PostgreSQL, koje se također postavlja u konfiguracijskoj datoteci.

  1. Parametri povezivanja za PostgreSQL — Makroi se postavljaju u ključu metrije u predlošku (na sličan način kao što je korišteno u Zabbix Agent 1), tj. kreiraju se u predlošku i kasnije se navode kao parametri u ključu. Pri tome je redoslijed makroa fiksan, tj. na primjer, URI uvijek se navodi na prvom mjestu.

Praćenje PostgreSQL-a uz pomoć Zabbixa

Parametri povezivanja za PostgreSQL — Makroi

Modul za nadzor PostgreSQL uključuje više od 95 metrika, koje omogućuju pokrivanje prilično širokog spektra parametara PostgreSQL, uključujući:

  • broj veza,
  • veličinu baza podataka,
  • arhiviranje wal datoteka,
  • kontrolne točke,
  • broj "napuhavanih" tablica,
  • status replikacije,
  • kašnjenje replikacije.

Metričke vrijednosti PostgreSQL nisu informativne bez parametara operativnog sistema. No Zabbix Agent 2 već može prikupljati podatke operativnog sistema, stoga za cjelovitu sliku jednostavno povezujemo potrebne predloške sa mrežnim čvorom.

Handler

Handler — osnovna jedinica modula, u kojoj se izvršava sam upit i koja omogućava prikupljanje metrika.

Da bismo dobili jednostavnu metriku:

  1. Kreiramo datoteku za prikupljanje nove metrike:

zabbix/src/go/plugins/postgres/handler_uptime.go

  1. Povezujemo paket i navodimo jedinstveni ključ (ključeve) metrika:

Praćenje PostgreSQL-a uz pomoć Zabbixa

  1. Kreiramo handler s upitom, tj. iniciramo varijablu u kojoj će biti rezultat:

Praćenje PostgreSQL-a uz pomoć Zabbixa

  1. Izvršavamo upit:

Praćenje PostgreSQL-a uz pomoć Zabbixa

Potrebno je provjeriti upit na prisutnost grešaka, nakon čega će rezultat biti preuzet od strane procesa Zabbix Agent 2.

  1. Registrujemo ključ nove metrike:

Praćenje PostgreSQL-a uz pomoć Zabbixa

Nakon registracije metrike možete ponovno sastaviti agenta s novom metrikom.

Modul je dostupan od Zabbixa 5.0 na web stranici https://www.zabbix.com/download. U ovoj verziji Zabbix parametri se definiraju odvojeno putem host i port. U verziji Zabbix 5.0.2, koja će uskoro izaći, parametri veze bit će objedinjeni u jedan URI.

Hvala na pažnji!

Koristitne veze

GitHub Mamonsu

Dokumentacija za Mamonsu

Zabbix Git

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster