Vårt team är mycket glada att dela nyheten om att den fria övervakningssystemet med öppen källkod har lanserats Zabbix 4.2!

Är version 4.2 svaret på livets, universums och övervakningens stora fråga? Låt oss ta en titt!

Vi påminner om att Zabbix är ett universellt system för att övervaka prestanda och tillgänglighet av servrar, ingenjörs- och nätverksutrustning, applikationer, databaser, virtualisering, containrar, IT-tjänster och webb-tjänster.

Zabbix realiserar hela cykeln från datainsamling, bearbetning och omvandling, analys av den mottagna datan, och slutar med lagring av dessa data, visualisering och utskick av aviseringar med hjälp av eskaleringsregler. Systemet erbjuder också flexibla möjligheter till utvidgning av datainsamlingsmetoder och aviseringar, samt automatiseringsmöjligheter via API. Ett enhetligt webgränssnitt möjliggör centraliserad hantering av övervakningskonfigurationer och fördelning av behörigheter mellan olika användargrupper. Projektets kod distribueras fritt under licensen GPLv2.

Zabbix 4.2 är en ny icke-LTS-version med kortare officiellt stöd. För användare som fokuserar på långvarig drift av programvaruprodukter rekommenderar vi att använda LTS-versioner som 3.0 och 4.0.

Låt oss alltså prata om nyheterna och de viktigaste förbättringarna i version 4.2:

Fler officiella plattformar

Utöver de redan existerande officiella paketen erbjuder vi även nya byggnader för:

RaspberryPi, Mac OS/X, SUSE Enterprise Linux Server 12
MSI för Windows-agenten
Dockerbilder

Inbyggt stöd för Prometheus för applikationsövervakning

Zabbix kan samla in data på olika sätt (push/pull) från olika datakällor. Det inkluderar JMX, SNMP, WMI, HTTP/HTTPS, RestAPI, XML Soap, SSH, Telnet, agenter och skript samt andra källor. Och nu möter vi stödet för Prometheus!

Strikt taget var datainsamling från Prometheus-exportörer möjlig även tidigare tack vare datakällans typ HTTP/HTTPS och reguljära uttryck.

Men den nya versionen möjliggör att arbeta med Prometheus så effektivt som möjligt tack vare det inbyggda stödet för frågespråket PromQL. Genom att använda beroende metrik kan vi samla in och behandla data på det mest effektiva sättet: en gång hämtar vi data, och sedan distribuerar vi dem enligt de nödvändiga metrikerna.

Vi får värdet av en specifik metrik

Det är viktigt att notera att den lågnivåupptäckten nu kan använda de insamlade uppgifterna för att automatiskt skapa metriker. I det här fallet omvandlar Zabbix de mottagna uppgifterna till JSON-format, vilket är mycket enkelt att arbeta med.

Vi hittar metriker med hjälp av filter på frågespråket PromQL

För närvarande finns det över 300 integrationer och recept för övervakning av externa tjänster och applikationer med hjälp av Zabbix. Stödet för Prometheus kommer att lägga till en hel uppsättning applikationer som har officiella eller gemenskapsstödja exporterare för Prometheus. Det handlar om övervakning av populära tjänster, containrar och molnresurser.

Effektiv högfrekvent övervakning

Vill vi upptäcka problem så snabbt som möjligt? Klart vi gör! Oftast leder en sådan metod till att vi måste fråga enheter och samla in data alldeles för ofta, vilket ger en hög belastning på övervakningssystemet. Hur undviker vi detta?

Vi har implementerat en mekanism för throttling i preprocesseringsreglerna. Throttling ger oss i grunden möjlighet att hoppa över identiska värden.

Anta att vi övervakar ett kritiskt program. Varje sekund kontrollerar vi om vårt program fungerar eller inte. Samtidigt får Zabbix en kontinuerlig ström av data som är 1 (fungerar) och 0 (fungerar inte). Till exempel: 1111111111110001111111111111…

När allt står rätt till med vårt program kommer Zabbix att få en ström av enbart ettor. Måste vi bearbeta dem? Egentligen inte, eftersom vi endast är intresserade av förändringar i programmets tillstånd; vi vill inte samla in och lagra så mycket data. Throttling gör att vi kan hoppa över värdena om de är identiska med det föregående. Resultatet blir bara data om tillståndsförändringar, till exempel 01010101… Det är mer än tillräcklig information för att upptäcka problem!

Zabbix ignorerar helt enkelt saknade värden; de registeras inte i historiken och påverkar inte utlösarna. Från Zabbix synpunkt existerar saknade värden inte.

Vi ignorerar upprepade värden

Härligt! Nu kan vi ofta fråga enheter, samtidigt som vi omedelbart upptäcker problem utan att lagra onödig information i databasen.

Men hur är det med grafer? De kommer att vara tomma på grund av bristen på data! Hur kan vi förstå om Zabbix samlar data om de flesta av dessa värden kommer att ignoreras?

Vi har tänkt på det också! Zabbix erbjuder en annan typ av throttling, throttling med kontrollpunkter (throttling with heartbeat).

Vi kontrollerar varje minut om metrik är aktiv

I det här fallet kommer Zabbix, trots en upprepad datastream, att spara minst ett värde under den angivna tidsperioden. Om data samlas in varje sekund och perioden är inställd på en minut, kommer Zabbix att omvandla den sekundära strömmen av ettor till en minutström. Det är inte svårt att se att detta leder till en 60-faldig förminskning av de erhållna uppgifterna.

Nu är vi säkra på att data samlas in, funktionen nodata() fungerar och med graferna är allt i ordning!

Validering av insamlade data och felhantering

Ingen av oss vill samla in felaktiga eller opålitliga data. Till exempel vet vi att en temperaturgivare bör returnera data inom intervallet 0°C till 100°C och vilket annat värde som helst bör behandlas som felaktigt och/eller ignoreras.

Detta är nu möjligt med hjälp av inbyggda valideringsregler i förbearbetningen, som överensstämmer med eller saknar överensstämmelse med reguljära uttryck, värdeintervall, JSONPath och XMLPath.

Nu kan vi styra reaktionen på fel. Om temperaturen ligger utanför intervallet kan vi helt enkelt ignorera ett sådant värde, sätta ett standardvärde (till exempel 0°C), eller definiera vårt eget felmeddelande, som "Givare skadad" eller "Byt batteri."

Temperaturen ska vara mellan 0 och 100, resten ignoreras

Ett bra exempel på användning av validering är att kontrollera om indata har ett felmeddelande och ställa in detta fel för hela metrik. Detta är en mycket användbar funktion när man hämtar data från externa API:er.

All data transformation using JavaScript

If the built-in preprocessing rules are not enough for us, we now offer complete freedom with the use of arbitrary scripts in JavaScript!

Just one line of code to convert Fahrenheit degrees to Celsius degrees

This opens up limitless possibilities for processing incoming data. The practical benefit of this functionality is that we no longer need external scripts that we used for any data operations. Now everything can be done using JavaScript.

Now transformations, aggregation, filters, arithmetic and logical operations, and much more are possible!

Extracting useful information from the output of Apache mod_status!

Testing preprocessing

Now we don’t have to guess how our complex preprocessing scripts work. There is now a convenient check for the correctness of preprocessing directly from the interface!

Processing millions of metrics per second!

Until Zabbix 4.2, preprocessing was solely handled by the Zabbix server, which limited the capabilities of using proxies for load distribution.

Starting with Zabbix 4.2, we achieve incredibly efficient load scaling thanks to support for preprocessing on the proxy side. Now proxies handle this!

In combination with throttling, this approach allows for high-frequency large-scale monitoring and enables millions of checks per second without putting a load on the central Zabbix server. Proxies process huge volumes of data, while due to throttling, only a small portion reaches the Zabbix server, an order of magnitude less.

Simpler low-level discovery

Let’s remember that low-level discovery (LLD) is a very powerful mechanism for automatically discovering any kind of resources for monitoring (file systems, processes, applications, services, etc.) and automatically creating data items, triggers, network nodes, and other objects based on them. This incredibly saves time, simplifies configuration, and allows for using one template for network nodes that have various resources to monitor.

Låg-nivå upptäckten krävde en speciellt formaterad JSON som ingång. Så här blir det inte längre!

Zabbix 4.2 möjliggör låg-nivå upptäckter (LLD) med godtyckligt formaterade data i JSON-format. Varför är detta viktigt? Det gör det möjligt att kommunicera med externa API:er utan att använda skript och använda den information som erhållits för att automatiskt skapa nätverksnoder, datakomponenter och triggers.

Tillsammans med stöd för JavaScript skapar detta fantastiska möjligheter för att skapa mallar för arbete med olika datakällor, såsom exempelvis moln-API:er, applikations-API:er, data i format som XML, CSV och mycket mer.

Vi kopplar JSON med information om processer med LLD

Möjligheterna är verkligen oändliga!

Stöd för TimescaleDB

Vad är TimescaleDB? Det är en vanlig PostgreSQL plus ett extensionsmodul från TimescaleDB-teamet. TimescaleDB lovar bättre prestanda tack vare mer effektiva algoritmer och datakonstruktioner.

Dessutom är en annan fördel med TimescaleDB automatisk partitionering av historiska tabeller. TimescaleDB står för hastighet och enkel underhåll! Jag måste notera att vårt team ännu inte har gjort en betydande prestandajämförelse med vanlig PostgreSQL.

I dagsläget är TimescaleDB en ganska ung och snabbväxande produkt. Använd med försiktighet!

Enkel hantering av taggar

Tidigare kunde taggar endast hanteras på trigger-nivå, men nu är tagghanteringen mycket mer flexibel. Zabbix stödjer taggar för mallar och nätverksnoder!

Alla upptäckta problem får taggar inte bara för triggern, utan även för nätverksnoden samt mallarna för denna nätverksnod.

Definiera taggar för nätverksnoden

Mer flexibel automatisk registrering

Zabbix 4.2 gör det möjligt att filtrera nätverksnoder efter namn med hjälp av reguljära uttryck. Detta ger möjlighet att skapa olika upptäckts-scenarier för olika grupper av nätverksnoder. Särskilt praktiskt om vi har komplexa namngivningsregler för enheter.

Mer flexibel nätverksupptäckten

En annan förbättring rör namngivningen av nätverksnoder. Det har blivit möjligt att hantera enhetsnamn vid nätverksupptäckten och att hämta enhetsnamnet från värdet på mätningen.

Det här är en mycket viktig funktion, särskilt vid nätverksupptäckten med hjälp av SNMP och Zabbix-agenten.

Automatiskt tilldela ett lokalt namn till nätverkets synliga namn

Kontrollera funktionaliteten hos notifieringsmetoder

Nu kan du direkt från webbgränssnittet skicka ett testmeddelande till dig själv och kontrollera om notifieringsmetoden fungerar. Denna funktionalitet är särskilt användbar för att testa skript för att integrera Zabbix med olika notifieringssystem, uppgiftssystem och andra externa program och API:er.

Fjärrövervakning av Zabbix-infrastrukturkomponenter

Det har kommit möjlighet till fjärrövervakning av interna metrikern för Zabbix-servern och proxy (prestandametrik och funktionalitetsmetrik för Zabbix-komponenter).

Varför behövs detta? Denna funktionalitet gör det möjligt att övervaka interna metrikern för servrar och proxy från sidan, vilket gör att man snabbt kan upptäcka och notifiera om problem även om själva komponenterna är överbelastade eller, till exempel, proxy har en stor mängd obekräftade data.

Stöd för HTML-format i e-postmeddelanden

Nu är vi inte begränsade till enkel text och kan skapa vackra e-postmeddelanden, tack vare stödet för HTML-format. Dags att lära sig HTML + CSS!

Meddelanden är lättare att ta till sig även vid minimal användning av HTML

Åtkomst till externa system från nätverkskartor

Det har kommit stöd för en hel uppsättning nya makron i anpassade URL:er för bättre integration av kartor med externa system. Detta gör att man med ett eller två klick på nätverksnodens ikon kan öppna, till exempel, ett ärende i uppgiftssystemet.

Öppna ärendet i Jira med ett klick

Upptäckningsregeln kan vara ett beroende datainnehåll

Varför är detta nödvändigt – kanske undrar du. Detta tillåter att använda data från huvudmetrikern både för upptäckning och för direkt insamling av data. Till exempel, vid insamling av data från Prometheus-exportören, gör Zabbix en HTTP-förfrågan och använder omedelbart den mottagna informationen för alla beroende datainnehåll: värden av metrik och regler för låg nivå upptäckter.

Ny metod för visualisering av problem på kartor

Stöd för animerade GIF-bilder på kartor har lagts till för en mer framträdande visualisering av problem.

Problematiska enheter har blivit mer märkbara

Vi extraherar data från HTTP-rubriker i webbövervakningen

I webbövervakningen har möjligheten att välja data från den mottagna HTTP-rubriken lagts till.

Detta möjliggör skapande av flerstegswebbövervakningsscenarier eller övervakning av externa API:er, med hjälp av en auktoriseringstoken som erhållits i ett av stegen.

Vi extraherar AuthID från HTTP-rubriken

Zabbix Sender använder alla IP-adresser

Zabbix Sender skickar nu data via alla IP-adresser från parameter ServerActive i agentens konfigurationsfil.

En praktisk ny filterfunktion i triggarinställningarna

Sidan för triggarinställningar har fått ett utökat filter för snabb och bekväm urval av triggare efter givna kriterier.

Vi väljer triggare relaterade till tjänsten K8S

Vi visar exakt tid

Det är enkelt, nu visar Zabbix exakt tid när musen förs över grafen.

Andra nya funktioner

En mer förutsägbar algoritm för att ändra ordningen på widgetarna i instrumentpanelen har implementerats
Möjlighet till massändring av parametrarna för datakälla-prototyper
Stöd för IPv6 för DNS-kontroller: "net.dns" och "new.dns.record"
En parameter "skip" har lagts till för "vmware.eventlog"-kontroller
Fel vid preprocess-steg inkluderar stegnumret

Hur uppdaterar man?

För att gå över från tidigare versioner krävs bara installation av nya binära filer (servrar och proxyer) och ett nytt gränssnitt. Zabbix kommer automatiskt att genomföra databasuppdateringsproceduren. Ingen installation av nya agenter krävs.

Vi håller gratis webbinarier för dem som vill veta mer om Zabbix 4.2 och ha möjlighet att ställa frågor till Zabbix-teamet. Anmäl dig!

Glöm inte den populära Telegramkanalen Zabbix-gemenskapen, där man alltid kan få råd och svar på sina frågor på ryska från mer erfarna kollegor, och om man har tur, även från Zabbix-utvecklarna själva. För nybörjare rekommenderar vi gruppen för nybörjare.