Нашият екип е много развълнуван да сподели новината, че е представена свободна система за мониторинг с отворен код. Zabbix 4.2!

Дали версия 4.2 е отговорът на основния въпрос за живота, вселената и мониторинга като цяло? Нека да разгледаме!

Напомняме, че Zabbix е универсална система за мониторинг на производителността и достъпността на сървъри, инженерно и мрежово оборудване, приложения, бази данни, системи за виртуализация, контейнери, ИТ услуги и уеб услуги.

Zabbix реализира целия цикъл от събиране на данни, обработка и преобразуване, анализ на получените данни, до съхранение, визуализация и изпращане на известия, използвайки правила за ескалация. Системата предлага гъвкави възможности за разширение на методите за събиране на данни и известия, както и възможности за автоматизация чрез API. Единният уеб интерфейс реализира централизирано управление на конфигурациите за мониторинг и разпределение на права за достъп на различни групи потребители. Кодът на проекта се разпространява свободно под лиценз. GPLv2.

Zabbix 4.2 е нова не LTS версия с по-кратък срок на официална поддръжка. На потребителите, които се ориентират към дълъг експлоатационен цикъл на софтуерни продукти, препоръчваме да използват LTS версии, като 3.0 и 4.0.

И така, нека поговорим за новостите и основните подобрения в версия 4.2:

Повече официални платформи

В допълнение към вече съществуващите официални пакети, предлагаме и нови сборки за:

RaspberryPi, Mac OS/X, SUSE Enterprise Linux Server 12
MSI за Windows агента
Docker образи

Вградена поддръжка на Prometheus за мониторинг на приложения

Zabbix може да събира данни по различни начини (push/pull) от различни източници на данни. Това са JMX, SNMP, WMI, HTTP/HTTPS, RestAPI, XML Soap, SSH, Telnet, агенти и скриптове и други източници. А сега представяме поддръжка на Prometheus!

Строго погледнато, събирането на данни от експортери на Prometheus беше възможно и преди благодарение на типа елементи данни HTTP/HTTPS и регулярни изрази.

Обаче, новата версия позволява работа с Prometheus по максимално ефективен начин благодарение на вградената поддръжка на езика за запитвания PromQL. Използването на зависими метрики позволява събиране и обработка на данни по най-ефективния начин: веднъж получаваме данните, а след това ги разпределяме по нужните метрики.

Получаваме стойността на конкретна метрика

Важно е да отбележим, че в момента нискоуровневото откритие може да използва събраните данни за автоматично създаване на метрики. В този случай Zabbix преобразува получените данни в JSON формат, с който е много удобно да се работи.

Намираме метрики, използвайки филтър на PromQL езика за запитвания

В момента съществуват над 300 интеграции и рецепти за мониторинг настранични услуги и приложения с помощта на Zabbix. Поддръжката на Prometheus ще позволи добавянето на цял набор приложения с официални или поддържани от съюза експортери на Prometheus. Това е мониторинг на популярни услуги, контейнери и облачни ресурси.

Ефективен високочестотен мониторинг

Искаме ли да откриваме проблеми възможно най-бързо? Разбира се, няма съмнение! Най-често този подход води до необходимостта да опитваме прекалено често устройствата и да събираме данни, което води до по-голямо натоварване на системата за мониторинг. Как да избегнем това?

Реализирали сме механизъм на тротлинг в правилата за предварителна обработка. Тротлингът, по същество, ни дава възможност да пропускаме повтарящи се стойности.

Представете си, че следим състоянието на критично приложение. Проверяваме всяка секунда дали приложението ни функционира или не. При това в Zabbix постъпва непрекъснат поток от данни: 1 (работи) и 0 (не работи). Например: 1111111111110001111111111111…

Когато с нашето приложение всичко е наред, в Zabbix постъпва поток само от единички. Нужно ли е да ги обработваме? Всъщност не, защото ни интересува само промяната в състоянието на приложението; не искаме да събираме и съхраняваме толкова много данни. Тротлингът позволява да пропуснем стойност, ако тя е идентична на предишната. В крайна сметка ще получим само данни за промяна в състоянието, например, 01010101… Вполне достатъчно информация за откриване на проблеми!

Пропуснатите стойности Zabbix просто игнорира, те не се записват в историята и не влияят по никакъв начин на тригерите. От гледна точка на Zabbix пропуснатите стойности не съществуват.

Игнориране на повтарящи се стойности

Страхотно! Сега можем да опитваме устройствата много често, докато бързо откриваме проблеми без да съхраняваме ненужна информация в базата данни.

А как са графиките? Те ще бъдат празни заради липсата на данни! И как да разберем, дали Zabbix събира данни, ако повечето от тези данни ще бъдат пропуснати?

И за това помислихме! Zabbix предлага още един вид тротлинг — тротлинг с контрольни точки (throttling with heartbeat).

На всеки минута проверяваме дали метриката е активна

В този случай, Zabbix, независимо от повтарящия се поток от данни, ще съхранява поне едно значение в зададен интервал от време. Ако данните се събират на всяка секунда, а интервалът е зададен на една минута, Zabbix ще преобразува потока от единички за всяка секунда в поток за всяка минута. Не е трудно да се забележи, че това води до 60-кратно свиване на получените данни.

Сега сме сигурни, че данните се събират, функцията на тригера nodata() работи, и с графиките всичко е наред!

Валидация на събраните данни и обработка на грешките

Никой от нас не иска да събира грешни или недостоверни данни. Например, знаем, че температурният датчик трябва да връща данни в диапазона от 0°C до 100°C и всяко друго значение трябва да се счита за грешно и/или да бъде игнорирано.

Сега това е възможно чрез вградените правила за валидация по съответствие или несъответствие на регулярни изрази, диапазон на стойности, JSONPath и XMLPath.

Сега можем да управляваме реакцията на грешки. Ако температурата е извън диапазона, можем просто да игнорираме такава стойност, да зададем стойност по подразбиране (например 0°C), или да определим собствено съобщение за грешка, като например 'Датчикът е повреден' или 'Заменете батерията.'

Температурата трябва да бъде от 0 до 100, останалото игнорираме

Добър пример за използване на валидация е възможността да проверим входните данни за наличието на съобщение за грешка и да зададем тази грешка за цялата метрика. Това е много полезна функционалност при получаване на данни от външни API.

Всяка трансформация на данни с JavaScript

Ако вградените правила за предварителна обработка не са достатъчни, сега предлагаме пълна свобода с произволни скриптове на езика JavaScript!

Само един ред код за преобразуването на градуси по Фаренхайт в градуси по Целзий

Това отваря безкрайни възможности за обработка на входящи данни. Практическото преимущество на тази функционалност е, че вече не са нужни външни скриптове, които използвахме за всякакви операции с данни. Сега всичко това може да се направи с JavaScript.

Сега са възможни трансформация на данни, агрегации, филтри, аритметични и логически операции и много, много повече!

Извличаме полезна информация от изхода на Apache mod_status!

Тестираме преобработването

Сега не е нужно да гадаем как работят нашите сложни сценарии за преобработване. Появи се удобна проверка на правилността на работа на преобработването направо от интерфейса!

Обработваме милиони метрики в секунда!

До версия Zabbix 4.2, преобработката беше дело само на Zabbix сървъра, което ограничаваше възможностите за прилагане на прокси за разпределение на натоварването.

С версия Zabbix 4.2 получаваме невероятно ефективно мащабиране на натоварването благодарение на поддръжката на преобработката от страна на прокси. Сега това се извършва от прокситата!

В комбинация с тротлинг, този подход позволява извършването на високочестотно мащабно наблюдение и осъществяване на милиони проверки в секунда, без да се натоварва центральният Zabbix сървър. Прокситата обработват гигантски обеми данни, като до Zabbix сървъра достигат само малка част от тях благодарение на тротлинга, с един-два поредни реда по-малко.

По-просто нискоуровнево откритие

Припомняме, че нискоуровневото откритие (LLD) е много мощен механизъм за автоматично откритие на всякакви ресурси за наблюдение (файлови системи, процеси, приложения, услуги и т.н.) и автоматично създаване на базата им на елементи от данни, тригери, мрежови възли и други обекти. Това невероятно спестява време, опростява конфигурацията и позволява използването на един шаблон за мрежови възли с различни ресурси за наблюдение.

Ниското ниво на откритие изискваше входящо специално форматиран JSON. Сега това вече няма да е така!

Zabbix 4.2 позволява на нискоуровнево откриване (LLD) да използва произволно форматирани данни в JSON формат. Защо е важно? Това позволява без да прибягваме до скриптове да комуникираме, например, с външни API и да използваме получената информация за автоматично създаване на мрежови възли, елементи от данни и тригери.

В комбинация с поддръжката на JavaScript, това създава фантастични възможности за изграждане на шаблони за работа с различни източници на данни, като например облачни API, API на приложения, данни в XML, CSV формати и др.

Свързваме JSON с информация за процесите с LLD

Възможностите наистина са безгранични!

Поддръжка на TimescaleDB

Какво е TimescaleDB? Това е стандартен PostgreSQL плюс разширителен модул от екипа на TimescaleDB. TimescaleDB обещава по-добра производителност чрез по-ефективни алгоритми и структура на данните.

Освен това, още едно предимство на TimescaleDB е автоматичното партициониране на таблици с история. TimescaleDB е скорост и простота на обслужване! Въпреки това, трябва да отбележа, че нашият екип все още не е провел сериозно сравнение на производителността с обикновен PostgreSQL.

Към момента TimescaleDB e все още млад и бързо развиващ се продукт. Използвайте с предпазливост!

Лесно управление на таговете

Ако преди таговете можеха да се управляват само на ниво тригери, сега управлението на таговете е много по-гъвкаво. Zabbix поддържа тагове за шаблони и мрежови възли!

Всички открити проблеми получават тагове не само за тригера, но и за мрежовия възел, както и за шаблоните на този мрежов възел.

Определяме тагове за мрежови възли

По-гъвкава автоматична регистрация

Zabbix 4.2 позволява филтриране на мрежовите възли по име, използвайки регулярни изрази. Това дава възможност за създаване на различни сценарии за откриване за различни групи мрежови възли. Особено удобно е, когато имаме сложни правила за именуване на устройства.

По-гъвкаво мрежово откриване

Още едно подобрение е свързано с именуването на мрежовите възли. Появи се възможност за управление на имената на устройствата при мрежово откриване и получаване на името на устройството от стойността на метриката.

Това е много необходима функционалност, особено при мрежово откриване с помощта на SNMP и Zabbix агент.

Автоматично назначаваме локалното име на мрежовия възел с видимото име

Проверка работоспособността на методите за уведомяване

Сега можете да изпращате тестово съобщение директно от уеб-интерфейса и да проверите дали методът за уведомяване работи. Тази функционалност е особено полезна за проверка на скриптове за интеграция на Zabbix с различни системи за уведомяване, системи за задачи и други външни програми и API.

Отдалечен мониторинг на компонентите на инфраструктурата на Zabbix

Появи се възможността за отдалечен мониторинг на вътрешните метрики на Zabbix сървъра и прокси (метрики за производителност и работоспособност на компонентите на Zabbix).

За какво е това? Функционалността позволява да се следят вътрешните метрики на сървъри и прокси отстрани, което позволява бързо откриване и уведомяване за проблеми, дори когато самите компоненти са претоварени или, например, на прокси има голямо количество неизпратени данни.

Поддръжка на HTML формат за имейл съобщения

Сега не сме ограничени до прост текст и можем да създаваме красиви имейл съобщения, благодарение на наличието на поддръжка на HTML формат. Време е да учим HTML + CSS!

Съобщенията са по-лесни за възприемане дори при минимално използване на HTML

Достъп до външни системи от мрежовите карти

Появи се поддръжка за набор от нови макроси в потребителските URL за по-добра интеграция на картите с външни системи. Това позволява с един-два клика на иконата на мрежовия елемент да се отваря, например, тикет в системата за задачи.

Отваряне на тикет в Jira с един клик

Правилото за откриване може да зависи от елемента на данните

Защо е нужно това — ще питате вие. Това позволява да се използват данните от основната метрика както за откриване, така и за директно събиране на данни. Например, в случай на събиране на данни от експортер на Prometheus, Zabbix ще направи една HTTP заявка и незабавно ще използва получената информация за всички зависими елементи на данни: стойностите на метриките и правилата за откриване на ниско ниво.

Нов начин за визуализация на проблемите на картите

Появи се поддръжка на анимирани GIF изображения на картите за по-ясна визуализация на проблемите.

Проблемните устройства станаха по-забележими

Извличане на данни от HTTP заглавките в уеб мониторинга

В уеб мониторинга беше добавена възможност за избор на данни от полученото HTTP заглавие.

Това позволява да се създават многостепенни сценарии за уеб мониторинг или мониторинг на трети API, използвайки токен за автентикация, получен в една от стъпките.

Извличаме AuthID от HTTP заглавието

Zabbix Sender използва всички IP адреси

Zabbix Sender сега изпраща данни по всички IP адреси от параметъра ServerActive на конфигурационния файл на агента.

Удобен нов филтър в конфигурацията на триггерите

Страницата за конфигуриране на триггерите получи разширен филтър за бързо и удобно извлечение на триггери по зададени критерии.

Избираме триггерите, свързани с услугата K8S

Показваме точния час

Тук всичко е просто, сега Zabbix показва точния час, когато задържите мишката над графика.

Други нововъведения

Реализиран е по-предсказуем алгоритъм за промяна на подреждането на виджетите в таблото
Възможност за масово променяне на параметрите на прототипите на данни
Поддръжка на IPv6 за DNS проверки: «net.dns» и «new.dns.record»
Добавен е параметър «skip» за проверки на «vmware.eventlog»
Грешката при изпълнение на стъпка при предварителна обработка включва номер на стъпка

Как да се обновите?

За преминаване от по-стари версии е необходимо само инсталирането на нови бинарни файлове (сървъри и проксита) и нов интерфейс. Zabbix автоматично ще проведе процедурата по обновление на базата данни. Инсталирането на нови агенти няма да е необходимо.

Провеждаме безплатни уебинари за тези, които искат да научат повече за Zabbix 4.2 и имат възможност да зададат въпроси на екипа на Zabbix. Запишете се!

Не забравяйте за популярния Telegram канал на Zabbix обществото, където винаги можете да получите консултации и отговори на вашите въпроси на руски език от по-опитни колеги, а, ако имате късмет, и от самите разработчици на Zabbix. За новаците препоръчваме група за начинаещи.