🥇Какво ново в Zabbix 5.0

В средата на май излезе версия Zabbix 5.0 и организирахме серия от онлайн срещи на различни езици, с цел наочно да демонстрираме на общността всички промени и нововъведения. Предлагаме ви да се запознаете с доклада на изпълнителния директор и създател на Zabbix Алексей Владышев, в който той подробно разказа какво ново в Zabbix 5.0.

Zabbix 4.2 и Zabbix 4.4

Нека започнем с промените, появили се в версия Zabbix 4.0, поради използването на LTS версии.
В версия Zabbix 4.2, която излезе през април 2019 г., се появиха следните възможности:

Високочестотно наблюдение с помощта на тротлинг, който осигурява мащабиране и повишаване на NVPS, което означава по-бързо откриване на проблеми и изпращане на известия без голямо натоварване на Zabbix.
Събиране на данни с помощта на HTTP агент.
Поддръжка за събиране на данни от Prometheus Pro.
Предобработката поддържа валидация и JavaScript, който позволява трансформиране на всякакви събирани данни.
Предобработка от страна на прокси, която осигурява по-ефективно мащабиране с помощта на прокси.
Подобрено управление на етикети — метаинформация на ниво събития и проблеми, с които е удобно да се работи, тъй като етикетите се поддържат и на ниво шаблони, и на ниво мрежови възли.

През септември миналата година излезе версия Zabbix 4.4, която предложи следните възможности:

Нов Zabbix агент.
Поддръжка на Webhook за известия и уведомления, което позволява интеграция с външни системи.
Поддръжка на TimescaleDB.
Вградената база знания за метрики и тригери стана видима за потребителите на Zabbix. Например, потребителите могат да използват описания на елементите на данните и тригерите в Наблюдение > Най-нови данни.
Нов стандарт за шаблони.

Zabbix 5.0

Днес ще говорим за LTS изданието на Zabbix 5.0, което ще бъде поддържано в продължение на 5 години. Поддръжката на версия 4.4 спира след един месец. LTS изданието на Zabbix 3.0 ще бъде поддържано още 3,5 години.

Zabbix осигурява наблюдение на много неща, списъкът на които може да бъде уточнен на страницата http://www.zabbix.com/integrations, където са представени шаблони за наблюдение и плъгини, включително за новия агент.

Налични шаблони за наблюдение и интеграция

Освен това съществуват възможности за интеграция с различни системи, включително системи за тикети, ITSM системи и системи за доставка на съобщения с помощта на Webhook.

Възможности за интеграция

В Zabbix 5.0 е разширена вградената поддръжка за интеграция с различни тикет системи, както и системи за уведомления:

Интеграция с различни системи

Разширен е списъкът с вградени шаблони за мониторинг на приложения и устройства:

Вградени шаблони за мониторинг на приложения и устройства

Всички актуализации са налични за изтегляне в Git репозиторий.

Всеки потребител или разработчик може да участва в Zabbix с готови разработки — шаблони или плъгини, като използва проста процедура:

Подписване на споразумение за принос към Zabbix (ZCA) на https://www.zabbix.com/developers.
Публикуване на Pull Request на https://git.zabbix.com.
Преглед на заявката от екипа на разработчиците. Ако плъгинът или шаблонът отговаря на стандартите на Zabbix, той ще бъде включен в продукта, а работата на такъв разработчик ще бъде официално поддържана от екипа на Zabbix.

Zabbix е софтуер с отворен код, достъпен за преглед, изучаване и модификация. Потребителят има възможност свободно да използва продукта, да участва в усъвършенстването на програмата или да използва кода за новите си програми. От друга страна, екипът на Zabbix прави всичко възможно, за да направи инсталацията на Zabbix лесна за различни платформи.

Разработчиците на Zabbix предлагат пакети за почти всички популярни дистрибуции и различни виртуализационни платформи. Освен това Zabbix може да бъде инсталиран с едно кликване в публичното облак. Zabbix е наличен и на платформите Red Hat Openshift или OpenStack.

Пакети на Zabbix за дистрибуции и платформи

Поддръжка на Zabbix Agent 2 за Windows и Linux

Новият Zabbix Agent 2 е едно от най-добрите решения на пазара.

Предлага структура, основана на плъгини, и поддържа скриптове за събиране на данни, които могат да работят часове.
Поддържа паралелни активни проверки, постоянни връзки с външни системи, което е полезно, например, за ефективно мониторинг на бази данни.
Поддържа тригери и събития, което е важно за мониторинга, например, на MQTT устройства.
Новата версия на агента се инсталира лесно (тъй като новият агент поддържа всички предишни функционалности).

Освен това, за новия агент в Zabbix 5.0 се предлага поддръжка на постоянно съхранение на данни. Преди неизпратената информация се съхраняваше само в буферната памет на агента, а в новата версия е налична настройка за съхранение на тази информация на диска.

Постоянно съхранение на данни

Това е важно при мониторинг на критични системи и нестабилни комуникации, тъй като голямо количество важни данни се запазва до изпращането им на сървъра Zabbix. Опцията също е полезна за спътникови връзки, които могат да бъдат недостъпни за дълго време.
ВАЖНО! В Zabbix 5.0 е запазена поддръжката на Zabbix Agent 1.

Промени в системата за сигурност в Zabbix 5.0

1. В новата версия се поддържа HTTP-прокси за webhook, който позволява извършване на връзки между сървъра Zabbix и външните системи за уведомяване по-безопасно и контролирано.

Ако е необходима интеграция на сървъра Zabbix в локалната мрежа с външна система, например JIRA в облака, можете да поддържате връзката чрез HTTP-прокси, което подобрява контрола и надеждността на връзката.

2. Както за стария, така и за новия агент, има възможност да избирате кои проверки трябва да бъдат достъпни на определен агент. Например, можете да ограничите броя проверки, фактически създавайки бели и черни списъци, и да определите поддържаните ключове.

Whitelist за проверки, свързани с MySQL
```
AllowKey=mysql[*] 
DenyKey=*
```
Blacklist за забрана на всички shell скриптове
```
DenyKey=system.run[*]
```
Blacklist за забрана на достъп до /etc/password
```
DenyKey=vfs.file.contents[/etc/passwd,*]
```

3. Можете да избирате алгоритми за шифриране за всички компоненти на Zabbix, за да избегнете използването на несигурни шифри за TLS връзки. Това е важно за мониторинг на среди, за които се прилагат определени стандарти за сигурност.

Избор на алгоритми за шифриране за TLS връзки

4. В Zabbix 5.0 беше добавена поддръжка за шифровани връзки с базата данни. В момента е налична само шифрованата връзка с PostgreSQL и MySQL.

Шифровани връзки с базата данни

5. Zabbix 5.0 премина от MD5 на SHA256 за съхранение на хешове на пароли на потребители в базата данни, тъй като в момента това е най-безопасният алгоритъм.

6. Zabbix 5.0 поддържа секретни потребителски макроси за съхранение на всякаква конфиденциална информация, като пароли и API токени, до които не притежават достъп крайни потребители.

Секретни макроси

7. Всички връзки на Zabbix с външни системи и вътрешни връзки с агентите са безопасни. Поддържа се криптиране с помощта на TLS сертификати или с използване на предварително публикуван ключ (pre-shared key encryption) за връзка с агентите и проксита, или HTTPS. Сигурността на страната на агентите може да се засили чрез бели и черни списъци. Интерфейсът работи чрез HTTPS.

Безопасни връзки

8. Поддръжка на SAML за осигуряване на единна точка на аутентификация при надежден доставчик на идентификационни услуги, така че потребителските данни да не напускат границите на защитната стена.

SAML идентификация

Поддръжката на SAML позволява интегриране на Zabbix с различни локални и облачни доставчици на идентификационни услуги, като Microsoft ADFS, OpenAM, SecurAuth, Okta, Auth0, както и Azure, AWS или Google Cloud Platform.

Удобство на потребителя в Zabbix 5.0

1. Потребителски интерфейс, оптимизиран за широки екрани. Преместихме менюто от горната част, където винаги липсва място, в лявата част на екрана. Менюто все още се показва в пълен, минимален и скрит режим.

Интерфейс, оптимизиран за широк екран

2. Копиране на джаджи от панелите позволява много бързо създаване на нови ПАНЕЛИ. За целта в ПАНЕЛИТЕ трябва да изберете необходимата джаджа, да натиснете Copy

Копиране на джаджа

и да поставите джаджа в нужния панел.

Поставяне на копираната джаджа

3. Експорт на графики. За да копирате график и да го изпратите, например, по електронна поща, можете да получите график в JPEG формат, като изберете необходимата джаджа и натиснете Download image.

Експорт на графики

4. Филтриране по тагове: Проблеми по тежест и Хостове на проблеми. Появи се възможността, например, да съберете в един дата център данни за всички проблеми, свързани с един узел на мрежата.

Филтриране по тагове

5. Поддръжка на модули за разширяване на интерфейса на Zabbix. За да инсталирате независим модул, трябва да го копирате в определена директория. Модулите позволяват разширяване на съществуващата функционалност на интерфейса, създаване на нови страници, промяна на структурата на менюто, например, добавяне на нови точки.

Все потребители могут написать и интегрирализировать модуль. Для этого модуль копируется в папку modules, после чего он становится доступным в интерфейсе, где его можно активировать или деактивировать.

Добавяне на нов модул

6. Леснота в навигацията през ресурсите, свързани с мрежовите възли. В Monitoring > Hosts показва списък с устройства, които Zabbix мониторира: мрежови възли, услуги, мрежови устройства и т.н. Освен това, бърза навигация към екрани, графики и проблеми с конкретни устройства е налична.

Премахнахме разделите Monitoring > Graphs и Monitoring > Webs, а цялата навигация се извършва чрез Monitoring > Hosts. Показваната информация може да се филтрира, включително по тагове, което позволява показването на деактивирани устройства

Навигацията през ресурсите, свързани с мрежовите възли

Например, можете да изберете устройства, които принадлежат на услуги за крайни потребители, избирайки ‘Услуга’, и задавайки нивото на важност на тези проблеми.

Възможности за филтриране

7. Нова операция за предварителна обработка — ‘Заменяне‘ позволява извършването на няколко ползотворни действия, които преди бяха възможни само чрез регулярни изрази, твърде сложни за много потребители.
Replace позволява фактически да се замени една строка или символ с други, което позволява лесно конвертиране на данни, получени в текстов формат, в числово представяне.

Оператор Replace

8. Оператор JSONPath, който позволява извличането на имена на атрибути в удобна форма

Оператор за JSONPath

9. Показване на имейл съобщения Zabbix. В предишни версии всички имейл съобщения от Zabbix в папката Входящи бяха показвани в списък. Започвайки с Zabbix 5.0, съобщенията ще бъдат групирани по проблеми.

Групиране на имейл съобщения от Zabbix

10. Поддръжка на потребителски макроси за IPMI за потребителско име и парола. Ако за потребителското име и паролата се използват секретни макроси, достъпът до тяхната стойност ще бъде ограничен.

Поддръжка на потребителски макроси

11. Масово изменение на потребителски макроси за мрежовите възли. В новата версия можете да отворите списък с шаблони, да изберете списък с мрежови възли и да добавяте макроси или да променяте стойностите на съществуващите макроси,

Добавяне и промяна на потребителски макроси

и също така да се премахват определени или всички макроси от избраните шаблони за мрежови възли.

Премахване на отделни или всички потребителски макроси

12. Контрол на формата на съобщенията на ниво метод за уведомление. В Медиен тип появи се раздел Медийни шаблони с шаблони за съобщения.

Шаблони за методи на уведомление

За различни типове съобщения могат да се задават различни шаблони.

Определяне на шаблон за тип съобщения

В предишни версии трябваше да управлявате тези съобщения на ниво действия, определяйки съобщенията и темата по подразбиране.

Управление на шаблони на ниво действия

В новата версия всичко може да се определи на глобално ниво, а на ниво съобщения – да се пренапишат глобалните настройки.

Управление на шаблони на глобално ниво

За повечето потребители е достатъчно да определят формати на шаблони на ниво метод за уведомление. Освен това след импортиране на нов метод за уведомление всички съответстващи формати на шаблони вече са част от него.

13. По-широко приложение на JavaScript. JavaScript се използва за скриптове за предварителна обработка, за Webhook и т.н. В командния ред, работата с JavaScript не е лесна.
В Zabbix 5.0 се използва нова утилита — zabbix_js, която стартира JavaScript, приема данни, обработва ги и генерира изходни стойности.

Утилита zabbix_js

Примери за използване на утилитата zabbix_js

14. Поддръжка на текстови операции с тригерни изрази позволява проверка на версиите на инсталираните компоненти, сравняване на стойности с каквито и да е константи, като константата може да бъде потребителски макрос,

{host:zabbix.version.last()}="5.0.0"
{host:zabbix.version.last()}="{$ZABBIX.VERSION}

сравнявайки последната стойност с предишната, например, когато става въпрос за текстови данни,

{host:text.last()} {host.text.prev()}

или

{host:text.last(#1)} {host.text.prev(#2)}

или сравнявайки текстовите стойности на различни метрики.

{hostA:textA.last()}={hostB:textB.last()}

15. Автоматизация и откриване.

Нови проверки JMX са налични за получаване и откриване на списък с JMX метрики, което е изключително полезно, например, за мониторинг на Java приложения, както и за автоматизация на създаването на елементи за мониторинг, метрики, тригери и графики.
```
jmx.get[]
```
и
```
jmx.discovery[]
```
Проверки JMX
В новата версия се появи ключ за мониторинг на производителността на Windows, който се поддържа както от стари, така и от нови агенти на руски и английски и позволява, например, да открива броя на процесорите, файловите системи, услугите и т.н.

Мониторинг на производителността на Windows с ключ perf_counter
ODBC мониторингът стана значително по-лесен. По-рано всички параметри за ODBC мониторинг трябваше да се описват във външен файл /etc/odbc.ini, до който нямаше достъп от интерфейса на Zabbix. В новата версия почти всичките параметри могат да бъдат част от ключа за метриката.

Ключ за метриката с описание на параметрите
В новата версия можете да зададете името на сървъра и порта на ниво метрика, а името и паролата за достъп — с помощта на тайни макроси за безопасност.

Използване на тайни макроси
При използването на протокола IPMI за мониторинг на оборудването се появи възможност за създаване на по-прости шаблони за автоматизация с помощта на ipmi.get.

ipmi.get

16. Тестване на елементите на данните от интерфейса. В Zabbix 5.0 се появи възможност за тестване на някои елементи на данните и, още по-важно, шаблоните на елементите на данните от интерфейса.

Тестване на елементите на данните

Всички възникващи проблеми се показват в интерфейса.

Показване на проблемите в интерфейса

Подобен алгоритъм се използва за шаблоните на елементите на данните. Освен това, ако някой елемент на данните не се поддържа, за да разберете причината за неуспеха, просто натиснете Test.

17. Тестване на методите за известяване, които се появиха в Zabbix 4.4, се запазват, което е важно при интеграцията на Zabbix с други системи, например системи за тикети.

Тестване на методите за известяване

18. Поддръжка на потребителски макроси за шаблони на елементите на данните. За определяне на стойностите на потребителските макроси могат да се използват LLD макроси.

Използване на LLD макроси за определяне на стойностите на потребителските макроси

19. Поддръжка на данни Float64, които са необходими основно за мониторинг на много големи стойности, в Zabbix е необходимо за поддръжка на данни, получени от агенти Prometheus.
При инсталиране на Zabbix 5.0 автоматичното прехвърляне на данни към стандартен Float64 не се извършва. Потребителят все пак може да използва старите типове данни. Скриптовете за миграция към Float64 се стартират ръчно и променят типовете данни в историческите таблици. Автоматичната подмяна не се използва, тъй като отнема много дълго време.

20. Подобряване на мащабируемостта на Zabbix 5.0: оптимизация на интерфейса и отстраняване на "тесни места"

Отстранени са падащите списъци, например, за избор на мрежови възли, тъй като тази функция не може да бъде мащабирана.
Появиха се "вградени" лимити за размерите на таблиците Overview.
Появиха се нови възможности в Monitoring > Hosts > Graphs.
Появи се функцията за странициране (Monitoring > Hosts > Web) там, където я е нямало.

21. Подобрена компресия
Компресията в Zabbix е основана на разширението за PostgreSQL — TimescaleDB (от Zabbix 4.4). TimescaleDB осигурява автоматично разрезаване на базата данни и повишава нейното представяне, тъй като производителността на TimescaleDB всъщност не зависи от размера на базата данни.

В Zabbix 5.0 в Administration > General > Housekeeping може да се настрои, например, компресия на данни, по-стари от 7 дни. Това значително намалява необходимото дисково пространство (почти десетократно, според данни от потребителите), което подобрява спестяването на дисково пространство и повишава производителността.

Компресия с помощта на TimescaleDB

22. Настройка на SNMP на ниво интерфейс. В Zabbix 5.0 вместо три типа елементи данни се използва само един — SNMP agent. Всички атрибути на SNMP са преместени на ниво интерфейс на мрежовите възли, което позволява опростяване на шаблоните, превключването между версиите на SNMP и т.н.

Настройка на SNMP на ниво интерфейс

23. Зависимост на мониторинга на достъпността на мрежовите възли от достъпността на прокси позволява да се показва проблема с достъпността на прокси като приоритетен в случай на недостъпност на мрежовите възли при мониторинг с помощта на тригер с функцията nodata:

{HostA:item.nodata(1m)}=1

Достъпността на мрежовите възли се определя от достъпността на прокси

Функция nodata по подразбиране взема предвид достъпността на прокси. За по-строга проверка, която не взема предвид достъпността на прокси, се използва вторият параметър — strict:

{HostA:item.nodata(1m,strict)}=1

24. Управление на правилата за ниско ниво на откритие. В Zabbix 5.0 се появи LLD-филтър, който позволява да се разглеждат и неподдържани правила за откриване

LLD-филтър

25. Възможност за отстраняване на потвърждението на проблема (unacknowledge) позволява да се коригират грешки и е полезна при създаването на работни процеси, зависещи от потвърждение на проблема.

Отстраняване на потвърждението на проблема

26. Промяна на правилата за нискоуровневото откриване —възможност за добавяне на изключения при откриване на обекти в резултат на мониторинг на файловите системи, която позволява при нискоуровневото откриване да се създават или не създават определени обекти, тригери, елементи от данни и т.н., да се променя важността на проблемите, да се добавят тагове за определени обекти, да се изключват обекти, например, временни файлови системи, от търсенето, да се променя интервалът за обновяване на данните и т.н.

Изключване от нискоуровневото откриване на временни файлови системи

Например, може да се промени нивото на приоритет на тригерите за откритите файлови системи Oracle, оставяйки нивото на приоритет на тригерите на другите файлови системи на предишното ниво.

Промяна на нивото на приоритет на тригерите за отделни файлови системи

27. Нови макроси в Zabbix 5.0 позволяват да се повиши качеството на мониторинга.

Нови макроси в Zabbix 5.0

28. Други нововъведения в Zabbix 5.0:

Подобрения в Zabbix 5.0

29. Прекратяване на поддръжката

Неподдържана функционалност

Заключение

Обновяването до Zabbix 5.0 е много просто! Инсталирайте и стартирайте новите бинарни файлове за сървъра и frontend файловете, и сървърът автоматично ще обнови вашата база данни.
Информация за процедурата по обновяване на Zabbix е публикувана на адрес:
https://www.zabbix.com/documentation/current/manual/installation/upgrade_notes_500

ВАЖНО!

Обновяването на историческите данни до формата Float64 не е задължително.
Данните на TimescaleDB са само за четене.
Минимална необходима версия PHP7.2.
DB2 не се поддържа като backend за Zabbix сървър

(!) Видеа и слайдове от презентациите на Алексей Владышев и други лектори от Zabbix Meetup Online (Руски) могат да се гледат тук..

Източник: habr.com