Първи стабилен релиз на IncidentRelay, система за организиране на дежурства и маршрутизация на известия

След пет месеца разработка е публикувано издание на проекта IncidentRelay 1.1, развиващи отворена система за организиране на дежурства, маршрутизиране на известия и управление на инциденти, която се стартира на собствен сървър (self-hosted). IncidentRelay 1.1 е отбелязан като първото стабилно издание (клон 1.0 имаше статус бета версия). Проектът е насочен към SRE, DevOps и инфраструктурни екипи, които нуждаят от локално разгръщана алтернатива на SaaS услугите за управление на дежурствата (on-call management), прилагане на политики за ескалация и реагиране на инциденти. Кодът на проекта е написан на Python и се разпространява под MIT лиценз.

IncidentRelay приема събития от системи за мониторинг, съпоставя ги със сервиз, екип и ротация, след което доставя известия на отговорните дежурни или екипи. В системата са реализирани графици за дежурства, ротации, презаписи на смени, потвърждаване на получаването на инцидента, статуси ACK/Resolve, напомняния, ескалации, времеви замени на дежурни, определяне на време за планирани работи и потискане на шумни аларми.

Основното предимство на проекта е пълен контрол над инфраструктурата и логиката на маршрутизиране. IncidentRelay се разгръща в собствена среда, работи с своя база данни и позволява ясно разделение между входящите маршрути, екипи, ротации и канали за доставка. Входящите токени принадлежат на маршрутите, а не на каналите, затова е по-лесно да се разбере кой външен източник има право да изпраща събития до конкретен екип.

В IncidentRelay се поддържа прием на събития от Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch и произволни webhook-ове. За изпращане на известия са предвидени канали Mattermost, Slack, Telegram, Discord, Microsoft Teams, имейл, webhook-и, browser/PWA push и доставчици на гласови повиквания. В Mattermost и Telegram известията могат да съдържат действия за потвърждаване и разрешаване на проблема, което позволява обработката на инцидента без необходимост от преминаване в отделен интерфейс.

Проектът може да се стартира чрез Docker Compose, RPM пакет за дистрибуции, подобни на Red Hat, ръчно чрез systemd, а също и в Kubernetes с помощта на Helm диаграма. За малки инсталации може да се използва SQLite, а за работни системи и по-високи натоварвания се препоръчва PostgreSQL.

В новата версия са предложени следните изменения:

• Добавени са многоступенчиви on-call ротации с времеви ограничения, приоритети на слоевете и включване на временни замени;
• Създаден е календар за дежурства, CalDAV и ICS абонаменти за външни календари;
• Реализирани са политики за ескалация на инциденти с многоетапни вериги на повишаване на нивото;
• Добавени са групи за предупреждения, групиране на събития, отложени уведомления и ръчно обединяване на свързани аларми;
• Появиха се прозорци за провеждане на планирани работи и „тихи“ аларми;
• Добавена е възможност за добавяне на коментари към алармите;
• Добавени са приоритети на инцидентите (P1-P5) и автоматично повишаване на приоритета според важността;
• Реализиран е каталог на услуги, зависимости на услуги, SLI/SLO, история на влиянието върху работата на системите (Service Impact History) и бизнес услуги (Business Services);
• Появи се Explain Trace за анализ на маршрутизацията: защо алармата попада или не попада в екипа, е била групирана, потисната или изпратена в конкретен канал;
• Добавени са проверки (Heartbeats/dead-man-switch) за watchdog, backup, ETL и други задачи, при които проблемът е отсъствието на очаквания сигнал.

Източник: opennet.ru