Първото стабилно издание на IncidentRelay, система за организиране на дежурства и маршрутизиране на известия.

След пет месеца разработка, проектът IncidentRelay 1.1, който развива отворена система за организиране на дежурства, маршрутизиране на известия и управление на инциденти, разположена на собствен сървър (self-hosted), е публикуван. IncidentRelay 1.1 е обявен за първия стабилен релиз (клон 1.0 имаше статус бета-версия). Проектът е ориентиран към SRE, DevOps и инфраструктурни екипи, които се нуждаят от локално разгръщаема алтернатива на SaaS услугите за управление на дежурствата (on-call management), прилагане на политики за ескалация и реакция на инциденти. Кодът на проекта е написан на Python и е разпространен под MIT лиценз.

IncidentRelay приема събития от системи за мониторинг, съпоставя ги със сервиз, екип и ротация, след което доставя известия на отговорните дежурни или екипи. В системата са реализирани графици за дежурства, ротации, преопределения на смени, потвърждаване на получаване на инцидент, състояния ACK/Resolve, напомняния, ескалации, временно заместване на дежурни, определяне на времето за планови работи и подавяне на шумни алерти.

Основното предимство на проекта е пълен контрол над инфраструктурата и логиката на маршрутизиране. IncidentRelay се разгръща в своя среда, работи със своя база данни и позволява ясно разделяне на входящите маршрути, екипи, ротации и канали за доставка. Входящите токени принадлежат на маршрутите, а не на каналите, което улеснява разбирането кой външен източник има право да изпраща събития на конкретен екип.

В IncidentRelay е поддържан прием на събития от Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch и произволни webhook-ове. За изпращане на известия са предвидени канали като Mattermost, Slack, Telegram, Discord, Microsoft Teams, email, webhook-ове, browser/PWA push и доставчици на гласови повиквания. В Mattermost и Telegram известията могат да съдържат действия за потвърдяване и разрешаване на проблема, което позволява обработка на инцидента без нужда от преминаване в отделен интерфейс.

Проектът може да се стартира чрез Docker Compose, RPM пакет за дистрибуции, подобни на Red Hat, ръчно чрез systemd, а също така и в Kubernetes с помощта на Helm chart. За малки инсталации може да се използва SQLite, а за работни системи и по-високи натоварвания се препоръчва PostgreSQL.

В новата версия са предложени следните промени:

• Добавени са многостепенни ротации на дежурства с времеви ограничения, приоритети на слоеве и включване на времеви замени;
• Появи се календар за дежурства, CalDAV и ICS абонаменти за външни календари;
• Реализирани са политики за ескалация на инциденти с многостепенни вериги за повишаване на нивото;
• Добавени са групи за предупреждения, групиране на събития, отложени уведомления и ръчно обединяване на свързани аларми;
• Появиха се прозорци за извършване на планирани работи и „тихи“ аларми;
• Добавена е възможност за добавяне на коментари към алармите;
• Добавени са приоритети на инцидентите (P1-P5) и автоматично повишаване на приоритета в зависимост от важността;
• Реализиран е сервизен каталог, зависимости на услуги, SLI/SLO, история на влиянието върху работата на системите (Service Impact History) и бизнес услуги (Business Services);
• Появи се Explain Trace за анализ на маршрутизацията: защо алармата е попаднала или не е попаднала в екипа, била е групирана, потисната или изпратена в конкретен канал;
• Добавени са проверки (Heartbeats/dead-man-switch) за watchdog, резервно копие, ETL и други задачи, където проблемът е липсата на очакван сигнал.

Източник: opennet.ru