IncidentRelay — отворена система за организиране на дежурства и маршрутизиране на известия

Публикуван е проектът IncidentRelay, който развива отворена система за организиране на дежурства, маршрутизиране на уведомления и управление на инциденти, стартираща на собствен сървър (self-hosted). Проектът е насочен към SRE, DevOps и инфраструктурни екипи, които се нуждаят от локално разгръщаема алтернатива на SaaS услугите за управление на дежурствата (on-call management), прилагане на политики за ескалация и реагиране на инциденти. Кодът на проекта е написан на Python и се разпространява под лиценз MIT.

IncidentRelay приема събития от системи за мониторинг, съпоставя ги с правила за маршрутизиране и доставя уведомления на отговорните дежурни или екипи. В системата са реализирани графици на дежурствата, ротации, преустановяване на смени, потвърждение на получаването на инцидента, превеждане на инцидента в resolved, напомняния, ескалации и silences за заглушаване на известни или планирани сработвания.

Поддържа се прием на събития от Prometheus Alertmanager, Zabbix и произволни webhook-ове. За изпращане на уведомления са предвидени канали Mattermost, Telegram, електронна поща, webhook и гласови доставчици. В Mattermost и Telegram уведомленията могат да съдържат действия за потвърждаване и разрешаване на проблема, което позволява обработката на инцидента без преминаване в отделен интерфейс.

В IncidentRelay е предвидена модел на разделяне на достъпа по групи и екипи. Това позволява да се разграничат видимостта на графиците, маршрутите, каналите за уведомления и алертите между различните екипи. За автоматизация е наличен HTTP API, а за интеграции се използват bearer токени и route токени.

Проектът може да се използва като междинен слой между системите за мониторинг и каналите за уведомления: Alertmanager или Zabbix изпраща събитие в IncidentRelay, след което системата определя екипа, текущия дежурен, прилага правилата за маршрутизиране и изпраща уведомление в нужния канал. За неподтвердени инциденти могат да се изпълняват повторни напомняния и ескалации на следващия участник в ротацията.

Източник: opennet.ru