Byl zveřejněn projekt IncidentRelay, který vyvíjí otevřený systém pro organizaci pohotovostí, směrování upozornění a správu incidentů, spuštěný na vlastním serveru (self-hosted). Projekt je zaměřen na týmy SRE, DevOps a infrastruktury, které potřebují lokálně nasadit alternativu k SaaS službám pro správu pohotovosti (on-call management), aplikaci eskalačních politik a reakci na incidenty. Kód projektu je napsán v Pythonu a je dostupný pod licencí MIT.
IncidentRelay přijímá události z monitorovacích systémů, porovnává je s pravidly směrování a doručuje oznámení odpovědným pohotovostním pracovníkům nebo týmům. Systém implementuje rozvrhy pohotovostí, rotace, předefinování směn, potvrzení příjmu incidentu, přechod incidentu do resolved, připomínky, eskalace a silences pro potlačení známých nebo plánovaných událostí.
Podporuje příjem událostí z Prometheus Alertmanager, Zabbix a libovolných webhooků. Pro odesílání oznámení jsou k dispozici kanály Mattermost, Telegram, email, webhook a hlasoví poskytovatelé. V Mattermost a Telegram mohou oznámení obsahovat akce pro potvrzení a vyřešení problému, což umožňuje zpracování incidentu bez přechodu do samostatného rozhraní.
V IncidentRelay je implementován model dělení přístupu podle skupin a týmů. To umožňuje oddělení viditelnosti rozvrhů, tras, kanálů oznámení a alertů mezi různými týmy. Pro automatizaci je k dispozici HTTP API a pro integrace se používají bearer tokeny a route tokeny.
Projekt může sloužit jako prostřední vrstva mezi monitorovacími systémy a kanály oznámení: Alertmanager nebo Zabbix odešle událost do IncidentRelay, poté systém určí tým, aktuálního pohotovostního pracovníka, aplikuje pravidla směrování a odešle oznámení do požadovaného kanálu. Pro nepotvrzené incidenty mohou být prováděny opakované připomínky a eskalace na dalšího účastníka rotace.
Zdroj: opennet.ru
