Bol projekt IncidentRelay, ktorý vyvíja open source systém na organizáciu pohotovosti, smerovanie upozornení a spracovanie incidentov, spúšťaný na vlastnom serveri (self-hosted). Projekt je zameraný na SRE, DevOps a infraštruktúrne tímy, ktorým je potrebná lokálne nasaditeľná alternatíva k SaaS službám na správu pohotovosti (on-call management), uplatňovanie eskalačných politik a reakciu na incidenty. Kód projektu je napísaný v Pythone a distribuuje sa pod licenciou MIT.
IncidentRelay prijíma udalosti zo systémov monitorovania, porovnáva ich s pravidlami smerovania a doručuje upozornenia zodpovedným pohotovostným tímom alebo jednotlivcom. V systéme sú implementované rozvrhy pohotovosti, rotácie, predefinovanie zmien, potvrdenie prijatia incidentu, prechod incidentu do stavu resolved, pripomienky, eskalácie a silencie na potlačenie známych alebo plánovaných aktivácií.
Podporuje prijímanie udalostí z Prometheus Alertmanager, Zabbix a libovolných webhook-ov. Pre odosielanie upozornení sú k dispozícii kanály Mattermost, Telegram, email, webhook a hlasoví poskytovatelia. V Mattermost a Telegram môžu upozornenia obsahovať akcie na potvrdenie a vyriešenie problému, čo umožňuje spracovanie incidentu bez prechodu do samostatného rozhrania.
V IncidentRelay je implementovaný model rozdelenia prístupu podľa skupín a tímov. To umožňuje rozlišovať viditeľnosť rozvrhov, trás, notifikačných kanálov a alertov medzi rôznymi tímami. Na automatizáciu je k dispozícii HTTP API, a pre integrácie sa používajú bearer tokeny a route tokeny.
Projekt môže fungovať ako medzičlánek medzi monitorovacími systémami a notifikačnými kanálmi: Alertmanager alebo Zabbix posiela udalosť do IncidentRelay, po čom systém určuje tím, aktuálneho pohotovostného, aplikuje pravidlá smerovania a posiela upozornenie do príslušného kanála. Pre nepotvrdené incidenty môžu byť vykonávané opakované pripomienky a eskalácia na nasledujúceho účastníka rotácie.
Zdroj: opennet.ru
