Efter fem måneders udvikling er udgiveren af projektet IncidentRelay 1.1, der udvikler et åbent system til organisering af vagtplaner, routing af alarmer og håndtering af hændelser, nu live på en selvhostet server. IncidentRelay 1.1 er markeret som den første stabile udgave (version 1.0 havde beta-status). Projektet er rettet mod SRE, DevOps og infrastrukturerede teams, der har brug for en lokalt implementerbar alternativ til SaaS-tjenester til håndtering af vagtplanlægning, anvendelse af eskaleringspolitikker og håndtering af hændelser. Koden til projektet er skrevet i Python og distribueres under MIT-licensen.
IncidentRelay modtager hændelser fra overvågningssystemer, matcher dem med tjenesten, teamet og roteringen, hvorefter beskeder leveres til de ansvarlige vagter eller teams. Systemet understøtter vagtplaner, rotationer, omfordelinger af vagter, bekræftelse af hændelsesmodtagelse, status for ACK/Resolve, påmindelser, eskaleringer, midlertidige vikarer, fastsættelse af tidspunkter for planlagt vedligeholdelse og undertrykkelse af støjende alarmer.
Den primære fordel ved projektet er den fulde kontrol over infrastrukturen og routing-logikken. IncidentRelay implementeres i sit eget miljø, arbejder med sin egen database og tillader en klar adskillelse mellem indgående ruter, teams, rotationer og leveringskanaler. Indgående tokens tilhører ruterne, ikke kanalerne, hvilket gør det lettere at forstå, hvilken ekstern kilde der har ret til at sende hændelser til et specifikt team.
IncidentRelay understøtter modtagelse af hændelser fra Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch og vilkårlige webhooks. For at sende notificeringer er der kanaler som Mattermost, Slack, Telegram, Discord, Microsoft Teams, email, webhooks, browser/PWA push og leverandører af opkald. I Mattermost og Telegram kan notificeringer indeholde handlinger for bekræftelse og løsning af problemer, hvilket muliggør håndtering af hændelsen uden at skifte til et separat interface.
Projektet kan startes via Docker Compose, RPM-pakke til Red Hat-lignende distributioner, manuelt via systemd samt i Kubernetes ved hjælp af Helm-chart. For små installationer kan SQLite anvendes, mens PostgreSQL anbefales til arbejdssystemer og højere belastning.
Den nye version tilbyder følgende ændringer:
- Der er tilføjet hierarkiske on-call rotationer med tidsbegrænsninger, lagpriorisering og hensyntagen til tidsudskiftninger;
- Der er kommet en vagtplan, CalDAV og ICS-abonnementer til eksterne kalendere;
- Der er implementeret eskalationspolitikker for hændelser med flerstegede optrækningskæder;
- Der er blevet tilføjet advarselsgrupper, hændelsesgruppering, forsinkede meddelelser og manuel sammenlægning af relaterede advarsler;
- Der er nu vinduer til planlagt vedligeholdelse og 'stille' advarsler;
- Muligheden for at tilføje kommentarer til advarsler er blevet tilføjet;
- Der er blevet tilføjet hændelsesprioriteter (P1-P5) og automatisk opprioritering baseret på vigtighed;
- Der er implementeret en servicekatalog, serviceafhængigheder, SLI/SLO, historik over systempåvirkninger (Service Impact History) og forretningsservices (Business Services);
- Explain Trace er blevet introduceret til analyse af routing: hvorfor en advarsel blev inkluderet eller ikke inkluderet i teamet, blev grupperet, undertrykt eller sendt til en bestemt kanal;
- Der er blevet tilføjet kontroller (Heartbeats/dead-man-switch) for watchdog, backup, ETL og andre opgaver, hvor problemet er manglende forventet signal.
Kilde: opennet.ru
