Öt hónapos fejlesztés után megjelent az IncidentRelay 1.1 kiadása, amely egy nyílt rendszert fejleszt a felügyeletek szervezésére, az értesítések útvonalazására és az incidensek kezelésére, lokálisan üzemeltetve (self-hosted). Az IncidentRelay 1.1-et az első stabil kiadásként jelölték meg (a 1.0 ágon bétaverzió volt). A projekt célközönsége az SRE, DevOps és infrastruktúra csapatok, akiknek szükségük van egy helyben telepíthető alternatívára a SaaS-szolgáltatásokhoz az ügyeleti munka (on-call management), az eszkalációs politikák alkalmazása és az incidensre való reagálás terén. A projekt kódja Python nyelven készült és MIT licenc alatt terjesztik.
Az IncidentRelay fogadja a monitoring rendszerekből érkező eseményeket, összehangolja azokat a szolgáltatással, csapattal és rotációval, majd értesítéseket küld a felelős ügyeleteseknek vagy csapatoknak. A rendszer tartalmaz ügyeleti időpontokat, rotációkat, váltások felülírását, az incidens átvételének megerősítését, ACK/Resolve állapotokat, emlékeztetőket, eszkalációkat, ideiglenes helyettesítéseket, tervezett munkák időpontjának meghatározását és a zajos riasztások elnyomását.
A projekt fő előnye a teljes ellenőrzés az infrastruktúra és az útvonalazási logika felett. Az IncidentRelay a saját környezetében kerül telepítésre, saját adatbázissal rendelkezik, és lehetővé teszi a bejövő útvonalak, csapatok, rotációk és szállítási csatornák egyértelmű elkülönítését. A bejövő tokenek az útvonalakhoz tartoznak, nem pedig a csatornákhoz, így könnyebb megérteni, hogy mely külső forrásnak van joga eseményeket küldeni egy adott csapathoz.
Az IncidentRelay támogatja az események fogadását a Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch és bármilyen webhookból. Az értesítések küldésére Mattermost, Slack, Telegram, Discord, Microsoft Teams, email, webhook-ok, böngésző/PWA push és hanghívás szolgáltatók elérhetők. A Mattermost és Telegram esetében az értesítések tartalmazhatnak megerősítési és probléma megoldási műveleteket, lehetővé téve az incidens kezelését anélkül, hogy külön felületre kellene lépni.
A projektet Docker Compose segítségével, RPM csomagként Red Hat-alapú disztribúciókhoz, manuálisan systemd-vel, valamint Kubernetes-en keresztül Helm chart segítségével lehet telepíteni. Kis telepítésekhez SQLite-ot lehet használni, míg munkahelyi rendszerek és nagyobb terhelés esetén a PostgreSQL a javasolt megoldás.
Az új verzióban az alábbi változtatások vannak:
- Több szintű ügyeleti rotációk kerültek bevezetésre, amelyek időkorlátokkal, rétegprioritásokkal és időszakos helyettesítések figyelembevételével működnek.
- Megjelent a ügyeleti naptár, CalDAV és ICS előfizetések külső naptárakhoz.
- Bevezették az incidens-eszkalációs politikákat, többlépéses szintemelések láncolatával.
- Újonnan hozzáadott figyelmeztetési csoportok, események csoportosítása, késleltetett értesítések és kézi kapcsolódó riasztások egyesítése.
- Megjelentek az ütemezett munkákhoz kapcsolódó ablakok és a "csendes" riasztások.
- Hozzá lett adva a megjegyzések hozzáadásának lehetősége a riasztásokhoz.
- Bevezetésre kerültek az incidensek prioritásai (P1-P5) és a prioritás automatikus emelése a fontosság szintje szerint.
- Megvalósult a szolgáltatási katalogus, szolgáltatások függőségei, SLI/SLO, a rendszerek működésére gyakorolt hatás története (Service Impact History) és üzleti szolgáltatások (Business Services).
- Megjelent az Explain Trace a routing elemzésére: miért került a riasztás a csapatba, lett csoportosítva, elnyomva vagy küldve egy adott csatornára.
- Hozzá lettek adva ellenőrzések (Heartbeats/dead-man-switch) watchdog, backup, ETL és egyéb feladatok számára, ahol problémát jelent a várt jel hiánya.
Forrás: opennet.ru
