Uppsläpp av IncidentRelay 2.0, ett system för att organisera jour och dirigera aviseringar.

Uppdateringen av projektet IncidentRelay 2.0 har publicerats, som utvecklar ett öppet system för att organisera beredskapsjourer, routa aviseringar och hantera incidenter, som kan installeras på en egen server (self-hosted). Projektet är riktat mot SRE, DevOps och infrastrukturteam som behöver ett lokalt alternativ till molnbaserade plattformar för hantering av beredskapsjourer. Koden är skriven i Python och distribueras under MIT-licens.

IncidentRelay tar emot händelser från Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch, Datadog, Uptime Kuma och valfria webhook-behandlare. Efter normalisering kopplas händelsen till en tjänst, ett team och en rotation, och routingregler samt eskaleringspolicyer tillämpas, varefter meddelandet skickas till den aktuella beredskaps-jouren. För leverans stödjs Mattermost, Slack, Telegram, Discord, Microsoft Teams, e-post, webhook, webbläsar-/PWA-push och röstanropsleverantörer.

Det främsta nyheten i version 2.0 är mekanismen Event Orchestration, som ger ett separat lager för händelsebehandling mellan inkommande integrationer och livscykeln för aviserade händelser. Huvudändringarna är:

• En visuell redigerare för orkestreringsregler har lagts till. Regler kan tillämpas globalt eller på enskilda tjänster, slås ihop i nästlade grupper av villkor och successivt ändra prioritet, viktighetsnivå, etiketter, team, rutt, gruppering, notificationspolicyer och eskalering;
• Åtgärder för suppression, avvisande och paus av händelsebehandling, extrahering av värden med hjälp av reguljära uttryck och JSON Path, uppdelning av strängar, skapande av variabler och konvertering av värden har implementerats;
• Konfigurationen av orkestrering är uppdelad i redigerbara utkast och oföränderliga publicerade versioner. Funktioner för konfigurationskontroll, publicering, återställning till föregående version och tillsättning av kommentarer till ändringar stöds;
• Det finns lägen för disabled, shadow och active. I shadow-läget sparas resultaten av regelförändringar för analys men påverkar inte den faktiska routingen. För övergångsperioden finns lägen för legacy, hybrid och orkestrering.
• Simulerings- och händelsereproduktionsverktyg har lagts till. Dessa verktyg möjliggör att testa regler på normaliserade händelser eller ursprungligt payload från integrationen utan att skapa en verklig alert. För analys av resultaten tillhandahålls körningsspårning, Explain-data och mätningar från skuggläge;
• Återanvändbara webhook-åtgärder som körs asynkront efter händelsebearbetningen har implementerats. Rubriker lagras krypterade, hemligheter döljs i API:er och loggar, och anslutningar till privata nätverk är som standard förbjudna. Tidsgränser, försök och en lista över tillåtna interna adresser kan konfigureras;
• Integration med Uptime Kuma har lagts till, som tar emot standard webhook-meddelanden om monitorernas status. Normalisering av UP och DOWN-statusar, viktighetsbestämning, tagghantering och en ny typ av inkommande rutt uptime_kuma har implementerats;
• För tystnader och fönster för schemalagd underhåll har parametrar tillkommit: apply_to_existing och reactivate_on_end. Den första gör det möjligt att tillämpa undertryckning på redan öppna alerts och den andra bestämmer om deras behandling ska återupptas efter att undertryckningsperioden har avslutats. Meddelanden, påminnelser och eskaleringskedjor pausas och återställs;
• För personliga API-token har separata rättigheter för läsning och ändring av grupper, team, användare, rutter, kanaler, tjänster, rotationer, policyer, underhållsfönster, heartbeat-kontroller, SSO och orkestreringar införts. Gamla aggregerade rättigheter resources:read, resources:write och * är kvar för bakåtkompatibilitet;
• Ett användargränssnitt för revisionslogg har lagts till med filtrering och paginering. I loggen registreras operationer med orkestreringar, webhook-åtgärder, tystnader och schemalagda underhållsfönster, där känsliga värden tas bort från de visade data;
• Ett mörkt tema och användarspecifika inställningar för språk och utseende har lagts till i webgränssnittet. Fransk lokalisering har lagts till, översättningarna av sektioner för orkestrering och underhåll har utökats, och redigering av regler för matchning av SSO-grupper har korrigerats;
• Prestandan hos heartbeat-kontroller har förbättrats: skapandet av händelser för förfall har uteslutits, återställning av signal stänger korrekt en alert och skickar en notifiering om att problemet har lösts, tidsstämplar presenteras nu enhetligt;
• Dokumentationen för distribution i Kubernetes med Helm har förberetts. En separat hanterare för Slack Socket Mode har lagts till i Helm-diagrammet, vilket är nödvändigt för att interaktiva bekräftelse- och stängningsknappar för incidenter ska fungera.
• Skyddet av utgående HTTP-förfrågningar, reguljära uttryck och konfidentiell information har förstärkts, central hantering av UTC och tidszoner har införts, beräkningarna av rotationsscheman har omarbetats och testomfånget har utökats med automatiserade tester.

Innan uppdateringen rekommenderas det att skapa en säkerhetskopia av databasen. Nödvändiga schemaändringar utförs med IncidentRelays inbyggda migreringsmekanism. För en gradvis införande av Event Orchestration rekommenderar utvecklarna att först använda lägena skugga och hybrid, kontrollera körspår för regler och först därefter växla orkestreringen till aktivt läge.

Källa: opennet.ru