Ir izsniegta IncidentRelay 2.0 versija, kas attīsta atvērtu sistēmu, lai organizētu dežūras, maršrutētu paziņojumus un pārvaldītu incidentus, kas tiek izvērsta uz paša servera (self-hosted). Projekts ir vērsts uz SRE, DevOps un infrastruktūras komandām, kurām nepieciešama vietējā alternatīva mākoņplatformām dežūru pārvaldībai. Kods ir rakstīts Python un tiek izplatīts ar MIT licenci.
IncidentRelay pieņem notikumus no Prometheus Alertmanager, Grafana Alerting, Zabbix, Sentry, LibreNMS, RMON, AWS SNS/CloudWatch, Datadog, Uptime Kuma un jebkuriem webhook apstrādātājiem. Pēc normalizācijas notikums tiek saistīts ar servisu, komandu un rotāciju, tam tiek piemēroti maršrutēšanas noteikumi un eskalācijas politikas, pēc kā paziņojums tiek nosūtīts pašreizējai dežūrai. Paziņojumu piegādei tiek atbalstītas Mattermost, Slack, Telegram, Discord, Microsoft Teams, e-pasts, webhook, pārlūka/PWA push un balss zvanu pakalpojumi.
Galvenā jaunieveduma 2.0 versijā ir notikumu orķestrācijas mehānisms, kas nodrošina atsevišķu notikumu apstrādes slāni starp ienākošajām integrācijām un brīdinājuma dzīves ciklu. Galvenās izmaiņas:
- Pievienots vizuālais orķestrācijas noteikumu redaktors. Noteikumi var tikt piemēroti globāli vai konkrētam servisam, grupēti iekšējās nosacījumu grupās un secīgi mainīt prioritāti, svarīguma līmeni, atzīmes, komandu, maršrutu, grupēšanas metodes, paziņošanas un eskalācijas politikas;
- Ieviesti pasākumi, lai potētu, noraidītu un pārtrauktu notikumu apstrādi, izvilktu vērtības, izmantojot regulāros izteicienus un JSON Path, sadalītu virknes, izveidotu mainīgos un pārveidotu vērtības;
- Orķestrācijas konfigurācija ir sadalīta rediģējamos melnrakstos un nemainīgās publicētās versijās. Ir atbalstīta konfigurācijas pārbaude, publicēšana, atgriešanās pie iepriekšējās versijas un komentāru pievienošana izmaiņām;
- Ir paredzēti režīmi disabled, shadow un active. Shadow režīmā noteikumu izpildes rezultāti tiek saglabāti analīzei, bet neietekmē reālo maršrutēšanu. Pārejas periodā pieejami savietojamības režīmi legacy, hybrid un orchestration;
- Pievienoti simulācijas un notikumu atkārtošanas rīki. Tie ļauj pārbaudīt noteikumus normalizētā notikumā vai sākotnējā payload integrācijā bez reālu brīdinājumu radīšanas. Rezultātu analīzei tiek nodrošināta izpildes izsekošana, Explain dati un ēnu režīma metrikas;
- Ieviesti atkārtoti izmantojami webhook darbības, kas tiek izpildītas asinkroni pēc notikuma apstrādes. Virsraksti tiek glabāti šifrētā veidā, slepenie kodi tiek slēpti API un žurnālos, bet piekļuves privātajām tīklam pēc noklusējuma ir aizliegtas. Var iestatīt laika beigu termiņus, atkārtojumus un atļauto iekšējo adresu sarakstu;
- Pievienota integrācija ar Uptime Kuma, kas pieņem standartizētus webhook ziņojumus par monitoru stāvokļiem. Ieviesta stāvokļu UP un DOWN normalizācija, svarīguma noteikšana, tagu apstrāde un jauns ienākošo maršrutu veids uptime_kuma;
- Saistībā ar silences un plānoto darbu logiem parādījušies parametri apply_to_existing un reactivate_on_end. Pirmais ļauj piemērot apspiešanu jau atvērtiem brīdinājumiem, bet otrais nosaka, vai turpināt to apstrādi pēc apspiešanas perioda beigām. Tiek apturētas un atjaunotas paziņojumi, atgādinājumi un eskalācijas ķēdes;
- Personīgajiem API žetoniem ieviesti atsevišķi grupu, komandu, lietotāju, maršrutu, kanālu, pakalpojumu, rotācijas, politiku, apkalpošanas logu, heartbeat pārbaudes, SSO un orķestrācijas lasīšanas un rediģēšanas tiesības. Vecās apvienotās tiesības resources:read, resources:write un * saglabātas, lai nodrošinātu atpakaļsaderību;
- Pievienots revīzijas žurnāla interfeiss ar filtrēšanu un sīko lapu izslēgšanu. Žurnālā tiek fiksētas darbības ar orķestrācijām, webhook darbībām, silences un plānoto darbu logiem, turklāt konfidenciāli dati tiek izdzēsti no attēlotajiem datiem;
- Web interfeisā ir pieejama tumša tēma un lietotāja valodas un dizaina iestatījumi. Pievienota franču lokalizācija, paplašināti orķestrācijas un apkalpošanas sadaļu tulkojumi, labots SSO grupu atbilstības noteikšanu;
- Uzlabota heartbeat pārbašu darbība: izslēgti atkārtoti notikumi par termiņa beigām, signāla atjaunošana pareizi slēdz brīdinājumu un nosūta paziņojumu par problēmas risināšanu, vienveidīgi attēlojot laika zīmes;
- Izstrādāta dokumentācija Kubernetes izvietošanai, izmantojot Helm. Helm chartā pievienots atsevišķs Slack Socket Mode apstrādātājs, kas nepieciešams interaktīvo apstiprināšanas pogu un incidentu slēgšanas darbību īstenošanai;
- Pastiprināta aizsardzība pret izejošajiem HTTP pieprasījumiem, regulārajām izteiksmēm un konfidenciāliem datiem, centralizēta UTC un laika joslu apstrāde, pārstrādātas rotācijas grafiku aprēķini un paplašināta automātisko testu segums.
Pirms atjaunināšanas ieteicams izveidot datu bāzes rezerves kopiju. Nepieciešamās shēmas izmaiņas tiek veiktas ar standarta IncidentRelay migrāciju mehānismu. Pakāpeniskai Event Orchestration ieviešanai izstrādātāji iesaka vispirms izmantot shadow un hybrid režīmus, pārbaudīt noteikumu izpildes izsekošanu un tikai pēc tam pāries uz orķestrāciju aktīvajā režīmā.
Avots: opennet.lv
