Objavljen je izdanak projekta IncidentRelay 2.0, koji razvija otvoreni sustav za organizaciju dežurstava, usmjeravanje obavijesti i pratnju incidenata, koji se raspoređuje na vlastitom poslužitelju (self-hosted). Projekt je usmjeren na SRE, DevOps i infrastrukturne timove kojima je potrebna lokalna alternativa oblaku za upravljanje dežurstvima. Kod je napisan na Pythonu i distribuira se pod MIT licencom.
IncidentRelay prihvaća događaje iz Prometheus Alertmanagera, Grafana Alertinga, Zabbixa, Sentrya, LibreNMS, RMON-a, AWS SNS/CloudWatch, Datadoga, Uptime Kume i proizvoljnih webhook procesora. Nakon normalizacije, događaj se povezuje sa uslugom, timom i rotacijom, primjenjuju se pravila usmjeravanja i politike eskalacije, nakon čega se obavijest šalje trenutnom dežurnom. Za dostavu su podržani Mattermost, Slack, Telegram, Discord, Microsoft Teams, email, webhook, browser/PWA push i pružatelji glasovnih poziva.
Glavna novost verzije 2.0 postao je mehanizam Event Orchestration, koji pruža poseban sloj obrade događaja između ulaznih integracija i životnog ciklusa upozorenja. Glavne promjene su:
- Dodana je vizualna uredba pravila orkestracije. Pravila se mogu primjenjivati globalno ili na pojedinu uslugu, objediniti u ugniježdene skupine uvjeta i postupno mijenjati prioritet, razinu važnosti, oznake, tim, putanju, način grupiranja, politike obavijesti i eskalacije;
- Implementirane su radnje za suzbijanje, odbacivanje i obustavljanje obrade događaja, izvlačenje vrijednosti pomoću regularnih izraza i JSON Path-a, dijeljenje stringova, stvaranje varijabli i transformaciju vrijednosti;
- Konfiguracija orkestracije podijeljena je na uređive skice i nepromjenjive objavljene verzije. Podržano je provjeravanje konfiguracije, objavljivanje, povratak na prethodnu verziju i dodavanje komentara o izmjenama;
- Predviđeni su načini disabled, shadow i active. U načinu shadow rezultati izvršavanja pravila čuvaju se za analizu, ali ne utječu na stvarno usmjeravanje. Za prijelazno razdoblje dostupni su načini kompatibilnosti legacy, hybrid i orchestration;
- Dodane su sredstva za simulaciju i reprodukciju događaja. Ona omogućavaju testiranje pravila na normaliziranom događaju ili izvornoj integracijskoj payload bez kreiranja stvarnog alarma. Za analizu rezultata pružaju se trag izvršenja, Explain podaci i metrike skrivenog načina rada;
- Implementirane su ponovo upotrebljive webhook akcije koje se izvode asinkrono nakon obrade događaja. Zaglavlja se čuvaju u šifriranom obliku, tajne su skrivene u API-ju i zapisnicima, a pristupi privatnim mrežama su prema zadanim postavkama zabranjeni. Mogu se postaviti vremenske odrednice, ponovni pokušaji i lista dozvoljenih unutarnjih adresa;
- Dodana je integracija s Uptime Kuma, koja prima standardne webhook poruke o stanju monitora. Realizirane su normalizacija stanja UP i DOWN, određivanje važnosti, obrada oznaka i nova vrsta ulaznog puta uptime_kuma;
- Za tišine i prozore planiranog održavanja dodane su opcije apply_to_existing i reactivate_on_end. Prva omogućava primjenu suzbijanja na već otvorenim alarmima, dok druga određuje treba li ponovo aktivirati njihovu obradu nakon završetka razdoblja suzbijanja. Obustavljaju se i obnavljaju obavijesti, podsjetnici i lančane eskalacije;
- Za osobne API tokene uvedena su odvojena prava za čitanje i izmjene grupa, timova, korisnika, ruta, kanala, servisa, rotacija, politika, prozora održavanja, heartbeat provjera, SSO i orkestracija. Stara agregirana prava resources:read, resources:write i * zadržana su zbog unazadne kompatibilnosti;
- Dodano je sučelje zapisnika revizije s filtriranjem i stranicom po stranicu. U zapisniku se evidentiraju operacije s orkestracijama, webhook akcijama, tišinama i prozorima planiranog održavanja, pri čemu se povjerljive vrijednosti uklanjaju iz prikazanih podataka;
- U web sučelju dodana je tamna tema i korisničke postavke jezika i dizajna. Dodana je francuska lokalizacija, prošireni su prijevodi odjeljaka orkestracije i održavanja, ispravljena su pravila za uređivanje pravila usklađivanja SSO;
- Poboljšan je rad heartbeat provjera: isključeno je ponovno kreiranje obavijesti o isteku, obnova signala ispravno zatvara alarm i šalje obavijest o rješavanju problema, unificirano je prikazivanje vremenskih oznaka;
- Pripremljena je dokumentacija za implementaciju u Kubernetes uz pomoć Helma. U Helm chart je dodan poseban obradač Slack Socket Mode, nužan za rad interaktivnih dugmadi za potvrdu i zatvaranje incidenata;
- Povećana je zaštita odlaznih HTTP zahtjeva, regularnih izraza i povjerljivih podataka, centralizirana obrada UTC i vremenskih zona, revidirani su izračuni rasporeda rotacija i prošireno pokriće automatskim testovima.
Prije ažuriranja preporučuje se izrada sigurnosne kopije baze podataka. Neophodne promjene sheme izvršavaju se redovnim mehanizmom migracija IncidentRelay. Za postepeno uvođenje Event Orchestration, developeri preporučuju prvo korištenje shadow i hybrid režima, provjeru izvedbe pravila i tek nakon toga prebacivanje orkestracije u aktivni režim.
Izvor: opennet.ru
