🥇Helppoa työskennellä monimutkaisten hälytysjärjestelmien kanssa. Tai tarina Balerterin luomisesta

Kõik armastavad hoiatusi.

Loomulikult on palju parem saada teade, kui midagi on juhtunud (või parandatud), kui lihtsalt vaadata graafikuid ja otsida anomaaliaid.

Ja selleks on loodud palju tööriistu. Alertmanager Prometheuse ökosüsteemist ja vmalert VictoriaMetricsi toodete grupist. Zabbixi teavitused ja hoiatused Grafanas. Käsitsi kirjutatud skriptid bashis ja Telegrami botid, mis aeg-ajalt tõmbavad mõne URL-i ja ütlevad, kui midagi on valesti. Palju kõike.

Meie ettevõttes oleme samuti kasutanud erinevaid lahendusi, kuni sattusime keerukuse või pigem võimatuse otsa keeruliste, koosnevate hoiatuste loomisel. Mida me soovisime ja mida lõpuks tegime — allpool. TLDR: Nii sai alguse avatud lähtekoodiga projekt. Balerter

Pika aega elasime hästi Graphanas konfigureeritud hoiatustega. Jah, see ei ole parim tee. Alati soovitatakse kasutada spetsialiseeritud lahendusi nagu Alertmanager. Me oleme ka korduvalt vaadanud kolimise suunas. Ja siis, järk-järgult, soovisime rohkem.

Kas teeksid näiteks meeldetuletuse, kui mõni graafik on langenud või tõusnud XX% ja on olnud seal N minutit võrreldes eelneva M tunni perioodiga? Näib, et seda võiks proovida teostada Grafana või Alertmanageriga, kuid see ei ole kuigi lihtne. (Võib-olla pole see isegi võimalik, ma ei oska praegu öelda.)

Asjad muutuvad veelgi keerulisemaks, kui teade häirete tegemise kohta tuleb teha andmete põhjal, mis on saadud erinevatest allikatest. Elav näide:

Kontrollime andmeid kahest Clickhouse andmebaasist, seejärel võrdleme neid mõningate andmetega Postgresest ja teeme äratusotsuse. Andke teada või tühistage.

Taolisi soove on meil kogunenud piisavalt palju, et oleme hakanud mõtlema oma lahendusele. Ja siis proovisime koostada esialgse nõuete/võimaluste nimekirja selle veel lõppemate teenuse jaoks.

pöörduda erinevate andmeallikate poole. Näiteks, Prometheus, Clickhouse, Postgres.
saata häireid erinevatesse kanalitesse — telegrammi, slacki jne.
mõtlemisprotsessi käigus sai selgeks, et soovitakse mitte deklaratiivset kirjeldust, vaid võimalust kirjutada skripte.
skriptide käivitamine ajakava järgi.
kerge skriptide uuendamine ilma teenuse taaskäivitamiseta.
võime laiendada funktsionaalsust ilma teenuse lähtelaadimisega.

See on tõenäoliselt ebatäpne nimekiri. Mõned punktid on muutunud, mõned kadunud. Kõik nagu ikka.

Just nii algas Balerteri lugu.

Püüan lühidalt kirjeldada, mis viimaks välja tuli ja kuidas see töötab. (Jah, see pole loomulikult lõpp. Palju plaane toote arendamiseks. Peatun lihtsalt tänases päevas.)

Kuidas see töötab?

Kirjutate skripti Lua keeles, kus saadate selgelt päringud (Prometheus, Clickhouse jne). Saate vastused ja töötlete ning võrreldate neid mingil viisil. Seejärel lülitate sisse/välja teatud häire. Balerter saadab ise teavituse kanalitesse, mida olete seadistanud (Email, Telegram, Slack jne). Skript täidetakse määratud perioodilisusega. Ja… see on kõik)

Parim on näidata näite abil:

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' query error: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Requests RPS are very small: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Requests RPS ok")
end

Mis siin toimub:

öelda, et see skript peaks täituma iga 10 sekundi tagant
määra skripti nimi (API jaoks, logides kuvamiseks, testimiseks)
ühendame logide väljundimooduli
ühendame klikihoone mooduli nimega ch1 (ise ühendamine seadistatakse konfis)
saadame päringu klikihoonesse
vigade korral — kuvame logis teate ja lahkume
võrdleme päringu tulemust konstantsiga (reaalses näites võiksime selle väärtuse saada näiteks Postgres andmebaasist)
lülitame häire sisse või välja ID-ga rps-min-limit
saate teate, kui häire olek muutub

Näidis on piisavalt lihtne ja arusaadav. Kuid, loomulikult, reaalses elus võivad skriptid olla üsna keerulised ja segased. Neisse on lihtne sattuda ja vigu teha.

Seetõttu on tekkinud loogiline soov — saada võimalus kirjutada teste oma skriptide jaoks. Ja versioonis v0.4.0 on see olemas.

Skriptide testimine

Näidis test meie skripti jaoks eelnevast näitest:

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Requests RPS are very small: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Requests RPS ok')

Sammud:

näitame skripti nime, mille jaoks test on kirjutatud
testi nimi (logide jaoks)
ühendame testimismooduli
ütleme, millist tulemust tuleks teatud päringu korral Kickhouse'ist tagastada ch1
kontrollime, et alarikkumine (error) rps-min-limit koos määratud sõnumiga oleks kutsutud
kontrollime, et alarikkumine rps-min-limit ei olnud kutsutud (success)

Mida veel Balerter oskab?

Püüan puudutada kõige olulisemaid Balerter'i oskusi, minu arvates. Üksikasju saab vaadata ametlikul veebilehel https://balerter.com

saama andmeid
- clickhouse
- postgres
- mysql
- prometheus
- loki
saata teateid kanalitesse
- slack
- telegram
- syslog
- notiify (UI teated teie arvutis)
- email
- discord
ehitada graafikuid teie andmete põhjal, laadida pilti S3-sarnasesse salvestusse ja lisada teatele (Näide piltidega)
mööda vahetada andmeid skriptide vahel — globaalne Key/Value salvestus
kirjutada oma raamatukogusid Lua-s ja kasutada neid skriptides (vaikimisi kaasas on lua-raamatukogud tööks json-iga, csv-iga)
saata HTTP-päringuid oma skriptidest (ja loomulikult ka saada vastuseid)
pakub API-d (hetkel mitte nii funktsionaalne, nagu sooviksime)
ekspordib mõõdikud Prometheuse formaadis

Mida veel sooviks õppida?

On juba selge, et kasutajad ja meie soovime, et saaksime skriptide käivitamist hallata süntaksiga cron. See saab olema valmis enne versiooni v1.0.0

Tahame toetada rohkem andmeallikaid ja teavituse edastamise kanaleid. Näiteks kellelegi ei piisa kindlasti MongoDB-st. Kedagi huvitab Elastic Search. Saata SMS-e ja/või helistada mobiilile. Tahame, et saaksime skripte saada mitte ainult failidest, vaid ka näiteks andmebaasist. Lõppude lõpuks soovime projektile mugavamat veebisaiti ja paremat dokumentatsiooni.

Alati on kellegil midagi puudu) Siin loodame kogukonna pöördumistele, et õigesti seada prioriteedid. Ja kogukonna abi, et kõik teoks teha