🥇Lihtne töö keeruliste alertidega. Või Balerteri loomise lugu

Kõik armastavad teateid.

Muidugi on palju parem saada teadet, kui midagi on juhtunud (või parandatud), kui istuda ja vaadata graafikuid ning otsida anomaaliaid.

Ja selliste tööriistade jaoks on loodud mitmeid. Alertmanager Prometheuse ökosüsteemist ja vmalert VictoriaMetricsi tootegrupist. Zabbixi teated ja teated Grafanas. Isiklikud skriptid bashis ja Telegrami botid, mis aeg-ajalt uurivad mõnda URL-i ja ütlevad, kui midagi on valesti. Palju kõike.

Meie ettevõttes kasutasime samuti erinevaid lahendusi, kuni silmitsi seisisime keerukuse või pigem võimatuse loomisega keerukate, koostisosalistest teatedest. Mida me tahtsime ja mida lõpuks tegime - allpool. TLDR: Nii sündis open source projekt Balerter

Pikka aega elasime hästi teatistega, mis olid seadistatud Grafanas. Jah, see ei ole parim tee. Alati on soovitatav kasutada mingeid spetsialiseeritud lahendusi, nagu Alertmanager. Ja me vaatlesime ka üht-teist uue lahenduse suunas. Ja siis, aeglaselt, soovime rohkem.

Kas öelda, kui mingi graafik on langenud/tõusnud XX% ja on seal olnud juba N minutit, võrreldes eelmise M tunni perioodiga? Tundub, et seda saab proovida realiseerida Grafana või Alertmanageriga, kuid üsna keeruline. (Võib-olla ei saagi, ma ei oska hetkel öelda)

Kõik muutub veel keerulisemaks, kui teate vastuvõtt tuleb langetada erinevatest allikatest saadud andmete põhjal. Elav näide:

Kontrollime andmeid kahest Clickhouse'i andmebaasist, seejärel võrdleme neid mõnede Postgresi andmete kanssa ja teeme otsuse teate kohta. Signalisatsiooni anda või tühistada

Sarnaseid soove on meil kogunenud piisavalt palju, et me hakkasime mõtlema oma lahendusele. Ja siis proovisin koostada esimest nimekirja nõudmistest/võimalustest selle, veel loomata, teenuse jaoks

pöörduda erinevate andmeallikate poole. Näiteks Prometheus, Clickhouse, Postgres
saata teateid erinevatesse kanalitesse — telegram, slack jne.
mõtlemise käigus selgus, et tahame mitte deklaratiivset kirjeldust, vaid võimalust kirjutada skripte
skriptide käivitamine ajakava järgi
skriptide lihtne uuendamine teenuse taaskäivitamata
võimalus laiendada funktsionaalsust ilma teenuse lähtekoodist uuesti koostamata

See on umbkaudne nimekiri ja tõenäoliselt mitte väga täpne. Mõned punktid muutsid oma vormi, mõned kadusid. Kõik nagu tavaliselt.

Just nii algas Balerteri lugu.

Proovin lühidalt kirjeldada, mis lõpuks välja tuli ja kuidas see töötab. (Jah, muidugi, see ei ole veel lõpp. Toote arendamiseks on palju plaane. Peatun lihtsalt tänases päevas.)

Kuidas see töötab?

Sa kirjutad Lua skripti, kus sa selgelt saadad päringud (Prometheusse, Clickhouse'i jne). Sa saad vastuseid ja töötled ning võrreld neid mingil moel. Seejärel lülitad sisse/välja mingi häire. Balerter saadab ise teateid kanalitesse, mida oled seadistanud (Email, telegram, slack jne). Skript käivitatakse kindla sagedusega. Ja... see ongi põhimõtteliselt kõik.)

Parim on näidata näite abil:

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' päringu viga: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Päringute RPS on väga väike: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Päringute RPS on okei")
end

Mis siin toimub:

näitame, et see skript peab käivituma iga 10 sekundi tagant
siit näidatakse skripti nime (API jaoks, logides kuvamiseks, testides kasutamiseks)
klõpsame logide väljastamise moodulit
klõpsame moodulit Clickhouse'i nimel ch1 (ende ühendamine seadistatakse konfiguratsioonis)
saadame päringu Clickhouse'i
vea korral - väljastame sõnumi logi ja lahkume
võrdleme päringu tulemust konstantiga (reaalses näites saaksime selle väärtuse näiteks PostgreSQL andmebaasist)
lülitame sisse või välja häire ID-ga rps-min-limit
sa saad teate, kui häire staatus muutub

Näide on üsna lihtne ja arusaadav. Siiski, muidugi, reaalses elus võivad skriptid olla üsna keerukad ja komplitseeritud. Neis on lihtne segadusse minna ja vigu teha.

Seetõttu on tekkinud loogiline soov - omada võimalust kirjutada teste oma skriptide jaoks. Ja versioonis v0.4.0 oli see olemas.

Skriptide testimine

Näide testist meie eespool toodud skripti jaoks:

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Päringute RPS on väga väike: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Päringute RPS on okei')

Sammud:

näitame skripti nime, mille jaoks test kirjutati
testi nime (logide jaoks)
klõpsame testimise moodulit
räägime, millist tulemust tuleb tagasi anda teatud päringu korral ClickHouse'ile ch1
kontrollime, et alert (error) rps-min-limit on välja kutsutud koos soovitatud sõnumiga
kontrollime, et alert rps-min-limit ei olnud välja lülitatud (success)

Mida veel Balerter oskab?

Proovin puudutada kõige olulisi Balerteri oskusi, minu arvates. Üksikasjalikult saab kõike vaadata ametlikul kodulehel https://balerter.com

andmeid
- clickhouse
- postgres
- mysql
- prometheus
- loki
saata teateid kanalitesse
- slack
- telegram
- syslog
- notify (UI teated teie arvutis)
- email
- discord
ehitada graafikuid oma andmete põhjal, laadida pilte S3 ühilduvatesse salvestusse ja lisada need teatele (Näide piltidega)
võimaldab andmeid vahetada skriptide vahel — globaalne Key/Value salvestus
kirjutada oma raamatukogusid Lua-s ja kasutada neid skriptides (vaikimisi on saadaval lua-raamatukogud töötamiseks json-i ja csv-ga)
saata HTTP päringuid oma skriptidest (ja loomulikult vastu võtta vastuseid)
pakub API-d (veel ei ole nii funktsionaalne, nagu sooviksime)
ekspordib mõõdikud Prometheuse formaadis

Mida veel sooviksime osata?

On juba selge, et kasutajad ja me soovime võimalust hallata skriptide käivitamist süntaksiga cron. See tehakse enne versiooni v1.0.0

Tahaks toetada rohkem andmeallikaid ja teate edastamise kanaleid. Näiteks mõnele võib kindlasti puududa MongoDB. Mõnele Elastic Search. Saata SMS ja/või helistada mobiiltelefonile. Soovime osata saada skripte mitte ainult failidest, vaid ka näiteks andmebaasist. Lõpuks tahame projektile mugavama kodulehe ja paremat dokumentatsiooni.

Alati kellegil midagi vajaka) Siin loodame kogukonna päringutele, et õigeid prioriteete seada. Ja kogukonna abi, et kõik ellu viia