복잡한 경고로 쉽게 작업할 수 있습니다. 또는 Balerter 창조의 역사

모두가 알림을 좋아합니다.

물론 앉아서 그래프를 보고 이상 현상을 찾는 것보다 어떤 일이 발생(또는 수정)되었을 때 알림을 받는 것이 훨씬 낫습니다.

이를 위해 많은 도구가 만들어졌습니다. Prometheus 생태계의 Alertmanager와 VictoriaMetrics 제품 그룹의 vmalert입니다. Grafana의 Zabbix 알림 및 경고. 정기적으로 일부 URL을 가져와서 문제가 있는지 알려주는 bash 및 Telegram 봇의 자체 작성 스크립트입니다. 모든 것.

우리 회사에서도 복잡한 복합 경고를 생성하는 것이 복잡하거나 불가능할 때까지 다양한 솔루션을 사용했습니다. 우리가 원했던 것과 결국 하게 된 것은 컷 아래에 있습니다. TLDR: 오픈소스 프로젝트는 이렇게 나타났습니다 발레터

꽤 오랫동안 우리는 Grafana에 구성된 경고를 사용하여 잘 살았습니다. 예, 이것이 최선의 방법은 아닙니다. 항상 Alertmanager와 같은 일부 특수 솔루션을 사용하는 것이 좋습니다. 그리고 우리는 또한 한 번 이상 움직이는 것을 보았습니다. 그리고 점차 우리는 더 많은 것을 원하게 되었습니다.

특정 차트가 XX% 하락/증가했고 이전 M시간에 비해 N분 동안 머물렀다고 가정해 보세요. Grafana나 Alertmanager를 사용하여 구현해 볼 수 있을 것 같지만 쉽지 않습니다. (또는 불가능할 수도 있습니다. 지금은 말하지 않겠습니다)

다양한 소스의 데이터를 기반으로 경고 결정을 내려야 하면 상황은 더욱 복잡해집니다. 실제 예:

두 개의 Clickhouse 데이터베이스에서 데이터를 확인한 다음 이를 Postgres의 일부 데이터와 비교하고 경고를 결정합니다. 신호를 보내거나 취소하세요

우리는 우리의 결정에 대해 생각해 보고 싶은 비슷한 욕구를 꽤 많이 축적해 왔습니다. 그런 다음 아직 생성되지 않은 이 서비스의 첫 번째 요구 사항/기능 목록을 컴파일하려고 했습니다.

• 다양한 데이터 소스에 액세스하세요. 예를 들어 프로메테우스, 클릭하우스, 포스트그레스

• 텔레그램, 슬랙 등 다양한 채널로 알림을 보냅니다.

• 생각하는 과정에서 내가 원하는 것은 선언적인 설명이 아니라 스크립트 작성 능력이라는 것이 분명해졌습니다.

• 일정에 따라 스크립트 실행

• 서비스를 다시 시작하지 않고도 스크립트를 쉽게 업데이트할 수 있습니다.

• 소스 코드에서 서비스를 다시 구축하지 않고도 어떻게든 기능을 확장할 수 있는 능력

이 목록은 대략적인 것이며 정확하지 않을 가능성이 높습니다. 어떤 점은 바뀌었고, 어떤 점은 죽었습니다. 모든 것이 평소와 같습니다.

사실 발레터의 역사는 이렇게 시작됐다.

결국 무슨 일이 일어났고 어떻게 작동하는지 간략하게 설명하려고 합니다. (네, 물론 이게 끝은 아닙니다. 제품 개발 계획도 많습니다. 오늘은 이만 마치겠습니다)

어떻게 작동합니까?

Prometheus, Clickhouse 등에 요청을 명시적으로 보내는 스크립트를 Lua에서 작성합니다. 답변을 받고 어떻게든 처리하고 비교합니다. 그런 다음 일종의 경고를 켜거나 끕니다. Balerter 자체는 귀하가 구성한 채널(이메일, 텔레그램, Slack 등)로 알림을 보냅니다. 스크립트는 지정된 간격으로 실행됩니다. 그리고... 일반적으로 그게 전부입니다)

Лучше всего показать на примере:

-- @interval 10s
-- @name script1

local minRequestsRPS = 100

local log = require("log")
local ch1 = require("datasource.clickhouse.ch1")

local res, err = ch1.query("SELECT sum(requests) AS rps FROM some_table WHERE date = now()")
if err ~= nil then
    log.error("clickhouse 'ch1' query error: " .. err)
    return
end

local resultRPS = res[1].rps

if resultRPS < minResultRPS then
    alert.error("rps-min-limit", "Requests RPS are very small: " .. tostring(resultRPS))
else
    alert.success("rps-min-limit", "Requests RPS ok")
end 

무슨 일이야?

• 이 스크립트는 10초마다 실행되어야 함을 나타냅니다.

• 스크립트 이름 표시(API용, 로그 표시용, 테스트용)

• 로그 출력용 모듈 연결

• 이름이 있는 클릭하우스에 액세스하려면 모듈을 연결하세요. ch1 (연결 자체는 구성에서 구성됩니다)

• 클릭하우스에 요청 보내기

• 오류가 발생하면 로그에 메시지를 표시하고 종료합니다.

• 쿼리 결과를 상수와 비교합니다(실제 예제에서는 Postgres 데이터베이스 등에서 이 값을 얻을 수 있음).

• ID로 알림 활성화 또는 비활성화 rps-min-limit

• 경고 상태가 변경되면 알림을 받게 됩니다.

이 예는 매우 간단하고 이해하기 쉽습니다. 그러나 물론 실제 생활에서 스크립트는 상당히 길고 복잡할 수 있습니다. 혼란스러워서 실수하기 쉽습니다.

Поэтому созрело логичное желание — иметь возможность напистать тесты для своих скриптов. И в версии v0.4.0 это появилось.

테스트 스크립트

위 예제의 스크립트에 대한 예제 테스트:

-- @test script1
-- @name script1-test

test = require('test')

local resp = {
    {
        rps = 10
    }
} 

test.datasource('clickhouse.ch1').on('query', 'SELECT sum(requests) AS rps FROM some_table WHERE date = now()').response(resp)

test.alert().assertCalled('error', 'rps-min-limit', 'Requests RPS are very small: 10')
test.alert().assertNotCalled('success', 'rps-min-limit', 'Requests RPS ok')

단계별:

• 테스트가 작성된 스크립트의 이름을 나타냅니다.

• 테스트 이름(로그용)

• 테스트 모듈을 연결하십시오

• 클릭하우스에 대한 특정 요청에 대해 어떤 결과가 반환되어야 하는지 알려줍니다. ch1

• 지정된 메시지가 포함된 경고(오류) rps-min-limit가 호출되었는지 확인합니다.

• проверяем, что алерт rps-min-limit не был отключен (success)

Balerter는 또 무엇을 할 수 있나요?

제 생각에는 가장 중요한 Balerter 기술에 대해 다루려고 노력할 것입니다. 공식 홈페이지에서 모든 내용을 자세히 보실 수 있습니다 https://balerter.com

• 에서 데이터를 수신하다

  • 클릭하우스

  • 포스트 그레스

  • MySQL은

  • 프로 메테우스

  • 로키

• 채널에 알림 보내기

  • 느슨하게

  • 전보

  • syslog

  • 알림(컴퓨터의 UI 알림)

  • 이메일

  • 불일치

• 데이터를 기반으로 그래프를 작성하고 S3 호환 스토리지에 이미지를 업로드한 후 알림에 첨부합니다(사진의 예)

• 스크립트 간에 데이터를 교환할 수 있습니다 - 전역 키/값 저장소

• Lua에서 자신만의 라이브러리를 작성하고 이를 스크립트에서 사용합니다. (기본적으로 json, csv 작업을 위해 lua 라이브러리가 제공됩니다.)

• 스크립트에서 HTTP 요청 보내기(물론 응답 받기)

• API를 제공합니다(아직 우리가 원하는 만큼 기능적이지 않음)

• 측정항목을 Prometheus 형식으로 내보냅니다.

또 무엇을 하고 싶나요?

사용자와 우리가 구문을 사용하여 스크립트 실행을 제어하는 ​​기능을 원한다는 것은 이미 분명합니다. 크론. 이 작업은 버전 v1.0.0 이전에 수행됩니다.

더 많은 데이터 소스와 알림 전달 채널을 지원하고 싶습니다. 예를 들어 누군가는 분명히 MongoDB를 그리워할 것입니다. 일부에 대한 탄력적 검색. SMS를 보내거나 휴대폰으로 전화를 걸 수 있습니다. 우리는 파일뿐만 아니라 데이터베이스 등에서도 스크립트를 받을 수 있기를 원합니다. 결국 우리는 보다 사용자 친화적인 웹사이트와 프로젝트에 대한 더 나은 문서를 원합니다.

누군가는 항상 뭔가를 놓치고 있습니다.) 여기서 우리는 우선 순위를 올바르게 설정하라는 커뮤니티의 요청에 의존합니다. 그리고 모든 것을 실현하기 위해 커뮤니티의 도움을 받기 위해

결론적으로

우리는 사용 발레터 나는 꽤 오랫동안 그것을 가지고 있습니다. 수십 개의 스크립트가 우리 마음의 평화를 지켜줍니다. 이 작업이 다른 사람에게 도움이 되기를 바랍니다.

그리고 귀하의 이슈와 PR을 환영합니다.

출처 : habr.com