"ExtendedPromQL" - Roman Khavronenko의 보고서 기록

Roman Khavronenko "ExtendedPromQL"의 보고서 사본을 읽을 것을 제안합니다.

나에 대해 간단히. 제 이름은 로마입니다. 저는 CloudFlare에서 일하고 런던에 살고 있습니다. 하지만 저는 VictoriaMetrics 관리자이기도 합니다.
그리고 나는 저자입니다 클릭하우스 플러그인 Grafana 및 ClickHouse 프록시 ClickHouse의 작은 프록시입니다.

"번역 어려움"이라는 첫 번째 부분부터 시작하여 모든 언어 또는 의사 소통 언어가 매우 중요하다는 사실에 대해 이야기하겠습니다. 이것이 다른 사람이나 시스템에 자신의 생각을 전달하는 방법, 요청을 공식화하는 방법이기 때문입니다. 인터넷상의 사람들은 Java 또는 다른 언어 중 어떤 언어가 더 나은지에 대해 논쟁하고 있습니다. 나 자신을 위해이 모든 것이 구체적이기 때문에 작업을 선택해야한다고 결정했습니다.

처음부터 시작합시다. PromQL이란 무엇입니까? PromQL은 Prometheus 쿼리 언어입니다. 이것은 시계열 데이터, 시계열을 얻기 위해 Prometheus에서 쿼리를 구성하는 방법입니다.

시계열 데이터란? 말 그대로 세 개의 매개변수입니다.

이들은 :

• 우리는 무엇을 보고 있습니다.
• 우리가 그것을 볼 때.
• 그리고 그것은 어떤 가치를 보여줍니까?

이 차트를 보면(이 차트는 내 걸음 수의 통계를 보여주는 내 전화기에서 가져옴) 여기에서 이러한 질문에 빠르게 답할 수 있습니다.

우리는 단계를 보고 있습니다. 우리는 의미를 보고 우리가 그것을 볼 때 시간을 봅니다. 즉, 이 다이어그램을 보면 일요일에 약 15보를 걸었다고 쉽게 말할 수 있습니다. 이것은 시계열 데이터입니다.

이제 테이블 형식의 다른 데이터 모델로 "중단"(변환)해 보겠습니다. 여기에 우리가 보고 있는 것도 있습니다. 여기에 메타 데이터라고 부르는 약간의 추가 데이터를 추가했습니다. 즉, 통과 한 것은 내가 아니라 Jay와 Silent Bob과 같은 두 사람입니다. 이것이 우리가 보고 있는 것입니다. 무엇을 보여주고 언제 그 가치를 보여줄지.

이제 이 모든 데이터를 데이터베이스에 저장해 보겠습니다. 예를 들어 ClickHouse 구문을 사용했습니다. 그리고 여기서 우리는 "단계"라는 하나의 테이블, 즉 우리가 보고 있는 것을 만듭니다. 우리가 그것을 볼 때 여기 시간이 있습니다; 표시되는 내용과 Jay와 Silent Bob이 누구인지 저장할 일부 메타 데이터입니다.

그리고 모든 것을 시각화하기 위해 Grafana를 사용할 것입니다. 첫째, 아름답기 때문입니다.

또한 이 플러그인을 사용할 것입니다. 여기에는 두 가지 이유가 있습니다. 첫 번째는 내가 썼기 때문입니다. 그리고 Grafana에 표시하기 위해 ClickHouse에서 시계열 데이터를 추출하는 것이 얼마나 어려운지 정확히 알고 있습니다.

그래프 패널에 표시합니다. 이것은 Grafana에서 가장 인기 있는 패널이며 값 대 시간을 표시하므로 두 개의 매개변수만 필요합니다.

가장 간단한 쿼리를 작성해 보겠습니다. Grafana에서 단계 통계를 표시하고 이 데이터를 우리가 만든 테이블의 ClickHouse에 저장하는 방법입니다. 그리고 우리는 그런 간단한 쿼리를 작성합니다. 우리는 단계에서 선택합니다. 값을 선택하고 이러한 값의 시간, 즉 우리가 이야기한 것과 동일한 세 매개변수를 선택합니다.

결과적으로 이 그래프를 얻습니다. 그가 왜 그렇게 이상한지 누가 압니까?

맞습니다. 시간별로 정렬해야 합니다.

그리고 결국 우리는 더 나아지지만 여전히 이상한 일정을 얻습니다. 이유를 누가 압니까? 맞습니다. 두 명의 참가자가 있고 Grafana에서 두 개의 시계열을 제공합니다. 데이터 모델을 다시 처리하면 각 시계열은 이름과 모든 레이블 키-값의 고유한 조합이기 때문입니다.

그러므로 우리는 특정한 사람을 선택해야 합니다. 우리는 Jay를 선택합니다.

그리고 다시 그립니다. 이제 그래프가 진실처럼 보입니다. 이제 정상적인 일정이며 모든 것이 잘 작동합니다.

그리고 아마도 여러분은 PromQL을 통해 Prometheus에서 동일한 작업을 수행하는 방법을 알고 있을 것입니다. 대략 이렇습니다. 조금 더 쉽습니다. 그리고 그것을 모두 분해합시다. 우리는 조치를 취했습니다. 그리고 Jay로 필터링합니다. 여기에서 값을 가져와야 한다고 지정하지 않고 시간을 선택하지 않습니다.

이제 Jay 또는 Silent Bob의 이동 속도를 계산해 봅시다. ClickHouse에서 우리는 runningDifference를 수행해야 합니다. 즉, 포인트 쌍 간의 차이를 계산하고 시간으로 나누어 정확한 속도를 얻습니다. 요청은 다음과 같습니다.

그리고 그는 대략 이러한 값을 보여줄 것입니다. 즉, 사일런트 밥이나 제이는 초당 약 1,8보를 보여줍니다.

그리고 Prometheus에서는 그 방법도 알고 있습니다. 이전보다 훨씬 쉬워졌습니다.

그리고 Grafana에서도 쉽게 할 수 있도록 PromQL과 매우 유사한 래퍼를 추가했습니다. 그것은 Rate Macros 또는 당신이 그것을 부르고 싶은 무엇이든이라고 불립니다. Grafana에서는 그냥 "rate"라고 쓰지만, 어딘가 깊은 곳에서는 이렇게 큰 요청으로 변환됩니다. 볼 필요조차 없습니다. 어딘가에 있지만 이렇게 방대한 SQL 쿼리를 작성하는 데는 항상 비용이 많이 들기 때문에 많은 시간을 절약할 수 있습니다. 당신은 쉽게 실수를 할 수 있고 오랫동안 무슨 일이 일어나고 있는지 이해하지 못할 수 있습니다.

그리고 이것은 하나의 슬라이드에 맞지 않는 쿼리이고 심지어 두 개의 열로 분할해야 했습니다. 이것은 또한 같은 요율을 만드는 ClickHouse의 요청이지만 두 시계열(Silent Bob 및 Jay)에 대해 패널에 두 개의 시계열이 있습니다. 제 생각에는 이것은 이미 매우 어렵습니다.

그리고 Prometheus에 따르면 합계(비율)가 됩니다. ClickHouse의 경우 Prometheus 쿼리처럼 보이는 RateColumns라는 별도의 매크로를 만들었습니다.

우리는 PromQL이 정말 멋진 것 같지만 물론 한계가 있습니다.

이들은 :

• 제한된 선택.
• 에지 조인.
• HAVING 지원이 없습니다.

그리고 오랫동안 작업했다면 PromQL에서 무언가를 수행하는 것이 때때로 매우 어렵다는 것을 알고 있으며 SQL에서는 거의 모든 작업을 수행할 수 있습니다. 방금 이야기한 모든 옵션은 SQL에서 수행할 수 있기 때문입니다 . 그러나 그것을 사용하는 것이 편리할까요? 그리고 이것은 가장 강력한 언어가 항상 가장 편리한 것은 아니라는 생각을 하게 합니다.

따라서 작업에 사용할 언어를 선택해야 하는 경우가 있습니다. 마치 배트맨과 슈퍼맨의 대결 같습니다. 슈퍼맨이 더 강한 것은 분명하지만, 배트맨은 그가 더 실용적이고 자신이 하고 있는 일을 정확히 알고 있었기 때문에 그를 이길 수 있었습니다.

그리고 다음 부분은 PromQL 확장입니다.

VictoriaMetrics에 대해 다시 한 번. VictoriaMetrics란 무엇입니까? 이것은 시계열 데이터베이스이며 OpenSource에 있으며 단일 및 클러스터 버전을 배포합니다. 우리의 벤치마크에 따르면 현재 시장에 나와 있는 것 중 가장 빠르고 압축 측면에서 유사합니다. 즉, Prometheus가 0,4-1,2인 경우 살아있는 사람들은 포인트당 약 1,4바이트의 압축을 보고합니다.

우리는 Prometheus만 지원하는 것이 아닙니다. InfluxDB, Graphite, OpenTSDB를 지원합니다.

귀하는 당사에서 "작성"할 수 있습니다. 즉, 이전 데이터를 전송할 수 있습니다.

또한 Prometheus 및 Grafana와도 완벽하게 작동합니다. 즉, PromQL 엔진을 지원합니다. 그리고 Grafana에서 Prometheus 엔드포인트를 VictoriaMetrics로 변경하기만 하면 모든 대시보드가 ​​예전처럼 작동합니다.

그러나 VictoriaMetrics에서 제공하는 추가 칩을 사용할 수도 있습니다.

추가한 기능을 빠르게 살펴보겠습니다.

간격 매개변수 생략 - Grafana에서 매개변수 간격을 건너뛸 수 있습니다. 패널에서 확대/축소할 때 이상한 그래프를 얻고 싶지 않을 때 변수를 사용하는 것이 좋습니다. $__interval. 이것은 내부 Grafana 변경이며 데이터 범위 자체를 선택합니다. 그리고 VictoriaMetrics는 이 범위가 무엇인지 자체적으로 이해할 수 있습니다. 그리고 모든 요청을 업데이트할 필요가 없습니다. 훨씬 쉬울 것입니다.

두 번째 기능은 간격 참조입니다. 표현식에서 이 간격을 사용할 수 있습니다. 곱하고, 나누고, 옮기고, 참조할 수 있습니다.

다음은 롤업 함수 계열입니다. 롤업 기능은 모든 시계열을 XNUMX개의 개별 시계열로 변환합니다. 이들은 최소, 최대 및 평균입니다. 때때로 일부 이상값(이상치)과 부정확성을 표시할 수 있기 때문에 매우 편리합니다.

그리고 단순히 화를 내거나 평가하는 중이라면 시계열이 의도한 대로 작동하지 않는 일부 경우를 놓칠 수 있습니다. 이 기능을 사용하면 훨씬 쉽게 볼 수 있습니다. max가 평균에서 많이 벗어난다고 가정해 보겠습니다.

다음은 기본 변수입니다. 기본값 - 현재 시계열이 없는 경우 Grafana에서 그려야 하는 값을 의미합니다. 언제 발생합니까? 일부 오류 측정항목을 내보낸다고 가정해 보겠습니다. 그리고 시작할 때 오류가 없으며 앞으로 XNUMX시간 또는 하루 동안 오류가 발생하지 않는 멋진 응용 프로그램이 있습니다. 그리고 성공에서 오류까지의 관계를 보여주는 대시보드가 ​​있습니다. 오류 메트릭이 없기 때문에 아무 것도 표시하지 않습니다. 그리고 기본적으로 무엇이든 지정할 수 있습니다.

Keep_last_Value - 누락된 경우 메트릭의 마지막 값을 저장합니다. 다음 스크랩 후 Prometheus가 5분 이내에 찾지 못한 경우 여기에서 마지막 값을 기억하고 차트가 다시 중단되지 않습니다.

Scrape_interval - Prometheus가 메트릭에 대한 데이터를 수집하는 빈도와 빈도를 보여줍니다. 예를 들어 여기에서 패스를 볼 수 있습니다.

라벨 교체는 널리 사용되는 기능입니다. 그러나 정수 인수를 사용하기 때문에 약간 복잡하다고 생각합니다. 그리고 5개의 인수를 기억할 뿐만 아니라 그 순서도 기억해야 합니다.

따라서 더 간단하게 만들지 않겠습니까? 즉, 명확한 구문을 사용하여 작은 함수로 분해합니다.

그리고 지금 가장 흥미로운. 확장된 PromQL이라고 생각하는 이유는 무엇입니까? 공통 테이블 표현식을 지원하기 때문입니다. QR 코드(https://github.com/VictoriaMetrics/VictoriaMetrics/wiki/ExtendedPromQL) 브라우저에 설치하지 않고 VictoriaMetrics에서 직접 쿼리를 실행할 수 있는 플레이그라운드의 예제 링크를 참조하십시오.

그리고 이것은 무엇입니까? 위의 요청은 상당히 인기 있는 요청입니다. 많은 회사의 모든 대시보드에서 모든 것에 대해 동일한 필터를 사용한다고 생각합니다. 보통 그렇습니다. 그러나 새로운 필터를 추가해야 할 때 각 패널을 업데이트하거나 대시보드를 다운로드하고 JSON에서 열고 찾기 바꾸기를 수행해야 하며 이 작업에도 시간이 걸립니다. 이 값을 변수에 저장하고 재사용하지 않는 이유는 무엇입니까? 제 생각에는 훨씬 더 간단하고 명확해 보입니다.

예를 들어 모든 요청에서 Grafana의 필터를 업데이트해야 하고 대시보드가 ​​거대하거나 여러 개가 있을 수 있는 경우입니다. Grafana에서 이 문제를 어떻게 해결하고 싶습니까?

저는 이 문제를 다음과 같이 해결합니다. commonFilter를 만들고 그 안에 이 필터를 정의한 다음 쿼리에서 재사용합니다. 하지만 지금 똑같이 하면 Grafana가 쿼리 변수 내에서 변수를 사용하는 것을 허용하지 않기 때문에 작동하지 않습니다. 그리고 조금 이상합니다.

그래서 저는 여러분이 이것을 할 수 있는 옵션을 만들었습니다. 그리고 그러한 기능에 관심이 있거나 원하는 경우 이 아이디어가 마음에 들지 않으면 지원하거나 싫어하십시오. https://github.com/grafana/grafana/pull/16694

PromQL 확장에 대한 추가 정보. 여기서 우리는 변수뿐만 아니라 전체 함수를 직접 정의합니다. 그리고 우리는 그것을 ru(자원 사용)라고 부릅니다. 그리고 이 함수는 무료 리소스, 리소스 제한 및 필터를 허용합니다. 구문은 간단해 보입니다. 그리고 이 함수를 사용하고 우리가 가지고 있는 여유 메모리의 백분율을 계산하는 것은 매우 쉽습니다. 즉, 우리가 가진 메모리의 양, 제한 및 필터링 방법입니다. 동일한 필터를 모두 재사용하여 작성하면 훨씬 더 좋아 보입니다. 왜냐하면 그것은 크고 큰 쿼리로 바뀔 것이기 때문입니다.

그리고 여기에 그러한 크고 큰 요청의 예가 있습니다. Grafana의 공식 NodeExporter 대시보드에서 가져온 것입니다. 그러나 나는 여기서 무슨 일이 일어나고 있는지 정말로 이해하지 못합니다. 즉, 자세히 보면 물론 이해하지만 괄호의 수는 여기서 일어나는 일을 이해하려는 동기를 즉시 줄일 수 있습니다. 더 간단하고 명확하게 만들지 않겠습니까?

예를 들어, 변수에서 중요한 것 또는 부분을 강조 표시합니다. 그런 다음 기본 수학을 수행하십시오. 이것은 프로그래밍에 가깝습니다. 이것이 제가 Grafana에서 미래에 보고 싶은 것입니다.

다음은 이 ru 함수가 이미 있고 이미 VictoriaMetrics에 직접 존재하는 경우 더 쉽게 만들 수 있는 방법에 대한 두 번째 예입니다. 그런 다음 CTE에서 선언한 캐시된 값을 전달하기만 하면 됩니다.

올바른 프로그래밍 언어를 사용하는 것이 얼마나 중요한지에 대해서는 이미 이야기했습니다. 그리고 아마도 모든 회사의 Grafana에서 다른 일이 진행되고 있을 것입니다. 그리고 아마도 여전히 개발자에게 Grafana에 대한 액세스 권한을 부여하고 개발자는 자신의 작업을 수행합니다. 그리고 그들은 모두 다른 방식으로 그것을 합니다. 그러나 나는 그것을 어떻게 든 동일하게, 즉 공통 표준으로 축소하기를 원했습니다.

시스템 엔지니어만 있는 것이 아니라 전문가, 데브옵스 또는 SRE가 있다고 가정해 보겠습니다. 아마도 모니터링이 무엇인지 알고 Grafana가 무엇인지 아는 전문가가 있을 것입니다. 그리고 그들은 이미 그것을 100 번 썼고 모두에게 설명했지만 왠지 아무도 듣지 않습니다.

다른 사용자가 기능을 재사용할 수 있도록 이 지식을 Grafana에 직접 입력할 수 있다면 어떨까요? 그리고 여유 메모리의 백분율을 계산해야 하는 경우 간단히 함수를 적용합니다. 그러나 수출업자의 제작자가 제품과 함께 일련의 기능을 제공하고 메트릭 작업 방법을 제공한다면 이러한 메트릭이 무엇인지, 올바르게 계산하는 방법을 정확히 알고 있기 때문에 어떻게 될까요?

이것은 실제로 존재하지 않습니다. 여기 내가 직접 한 일이 있습니다. 이것은 Grafana의 라이브러리 지원입니다. NodeExporter를 만든 사람들이 내가 설명한 대로 했다고 가정해 봅시다. 또한 일련의 기능을 제공했습니다.

즉, 다음과 같이 보입니다. 이 라이브러리를 Grafana에 연결하고 편집을 시작하면 JSON에서 이 메트릭으로 작업하는 방법이 매우 간단합니다. 즉, 일부 기능 집합, 설명 및 확장 내용입니다.

제 생각에는 이것이 유용할 수 있습니다. 왜냐하면 그렇게 하면 Grafana에서 그대로 쓸 수 있기 때문입니다. 그리고 Grafana는 그러한 라이브러리에서 그러한 기능이 있다고 "말"합니다. 사용합시다. 나는 그것이 매우 멋질 것이라고 생각합니다.

VictoriaMetrics에 대해 조금. 우리는 흥미로운 일을 많이 합니다. 압축, 다른 시계열 데이터 애플리케이션과의 경쟁, PromQL로 작업하는 방법에 대한 설명, 수직적 확장성 및 Thanos와의 대결에 대한 기사를 읽어보세요.

질문 :

간단한 인생 이야기로 질문을 시작하겠습니다. Grafana를 처음 사용하기 시작했을 때 매우 설득력 있는 5줄 쿼리를 작성했습니다. 최종 결과는 매우 설득력 있는 차트입니다. 이 그래프는 거의 생산에 들어갔습니다. 그러나 자세히 살펴보면 이 차트는 우리가 예상한 범위에 속하지만 현실과 무관한 절대적인 넌센스를 보여주고 있음이 밝혀졌습니다. 그리고 내 질문. 라이브러리도 있고 함수도 있지만 Grafana에 대한 테스트를 어떻게 작성합니까? 비즈니스 결정에 영향을 미치는 복잡한 쿼리를 작성했습니다. 서버의 실제 컨테이너를 주문하거나 주문하지 않는 것입니다. 그리고 우리가 알다시피 그래프를 그리는 이 함수는 사실과 유사합니다. 감사합니다.

질문 주셔서 감사합니다. 여기에는 두 부분이 있습니다. 첫째, 내 경험에 따르면 대부분의 사용자는 차트를 볼 때 자신이 보여주는 내용을 이해하지 못한다는 인상을 받았습니다. 어쨌든 사람들은 함수 내부의 버그일지라도 차트에서 발생하는 이상 현상에 대한 변명을 아주 잘 합니다. 두 번째 부분은 각 개발자가 자신의 용량 계획을 세우고 약간의 확률로 실수를 하는 것보다 이러한 기능을 사용하는 것이 문제를 해결하는 데 훨씬 더 적합할 것 같습니다.

확인하는 방법?

확인하는 방법? 아마 아닐 겁니다.

Grafana의 테스트로.

Grafana는 어떻습니까? Grafana는 이 요청을 DataSource로 직접 변환합니다.

매개 변수에 약간을 추가하여.

아니요, Grafana에는 아무것도 추가되지 않습니다. 단계와 같은 GET 매개변수가 있을 수 있습니다. 명시적으로 지정되지는 않았지만 무시할 수 있고 무시할 수 없지만 자동으로 추가됩니다. 여기서는 테스트를 작성하지 않습니다. 여기서 Grafana를 진실의 출처로 의존해서는 안 된다고 생각합니다.

신고해 주셔서 감사합니다! 압축 감사합니다! Grafana에서는 변수에 변수를 사용할 수 없다는 것을 그래프에서 변수 매핑에 대해 기억했습니다. 무슨 말인지 이해합니까?

네.

이것은 처음에 Grafana에서 경고를 만들고 싶었을 때 골칫거리였습니다. 그리고 각 호스트에 대해 개별적으로 경고를 수행해야 합니다. 여기 당신이 한 일이 있습니다. Grafana의 경고에 대해 작동합니까?

Grafana가 다른 방식으로 변수에 액세스하지 않으면 작동합니다. 하지만 내 조언은 Grafana에서 경고를 전혀 사용하지 않는 것입니다. alertmanager를 사용하는 것이 좋습니다.

네 저도 사용중인데 그냥 그라파나에서 설정하는게 더 쉬웠던거 같은데 꿀팁 감사합니다!

출처 : habr.com