세상에서 가장 편리한 로그 조회 인터페이스*를 개발 중입니다.

로그를 보기 위해 웹 인터페이스를 사용해 본 적이 있다면, 일반적으로 이러한 인터페이스가 얼마나 번거롭고 (종종) 그다지 편리하지도 않고 반응도 좋지 않다는 것을 알아차렸을 것입니다. 일부는 익숙해지고 일부는 완전히 끔찍하지만 모든 문제의 원인은 로그를 보는 작업에 잘못 접근했기 때문인 것 같습니다. CLI(명령줄 인터페이스)가 있는 웹 인터페이스를 만들려고 합니다. 더 잘 작동합니다. 저는 개인적으로 tail, grep, awk 등을 사용하여 작업하는 것을 매우 편안하게 생각합니다. 따라서 로그 작업에 이상적인 인터페이스는 tail 및 grep과 비슷하지만 많은 서버에서 온 로그를 읽는 데에도 사용할 수 있습니다. 물론 ClickHouse에서 읽어보세요!

*habra 사용자의 개인적인 의견에 따름 당신의 ROCK

로그클리를 만나보세요

인터페이스의 이름을 정하지 않았고 솔직히 프로토타입 형태로 존재하지만 소스 코드를 즉시 보고 싶다면 다음을 사용하면 됩니다. https://github.com/YuriyNasretdinov/logscli (선택한 Go 코드 350줄)

기능

내 목표는 tail/grep에 익숙한 사람들에게 친숙해 보이는 인터페이스, 즉 다음을 지원하는 인터페이스를 만드는 것이었습니다.

1. 필터링 없이 모든 로그를 봅니다.
2. 고정된 하위 문자열(플래그)이 포함된 행을 그대로 둡니다. -F у grep).
3. 정규식(플래그)과 일치하는 줄을 남겨주세요. -E у grep).
4. 기본적으로 가장 최근 로그가 먼저 관심 대상이므로 보기는 시간 역순으로 이루어집니다.
5. 각 줄 옆에 컨텍스트 표시(옵션 -A, -B и -C у grep, 일치하는 각 줄 앞, 뒤, 주위에 각각 N 줄을 인쇄합니다.
6. 필터링 여부에 관계없이 수신 로그를 실시간으로 봅니다(기본적으로 tail -f | grep).
7. 인터페이스는 다음과 호환되어야 합니다. less, head, tail 기타 - 기본적으로 결과는 개수 제한 없이 반환되어야 합니다. 사용자가 라인 수신에 관심이 있는 한 라인은 스트림으로 인쇄됩니다. 신호 SIGPIPE 그들과 마찬가지로 로그 스트리밍을 자동으로 중단해야 합니다. tail, grep 및 기타 UNIX 유틸리티.

Реализация

ClickHouse에 로그를 전달하는 방법을 이미 알고 있다고 가정하겠습니다. 그렇지 않다면 시도해 보는 것이 좋습니다 엘에스디 и 새끼 고양이 집과 로그 전달에 관한 이 문서.

먼저 기본 구성표를 결정해야 합니다. 일반적으로 시간별로 정렬된 로그를 받기를 원하므로 그렇게 저장하는 것이 논리적인 것 같습니다. 로그 카테고리가 많고 유형이 모두 동일한 경우 로그 카테고리를 기본 키의 첫 번째 열로 만들 수 있습니다. 이렇게 하면 여러 테이블 대신 하나의 테이블을 가질 수 있습니다. ClickHouse에 삽입(하드 드라이브가 있는 서버에서는 초당 1회 이하로 데이터를 삽입하는 것이 좋습니다) 전체 서버에 대해).

즉, 대략 다음과 같은 테이블 구성표가 필요합니다.

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

아쉽게도 제가 잡아서 다운로드할 수 있는 현실적인 로그가 있는 오픈 소스를 즉시 찾을 수 없었기 때문에 이를 예로 들었습니다. 2015년 이전 Amazon 제품 리뷰. 물론 그 구조는 텍스트 로그의 구조와 정확히 동일하지는 않지만 설명 목적으로는 중요하지 않습니다.

ClickHouse에 Amazon 리뷰를 업로드하는 방법에 대한 지침

테이블을 만들어 보겠습니다.

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

Amazon 데이터세트에는 검토 날짜만 있고 정확한 시간은 없으므로 이 데이터를 랜돈으로 채워보겠습니다.

10GB RAM에 맞지 않는 상당히 큰 데이터 세트를 얻기 위해 모든 tsv 파일을 다운로드하고 처음 ~20-16으로 제한할 필요는 없습니다. TSV 파일을 업로드하기 위해 다음 명령을 사용했습니다.

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

크기가 1000GB인 Google Cloud의 표준 영구 디스크(HDD)에서(필요한 크기의 SSD가 더 저렴할 수도 있지만 속도를 조금 더 높이기 위해 주로 이 크기를 사용했습니다) 속도는 75개 코어에서 약 4MB/초였습니다.

• 구글에서 일한다고 예약을 해야 하는데 개인 계정을 사용했고 이 글은 회사 업무와는 아무런 관련이 없습니다.

이것이 내가 가지고 있는 전부이기 때문에 나는 이 특정 데이터세트를 사용하여 모든 일러스트레이션을 제작할 것입니다.

데이터 스캔 진행 상황 표시

ClickHouse에서는 로그가 있는 테이블에 대해 전체 스캔을 사용할 것이므로 이 작업은 상당한 시간이 걸릴 수 있으며 일치하는 항목이 거의 없으면 오랜 시간 동안 결과가 생성되지 않을 수 있으므로 다음을 표시할 수 있는 것이 좋습니다. 결과가 있는 첫 번째 행이 수신될 때까지 쿼리가 진행됩니다. 이를 위해 HTTP 헤더에 진행 상황을 보낼 수 있는 매개변수가 HTTP 인터페이스에 있습니다. send_progress_in_http_headers=1. 불행하게도 표준 Go 라이브러리는 수신된 헤더를 읽을 수 없지만 ClickHouse는 HTTP 1.0 인터페이스(1.1과 혼동하지 마세요!)를 지원하므로 ClickHouse에 대한 원시 TCP 연결을 열고 거기로 보낼 수 있습니다. GET /?query=... HTTP/1.0nn 이스케이프나 암호화 없이 응답 헤더와 본문을 수신하므로 이 경우 표준 라이브러리를 사용할 필요조차 없습니다.

ClickHouse에서 로그 스트리밍

ClickHouse는 비교적 오랜 기간(2019년?) 동안 ORDER BY를 사용하여 쿼리를 최적화해 왔습니다. 따라서 다음과 같은 쿼리는

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

스캔이 완료될 때까지 기다리지 않고 메시지에 하위 문자열 "something"이 있는 줄을 즉시 반환하기 시작합니다.

또한 연결이 끊어졌을 때 ClickHouse 자체에서 요청을 취소하면 매우 편리하지만 이는 기본 동작이 아닙니다. 옵션을 사용하여 자동 요청 취소를 활성화할 수 있습니다. cancel_http_readonly_queries_on_client_close=1.

Go에서 SIGPIPE의 올바른 처리

명령을 실행하면 some_cmd | head -n 10, 정확히 명령이 어떻게 some_cmd 다음과 같은 경우 실행을 중지합니다. head 10줄을 뺐나? 대답은 간단합니다. 언제 head 끝나고 파이프가 닫히고 some_cmd 명령의 stdout이 조건부로 "아무데도"를 가리키기 시작합니다. 언제 some_cmd 닫힌 파이프에 쓰기를 시도하고, 기본적으로 프로그램을 자동으로 종료하는 SIGPIPE 신호를 받습니다..

Go에서도 이는 기본적으로 발생하지만 SIGPIPE 신호 처리기는 끝에 "signal: SIGPIPE" 또는 유사한 메시지도 인쇄합니다. 이 메시지를 지우려면 우리가 원하는 방식으로, 즉 자동으로 SIGPIPE를 처리하면 됩니다. 출구:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

메시지 컨텍스트 표시

오류가 발생한 컨텍스트(예: 어떤 요청으로 인해 패닉이 발생했는지, 충돌이 발생하기 전에 어떤 관련 문제가 표시되었는지 등)를 확인하려는 경우가 많습니다. grep 이는 각각 메시지 뒤, 앞, 주위에 지정된 행 수를 표시하는 -A, -B 및 -C 옵션을 사용하여 수행됩니다.

불행히도 ClickHouse에서는 동일한 작업을 수행하는 쉬운 방법을 찾지 못했기 때문에 컨텍스트를 표시하기 위해 이와 같은 추가 요청이 결과의 각 줄에 전송됩니다(세부 사항은 정렬 및 컨텍스트가 이전에 표시되는지 여부에 따라 다름). 또는 이후):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

ClickHouse가 해당 라인을 반환한 후 거의 즉시 요청이 전송되므로 결국 캐시에 저장되고 일반적으로 요청은 매우 빠르게 실행되고 약간의 CPU를 소모합니다(보통 가상 머신에서 요청은 약 6ms 정도 소요됩니다).

새 메시지를 실시간으로 표시

들어오는 메시지를 (거의) 실시간으로 표시하기 위해 이전에 접했던 마지막 타임스탬프를 기억하면서 몇 초마다 한 번씩 요청을 실행하기만 하면 됩니다.

명령 예

일반적인 logcli 명령은 실제로 어떤 모습입니까?

기사 시작 부분에서 언급한 Amazon 데이터 세트를 다운로드한 경우 다음 명령을 실행할 수 있습니다.

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

참조

유틸리티 코드(문서 제외)는 github에서 확인할 수 있습니다. https://github.com/YuriyNasretdinov/logscli. ClickHouse를 기반으로 로그를 보기 위한 콘솔 인터페이스에 대한 내 아이디어에 대한 귀하의 생각을 듣고 싶습니다.

출처 : habr.com