🥇사람 또는 외계인 기술을 위한 ClickHouse 데이터베이스

Aleksey Lizunov, MKB 정보 기술국 원격 서비스 채널 역량 센터 책임자

ELK 스택(ElasticSearch, Logstash, Kibana)의 대안으로 ClickHouse 데이터베이스를 로그용 데이터 저장소로 사용하는 방법을 연구하고 있습니다.

이 기사에서는 ClickHouse 데이터베이스 사용 경험과 시범 운영의 예비 결과에 대해 이야기하고자 합니다. 결과는 인상적이었습니다.

다음으로 시스템 구성 방법과 구성 요소에 대해 자세히 설명합니다. 그러나 이제 이 데이터베이스 전체에 대해 조금 이야기하고 주목해야 하는 이유에 대해 이야기하고 싶습니다. ClickHouse 데이터베이스는 Yandex의 고성능 분석 컬럼 데이터베이스입니다. Yandex 서비스에서 사용되며 처음에는 Yandex.Metrica의 기본 데이터 저장소입니다. 오픈 소스 시스템, 무료. 개발자 입장에서 보면 엄청나게 큰 데이터가 있기 때문에 어떻게 구현했는지 항상 궁금했습니다. 그리고 Metrica의 사용자 인터페이스 자체는 매우 유연하고 빠릅니다. 이 데이터베이스를 처음 접했을 때 인상은 다음과 같습니다. “드디어! 사람들을 위해 만들어졌습니다! 설치 프로세스에서 시작하여 요청 보내기로 끝납니다.

이 데이터베이스는 진입 임계값이 매우 낮습니다. 평균 수준의 숙련된 개발자도 몇 분 안에 이 데이터베이스를 설치하고 사용할 수 있습니다. 모든 것이 명확하게 작동합니다. Linux를 처음 접하는 사람도 설치를 빠르게 처리하고 가장 간단한 작업을 수행할 수 있습니다. 이전에 Big Data, Hadoop, Google BigTable, HDFS라는 단어를 사용하여 일반 개발자는 일부 초인이 이러한 시스템의 설정 및 개발에 참여하는 것이 몇 테라바이트, 페타바이트에 관한 아이디어를 가지고 있었다면 ClickHouse의 출현과 함께 데이터베이스, 우리는 이전에는 달성할 수 없었던 범위의 작업을 해결할 수 있는 간단하고 이해하기 쉬운 도구를 얻었습니다. 상당히 평균적인 기계 한 대와 설치하는 데 XNUMX분밖에 걸리지 않습니다. 즉, 예를 들어 MySql과 같은 데이터베이스가 있지만 수십억 개의 레코드를 저장하기 위한 것입니다! SQL 언어를 사용하는 특정 슈퍼 아카이버. 사람들이 외계인의 무기를 건네받은 것과 같습니다.

로깅 시스템 정보

정보 수집을 위해 표준 형식 웹 애플리케이션의 IIS 로그 파일을 사용합니다(현재 애플리케이션 로그도 파싱하고 있지만 파일럿 단계의 주요 목표는 IIS 로그 수집입니다).

여러 가지 이유로 우리는 ELK 스택을 완전히 포기할 수 없었고, 자체적으로 잘 입증되고 매우 안정적이고 예측 가능하게 작동하는 LogStash 및 Filebeat 구성 요소를 계속 사용합니다.

일반적인 로깅 체계는 아래 그림에 나와 있습니다.

ClickHouse 데이터베이스에 데이터를 쓰는 기능은 드물게(초당 한 번) 대규모 배치로 레코드를 삽입하는 것입니다. 이것은 분명히 ClickHouse 데이터베이스 작업을 처음 경험할 때 가장 "문제가 되는" 부분입니다. 체계가 조금 더 복잡해집니다.
데이터를 ClickHouse에 직접 삽입하는 LogStash용 플러그인이 여기에서 많은 도움이 되었습니다. 이 구성 요소는 데이터베이스 자체와 동일한 서버에 배포됩니다. 따라서 일반적으로 권장하지는 않지만 실용적인 관점에서 동일한 서버에 배포되는 동안 별도의 서버를 생성하지 않도록 합니다. 우리는 데이터베이스와의 장애 또는 리소스 충돌을 관찰하지 않았습니다. 또한 플러그인에는 오류 발생 시 재시도 메커니즘이 있다는 점에 유의해야 합니다. 오류가 발생한 경우 플러그인은 삽입할 수 없는 데이터 배치를 디스크에 기록합니다(파일 형식이 편리합니다. 편집 후 clickhouse-client를 사용하여 수정된 배치를 쉽게 삽입할 수 있습니다).

계획에 사용된 소프트웨어의 전체 목록이 표에 나와 있습니다.

사용된 소프트웨어 목록

이름

기술

배포 링크

NGINX

포트별 액세스를 제한하고 인증을 구성하는 리버스 프록시

현재 계획에서 사용되지 않음

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

파일비트

파일 로그 전송.

https://www.elastic.co/downloads/beats/filebeat (Windows 64비트용 배포 키트).

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

로그스태시

로그 수집기.

FileBeat에서 로그를 수집하고 RabbitMQ 대기열에서 로그를 수집하는 데 사용됩니다(DMZ에 있는 서버의 경우).

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

Logstash 출력 클릭하우스

일괄적으로 ClickHouse 데이터베이스에 로그를 전송하기 위한 Loagstash 플러그인

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin 설치 logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin 설치 logstash-filter-prune

/usr/share/logstash/bin/logstash-plugin 설치 logstash-filter-multiline

클릭 하우스

로그 저장 https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

메모. 2018년 XNUMX월부터 Yandex 리포지토리에 RHEL용 "일반" rpm 빌드가 나타나므로 사용해 볼 수 있습니다. 설치 당시 Altinity에서 만든 패키지를 사용하고 있었습니다.

그라 파나

로그 시각화. 대시보드 설정

https://grafana.com/

https://grafana.com/grafana/download

Redhat & Centos(64 Bit) - 최신 버전

Grafana 4.6+용 ClickHouse 데이터 소스

ClickHouse 데이터 소스가 포함된 Grafana용 플러그인

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

로그스태시

FileBeat에서 RabbitMQ 대기열로 라우터를 기록합니다.

메모. 안타깝게도 FileBeat는 RabbitMQ로 직접 출력되지 않으므로 Logstash 형식의 중간 링크가 필요합니다.

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

RabbitMQ

메시지 큐. 이것은 DMZ의 로그 버퍼입니다.

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang 런타임(RabbitMQ에 필요)

얼랭 런타임. RabbitMQ가 작동하는 데 필요합니다.

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ClickHouse 데이터베이스가 있는 서버 구성은 다음 표에 나와 있습니다.

이름

가치

주의

구성

HDD : 40GB
RAM : 8GB
프로세서: 코어 2 2Ghz

ClickHouse 데이터베이스 운영 팁에 주의를 기울일 필요가 있습니다(https://clickhouse.yandex/docs/ru/operations/tips/)

일반 시스템 소프트웨어

운영 체제: Red Hat Enterprise Linux 서버(Maipo)

JRE(자바 8)

보시다시피 이것은 일반 워크스테이션입니다.

로그를 저장하는 테이블의 구조는 다음과 같습니다.

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

기본 파티셔닝(월별) 및 인덱스 세분성을 사용합니다. 모든 필드는 http 요청 로깅을 위한 IIS 로그 항목에 실질적으로 해당합니다. 이와는 별도로 utm 태그를 저장하기 위한 별도의 필드가 있습니다(쿼리 문자열 필드에서 테이블에 삽입하는 단계에서 구문 분석됨).

또한 시스템, 구성 요소, 서버에 대한 정보를 저장하기 위해 여러 시스템 필드가 테이블에 추가되었습니다. 이러한 필드에 대한 설명은 아래 표를 참조하십시오. 하나의 테이블에 여러 시스템에 대한 로그를 저장합니다.

이름

기술

예

fld_app_name

애플리케이션/시스템 이름
유효한 값:

site1.domain.com 외부 사이트 1
site2.domain.com 외부 사이트 2
internal-site1.domain.local 내부 사이트 1

site1.domain.com

fld_app_module

시스템 모듈
유효한 값:

웹 - 웹사이트
svc - 웹 사이트 서비스
intgr - 통합 웹 서비스
bo - 관리자(백오피스)

웹

fld_website_name

IIS의 사이트 이름

하나의 서버 또는 하나의 시스템 모듈의 여러 인스턴스에 여러 시스템을 배포할 수 있습니다.

웹 메인

fld_서버_이름

서버 이름

web1.domain.com

fld_log_file_name

서버의 로그 파일 경로

C:inetpublogsLogFiles
W3SVC1u_ex190711.log

이를 통해 Grafana에서 효율적으로 그래프를 작성할 수 있습니다. 예를 들어 특정 시스템의 프런트엔드에서 요청을 봅니다. 이는 Yandex.Metrica의 사이트 카운터와 유사합니다.

다음은 XNUMX개월 동안 데이터베이스를 사용한 통계입니다.

시스템 및 해당 구성 요소별로 분류된 레코드 수

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

디스크의 데이터 양

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

열의 데이터 압축 정도

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

사용된 구성 요소에 대한 설명

FileBeat. 파일 로그 전송

이 구성 요소는 디스크의 로그 파일에 대한 변경 사항을 추적하고 정보를 LogStash에 전달합니다. 로그 파일이 기록되는 모든 서버(일반적으로 IIS)에 설치됩니다. 꼬리 모드에서 작동합니다(즉, 추가된 레코드만 파일로 전송). 그러나 별도로 전체 파일을 전송하도록 구성할 수 있습니다. 이전 달의 데이터를 다운로드해야 할 때 유용합니다. 로그 파일을 폴더에 넣으면 전체 내용을 읽습니다.

서비스가 중지되면 데이터가 더 이상 저장소로 전송되지 않습니다.

예제 구성은 다음과 같습니다.

파일비트.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

logstash. 로그 수집기

이 구성 요소는 FileBeat에서(또는 RabbitMQ 대기열을 통해) 로그 항목을 수신하고 ClickHouse 데이터베이스에 배치를 구문 분석하고 삽입하도록 설계되었습니다.

ClickHouse에 삽입하기 위해 Logstash-output-clickhouse 플러그인이 사용됩니다. Logstash 플러그인에는 요청 재시도 메커니즘이 있지만 정기적으로 종료하면 서비스 자체를 중지하는 것이 좋습니다. 중지되면 RabbitMQ 대기열에 메시지가 누적되므로 중지 시간이 길면 서버에서 Filebeats를 중지하는 것이 좋습니다. RabbitMQ가 사용되지 않는 체계(로컬 네트워크에서 Filebeat는 로그를 Logstash로 직접 전송)에서 Filebeats는 상당히 수용 가능하고 안전하게 작동하므로 결과 없이 출력을 사용할 수 없게 됩니다.

예제 구성은 다음과 같습니다.

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

파이프라인.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

클릭하우스. 로그 저장

모든 시스템에 대한 로그는 하나의 테이블에 저장됩니다(기사 시작 부분 참조). 요청에 대한 정보를 저장하기 위한 것입니다. 모든 매개변수는 IIS 로그, Apache 및 nginx 로그와 같은 다양한 형식에 대해 유사합니다. 예를 들어 오류, 정보 메시지, 경고가 기록되는 애플리케이션 로그의 경우 적절한 구조로 별도의 테이블이 제공됩니다(현재 설계 단계).

테이블을 설계할 때 기본 키(저장 중에 데이터가 정렬되는 키)를 결정하는 것이 매우 중요합니다. 데이터 압축 정도와 쿼리 속도는 이에 따라 달라집니다. 이 예에서 핵심은
ORDER BY(fld_app_name, fld_app_module, logdatetime)
즉, 시스템 이름, 시스템 구성 요소 이름 및 이벤트 날짜입니다. 처음에는 이벤트 날짜가 먼저였습니다. 마지막 위치로 이동한 후 쿼리가 약 두 배 빠르게 작동하기 시작했습니다. 기본 키를 변경하려면 ClickHouse가 디스크의 데이터를 다시 정렬할 수 있도록 테이블을 다시 만들고 데이터를 다시 로드해야 합니다. 이것은 무거운 작업이므로 정렬 키에 무엇을 포함해야 하는지에 대해 많이 생각하는 것이 좋습니다.

LowCardinality 데이터 유형이 비교적 최신 버전에 등장했다는 점도 주목해야 합니다. 이를 사용하면 카디널리티가 낮은 필드(선택 사항이 거의 없음)에 대해 압축된 데이터의 크기가 크게 줄어듭니다.

현재 19.6 버전을 사용 중이며 최신 버전으로 업데이트를 시도할 예정입니다. 예를 들어 Adaptive Granularity, Skipping index 및 DoubleDelta 코덱과 같은 놀라운 기능이 있습니다.

기본적으로 설치 중에 로깅 수준은 추적으로 설정됩니다. 로그는 회전 및 보관되지만 동시에 최대 XNUMXGB까지 확장됩니다. 필요하지 않은 경우 경고 수준을 설정하면 로그 크기가 크게 줄어듭니다. 로깅 설정은 config.xml 파일에서 설정됩니다.

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

몇 가지 유용한 명령

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

logstash. FileBeat에서 RabbitMQ 큐로의 로그 라우터

이 구성 요소는 FileBeat에서 들어오는 로그를 RabbitMQ 대기열로 라우팅하는 데 사용됩니다. 여기에는 두 가지 사항이 있습니다.

안타깝게도 FileBeat에는 RabbitMQ에 직접 쓸 수 있는 출력 플러그인이 없습니다. 그리고 github의 문제로 판단되는 이러한 기능은 구현 계획이 없습니다. Kafka용 플러그인이 있지만 어떤 이유로 집에서 사용할 수 없습니다.
DMZ에서 로그를 수집하기 위한 요구 사항이 있습니다. 이를 기반으로 먼저 로그를 대기열에 추가한 다음 LogStash가 외부에서 대기열의 항목을 읽습니다.

따라서 서버가 DMZ에 위치하는 경우에는 이와 같이 약간 복잡한 방식을 사용해야 합니다. 예제 구성은 다음과 같습니다.

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

RabbitMQ. 메시지 큐

이 구성 요소는 DMZ에서 로그 항목을 버퍼링하는 데 사용됩니다. 녹음은 Filebeat → LogStash를 통해 이루어집니다. 읽기는 LogStash를 통해 DMZ 외부에서 수행됩니다. RabboitMQ를 통해 작동할 때 초당 약 4천 개의 메시지가 처리됩니다.

메시지 라우팅은 시스템 이름으로, 즉 FileBeat 구성 데이터를 기반으로 구성됩니다. 모든 메시지는 하나의 대기열로 이동합니다. 어떤 이유로 대기열 서비스가 중지되더라도 메시지가 손실되지 않습니다. FileBeats는 연결 오류를 수신하고 전송을 일시적으로 중단합니다. 대기열에서 읽는 LogStash도 네트워크 오류를 수신하고 연결이 복원될 때까지 기다립니다. 물론 이 경우 데이터는 더 이상 데이터베이스에 기록되지 않습니다.

다음 지침은 대기열을 만들고 구성하는 데 사용됩니다.

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

그라파나. 대시보드

이 구성 요소는 모니터링 데이터를 시각화하는 데 사용됩니다. 이 경우 Grafana 4.6+ 플러그인용 ClickHouse 데이터 소스를 설치해야 합니다. 대시보드에서 SQL 필터를 처리하는 효율성을 개선하기 위해 약간 조정해야 했습니다.

예를 들어 변수를 사용하고 필터 필드에 설정되지 않은 경우 WHERE 형식( uriStem = » AND uriStem != » )에서 조건을 생성하지 않기를 원합니다. 이 경우 ClickHouse는 uriStem 열을 읽습니다. 일반적으로 우리는 다른 옵션을 시도했고 결국 플러그인($valueIfEmpty 매크로)을 수정하여 빈 값의 경우 열 자체를 언급하지 않고 1을 반환하도록 했습니다.

이제 그래프에 이 쿼리를 사용할 수 있습니다.

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

이 SQL로 변환됩니다(빈 uriStem 필드는 1로 변환됨).

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

결론

ClickHouse 데이터베이스의 출현은 시장에서 획기적인 사건이 되었습니다. 완전히 무료로 빅데이터 작업을 위한 강력하고 실용적인 도구로 순식간에 무장하게 되었다는 것은 상상하기 어려웠습니다. 물론 요구 사항이 증가함에 따라(예: 샤딩 및 여러 서버로의 복제) 체계는 더욱 복잡해집니다. 그러나 첫인상은 이 데이터베이스로 작업하는 것이 매우 즐겁습니다. 제품이 "사람을 위해" 만들어졌다는 것을 알 수 있습니다.

ElasticSearch에 비해 로그 저장 및 처리 비용이 XNUMX~XNUMX배 정도 절감될 것으로 추정됩니다. 즉, 현재 데이터 양에 대해 여러 시스템의 클러스터를 설정해야 하는 경우 ClickHouse를 사용할 때는 하나의 저전력 시스템이면 충분합니다. 예, 물론 ElasticSearch에는 온디스크 데이터 압축 메커니즘과 리소스 소비를 크게 줄일 수 있는 기타 기능도 있지만 ClickHouse에 비해 비용이 더 많이 듭니다.

특별한 최적화 없이 기본 설정에서 데이터를 로드하고 데이터베이스에서 선택하면 놀라운 속도로 작동합니다. 아직 데이터가 많지는 않지만(약 200억 레코드) 서버 자체가 약합니다. 향후 로그 저장과 관련되지 않은 다른 용도로 이 도구를 사용할 수 있습니다. 예를 들어 엔드투엔드 분석, 보안 분야, 기계 학습이 있습니다.

마지막으로 찬반 양론에 대해 조금.

죄수 팀은

대규모 일괄 처리로 레코드를 로드합니다. 한편으로 이것은 기능이지만 여전히 레코드 버퍼링을 위한 추가 구성 요소를 사용해야 합니다. 이 작업이 항상 쉬운 것은 아니지만 여전히 해결할 수 있습니다. 그리고 나는 계획을 단순화하고 싶습니다.
일부 이국적인 기능이나 새로운 기능은 종종 새 버전에서 중단됩니다. 이로 인해 우려가 생기고 새 버전으로 업그레이드하려는 욕구가 줄어듭니다. 예를 들어 Kafka 테이블 엔진은 소비자를 구현하지 않고 Kafka에서 직접 이벤트를 읽을 수 있는 매우 유용한 기능입니다. 하지만 github의 이슈 수로 판단할 때, 우리는 이 엔진을 생산에 사용하지 않도록 여전히 조심하고 있습니다. 하지만 갑자기 옆으로 제스쳐를 하지 않고 주요 기능을 사용하면 안정적으로 동작한다.

프로

느려지지 않습니다.
낮은 진입 임계 값.
오픈 소스.
무료.
잘 확장됨(즉시 샤딩/복제)
통신부가 권장하는 러시아 소프트웨어 등록부에 포함됩니다.
Yandex의 공식 지원이 있습니다.

출처 : habr.com

인간 또는 외계인 기술을 위한 ClickHouse 데이터베이스

로깅 시스템 정보

사용된 구성 요소에 대한 설명

FileBeat. 파일 로그 전송

logstash. 로그 수집기

클릭하우스. 로그 저장

logstash. FileBeat에서 RabbitMQ 큐로의 로그 라우터

RabbitMQ. 메시지 큐

그라파나. 대시보드

결론

죄수 팀은

프로

코멘트를 추가 답장을 취소

인간 또는 외계인 기술을 위한 ClickHouse 데이터베이스

로깅 시스템 정보

사용된 구성 요소에 대한 설명 FileBeat. 파일 로그 전송

logstash. 로그 수집기

클릭하우스. 로그 저장

logstash. FileBeat에서 RabbitMQ 큐로의 로그 라우터

RabbitMQ. 메시지 큐

그라파나. 대시보드

결론

죄수 팀은

프로

코멘트를 추가 답장을 취소

사용된 구성 요소에 대한 설명

FileBeat. 파일 로그 전송