🥇Vector를 사용하여 Nginx json 로그를 Clickhouse 및 Elasticsearch로 보내기

벡터, 로그 데이터, 지표 및 이벤트를 수집, 변환 및 전송하도록 설계되었습니다.

Rust 언어로 작성되어 유사 언어에 비해 성능이 뛰어나고 RAM 소비가 적은 것이 특징입니다. 또한 정확성과 관련된 기능, 특히 전송되지 않은 이벤트를 디스크의 버퍼에 저장하고 파일을 회전하는 기능에 많은 관심을 기울입니다.

구조적으로 Vector는 하나 이상의 메시지를 수신하는 이벤트 라우터입니다. 출처, 선택적으로 이러한 메시지에 적용 변형, 하나 이상의 사람에게 보냅니다. 배수구.

Vector는 filebeat와 logstash를 대체하며 두 가지 역할(로그 수신 및 전송)을 모두 수행할 수 있습니다. 이에 대한 자세한 내용은 다음과 같습니다. 온라인으로.

Logstash에서 체인이 입력 → 필터 → 출력으로 구축된 경우 Vector에서는 다음과 같습니다. 소스 → 변환 → 싱크

예제는 문서에서 찾을 수 있습니다.

이 지침은 다음의 개정된 지침입니다. 뱌체슬라프 라킨스키. 원본 지침에는 geoip 처리가 포함되어 있습니다. 내부 네트워크에서 geoip를 테스트할 때 벡터에서 오류가 발생했습니다.

Aug 05 06:25:31.889 DEBUG transform{name=nginx_parse_rename_fields type=rename_fields}: vector::transforms::rename_fields: Field did not exist field=«geoip.country_name» rate_limit_secs=30

geoip을 처리해야 하는 사람이 있으면 다음의 원본 지침을 참조하세요. 뱌체슬라프 라킨스키.

Nginx(액세스 로그) → 벡터(클라이언트 | Filebeat) → 벡터(서버 | Logstash) → 조합을 Clickhouse에서 별도로, Elasticsearch에서 별도로 구성하겠습니다. 4개의 서버를 설치하겠습니다. 3개의 서버로 우회할 수 있지만.

계획은 다음과 같습니다.

모든 서버에서 Selinux를 비활성화합니다.

sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
reboot

모든 서버에 HTTP 서버 에뮬레이터 + 유틸리티를 설치합니다.

HTTP 서버 에뮬레이터로서 우리는 nodejs-스텁-서버 부터 막심 이그나텐코

Nodejs-stub-server에는 rpm이 없습니다. 여기에 rpm을 생성하십시오. rpm은 다음을 사용하여 컴파일됩니다. 페도라 코퍼

antonpatsev/nodejs-stub-server 저장소 추가

yum -y install yum-plugin-copr epel-release
yes | yum copr enable antonpatsev/nodejs-stub-server

모든 서버에 nodejs-stub-server, Apache 벤치마크 및 화면 터미널 멀티플렉서를 설치합니다.

yum -y install stub_http_server screen mc httpd-tools screen

/var/lib/stub_http_server/stub_http_server.js 파일에서 stub_http_server 응답 시간을 수정하여 로그가 더 많아졌습니다.

var max_sleep = 10;

stub_http_server를 실행해 보겠습니다.

systemctl start stub_http_server
systemctl enable stub_http_server

클릭하우스 설치 서버 3에서

ClickHouse는 SSE 4.2 명령 세트를 사용하므로 별도로 지정하지 않는 한 사용되는 프로세서에서 이에 대한 지원은 추가 시스템 요구 사항이 됩니다. 다음은 현재 프로세서가 SSE 4.2를 지원하는지 확인하는 명령입니다.

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

먼저 공식 저장소를 연결해야 합니다:

sudo yum install -y yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64

패키지를 설치하려면 다음 명령을 실행해야 합니다.

sudo yum install -y clickhouse-server clickhouse-client

clickhouse-server가 /etc/clickhouse-server/config.xml 파일에서 네트워크 카드를 수신하도록 허용합니다.

<listen_host>0.0.0.0</listen_host>

추적에서 디버그로 로깅 수준 변경

디버그

표준 압축 설정:

min_compress_block_size  65536
max_compress_block_size  1048576

Zstd 압축을 활성화하려면 구성을 건드리지 말고 DDL을 사용하는 것이 좋습니다.

Google에서 DDL을 통해 zstd 압축을 사용하는 방법을 찾을 수 없습니다. 그래서 그대로 두었습니다.

Clickhouse에서 zstd 압축을 사용하는 동료들은 지침을 공유해 주세요.

서버를 데몬으로 시작하려면 다음을 실행하세요.

service clickhouse-server start

이제 Clickhouse 설정으로 넘어가겠습니다.

클릭하우스 바로가기

clickhouse-client -h 172.26.10.109 -m

172.26.10.109 — 클릭하우스가 설치된 서버의 IP입니다.

벡터 데이터베이스를 만들어 봅시다

CREATE DATABASE vector;

데이터베이스가 존재하는지 확인해 보겠습니다.

show databases;

vector.logs 테이블을 생성합니다.

/* Это таблица где хранятся логи как есть */

CREATE TABLE vector.logs
(
    `node_name` String,
    `timestamp` DateTime,
    `server_name` String,
    `user_id` String,
    `request_full` String,
    `request_user_agent` String,
    `request_http_host` String,
    `request_uri` String,
    `request_scheme` String,
    `request_method` String,
    `request_length` UInt64,
    `request_time` Float32,
    `request_referrer` String,
    `response_status` UInt16,
    `response_body_bytes_sent` UInt64,
    `response_content_type` String,
    `remote_addr` IPv4,
    `remote_port` UInt32,
    `remote_user` String,
    `upstream_addr` IPv4,
    `upstream_port` UInt32,
    `upstream_bytes_received` UInt64,
    `upstream_bytes_sent` UInt64,
    `upstream_cache_status` String,
    `upstream_connect_time` Float32,
    `upstream_header_time` Float32,
    `upstream_response_length` UInt64,
    `upstream_response_time` Float32,
    `upstream_status` UInt16,
    `upstream_content_type` String,
    INDEX idx_http_host request_http_host TYPE set(0) GRANULARITY 1
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp
TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;

테이블이 생성되었는지 확인합니다. 발사하자 clickhouse-client 그리고 요청을 해보세요.

벡터 데이터베이스로 가보겠습니다.

use vector;

Ok.

0 rows in set. Elapsed: 0.001 sec.

테이블을 살펴 보겠습니다.

show tables;

┌─name────────────────┐
│ logs                │
└─────────────────────┘

Clickhouse와의 비교를 위해 동일한 데이터를 Elasticsearch로 보내기 위해 4번째 서버에 elasticsearch를 설치합니다.

공개 rpm 키 추가

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

2개의 저장소를 만들어 보겠습니다.

/etc/yum.repos.d/elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

/etc/yum.repos.d/kibana.repo

[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

Elasticsearch 및 Kibana 설치

yum install -y kibana elasticsearch

1개의 복사본에 포함되므로 /etc/elasticsearch/elasticsearch.yml 파일에 다음을 추가해야 합니다.

discovery.type: single-node

벡터가 다른 서버에서 Elasticsearch로 데이터를 보낼 수 있도록 network.host를 변경해 보겠습니다.

network.host: 0.0.0.0

Kibana에 연결하려면 /etc/kibana/kibana.yml 파일에서 server.host 매개변수를 변경하십시오.

server.host: "0.0.0.0"

오래되었으며 자동 시작에 elasticsearch 포함

systemctl enable elasticsearch
systemctl start elasticsearch

그리고 키바나

systemctl enable kibana
systemctl start kibana

단일 노드 모드 샤드 1개, 복제본 0개로 Elasticsearch를 구성합니다. 대부분의 경우 많은 수의 서버로 구성된 클러스터가 있으므로 이를 수행할 필요가 없습니다.

향후 색인을 위해 기본 템플릿을 업데이트합니다.

curl -X PUT http://localhost:9200/_template/default -H 'Content-Type: application/json' -d '{"index_patterns": ["*"],"order": -1,"settings": {"number_of_shards": "1","number_of_replicas": "0"}}'

설치 벡터 서버 2의 Logstash 대체품

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm mc httpd-tools screen

Logstash를 대체하기 위해 Vector를 설정해 보겠습니다. /etc/Vector/Vector.toml 파일 편집

# /etc/vector/vector.toml

data_dir = "/var/lib/vector"

[sources.nginx_input_vector]
  # General
  type                          = "vector"
  address                       = "0.0.0.0:9876"
  shutdown_timeout_secs         = 30

[transforms.nginx_parse_json]
  inputs                        = [ "nginx_input_vector" ]
  type                          = "json_parser"

[transforms.nginx_parse_add_defaults]
  inputs                        = [ "nginx_parse_json" ]
  type                          = "lua"
  version                       = "2"

  hooks.process = """
  function (event, emit)

    function split_first(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[1];
    end

    function split_last(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[#result];
    end

    event.log.upstream_addr             = split_first(split_last(event.log.upstream_addr, ', '), ':')
    event.log.upstream_bytes_received   = split_last(event.log.upstream_bytes_received, ', ')
    event.log.upstream_bytes_sent       = split_last(event.log.upstream_bytes_sent, ', ')
    event.log.upstream_connect_time     = split_last(event.log.upstream_connect_time, ', ')
    event.log.upstream_header_time      = split_last(event.log.upstream_header_time, ', ')
    event.log.upstream_response_length  = split_last(event.log.upstream_response_length, ', ')
    event.log.upstream_response_time    = split_last(event.log.upstream_response_time, ', ')
    event.log.upstream_status           = split_last(event.log.upstream_status, ', ')

    if event.log.upstream_addr == "" then
        event.log.upstream_addr = "127.0.0.1"
    end

    if (event.log.upstream_bytes_received == "-" or event.log.upstream_bytes_received == "") then
        event.log.upstream_bytes_received = "0"
    end

    if (event.log.upstream_bytes_sent == "-" or event.log.upstream_bytes_sent == "") then
        event.log.upstream_bytes_sent = "0"
    end

    if event.log.upstream_cache_status == "" then
        event.log.upstream_cache_status = "DISABLED"
    end

    if (event.log.upstream_connect_time == "-" or event.log.upstream_connect_time == "") then
        event.log.upstream_connect_time = "0"
    end

    if (event.log.upstream_header_time == "-" or event.log.upstream_header_time == "") then
        event.log.upstream_header_time = "0"
    end

    if (event.log.upstream_response_length == "-" or event.log.upstream_response_length == "") then
        event.log.upstream_response_length = "0"
    end

    if (event.log.upstream_response_time == "-" or event.log.upstream_response_time == "") then
        event.log.upstream_response_time = "0"
    end

    if (event.log.upstream_status == "-" or event.log.upstream_status == "") then
        event.log.upstream_status = "0"
    end

    emit(event)

  end
  """

[transforms.nginx_parse_remove_fields]
    inputs                              = [ "nginx_parse_add_defaults" ]
    type                                = "remove_fields"
    fields                              = ["data", "file", "host", "source_type"]

[transforms.nginx_parse_coercer]

    type                                = "coercer"
    inputs                              = ["nginx_parse_remove_fields"]

    types.request_length = "int"
    types.request_time = "float"

    types.response_status = "int"
    types.response_body_bytes_sent = "int"

    types.remote_port = "int"

    types.upstream_bytes_received = "int"
    types.upstream_bytes_send = "int"
    types.upstream_connect_time = "float"
    types.upstream_header_time = "float"
    types.upstream_response_length = "int"
    types.upstream_response_time = "float"
    types.upstream_status = "int"

    types.timestamp = "timestamp"

[sinks.nginx_output_clickhouse]
    inputs   = ["nginx_parse_coercer"]
    type     = "clickhouse"

    database = "vector"
    healthcheck = true
    host = "http://172.26.10.109:8123" #  Адрес Clickhouse
    table = "logs"

    encoding.timestamp_format = "unix"

    buffer.type = "disk"
    buffer.max_size = 104900000
    buffer.when_full = "block"

    request.in_flight_limit = 20

[sinks.elasticsearch]
    type = "elasticsearch"
    inputs   = ["nginx_parse_coercer"]
    compression = "none"
    healthcheck = true
    # 172.26.10.116 - сервер где установен elasticsearch
    host = "http://172.26.10.116:9200" 
    index = "vector-%Y-%m-%d"

변환.nginx_parse_add_defaults 섹션을 조정할 수 있습니다.

으로 뱌체슬라프 라킨스키 소규모 CDN에 이러한 구성을 사용하며 upstream_*에는 여러 값이 있을 수 있습니다.

예를 들면 다음과 같습니다

"upstream_addr": "128.66.0.10:443, 128.66.0.11:443, 128.66.0.12:443"
"upstream_bytes_received": "-, -, 123"
"upstream_status": "502, 502, 200"

이것이 귀하의 상황이 아니라면 이 섹션을 단순화할 수 있습니다.

systemd /etc/systemd/system/Vector.service에 대한 서비스 설정을 만들어 보겠습니다.

# /etc/systemd/system/vector.service

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

테이블을 생성한 후 Vector를 실행할 수 있습니다.

systemctl enable vector
systemctl start vector

벡터 로그는 다음과 같이 볼 수 있습니다.

journalctl -f -u vector

로그에 이와 같은 항목이 있어야 합니다.

INFO vector::topology::builder: Healthcheck: Passed.
INFO vector::topology::builder: Healthcheck: Passed.

클라이언트(웹 서버) - 첫 번째 서버

nginx가 있는 서버에서는 clickhouse의 로그 테이블이 필드를 사용하므로 ipv6을 비활성화해야 합니다. upstream_addr IPv4, 네트워크 내부에서 ipv6을 사용하지 않기 때문입니다. ipv6을 끄지 않으면 오류가 발생합니다.

DB::Exception: Invalid IPv4 value.: (while read the value of key upstream_addr)

아마도 독자 여러분은 ipv6 지원을 추가하십시오.

/etc/sysctl.d/98-disable-ipv6.conf 파일을 생성합니다.

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

설정 적용

sysctl --system

nginx를 설치해보자.

nginx 저장소 파일 /etc/yum.repos.d/nginx.repo를 추가했습니다.

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

nginx 패키지 설치

yum install -y nginx

먼저 /etc/nginx/nginx.conf 파일에서 Nginx의 로그 형식을 구성해야 합니다.

user  nginx;
# you must set worker processes based on your CPU cores, nginx does not benefit from setting more than that
worker_processes auto; #some last versions calculate it automatically

# number of file descriptors used for nginx
# the limit for the maximum FDs on the server is usually set by the OS.
# if you don't set FD's then OS settings will be used which is by default 2000
worker_rlimit_nofile 100000;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

# provides the configuration file context in which the directives that affect connection processing are specified.
events {
    # determines how much clients will be served per worker
    # max clients = worker_connections * worker_processes
    # max clients is also limited by the number of socket connections available on the system (~64k)
    worker_connections 4000;

    # optimized to serve many clients with each thread, essential for linux -- for testing environment
    use epoll;

    # accept as many connections as possible, may flood worker connections if set too low -- for testing environment
    multi_accept on;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

log_format vector escape=json
    '{'
        '"node_name":"nginx-vector",'
        '"timestamp":"$time_iso8601",'
        '"server_name":"$server_name",'
        '"request_full": "$request",'
        '"request_user_agent":"$http_user_agent",'
        '"request_http_host":"$http_host",'
        '"request_uri":"$request_uri",'
        '"request_scheme": "$scheme",'
        '"request_method":"$request_method",'
        '"request_length":"$request_length",'
        '"request_time": "$request_time",'
        '"request_referrer":"$http_referer",'
        '"response_status": "$status",'
        '"response_body_bytes_sent":"$body_bytes_sent",'
        '"response_content_type":"$sent_http_content_type",'
        '"remote_addr": "$remote_addr",'
        '"remote_port": "$remote_port",'
        '"remote_user": "$remote_user",'
        '"upstream_addr": "$upstream_addr",'
        '"upstream_bytes_received": "$upstream_bytes_received",'
        '"upstream_bytes_sent": "$upstream_bytes_sent",'
        '"upstream_cache_status":"$upstream_cache_status",'
        '"upstream_connect_time":"$upstream_connect_time",'
        '"upstream_header_time":"$upstream_header_time",'
        '"upstream_response_length":"$upstream_response_length",'
        '"upstream_response_time":"$upstream_response_time",'
        '"upstream_status": "$upstream_status",'
        '"upstream_content_type":"$upstream_http_content_type"'
    '}';

    access_log  /var/log/nginx/access.log  main;
    access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

현재 구성을 중단하지 않기 위해 Nginx에서는 여러 access_log 지시문을 가질 수 있습니다.

access_log  /var/log/nginx/access.log  main;            # Стандартный лог
access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

새 로그에 대해 logrotate 규칙을 추가하는 것을 잊지 마세요(로그 파일이 .log로 끝나지 않는 경우).

/etc/nginx/conf.d/에서 default.conf를 제거합니다.

rm -f /etc/nginx/conf.d/default.conf

가상 호스트 추가 /etc/nginx/conf.d/vhost1.conf

server {
    listen 80;
    server_name vhost1;
    location / {
        proxy_pass http://172.26.10.106:8080;
    }
}

가상 호스트 추가 /etc/nginx/conf.d/vhost2.conf

server {
    listen 80;
    server_name vhost2;
    location / {
        proxy_pass http://172.26.10.108:8080;
    }
}

가상 호스트 추가 /etc/nginx/conf.d/vhost3.conf

server {
    listen 80;
    server_name vhost3;
    location / {
        proxy_pass http://172.26.10.109:8080;
    }
}

가상 호스트 추가 /etc/nginx/conf.d/vhost4.conf

server {
    listen 80;
    server_name vhost4;
    location / {
        proxy_pass http://172.26.10.116:8080;
    }
}

모든 서버에 가상 호스트(nginx가 설치된 서버의 172.26.10.106 IP)를 /etc/hosts 파일에 추가합니다.

172.26.10.106 vhost1
172.26.10.106 vhost2
172.26.10.106 vhost3
172.26.10.106 vhost4

그리고 모든 것이 준비되었다면

nginx -t 
systemctl restart nginx

이제 직접 설치해보자 벡터

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm

systemd /etc/systemd/system/Vector.service에 대한 설정 파일을 만들어 보겠습니다.

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

그리고 /etc/Vector/Vector.toml 구성에서 Filebeat 대체를 구성합니다. IP 주소 172.26.10.108은 로그 서버(Vector-Server)의 IP 주소입니다.

data_dir = "/var/lib/vector"

[sources.nginx_file]
  type                          = "file"
  include                       = [ "/var/log/nginx/access.json.log" ]
  start_at_beginning            = false
  fingerprinting.strategy       = "device_and_inode"

[sinks.nginx_output_vector]
  type                          = "vector"
  inputs                        = [ "nginx_file" ]

  address                       = "172.26.10.108:9876"

벡터 사용자가 로그 파일을 읽을 수 있도록 필수 그룹에 벡터 사용자를 추가하는 것을 잊지 마십시오. 예를 들어 centos의 nginx는 adm 그룹 권한으로 로그를 생성합니다.

usermod -a -G adm vector

벡터 서비스를 시작해보자

systemctl enable vector
systemctl start vector

벡터 로그는 다음과 같이 볼 수 있습니다.

journalctl -f -u vector

로그에 이와 같은 항목이 있어야 합니다.

INFO vector::topology::builder: Healthcheck: Passed.

스트레스 테스트

Apache 벤치마크를 이용하여 테스트를 진행합니다.

httpd-tools 패키지가 모든 서버에 설치되었습니다.

화면에 표시된 4개의 다른 서버에서 Apache 벤치마크를 사용하여 테스트를 시작합니다. 먼저 스크린 터미널 멀티플렉서를 시작한 다음 Apache 벤치마크를 사용하여 테스트를 시작합니다. 화면 작업 방법은 다음에서 찾을 수 있습니다. 기사.

1차 서버부터

while true; do ab -H "User-Agent: 1server" -c 100 -n 10 -t 10 http://vhost1/; sleep 1; done

2차 서버부터

while true; do ab -H "User-Agent: 2server" -c 100 -n 10 -t 10 http://vhost2/; sleep 1; done

3차 서버부터

while true; do ab -H "User-Agent: 3server" -c 100 -n 10 -t 10 http://vhost3/; sleep 1; done

4차 서버부터

while true; do ab -H "User-Agent: 4server" -c 100 -n 10 -t 10 http://vhost4/; sleep 1; done

클릭하우스에서 데이터를 확인해보자

클릭하우스 바로가기

clickhouse-client -h 172.26.10.109 -m

SQL 쿼리 만들기

SELECT * FROM vector.logs;

┌─node_name────┬───────────timestamp─┬─server_name─┬─user_id─┬─request_full───┬─request_user_agent─┬─request_http_host─┬─request_uri─┬─request_scheme─┬─request_method─┬─request_length─┬─request_time─┬─request_referrer─┬─response_status─┬─response_body_bytes_sent─┬─response_content_type─┬───remote_addr─┬─remote_port─┬─remote_user─┬─upstream_addr─┬─upstream_port─┬─upstream_bytes_received─┬─upstream_bytes_sent─┬─upstream_cache_status─┬─upstream_connect_time─┬─upstream_header_time─┬─upstream_response_length─┬─upstream_response_time─┬─upstream_status─┬─upstream_content_type─┐
│ nginx-vector │ 2020-08-07 04:32:42 │ vhost1      │         │ GET / HTTP/1.0 │ 1server            │ vhost1            │ /           │ http           │ GET            │             66 │        0.028 │                  │             404 │                       27 │                       │ 172.26.10.106 │       45886 │             │ 172.26.10.106 │             0 │                     109 │                  97 │ DISABLED              │                     0 │                0.025 │                       27 │                  0.029 │             404 │                       │
└──────────────┴─────────────────────┴─────────────┴─────────┴────────────────┴────────────────────┴───────────────────┴─────────────┴────────────────┴────────────────┴────────────────┴──────────────┴──────────────────┴─────────────────┴──────────────────────────┴───────────────────────┴───────────────┴─────────────┴─────────────┴───────────────┴───────────────┴─────────────────────────┴─────────────────────┴───────────────────────┴───────────────────────┴──────────────────────┴──────────────────────────┴────────────────────────┴─────────────────┴───────────────────────

클릭하우스 테이블 크기 알아보기

select concat(database, '.', table)                         as table,
       formatReadableSize(sum(bytes))                       as size,
       sum(rows)                                            as rows,
       max(modification_time)                               as latest_modification,
       sum(bytes)                                           as bytes_size,
       any(engine)                                          as engine,
       formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size
from system.parts
where active
group by database, table
order by bytes_size desc;

클릭하우스에서 로그가 얼마나 차지하는지 알아봅시다.

로그 테이블 크기는 857.19MB입니다.

Elasticsearch의 인덱스에 있는 동일한 데이터의 크기는 4,5GB입니다.

매개변수에 벡터에 데이터를 지정하지 않으면 Clickhouse는 Elasticsearch보다 4500/857.19 = 5.24배 적은 양을 차지합니다.

벡터에서는 기본적으로 압축 필드가 사용됩니다.

텔레그램 채팅 클릭하우스
텔레그램 채팅 탄성 검색
텔레그램 채팅 "시스템 수집 및 분석 메시지"

출처 : habr.com

Vector를 사용하여 Nginx json 로그를 Clickhouse 및 Elasticsearch로 보내기