1.1억 택시 타기: 108코어 ClickHouse 클러스터

이 기사의 번역은 코스의 학생들을 위해 특별히 준비되었습니다. 데이터 엔지니어.

클릭 하우스 오픈 소스 컬럼형 데이터베이스입니다. 하루에 수백억 개의 새로운 레코드가 입력되는 경우에도 수백 명의 분석가가 세부 데이터를 빠르게 쿼리할 수 있는 훌륭한 환경입니다. 이러한 시스템을 지원하기 위한 인프라 비용은 연간 최대 100달러에 달할 수 있으며 사용량에 따라 그 절반이 될 수도 있습니다. 한때 Yandex Metrics의 ClickHouse 설치에는 10조 개의 기록이 포함되었습니다. Yandex 외에도 ClickHouse는 Bloomberg 및 Cloudflare에서도 성공을 거두었습니다.

XNUMX년 전에 나는 썼다. 비교 분석 하나의 머신을 사용하여 데이터베이스를 구축했으며, 가장 빠른 내가 본 적이 있는 무료 데이터베이스 소프트웨어. 그 이후로 개발자들은 Kafka, HDFS 및 ZStandard 압축 지원을 포함한 기능 추가를 중단하지 않았습니다. 작년에 계단식 압축 방법에 대한 지원을 추가했으며 델타에서 델타 코딩이 가능해졌습니다. 시계열 데이터를 압축할 때 게이지 값은 델타 인코딩을 사용하면 잘 압축할 수 있지만, 카운터의 경우에는 델타별 인코딩을 사용하는 것이 더 좋습니다. 좋은 압축이 ClickHouse 성능의 핵심이 되었습니다.

ClickHouse는 타사 라이브러리를 제외하고 170만 줄의 C++ 코드로 구성되어 있으며 가장 작은 분산 데이터베이스 코드베이스 중 하나입니다. 이에 비해 SQLite는 배포를 지원하지 않으며 235줄의 C 코드로 구성되어 있으며, 이 글을 쓰는 시점에서 207명의 엔지니어가 ClickHouse에 기여했으며 최근 커밋의 강도가 증가하고 있습니다.

클릭하우스는 2017년 XNUMX월부터 변경 로그 개발 상황을 추적하는 쉬운 방법입니다. 또한 모놀리식 문서 파일을 마크다운 기반 파일 계층 구조로 분할했습니다. 문제와 기능은 GitHub를 통해 추적되며 일반적으로 지난 몇 년 동안 소프트웨어에 대한 접근성이 훨씬 더 높아졌습니다.

이 기사에서는 2코어 프로세서와 NVMe 스토리지를 사용하는 AWS EC36에서 ClickHouse 클러스터의 성능을 살펴보겠습니다.

업데이트: 이 게시물을 처음 게시한 지 일주일 후, 개선된 구성으로 테스트를 다시 실행하여 훨씬 더 나은 결과를 얻었습니다. 이 게시물은 이러한 변경 사항을 반영하여 업데이트되었습니다.

AWS EC2 클러스터 시작

이 게시물에서는 5개의 c9d.2xlarge EC36 인스턴스를 사용하겠습니다. 각각에는 72개의 가상 CPU, 900GB RAM, 10GB NVMe SSD 스토리지가 포함되어 있으며 1,962기가비트 네트워크를 지원합니다. 온디맨드 실행 시 eu-west-1 리전에서 시간당 $16.04의 비용이 듭니다. 운영 체제로 Ubuntu Server XNUMX LTS를 사용하겠습니다.

각 시스템이 제한 없이 서로 통신할 수 있도록 방화벽이 구성되어 있으며 클러스터의 SSH에서는 내 IPv4 주소만 화이트리스트에 추가됩니다.

작동 준비 상태의 NVMe 드라이브

ClickHouse가 작동하려면 각 서버의 NVMe 드라이브에 EXT4 형식의 파일 시스템을 생성하겠습니다.

$ sudo mkfs -t ext4 /dev/nvme1n1
$ sudo mkdir /ch
$ sudo mount /dev/nvme1n1 /ch

모든 것이 구성되면 각 시스템에서 사용 가능한 마운트 지점과 783GB의 공간을 볼 수 있습니다.

$ lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0         7:0    0  87.9M  1 loop /snap/core/5742
loop1         7:1    0  16.5M  1 loop /snap/amazon-ssm-agent/784
nvme0n1     259:1    0     8G  0 disk
└─nvme0n1p1 259:2    0     8G  0 part /
nvme1n1     259:0    0 838.2G  0 disk /ch

$ df -h

Filesystem      Size  Used Avail Use% Mounted on
udev             35G     0   35G   0% /dev
tmpfs           6.9G  8.8M  6.9G   1% /run
/dev/nvme0n1p1  7.7G  967M  6.8G  13% /
tmpfs            35G     0   35G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            35G     0   35G   0% /sys/fs/cgroup
/dev/loop0       88M   88M     0 100% /snap/core/5742
/dev/loop1       17M   17M     0 100% /snap/amazon-ssm-agent/784
tmpfs           6.9G     0  6.9G   0% /run/user/1000
/dev/nvme1n1    825G   73M  783G   1% /ch

이 테스트에서 사용할 데이터 세트는 1.1년 동안 뉴욕시에서 XNUMX억 번의 택시 탑승을 통해 생성한 데이터 덤프입니다. 블로그에서 Redshift에서 XNUMX억 건의 택시 여행 이 데이터 세트를 어떻게 수집했는지 자세히 설명합니다. 이는 AWS S3에 저장되므로 액세스 키와 비밀 키를 사용하여 AWS CLI를 구성하겠습니다.

$ sudo apt update
$ sudo apt install awscli
$ aws configure

파일이 기본 설정보다 빠르게 다운로드되도록 클라이언트의 동시 요청 제한을 100으로 설정하겠습니다.

$ aws configure set 
    default.s3.max_concurrent_requests 
    100

AWS S3에서 택시 탑승 데이터 세트를 다운로드하여 첫 번째 서버의 NVMe 드라이브에 저장하겠습니다. 이 데이터 세트는 GZIP 압축 CSV 형식으로 최대 104GB입니다.

$ sudo mkdir -p /ch/csv
$ sudo chown -R ubuntu /ch/csv
$ aws s3 sync s3://<bucket>/csv /ch/csv

클릭하우스 설치

세 시스템 모두에서 ClickHouse를 분산 설치하는 데 필요한 Apache ZooKeeper를 실행하는 데 필요하므로 Java 8용 OpenJDK 배포판을 설치하겠습니다.

$ sudo apt update
$ sudo apt install 
    openjdk-8-jre 
    openjdk-8-jdk-headless

그런 다음 환경 변수를 설정했습니다. JAVA_HOME.

$ sudo vi /etc/profile
 
export JAVA_HOME=/usr
 
$ source /etc/profile

그런 다음 Ubuntu의 패키지 관리 시스템을 사용하여 세 시스템 모두에 ClickHouse 18.16.1, glans 및 ZooKeeper를 설치하겠습니다.

$ sudo apt-key adv 
    --keyserver hkp://keyserver.ubuntu.com:80 
    --recv E0C56BD4
$ echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" | 
    sudo tee /etc/apt/sources.list.d/clickhouse.list
$ sudo apt-get update

$ sudo apt install 
    clickhouse-client 
    clickhouse-server 
    glances 
    zookeeperd

ClickHouse용 디렉터리를 만들고 세 서버 모두에서 일부 구성 재정의도 수행하겠습니다.

$ sudo mkdir /ch/clickhouse
$ sudo chown -R clickhouse /ch/clickhouse

$ sudo mkdir -p /etc/clickhouse-server/conf.d
$ sudo vi /etc/clickhouse-server/conf.d/taxis.conf

이것이 제가 사용할 구성 재정의입니다.

<?xml version="1.0"?>
<yandex>
    <listen_host>0.0.0.0</listen_host>
    <path>/ch/clickhouse/</path>

 <remote_servers>
        <perftest_3shards>
            <shard>
                <replica>
                    <host>172.30.2.192</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.162</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.36</host>
                    <port>9000</port>
                 </replica>
            </shard>
        </perftest_3shards>
    </remote_servers>

  <zookeeper-servers>
        <node>
            <host>172.30.2.192</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.162</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.36</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

 <macros>
        <shard>03</shard>
        <replica>01</replica>
    </macros>
</yandex>

그런 다음 세 시스템 모두에서 ZooKeeper와 ClickHouse 서버를 실행하겠습니다.

$ sudo /etc/init.d/zookeeper start
$ sudo service clickhouse-server start

ClickHouse에 데이터 업로드

첫 번째 서버에서는 여행 테이블(trips), 이는 로그 엔진을 사용하여 택시 여행 데이터 세트를 저장합니다.

$ clickhouse-client --host=0.0.0.0
 
CREATE TABLE trips (
    trip_id                 UInt32,
    vendor_id               String,

    pickup_datetime         DateTime,
    dropoff_datetime        Nullable(DateTime),

    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = Log;

그런 다음 각 CSV 파일을 추출하여 여행 테이블(trips). 다음 작업은 55분 10초 만에 완료되었습니다. 이 작업 후 데이터 디렉터리의 크기는 134GB였습니다.

$ time (for FILENAME in /ch/csv/trips_x*.csv.gz; do
            echo $FILENAME
            gunzip -c $FILENAME | 
                clickhouse-client 
                    --host=0.0.0.0 
                    --query="INSERT INTO trips FORMAT CSV"
        done)

가져오기 속도는 초당 155MB의 비압축 CSV 콘텐츠였습니다. 나는 이것이 GZIP 압축 해제의 병목 현상 때문이라고 생각합니다. xargs를 사용하여 모든 gzip 파일의 압축을 병렬로 풀고 압축이 풀린 데이터를 로드하는 것이 더 빠를 수도 있습니다. 다음은 CSV 가져오기 과정에서 보고된 내용에 대한 설명입니다.

$ sudo glances

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 0:11:42
CPU       8.2%  nice:     0.0%                           LOAD    36-core                           MEM      9.8%  active:    5.20G                           SWAP      0.0%
user:     6.0%  irq:      0.0%                           1 min:    2.24                            total:  68.7G  inactive:  61.0G                           total:       0
system:   0.9%  iowait:   1.3%                           5 min:    1.83                            used:   6.71G  buffers:   66.4M                           used:        0
idle:    91.8%  steal:    0.0%                           15 min:   1.01                            free:   62.0G  cached:    61.6G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 370 (507 thr), 2 run, 368 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5        136b    2Kb
lo         343Mb  343Mb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           100.4   1.5 1.65G 1.06G  9909 ubuntu       0 S  1:01.33     0     0 clickhouse-client --host=0.0.0.0 --query=INSERT INTO trips FORMAT CSV
DISK I/O     R/s    W/s     85.1   0.0 4.65M  708K  9908 ubuntu       0 R  0:50.60   32M     0 gzip -d -c /ch/csv/trips_xac.csv.gz
loop0          0      0     54.9   5.1 8.14G 3.49G  8091 clickhous    0 S  1:44.23     0   45M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
loop1          0      0      4.5   0.0     0     0   319 root         0 S  0:07.50    1K     0 kworker/u72:2
nvme0n1        0     3K      2.3   0.0 91.1M 28.9M  9912 root         0 R  0:01.56     0     0 /usr/bin/python3 /usr/bin/glances
nvme0n1p1      0     3K      0.3   0.0     0     0   960 root       -20 S  0:00.10     0     0 kworker/28:1H
nvme1n1    32.1M   495M      0.3   0.0     0     0  1058 root       -20 S  0:00.90     0     0 kworker/23:1H

계속하기 전에 원본 CSV 파일을 삭제하여 NVMe 드라이브의 공간을 확보하겠습니다.

$ sudo rm -fr /ch/csv

열 형식으로 변환

Log ClickHouse 엔진은 행 기반 형식으로 데이터를 저장합니다. 데이터를 더 빠르게 쿼리하기 위해 MergeTree 엔진을 사용하여 데이터를 열 형식으로 변환합니다.

$ clickhouse-client --host=0.0.0.0

다음 작업은 34분 50초 만에 완료되었습니다. 이 작업 후 데이터 디렉터리의 크기는 237GB였습니다.

CREATE TABLE trips_mergetree
    ENGINE = MergeTree(pickup_date, pickup_datetime, 8192)
    AS SELECT
        trip_id,
        CAST(vendor_id AS Enum8('1' = 1,
                                '2' = 2,
                                'CMT' = 3,
                                'VTS' = 4,
                                'DDS' = 5,
                                'B02512' = 10,
                                'B02598' = 11,
                                'B02617' = 12,
                                'B02682' = 13,
                                'B02764' = 14)) AS vendor_id,
        toDate(pickup_datetime)                 AS pickup_date,
        ifNull(pickup_datetime, toDateTime(0))  AS pickup_datetime,
        toDate(dropoff_datetime)                AS dropoff_date,
        ifNull(dropoff_datetime, toDateTime(0)) AS dropoff_datetime,
        assumeNotNull(store_and_fwd_flag)       AS store_and_fwd_flag,
        assumeNotNull(rate_code_id)             AS rate_code_id,

        assumeNotNull(pickup_longitude)         AS pickup_longitude,
        assumeNotNull(pickup_latitude)          AS pickup_latitude,
        assumeNotNull(dropoff_longitude)        AS dropoff_longitude,
        assumeNotNull(dropoff_latitude)         AS dropoff_latitude,
        assumeNotNull(passenger_count)          AS passenger_count,
        assumeNotNull(trip_distance)            AS trip_distance,
        assumeNotNull(fare_amount)              AS fare_amount,
        assumeNotNull(extra)                    AS extra,
        assumeNotNull(mta_tax)                  AS mta_tax,
        assumeNotNull(tip_amount)               AS tip_amount,
        assumeNotNull(tolls_amount)             AS tolls_amount,
        assumeNotNull(ehail_fee)                AS ehail_fee,
        assumeNotNull(improvement_surcharge)    AS improvement_surcharge,
        assumeNotNull(total_amount)             AS total_amount,
        assumeNotNull(payment_type)             AS payment_type_,
        assumeNotNull(trip_type)                AS trip_type,

        pickup AS pickup,
        pickup AS dropoff,

        CAST(assumeNotNull(cab_type)
            AS Enum8('yellow' = 1, 'green' = 2))
                                AS cab_type,

        precipitation           AS precipitation,
        snow_depth              AS snow_depth,
        snowfall                AS snowfall,
        max_temperature         AS max_temperature,
        min_temperature         AS min_temperature,
        average_wind_speed      AS average_wind_speed,

        pickup_nyct2010_gid     AS pickup_nyct2010_gid,
        pickup_ctlabel          AS pickup_ctlabel,
        pickup_borocode         AS pickup_borocode,
        pickup_boroname         AS pickup_boroname,
        pickup_ct2010           AS pickup_ct2010,
        pickup_boroct2010       AS pickup_boroct2010,
        pickup_cdeligibil       AS pickup_cdeligibil,
        pickup_ntacode          AS pickup_ntacode,
        pickup_ntaname          AS pickup_ntaname,
        pickup_puma             AS pickup_puma,

        dropoff_nyct2010_gid    AS dropoff_nyct2010_gid,
        dropoff_ctlabel         AS dropoff_ctlabel,
        dropoff_borocode        AS dropoff_borocode,
        dropoff_boroname        AS dropoff_boroname,
        dropoff_ct2010          AS dropoff_ct2010,
        dropoff_boroct2010      AS dropoff_boroct2010,
        dropoff_cdeligibil      AS dropoff_cdeligibil,
        dropoff_ntacode         AS dropoff_ntacode,
        dropoff_ntaname         AS dropoff_ntaname,
        dropoff_puma            AS dropoff_puma
    FROM trips;

작업 중 Glance 출력은 다음과 같습니다.

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 1:06:09
CPU      10.3%  nice:     0.0%                           LOAD    36-core                           MEM     16.1%  active:    13.3G                           SWAP      0.0%
user:     7.9%  irq:      0.0%                           1 min:    1.87                            total:  68.7G  inactive:  52.8G                           total:       0
system:   1.6%  iowait:   0.8%                           5 min:    1.76                            used:   11.1G  buffers:   71.8M                           used:        0
idle:    89.7%  steal:    0.0%                           15 min:   1.95                            free:   57.6G  cached:    57.2G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 367 (523 thr), 1 run, 366 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5         1Kb    8Kb
lo           2Kb    2Kb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           241.9  12.8 20.7G 8.78G  8091 clickhous    0 S 30:36.73   34M  125M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
DISK I/O     R/s    W/s      2.6   0.0 90.4M 28.3M  9948 root         0 R  1:18.53     0     0 /usr/bin/python3 /usr/bin/glances
loop0          0      0      1.3   0.0     0     0   203 root         0 S  0:09.82     0     0 kswapd0
loop1          0      0      0.3   0.1  315M 61.3M 15701 ubuntu       0 S  0:00.40     0     0 clickhouse-client --host=0.0.0.0
nvme0n1        0     3K      0.3   0.0     0     0     7 root         0 S  0:00.83     0     0 rcu_sched
nvme0n1p1      0     3K      0.0   0.0     0     0   142 root         0 S  0:00.22     0     0 migration/27
nvme1n1    25.8M   330M      0.0   0.0 59.7M 1.79M  2764 ubuntu       0 S  0:00.00     0     0 (sd-pam)

마지막 테스트에서는 여러 열이 변환되어 다시 계산되었습니다. 이러한 기능 중 일부가 이 데이터 세트에서 더 이상 예상대로 작동하지 않는 것으로 나타났습니다. 이 문제를 해결하기 위해 부적합한 기능을 제거하고 더 세분화된 유형으로 변환하지 않고 데이터를 로드했습니다.

클러스터 전체에 데이터 배포

세 개의 클러스터 노드 모두에 데이터를 배포하겠습니다. 시작하려면 아래에서 세 머신 모두에 테이블을 생성하겠습니다.

$ clickhouse-client --host=0.0.0.0

CREATE TABLE trips_mergetree_third (
    trip_id                 UInt32,
    vendor_id               String,
    pickup_date             Date,
    pickup_datetime         DateTime,
    dropoff_date            Date,
    dropoff_datetime        Nullable(DateTime),
    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192);

그런 다음 첫 번째 서버가 클러스터의 세 노드를 모두 볼 수 있는지 확인하겠습니다.

SELECT *
FROM system.clusters
WHERE cluster = 'perftest_3shards'
FORMAT Vertical;

Row 1:
──────
cluster:          perftest_3shards
shard_num:        1
shard_weight:     1
replica_num:      1
host_name:        172.30.2.192
host_address:     172.30.2.192
port:             9000
is_local:         1
user:             default
default_database:

Row 2:
──────
cluster:          perftest_3shards
shard_num:        2
shard_weight:     1
replica_num:      1
host_name:        172.30.2.162
host_address:     172.30.2.162
port:             9000
is_local:         0
user:             default
default_database:

Row 3:
──────
cluster:          perftest_3shards
shard_num:        3
shard_weight:     1
replica_num:      1
host_name:        172.30.2.36
host_address:     172.30.2.36
port:             9000
is_local:         0
user:             default
default_database:

그런 다음 스키마를 기반으로 하는 첫 번째 서버에 새 테이블을 정의하겠습니다. trips_mergetree_third 그리고 분산 엔진을 사용합니다.

CREATE TABLE trips_mergetree_x3
    AS trips_mergetree_third
    ENGINE = Distributed(perftest_3shards,
                         default,
                         trips_mergetree_third,
                         rand());

그런 다음 MergeTree 기반 테이블의 데이터를 세 서버 모두에 복사하겠습니다. 다음 작업은 34분 44초 만에 완료되었습니다.

INSERT INTO trips_mergetree_x3
    SELECT * FROM trips_mergetree;

위 작업 후 ClickHouse에 최대 저장 레벨 표시에서 벗어나도록 15분의 시간을 주었습니다. 데이터 디렉터리는 세 서버 각각에서 각각 264GB, 34GB, 33GB가 되었습니다.

ClickHouse 클러스터 성능 평가

다음에 본 것은 테이블에서 각 쿼리를 여러 번 실행한 것 중 가장 빠른 시간이었습니다. trips_mergetree_x3.

$ clickhouse-client --host=0.0.0.0

다음은 2.449초 만에 완료되었습니다.

SELECT cab_type, count(*)
FROM trips_mergetree_x3
GROUP BY cab_type;

다음은 0.691초 만에 완료되었습니다.

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree_x3
GROUP BY passenger_count;

다음은 0초 만에 완료되었습니다.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year;

다음은 0.983초 만에 완료되었습니다.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

비교를 위해 첫 번째 서버에만 있는 MergeTree 기반 테이블에서 동일한 쿼리를 실행했습니다.

ClickHouse 노드 하나의 성능 평가

다음에 본 것은 테이블에서 각 쿼리를 여러 번 실행한 것 중 가장 빠른 시간이었습니다. trips_mergetree_x3.

다음은 0.241초 만에 완료되었습니다.

SELECT cab_type, count(*)
FROM trips_mergetree
GROUP BY cab_type;

다음은 0.826초 만에 완료되었습니다.

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree
GROUP BY passenger_count;

다음은 1.209초 만에 완료되었습니다.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year;

다음은 1.781초 만에 완료되었습니다.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

결과에 대한 고찰

테스트에서 무료 CPU 기반 데이터베이스가 GPU 기반 데이터베이스보다 성능이 뛰어난 것은 이번이 처음입니다. GPU 기반 데이터베이스는 그 이후로 두 번의 개정을 거쳤지만 그럼에도 불구하고 ClickHouse가 단일 노드에서 제공한 성능은 매우 인상적입니다.

동시에 분산 엔진에서 쿼리 1을 실행할 때 오버헤드 비용은 훨씬 더 높습니다. 클러스터에 더 많은 노드를 추가하면 쿼리 시간이 줄어들면 좋을 것이기 때문에 이 게시물에 대한 조사에서 뭔가를 놓쳤기를 바랍니다. 그런데 다른 쿼리를 실행할 때 성능이 2배 정도 향상되었다는 점은 정말 대단합니다.

ClickHouse가 스토리지와 컴퓨팅을 분리하여 독립적으로 확장할 수 있도록 발전하는 것을 보면 좋을 것입니다. 작년에 추가된 HDFS 지원은 이를 향한 한 걸음이 될 수 있습니다. 컴퓨팅 측면에서 클러스터에 더 많은 노드를 추가하여 단일 쿼리를 가속화할 수 있다면 이 소프트웨어의 미래는 매우 밝습니다.

시간을 내어 이 게시물을 읽어주셔서 감사합니다. 저는 북미와 유럽의 고객에게 컨설팅, 아키텍처 및 실무 개발 서비스를 제공합니다. 내 제안이 귀하의 비즈니스에 어떻게 도움이 될 수 있는지 논의하고 싶으시면 다음 주소로 저에게 연락해 주세요. 링크드인.

출처 : habr.com