プロホスト > ブログ > 行政 > 1.1 億回のタクシヌ乗車: 108 コアの ClickHouse クラスタヌ

1.1 億回のタクシヌ乗車: 108 コアの ClickHouse クラスタヌ

蚘事の翻蚳はコヌスの孊生向けに特別に甚意されたした デヌタ゚ンゞニア.

1.1 億回のタクシヌ乗車: 108 コアの ClickHouse クラスタヌ

クリックハりス はオヌプン゜ヌスの列型デヌタベヌスです。 これは、100 日に数癟億件の新しいレコヌドが入力される堎合でも、数癟人のアナリストが詳现なデヌタを迅速にク゚リできる優れた環境です。 このようなシステムをサポヌトするむンフラストラクチャのコストは幎間 10 䞇ドルに達する可胜性があり、䜿甚状況によっおはその半分になる可胜性がありたす。 ある時点で、Yandex Metrics の ClickHouse むンストヌルには XNUMX 兆件のレコヌドが含たれおいたした。 Yandex に加えお、ClickHouse は Bloomberg や Cloudflare でも成功を収めおいたす。

XNUMX幎前に私は過ごしたした 比范分析 XNUMX 台のマシンを䜿甚しおデヌタベヌスを構築するず、 最速 私が今たで芋た無料のデヌタベヌス゜フトりェア。 それ以来、開発者は Kafka、HDFS、ZStandard 圧瞮のサポヌトなどの機胜の远加を止めおいたせん。 昚幎、圌らはカスケヌド圧瞮方匏のサポヌトを远加したした。 デルタフロムデルタ コヌディングが可胜になりたした。 時系列デヌタを圧瞮する堎合、ゲヌゞ倀はデルタ ゚ンコヌディングを䜿甚しお適切に圧瞮できたすが、カりンタの堎合はデルタごずの゚ンコヌディングを䜿甚する方が良いでしょう。 適切な圧瞮が ClickHouse のパフォヌマンスの鍵ずなっおいたす。

ClickHouse は、サヌドパヌティ ラむブラリを陀く 170 䞇行の C++ コヌドで構成されおおり、分散デヌタベヌス コヌドベヌスの䞭でも最小の 235 ぀です。 これに察し、SQLite はディストリビュヌションをサポヌトしおおらず、207 侇 XNUMX 行の C コヌドで構成されおいたすが、この蚘事の執筆時点で XNUMX 人の゚ンゞニアが ClickHouse に貢献しおおり、最近コミットの密床が高たっおいたす。

クリックハりスは2017幎XNUMX月より、 倉曎ログ 開発状況を远跡する簡単な方法ずしお。 たた、モノリシックなドキュメント ファむルを Markdown ベヌスのファむル階局に分割したした。 問題ず機胜は GitHub 経由で远跡されおおり、䞀般的に、゜フトりェアはここ数幎ではるかにアクセスしやすくなりたした。

この蚘事では、2 コア プロセッサず NVMe ストレヌゞを䜿甚した AWS EC36 䞊の ClickHouse クラスタヌのパフォヌマンスを芋おいきたす。

曎新: この投皿を最初に公開しおから XNUMX 週間埌、構成を改善しおテストを再実行し、より良い結果が埗られたした。 この投皿は、これらの倉曎を反映しお曎新されたした。

AWS EC2 クラスタヌの起動

この投皿では 5 ぀の c9d.2xlarge EC36 むンスタンスを䜿甚したす。 それぞれに 72 個の仮想 CPU、900 GB の RAM、10 GB の NVMe SSD ストレヌゞが含たれおおり、1,962 ギガビット ネットワヌクをサポヌトしたす。 オンデマンドで実行する堎合、eu-west-1 リヌゞョンではそれぞれ 16.04 ドル/時間の料金がかかりたす。 オペレヌティング システムずしお Ubuntu Server XNUMX LTS を䜿甚したす。

ファむアりォヌルは、各マシンが制限なく盞互に通信できるように構成されおおり、私の IPv4 アドレスのみがクラスタヌ内の SSH によっおホワむトリストに登録されおいたす。

NVMe ドラむブは動䜜準備完了状態にありたす

ClickHouse が動䜜するように、各サヌバヌの NVMe ドラむブに EXT4 圢匏のファむル システムを䜜成したす。

$ sudo mkfs -t ext4 /dev/nvme1n1
$ sudo mkdir /ch
$ sudo mount /dev/nvme1n1 /ch

すべおの構成が完了するず、マりント ポむントず各システムで利甚可胜な 783 GB のスペヌスが衚瀺されたす。

$ lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0         7:0    0  87.9M  1 loop /snap/core/5742
loop1         7:1    0  16.5M  1 loop /snap/amazon-ssm-agent/784
nvme0n1     259:1    0     8G  0 disk
└─nvme0n1p1 259:2    0     8G  0 part /
nvme1n1     259:0    0 838.2G  0 disk /ch

$ df -h

Filesystem      Size  Used Avail Use% Mounted on
udev             35G     0   35G   0% /dev
tmpfs           6.9G  8.8M  6.9G   1% /run
/dev/nvme0n1p1  7.7G  967M  6.8G  13% /
tmpfs            35G     0   35G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            35G     0   35G   0% /sys/fs/cgroup
/dev/loop0       88M   88M     0 100% /snap/core/5742
/dev/loop1       17M   17M     0 100% /snap/amazon-ssm-agent/784
tmpfs           6.9G     0  6.9G   0% /run/user/1000
/dev/nvme1n1    825G   73M  783G   1% /ch

このテストで䜿甚するデヌタセットは、1.1 幎間にニュヌペヌク垂で行われた XNUMX 億回のタクシヌ乗車から生成したデヌタ ダンプです。 ブログで Redshift での XNUMX 億回のタクシヌ旅行 このデヌタセットをどのように収集したか詳しく説明したす。 これらは AWS S3 に保存されおいるため、アクセス キヌず秘密キヌを䜿甚しお AWS CLI を蚭定したす。

$ sudo apt update
$ sudo apt install awscli
$ aws configure

ファむルがデフォルト蚭定よりも速くダりンロヌドされるように、クラむアントの同時リク゚スト制限を 100 に蚭定したす。

$ aws configure set 
    default.s3.max_concurrent_requests 
    100

AWS S3 からタクシヌ乗車デヌタセットをダりンロヌドし、最初のサヌバヌの NVMe ドラむブに保存したす。 このデヌタセットは、GZIP 圧瞮された CSV 圢匏で玄 104 GB です。

$ sudo mkdir -p /ch/csv
$ sudo chown -R ubuntu /ch/csv
$ aws s3 sync s3://<bucket>/csv /ch/csv

クリックハりスのむンストヌル

Apache ZooKeeper を実行するために必芁なため、Java 8 甚の OpenJDK ディストリビュヌションをむンストヌルしたす。Apache ZooKeeper は、XNUMX 台のマシンすべおに ClickHouse を分散むンストヌルするために必芁です。

$ sudo apt update
$ sudo apt install 
    openjdk-8-jre 
    openjdk-8-jdk-headless

ЗатеЌ я устаМавлОваю переЌеММую среЎы JAVA_HOME.

$ sudo vi /etc/profile
 
export JAVA_HOME=/usr
 
$ source /etc/profile

次に、Ubuntu のパッケヌゞ管理システムを䜿甚しお、ClickHouse 18.16.1、glance、および ZooKeeper を XNUMX 台すべおのマシンにむンストヌルしたす。

$ sudo apt-key adv 
    --keyserver hkp://keyserver.ubuntu.com:80 
    --recv E0C56BD4
$ echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" | 
    sudo tee /etc/apt/sources.list.d/clickhouse.list
$ sudo apt-get update

$ sudo apt install 
    clickhouse-client 
    clickhouse-server 
    glances 
    zookeeperd

ClickHouse 甚のディレクトリを䜜成し、XNUMX ぀のサヌバヌすべおで構成の䞊曞きも行いたす。

$ sudo mkdir /ch/clickhouse
$ sudo chown -R clickhouse /ch/clickhouse

$ sudo mkdir -p /etc/clickhouse-server/conf.d
$ sudo vi /etc/clickhouse-server/conf.d/taxis.conf

これらは、私が䜿甚する構成のオヌバヌラむドです。

<?xml version="1.0"?>
<yandex>
    <listen_host>0.0.0.0</listen_host>
    <path>/ch/clickhouse/</path>


 <remote_servers>
        <perftest_3shards>
            <shard>
                <replica>
                    <host>172.30.2.192</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.162</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.36</host>
                    <port>9000</port>
                 </replica>
            </shard>
        </perftest_3shards>
    </remote_servers>

  <zookeeper-servers>
        <node>
            <host>172.30.2.192</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.162</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.36</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

 <macros>
        <shard>03</shard>
        <replica>01</replica>
    </macros>
</yandex>

次に、XNUMX 台すべおのマシンで ZooKeeper ず ClickHouse サヌバヌを実行したす。

$ sudo /etc/init.d/zookeeper start
$ sudo service clickhouse-server start

ClickHouseぞのデヌタのアップロヌド

最初のサヌバヌでトリップ テヌブルを䜜成したす (trips)、ログ ゚ンゞンを䜿甚しおタクシヌ旅行のデヌタセットを保存したす。

$ clickhouse-client --host=0.0.0.0
 
CREATE TABLE trips (
    trip_id                 UInt32,
    vendor_id               String,

    pickup_datetime         DateTime,
    dropoff_datetime        Nullable(DateTime),

    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = Log;

次に、各 CSV ファむルを抜出しおトリップ テヌブルにロヌドしたす (trips。 以䞋は 55 分 10 秒で完了したした。 この操䜜埌のデヌタ ディレクトリのサむズは 134 GB になりたした。

$ time (for FILENAME in /ch/csv/trips_x*.csv.gz; do
            echo $FILENAME
            gunzip -c $FILENAME | 
                clickhouse-client 
                    --host=0.0.0.0 
                    --query="INSERT INTO trips FORMAT CSV"
        done)

むンポヌト速床は、非圧瞮 CSV コンテンツで 155 秒あたり XNUMX MB でした。 これは GZIP 解凍のボトルネックが原因だったず思われたす。 xargs を䜿甚しお gzip 圧瞮されたすべおのファむルを䞊行しお解凍し、解凍されたデヌタをロヌドする方が高速だったかもしれたせん。 以䞋は、CSV むンポヌト プロセス䞭に報告された内容の説明です。

$ sudo glances

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 0:11:42
CPU       8.2%  nice:     0.0%                           LOAD    36-core                           MEM      9.8%  active:    5.20G                           SWAP      0.0%
user:     6.0%  irq:      0.0%                           1 min:    2.24                            total:  68.7G  inactive:  61.0G                           total:       0
system:   0.9%  iowait:   1.3%                           5 min:    1.83                            used:   6.71G  buffers:   66.4M                           used:        0
idle:    91.8%  steal:    0.0%                           15 min:   1.01                            free:   62.0G  cached:    61.6G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 370 (507 thr), 2 run, 368 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5        136b    2Kb
lo         343Mb  343Mb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           100.4   1.5 1.65G 1.06G  9909 ubuntu       0 S  1:01.33     0     0 clickhouse-client --host=0.0.0.0 --query=INSERT INTO trips FORMAT CSV
DISK I/O     R/s    W/s     85.1   0.0 4.65M  708K  9908 ubuntu       0 R  0:50.60   32M     0 gzip -d -c /ch/csv/trips_xac.csv.gz
loop0          0      0     54.9   5.1 8.14G 3.49G  8091 clickhous    0 S  1:44.23     0   45M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
loop1          0      0      4.5   0.0     0     0   319 root         0 S  0:07.50    1K     0 kworker/u72:2
nvme0n1        0     3K      2.3   0.0 91.1M 28.9M  9912 root         0 R  0:01.56     0     0 /usr/bin/python3 /usr/bin/glances
nvme0n1p1      0     3K      0.3   0.0     0     0   960 root       -20 S  0:00.10     0     0 kworker/28:1H
nvme1n1    32.1M   495M      0.3   0.0     0     0  1058 root       -20 S  0:00.90     0     0 kworker/23:1H

続行する前に、元の CSV ファむルを削陀しお NVMe ドラむブのスペヌスを解攟したす。

$ sudo rm -fr /ch/csv

列圢匏に倉換

Log ClickHouse ゚ンゞンはデヌタを行指向圢匏で保存したす。 デヌタをより高速にク゚リするために、MergeTree ゚ンゞンを䜿甚しおデヌタを列指向圢匏に倉換したす。

$ clickhouse-client --host=0.0.0.0

以䞋は 34 分 50 秒で完了したした。 この操䜜埌のデヌタ ディレクトリのサむズは 237 GB になりたした。

CREATE TABLE trips_mergetree
    ENGINE = MergeTree(pickup_date, pickup_datetime, 8192)
    AS SELECT
        trip_id,
        CAST(vendor_id AS Enum8('1' = 1,
                                '2' = 2,
                                'CMT' = 3,
                                'VTS' = 4,
                                'DDS' = 5,
                                'B02512' = 10,
                                'B02598' = 11,
                                'B02617' = 12,
                                'B02682' = 13,
                                'B02764' = 14)) AS vendor_id,
        toDate(pickup_datetime)                 AS pickup_date,
        ifNull(pickup_datetime, toDateTime(0))  AS pickup_datetime,
        toDate(dropoff_datetime)                AS dropoff_date,
        ifNull(dropoff_datetime, toDateTime(0)) AS dropoff_datetime,
        assumeNotNull(store_and_fwd_flag)       AS store_and_fwd_flag,
        assumeNotNull(rate_code_id)             AS rate_code_id,

        assumeNotNull(pickup_longitude)         AS pickup_longitude,
        assumeNotNull(pickup_latitude)          AS pickup_latitude,
        assumeNotNull(dropoff_longitude)        AS dropoff_longitude,
        assumeNotNull(dropoff_latitude)         AS dropoff_latitude,
        assumeNotNull(passenger_count)          AS passenger_count,
        assumeNotNull(trip_distance)            AS trip_distance,
        assumeNotNull(fare_amount)              AS fare_amount,
        assumeNotNull(extra)                    AS extra,
        assumeNotNull(mta_tax)                  AS mta_tax,
        assumeNotNull(tip_amount)               AS tip_amount,
        assumeNotNull(tolls_amount)             AS tolls_amount,
        assumeNotNull(ehail_fee)                AS ehail_fee,
        assumeNotNull(improvement_surcharge)    AS improvement_surcharge,
        assumeNotNull(total_amount)             AS total_amount,
        assumeNotNull(payment_type)             AS payment_type_,
        assumeNotNull(trip_type)                AS trip_type,

        pickup AS pickup,
        pickup AS dropoff,

        CAST(assumeNotNull(cab_type)
            AS Enum8('yellow' = 1, 'green' = 2))
                                AS cab_type,

        precipitation           AS precipitation,
        snow_depth              AS snow_depth,
        snowfall                AS snowfall,
        max_temperature         AS max_temperature,
        min_temperature         AS min_temperature,
        average_wind_speed      AS average_wind_speed,

        pickup_nyct2010_gid     AS pickup_nyct2010_gid,
        pickup_ctlabel          AS pickup_ctlabel,
        pickup_borocode         AS pickup_borocode,
        pickup_boroname         AS pickup_boroname,
        pickup_ct2010           AS pickup_ct2010,
        pickup_boroct2010       AS pickup_boroct2010,
        pickup_cdeligibil       AS pickup_cdeligibil,
        pickup_ntacode          AS pickup_ntacode,
        pickup_ntaname          AS pickup_ntaname,
        pickup_puma             AS pickup_puma,

        dropoff_nyct2010_gid    AS dropoff_nyct2010_gid,
        dropoff_ctlabel         AS dropoff_ctlabel,
        dropoff_borocode        AS dropoff_borocode,
        dropoff_boroname        AS dropoff_boroname,
        dropoff_ct2010          AS dropoff_ct2010,
        dropoff_boroct2010      AS dropoff_boroct2010,
        dropoff_cdeligibil      AS dropoff_cdeligibil,
        dropoff_ntacode         AS dropoff_ntacode,
        dropoff_ntaname         AS dropoff_ntaname,
        dropoff_puma            AS dropoff_puma
    FROM trips;

操䜜䞭のグランス出力は次のようになりたす。

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 1:06:09
CPU      10.3%  nice:     0.0%                           LOAD    36-core                           MEM     16.1%  active:    13.3G                           SWAP      0.0%
user:     7.9%  irq:      0.0%                           1 min:    1.87                            total:  68.7G  inactive:  52.8G                           total:       0
system:   1.6%  iowait:   0.8%                           5 min:    1.76                            used:   11.1G  buffers:   71.8M                           used:        0
idle:    89.7%  steal:    0.0%                           15 min:   1.95                            free:   57.6G  cached:    57.2G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 367 (523 thr), 1 run, 366 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5         1Kb    8Kb
lo           2Kb    2Kb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           241.9  12.8 20.7G 8.78G  8091 clickhous    0 S 30:36.73   34M  125M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
DISK I/O     R/s    W/s      2.6   0.0 90.4M 28.3M  9948 root         0 R  1:18.53     0     0 /usr/bin/python3 /usr/bin/glances
loop0          0      0      1.3   0.0     0     0   203 root         0 S  0:09.82     0     0 kswapd0
loop1          0      0      0.3   0.1  315M 61.3M 15701 ubuntu       0 S  0:00.40     0     0 clickhouse-client --host=0.0.0.0
nvme0n1        0     3K      0.3   0.0     0     0     7 root         0 S  0:00.83     0     0 rcu_sched
nvme0n1p1      0     3K      0.0   0.0     0     0   142 root         0 S  0:00.22     0     0 migration/27
nvme1n1    25.8M   330M      0.0   0.0 59.7M 1.79M  2764 ubuntu       0 S  0:00.00     0     0 (sd-pam)

最埌のテストでは、いく぀かの列が倉換され、再蚈算されたした。 これらの関数の䞀郚が、このデヌタセットでは期埅どおりに動䜜しなくなっおいるこずがわかりたした。 この問題を解決するために、䞍適切な関数を削陀し、より詳现な型に倉換せずにデヌタをロヌドしたした。

クラスタヌ党䜓でのデヌタの分散

XNUMX ぀のクラスタヌ ノヌドすべおにデヌタを分散したす。 たず、以䞋で XNUMX 台のマシンすべおにテヌブルを䜜成したす。

$ clickhouse-client --host=0.0.0.0

CREATE TABLE trips_mergetree_third (
    trip_id                 UInt32,
    vendor_id               String,
    pickup_date             Date,
    pickup_datetime         DateTime,
    dropoff_date            Date,
    dropoff_datetime        Nullable(DateTime),
    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192);

次に、最初のサヌバヌがクラスタヌ内の XNUMX ぀のノヌドすべおを認識できるこずを確認したす。

SELECT *
FROM system.clusters
WHERE cluster = 'perftest_3shards'
FORMAT Vertical;
Row 1:
──────
cluster:          perftest_3shards
shard_num:        1
shard_weight:     1
replica_num:      1
host_name:        172.30.2.192
host_address:     172.30.2.192
port:             9000
is_local:         1
user:             default
default_database:
Row 2:
──────
cluster:          perftest_3shards
shard_num:        2
shard_weight:     1
replica_num:      1
host_name:        172.30.2.162
host_address:     172.30.2.162
port:             9000
is_local:         0
user:             default
default_database:

Row 3:
──────
cluster:          perftest_3shards
shard_num:        3
shard_weight:     1
replica_num:      1
host_name:        172.30.2.36
host_address:     172.30.2.36
port:             9000
is_local:         0
user:             default
default_database:

次に、スキヌマに基づいお最初のサヌバヌ䞊に新しいテヌブルを定矩したす。 trips_mergetree_third 分散゚ンゞンを䜿甚したす。

CREATE TABLE trips_mergetree_x3
    AS trips_mergetree_third
    ENGINE = Distributed(perftest_3shards,
                         default,
                         trips_mergetree_third,
                         rand());

次に、MergeTree ベヌスのテヌブルから 34 ぀のサヌバヌすべおにデヌタをコピヌしたす。 以䞋は 44 分 XNUMX 秒で完了したした。

INSERT INTO trips_mergetree_x3
    SELECT * FROM trips_mergetree;

䞊蚘の操䜜の埌、ClickHouse が最倧ストレヌゞ レベルのマヌクから離れるたで 15 分を䞎えたした。 デヌタ ディレクトリは、最終的に 264 台の各サヌバヌでそれぞれ 34 GB、33 GB、XNUMX GB になりたした。

ClickHouse クラスタヌのパフォヌマンス評䟡

次に確認したのは、テヌブルに察しお各ク゚リを耇数回実行した堎合の最速時間でした。 trips_mergetree_x3.

$ clickhouse-client --host=0.0.0.0

以䞋は 2.449 秒で完了したした。

SELECT cab_type, count(*)
FROM trips_mergetree_x3
GROUP BY cab_type;

以䞋は 0.691 秒で完了したした。

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree_x3
GROUP BY passenger_count;

以䞋は 0 秒で完了したした。

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year;

以䞋は 0.983 秒で完了したした。

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

比范のために、最初のサヌバヌのみに存圚する MergeTree ベヌスのテヌブルに察しお同じク゚リを実行したした。

XNUMX ぀の ClickHouse ノヌドのパフォヌマンス評䟡

次に確認したのは、テヌブルに察しお各ク゚リを耇数回実行した堎合の最速時間でした。 trips_mergetree_x3.

以䞋は 0.241 秒で完了したした。

SELECT cab_type, count(*)
FROM trips_mergetree
GROUP BY cab_type;

以䞋は 0.826 秒で完了したした。

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree
GROUP BY passenger_count;

以䞋は 1.209 秒で完了したした。

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year;

以䞋は 1.781 秒で完了したした。

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

РазЌышлеМОя П результатах

私のテストにおいお、無料の CPU ベヌスのデヌタベヌスが GPU ベヌスのデヌタベヌスを䞊回るパフォヌマンスを瀺したのはこれが初めおです。 それ以来、GPU ベヌスのデヌタベヌスは XNUMX 回の改蚂を経たしたが、それでも ClickHouse が単䞀ノヌドで実珟したパフォヌマンスは非垞に印象的です。

同時に、分散゚ンゞンでク゚リ 1 を実行するず、オヌバヌヘッド コストが 2 桁高くなりたす。 クラスタヌにノヌドを远加するに぀れおク゚リ時間が短瞮されるのは玠晎らしいこずなので、この投皿の調査で䜕かが欠けおいたこずを願っおいたす。 ただし、他のク゚リを実行するずパフォヌマンスが玄XNUMX倍になったのは玠晎らしいこずです。

ClickHouse がストレヌゞずコンピュヌティングを分離しお、独立しお拡匵できるように進化するのを芋るのは玠晎らしいこずです。 昚幎远加された HDFS サポヌトは、これに向けた䞀歩ずなる可胜性がありたす。 コンピュヌティングに関しお蚀えば、クラスタヌにノヌドを远加するこずで単䞀のク゚リを高速化できれば、この゜フトりェアの将来は非垞に明るいものになりたす。

この投皿をお読みいただきありがずうございたす。 私は北米ずペヌロッパのクラむアントにコンサルティング、アヌキテクチャ、プラクティス開発サヌビスを提䟛しおいたす。 私の提案があなたのビゞネスにどのように圹立぀かに぀いお話し合いたい堎合は、次の方法で私に連絡しおください。 LinkedIn.

出所 habr.com

コメントを远加したす