🥇1.1 מיליארד נסיעות במונית: אשכול קליקהאוס עם 108 ליבות

תרגום המאמר הוכן במיוחד עבור תלמידי הקורס מהנדס נתונים.

קליקהאוס הוא מסד נתונים עמודים בקוד פתוח. זוהי סביבה נהדרת שבה מאות אנליסטים יכולים לבצע שאילתות במהירות בנתונים מפורטים, אפילו כאשר מוזנים עשרות מיליארדי רשומות חדשות ביום. עלויות התשתית לתמיכה במערכת כזו יכולות להגיע ל-$100 לשנה, ואולי חצי מזה תלוי בשימוש. בשלב מסוים, התקנת ClickHouse מ-Yandex Metrics הכילה 10 טריליון רשומות. בנוסף ל-Yandex, ClickHouse מצאה הצלחה גם עם בלומברג ו-Cloudflare.

לפני שנתיים ביליתי ניתוח השוואתי מסדי נתונים באמצעות מכונה אחת, וזה הפך הכי מהיר תוכנת מסד נתונים חינמית שאי פעם ראיתי. מאז, מפתחים לא הפסיקו להוסיף תכונות, כולל תמיכה בדחיסת Kafka, HDFS ו-ZStandard. בשנה שעברה הם הוסיפו תמיכה בשיטות דחיסה מדורגת, ו דלתא-מ-דלתא קידוד הפך לאפשרי. בעת דחיסה של נתוני סדרות זמן, ניתן לדחוס ערכי מד היטב באמצעות קידוד דלתא, אך עבור מונים עדיף להשתמש בקידוד דלתא-לדלתא. דחיסה טובה הפכה למפתח לביצועים של ClickHouse.

ClickHouse מורכב מ-170 אלף שורות של קוד C++, לא כולל ספריות של צד שלישי, והוא אחד מבסיסי הקוד המבוזרים ביותר של מסדי נתונים. לשם השוואה, SQLite לא תומכת בהפצה ומורכבת מ-235 אלף שורות של קוד C. נכון לכתיבת שורות אלה, 207 מהנדסים תרמו ל-ClickHouse, ועוצמת ה-commits עלתה לאחרונה.

במרץ 2017, קליקהאוס החלה לנהל יומן שינויים כדרך קלה לעקוב אחר הפיתוח. הם גם פיצלו את קובץ התיעוד המונוליטי להיררכיית קבצים מבוססת Markdown. מעקב אחר בעיות ותכונות מתבצע באמצעות GitHub, ובאופן כללי התוכנה הפכה לנגישה הרבה יותר בשנים האחרונות.

במאמר זה, אני הולך להסתכל על הביצועים של אשכול ClickHouse ב-AWS EC2 באמצעות מעבדי 36 ליבות ואחסון NVMe.

עדכון: שבוע לאחר פרסום הפוסט הזה במקור, רצתי מחדש את הבדיקה עם תצורה משופרת והשגתי תוצאות טובות בהרבה. פוסט זה עודכן כדי לשקף את השינויים הללו.

השקת אשכול AWS EC2

אני אשתמש בשלושה מופעי c5d.9xlarge EC2 עבור הפוסט הזה. כל אחד מהם מכיל 36 מעבדים וירטואליים, 72 GB של זיכרון RAM, 900 GB של אחסון NVMe SSD ותומך ברשת 10 Gigabit. הם עולים $1,962 לשעה כל אחד באזור eu-west-1 כאשר הם פועלים לפי דרישה. אני אשתמש ב-Ubuntu Server 16.04 LTS כמערכת ההפעלה.

חומת האש מוגדרת כך שכל מחשב יכול לתקשר אחד עם השני ללא הגבלות, ורק כתובת ה-IPv4 שלי רשומה על ידי SSH באשכול.

כונן NVMe במצב מוכנות תפעולית

כדי ש-ClickHouse יעבוד, אצור מערכת קבצים בפורמט EXT4 בכונן NVMe בכל אחד מהשרתים.

$ sudo mkfs -t ext4 /dev/nvme1n1
$ sudo mkdir /ch
$ sudo mount /dev/nvme1n1 /ch

לאחר שהכל מוגדר, אתה יכול לראות את נקודת ההרכבה ואת 783 GB של שטח זמין בכל מערכת.

$ lsblk

NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0         7:0    0  87.9M  1 loop /snap/core/5742
loop1         7:1    0  16.5M  1 loop /snap/amazon-ssm-agent/784
nvme0n1     259:1    0     8G  0 disk
└─nvme0n1p1 259:2    0     8G  0 part /
nvme1n1     259:0    0 838.2G  0 disk /ch

$ df -h

Filesystem      Size  Used Avail Use% Mounted on
udev             35G     0   35G   0% /dev
tmpfs           6.9G  8.8M  6.9G   1% /run
/dev/nvme0n1p1  7.7G  967M  6.8G  13% /
tmpfs            35G     0   35G   0% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs            35G     0   35G   0% /sys/fs/cgroup
/dev/loop0       88M   88M     0 100% /snap/core/5742
/dev/loop1       17M   17M     0 100% /snap/amazon-ssm-agent/784
tmpfs           6.9G     0  6.9G   0% /run/user/1000
/dev/nvme1n1    825G   73M  783G   1% /ch

מערך הנתונים שבו אשתמש בבדיקה זו הוא מזבלה של נתונים שיצרתי מ-1.1 מיליארד נסיעות במוניות שבוצעו בניו יורק במשך שש שנים. בבלוג מיליארד נסיעות במונית בהיסט לאדום פירוט כיצד אספתי את מערך הנתונים הזה. הם מאוחסנים ב-AWS S3, אז אני אגדיר את ה-AWS CLI עם הגישה והמפתחות הסודיים שלי.

$ sudo apt update
$ sudo apt install awscli
$ aws configure

אני אגדיר את מגבלת הבקשות בו-זמנית של הלקוח ל-100 כדי להוריד קבצים מהר יותר מהגדרות ברירת המחדל.

$ aws configure set 
    default.s3.max_concurrent_requests 
    100

אני אוריד את מערך הנסיעות במוניות מ-AWS S3 ואאחסן אותו בכונן NVMe בשרת הראשון. מערך הנתונים הזה הוא ~104GB בפורמט CSV דחוס GZIP.

$ sudo mkdir -p /ch/csv
$ sudo chown -R ubuntu /ch/csv
$ aws s3 sync s3://<bucket>/csv /ch/csv

התקנת ClickHouse

אני אתקין את הפצת OpenJDK עבור Java 8 כפי שהיא נדרשת כדי להפעיל את Apache ZooKeeper, אשר נדרשת להתקנה מבוזרת של ClickHouse בכל שלושת המכונות.

$ sudo apt update
$ sudo apt install 
    openjdk-8-jre 
    openjdk-8-jdk-headless

ואז אני מגדיר את משתנה הסביבה JAVA_HOME.

$ sudo vi /etc/profile
 
export JAVA_HOME=/usr
 
$ source /etc/profile

לאחר מכן אשתמש במערכת ניהול החבילות של אובונטו כדי להתקין את ClickHouse 18.16.1, מבטים ו-ZooKeeper בכל שלושת המכונות.

$ sudo apt-key adv 
    --keyserver hkp://keyserver.ubuntu.com:80 
    --recv E0C56BD4
$ echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" | 
    sudo tee /etc/apt/sources.list.d/clickhouse.list
$ sudo apt-get update

$ sudo apt install 
    clickhouse-client 
    clickhouse-server 
    glances 
    zookeeperd

אני אצור ספרייה עבור ClickHouse וגם אעשה כמה עקיפות תצורה בכל שלושת השרתים.

$ sudo mkdir /ch/clickhouse
$ sudo chown -R clickhouse /ch/clickhouse

$ sudo mkdir -p /etc/clickhouse-server/conf.d
$ sudo vi /etc/clickhouse-server/conf.d/taxis.conf

אלו הן עקיפות התצורה שבהן אשתמש.

<?xml version="1.0"?>
<yandex>
    <listen_host>0.0.0.0</listen_host>
    <path>/ch/clickhouse/</path>

 <remote_servers>
        <perftest_3shards>
            <shard>
                <replica>
                    <host>172.30.2.192</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.162</host>
                    <port>9000</port>
                 </replica>
            </shard>
            <shard>
                 <replica>
                    <host>172.30.2.36</host>
                    <port>9000</port>
                 </replica>
            </shard>
        </perftest_3shards>
    </remote_servers>

  <zookeeper-servers>
        <node>
            <host>172.30.2.192</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.162</host>
            <port>2181</port>
        </node>
        <node>
            <host>172.30.2.36</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

 <macros>
        <shard>03</shard>
        <replica>01</replica>
    </macros>
</yandex>

לאחר מכן אפעיל את ZooKeeper ואת שרת ClickHouse בכל שלושת המכונות.

$ sudo /etc/init.d/zookeeper start
$ sudo service clickhouse-server start

העלאת נתונים לקליקהאוס

בשרת הראשון אצור טבלת טיולים (trips), אשר יאחסן מערך נתונים של נסיעות במוניות באמצעות מנוע Log.

$ clickhouse-client --host=0.0.0.0
 
CREATE TABLE trips (
    trip_id                 UInt32,
    vendor_id               String,

    pickup_datetime         DateTime,
    dropoff_datetime        Nullable(DateTime),

    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = Log;

לאחר מכן אני מחלץ וטוען כל אחד מקבצי ה-CSV לטבלת טיול (trips). הדבר הבא הושלם תוך 55 דקות ו-10 שניות. לאחר פעולה זו, גודל ספריית הנתונים היה 134 GB.

$ time (for FILENAME in /ch/csv/trips_x*.csv.gz; do
            echo $FILENAME
            gunzip -c $FILENAME | 
                clickhouse-client 
                    --host=0.0.0.0 
                    --query="INSERT INTO trips FORMAT CSV"
        done)

מהירות הייבוא הייתה 155 MB של תוכן CSV לא דחוס לשנייה. אני חושד שזה נבע מצוואר בקבוק בפירוק GZIP. יתכן שהיה מהיר יותר לפרוס את כל הקבצים ה-gzipped במקביל באמצעות xargs ולאחר מכן לטעון את הנתונים שנפרמו. להלן תיאור של מה שדווח במהלך תהליך ייבוא ה-CSV.

$ sudo glances

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 0:11:42
CPU       8.2%  nice:     0.0%                           LOAD    36-core                           MEM      9.8%  active:    5.20G                           SWAP      0.0%
user:     6.0%  irq:      0.0%                           1 min:    2.24                            total:  68.7G  inactive:  61.0G                           total:       0
system:   0.9%  iowait:   1.3%                           5 min:    1.83                            used:   6.71G  buffers:   66.4M                           used:        0
idle:    91.8%  steal:    0.0%                           15 min:   1.01                            free:   62.0G  cached:    61.6G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 370 (507 thr), 2 run, 368 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5        136b    2Kb
lo         343Mb  343Mb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           100.4   1.5 1.65G 1.06G  9909 ubuntu       0 S  1:01.33     0     0 clickhouse-client --host=0.0.0.0 --query=INSERT INTO trips FORMAT CSV
DISK I/O     R/s    W/s     85.1   0.0 4.65M  708K  9908 ubuntu       0 R  0:50.60   32M     0 gzip -d -c /ch/csv/trips_xac.csv.gz
loop0          0      0     54.9   5.1 8.14G 3.49G  8091 clickhous    0 S  1:44.23     0   45M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
loop1          0      0      4.5   0.0     0     0   319 root         0 S  0:07.50    1K     0 kworker/u72:2
nvme0n1        0     3K      2.3   0.0 91.1M 28.9M  9912 root         0 R  0:01.56     0     0 /usr/bin/python3 /usr/bin/glances
nvme0n1p1      0     3K      0.3   0.0     0     0   960 root       -20 S  0:00.10     0     0 kworker/28:1H
nvme1n1    32.1M   495M      0.3   0.0     0     0  1058 root       -20 S  0:00.90     0     0 kworker/23:1H

אני אפנה מקום בכונן NVMe על ידי מחיקת קבצי ה-CSV המקוריים לפני שאמשיך.

$ sudo rm -fr /ch/csv

המר לטופס עמודה

מנוע Log ClickHouse יאחסן נתונים בפורמט מכוון שורה. כדי לבצע שאילתות נתונים מהר יותר, אני ממיר אותם לפורמט עמודות באמצעות מנוע MergeTree.

$ clickhouse-client --host=0.0.0.0

הדבר הבא הושלם תוך 34 דקות ו-50 שניות. לאחר פעולה זו, גודל ספריית הנתונים היה 237 GB.

CREATE TABLE trips_mergetree
    ENGINE = MergeTree(pickup_date, pickup_datetime, 8192)
    AS SELECT
        trip_id,
        CAST(vendor_id AS Enum8('1' = 1,
                                '2' = 2,
                                'CMT' = 3,
                                'VTS' = 4,
                                'DDS' = 5,
                                'B02512' = 10,
                                'B02598' = 11,
                                'B02617' = 12,
                                'B02682' = 13,
                                'B02764' = 14)) AS vendor_id,
        toDate(pickup_datetime)                 AS pickup_date,
        ifNull(pickup_datetime, toDateTime(0))  AS pickup_datetime,
        toDate(dropoff_datetime)                AS dropoff_date,
        ifNull(dropoff_datetime, toDateTime(0)) AS dropoff_datetime,
        assumeNotNull(store_and_fwd_flag)       AS store_and_fwd_flag,
        assumeNotNull(rate_code_id)             AS rate_code_id,

        assumeNotNull(pickup_longitude)         AS pickup_longitude,
        assumeNotNull(pickup_latitude)          AS pickup_latitude,
        assumeNotNull(dropoff_longitude)        AS dropoff_longitude,
        assumeNotNull(dropoff_latitude)         AS dropoff_latitude,
        assumeNotNull(passenger_count)          AS passenger_count,
        assumeNotNull(trip_distance)            AS trip_distance,
        assumeNotNull(fare_amount)              AS fare_amount,
        assumeNotNull(extra)                    AS extra,
        assumeNotNull(mta_tax)                  AS mta_tax,
        assumeNotNull(tip_amount)               AS tip_amount,
        assumeNotNull(tolls_amount)             AS tolls_amount,
        assumeNotNull(ehail_fee)                AS ehail_fee,
        assumeNotNull(improvement_surcharge)    AS improvement_surcharge,
        assumeNotNull(total_amount)             AS total_amount,
        assumeNotNull(payment_type)             AS payment_type_,
        assumeNotNull(trip_type)                AS trip_type,

        pickup AS pickup,
        pickup AS dropoff,

        CAST(assumeNotNull(cab_type)
            AS Enum8('yellow' = 1, 'green' = 2))
                                AS cab_type,

        precipitation           AS precipitation,
        snow_depth              AS snow_depth,
        snowfall                AS snowfall,
        max_temperature         AS max_temperature,
        min_temperature         AS min_temperature,
        average_wind_speed      AS average_wind_speed,

        pickup_nyct2010_gid     AS pickup_nyct2010_gid,
        pickup_ctlabel          AS pickup_ctlabel,
        pickup_borocode         AS pickup_borocode,
        pickup_boroname         AS pickup_boroname,
        pickup_ct2010           AS pickup_ct2010,
        pickup_boroct2010       AS pickup_boroct2010,
        pickup_cdeligibil       AS pickup_cdeligibil,
        pickup_ntacode          AS pickup_ntacode,
        pickup_ntaname          AS pickup_ntaname,
        pickup_puma             AS pickup_puma,

        dropoff_nyct2010_gid    AS dropoff_nyct2010_gid,
        dropoff_ctlabel         AS dropoff_ctlabel,
        dropoff_borocode        AS dropoff_borocode,
        dropoff_boroname        AS dropoff_boroname,
        dropoff_ct2010          AS dropoff_ct2010,
        dropoff_boroct2010      AS dropoff_boroct2010,
        dropoff_cdeligibil      AS dropoff_cdeligibil,
        dropoff_ntacode         AS dropoff_ntacode,
        dropoff_ntaname         AS dropoff_ntaname,
        dropoff_puma            AS dropoff_puma
    FROM trips;

כך נראה פלט המבט במהלך הפעולה:

ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws)                                                                                                 Uptime: 1:06:09
CPU      10.3%  nice:     0.0%                           LOAD    36-core                           MEM     16.1%  active:    13.3G                           SWAP      0.0%
user:     7.9%  irq:      0.0%                           1 min:    1.87                            total:  68.7G  inactive:  52.8G                           total:       0
system:   1.6%  iowait:   0.8%                           5 min:    1.76                            used:   11.1G  buffers:   71.8M                           used:        0
idle:    89.7%  steal:    0.0%                           15 min:   1.95                            free:   57.6G  cached:    57.2G                           free:        0

NETWORK     Rx/s   Tx/s   TASKS 367 (523 thr), 1 run, 366 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5         1Kb    8Kb
lo           2Kb    2Kb     CPU%  MEM%  VIRT   RES   PID USER        NI S    TIME+ IOR/s IOW/s Command
                           241.9  12.8 20.7G 8.78G  8091 clickhous    0 S 30:36.73   34M  125M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
DISK I/O     R/s    W/s      2.6   0.0 90.4M 28.3M  9948 root         0 R  1:18.53     0     0 /usr/bin/python3 /usr/bin/glances
loop0          0      0      1.3   0.0     0     0   203 root         0 S  0:09.82     0     0 kswapd0
loop1          0      0      0.3   0.1  315M 61.3M 15701 ubuntu       0 S  0:00.40     0     0 clickhouse-client --host=0.0.0.0
nvme0n1        0     3K      0.3   0.0     0     0     7 root         0 S  0:00.83     0     0 rcu_sched
nvme0n1p1      0     3K      0.0   0.0     0     0   142 root         0 S  0:00.22     0     0 migration/27
nvme1n1    25.8M   330M      0.0   0.0 59.7M 1.79M  2764 ubuntu       0 S  0:00.00     0     0 (sd-pam)

בבדיקה האחרונה הומרו מספר עמודות וחושבו מחדש. גיליתי שחלק מהפונקציות האלה כבר לא עובדות כצפוי במערך הנתונים הזה. כדי לפתור בעיה זו, הסרתי את הפונקציות הבלתי מתאימות וטענתי את הנתונים מבלי להמיר לסוגים יותר גרעיניים.

הפצה של נתונים ברחבי האשכול

אני אפיץ את הנתונים על פני כל שלושת צמתי האשכול. כדי להתחיל, להלן אצור טבלה על כל שלושת המכונות.

$ clickhouse-client --host=0.0.0.0

CREATE TABLE trips_mergetree_third (
    trip_id                 UInt32,
    vendor_id               String,
    pickup_date             Date,
    pickup_datetime         DateTime,
    dropoff_date            Date,
    dropoff_datetime        Nullable(DateTime),
    store_and_fwd_flag      Nullable(FixedString(1)),
    rate_code_id            Nullable(UInt8),
    pickup_longitude        Nullable(Float64),
    pickup_latitude         Nullable(Float64),
    dropoff_longitude       Nullable(Float64),
    dropoff_latitude        Nullable(Float64),
    passenger_count         Nullable(UInt8),
    trip_distance           Nullable(Float64),
    fare_amount             Nullable(Float32),
    extra                   Nullable(Float32),
    mta_tax                 Nullable(Float32),
    tip_amount              Nullable(Float32),
    tolls_amount            Nullable(Float32),
    ehail_fee               Nullable(Float32),
    improvement_surcharge   Nullable(Float32),
    total_amount            Nullable(Float32),
    payment_type            Nullable(String),
    trip_type               Nullable(UInt8),
    pickup                  Nullable(String),
    dropoff                 Nullable(String),

    cab_type                Nullable(String),

    precipitation           Nullable(Int8),
    snow_depth              Nullable(Int8),
    snowfall                Nullable(Int8),
    max_temperature         Nullable(Int8),
    min_temperature         Nullable(Int8),
    average_wind_speed      Nullable(Int8),

    pickup_nyct2010_gid     Nullable(Int8),
    pickup_ctlabel          Nullable(String),
    pickup_borocode         Nullable(Int8),
    pickup_boroname         Nullable(String),
    pickup_ct2010           Nullable(String),
    pickup_boroct2010       Nullable(String),
    pickup_cdeligibil       Nullable(FixedString(1)),
    pickup_ntacode          Nullable(String),
    pickup_ntaname          Nullable(String),
    pickup_puma             Nullable(String),

    dropoff_nyct2010_gid    Nullable(UInt8),
    dropoff_ctlabel         Nullable(String),
    dropoff_borocode        Nullable(UInt8),
    dropoff_boroname        Nullable(String),
    dropoff_ct2010          Nullable(String),
    dropoff_boroct2010      Nullable(String),
    dropoff_cdeligibil      Nullable(String),
    dropoff_ntacode         Nullable(String),
    dropoff_ntaname         Nullable(String),
    dropoff_puma            Nullable(String)
) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192);

לאחר מכן אוודא שהשרת הראשון יכול לראות את כל שלושת הצמתים באשכול.

SELECT *
FROM system.clusters
WHERE cluster = 'perftest_3shards'
FORMAT Vertical;

Row 1:
──────
cluster:          perftest_3shards
shard_num:        1
shard_weight:     1
replica_num:      1
host_name:        172.30.2.192
host_address:     172.30.2.192
port:             9000
is_local:         1
user:             default
default_database:

Row 2:
──────
cluster:          perftest_3shards
shard_num:        2
shard_weight:     1
replica_num:      1
host_name:        172.30.2.162
host_address:     172.30.2.162
port:             9000
is_local:         0
user:             default
default_database:

Row 3:
──────
cluster:          perftest_3shards
shard_num:        3
shard_weight:     1
replica_num:      1
host_name:        172.30.2.36
host_address:     172.30.2.36
port:             9000
is_local:         0
user:             default
default_database:

לאחר מכן אגדיר טבלה חדשה בשרת הראשון שמבוססת על הסכמה trips_mergetree_third ומשתמש במנוע המבוזר.

CREATE TABLE trips_mergetree_x3
    AS trips_mergetree_third
    ENGINE = Distributed(perftest_3shards,
                         default,
                         trips_mergetree_third,
                         rand());

לאחר מכן אעתיק את הנתונים מהטבלה המבוססת על MergeTree לכל שלושת השרתים. הדבר הבא הושלם תוך 34 דקות ו-44 שניות.

INSERT INTO trips_mergetree_x3
    SELECT * FROM trips_mergetree;

לאחר הפעולה הנ"ל, נתתי ל-ClickHouse 15 דקות להתרחק מסימון רמת האחסון המקסימלית. ספריות הנתונים בסופו של דבר היו 264 GB, 34 GB ו-33 GB בהתאמה בכל אחד משלושת השרתים.

הערכת ביצועי אשכול ClickHouse

מה שראיתי אחר כך היה הזמן המהיר ביותר שראיתי מריצים כל שאילתה בטבלה מספר פעמים trips_mergetree_x3.

$ clickhouse-client --host=0.0.0.0

הפרק הבא הושלם תוך 2.449 שניות.

SELECT cab_type, count(*)
FROM trips_mergetree_x3
GROUP BY cab_type;

הפרק הבא הושלם תוך 0.691 שניות.

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree_x3
GROUP BY passenger_count;

הדבר הבא הושלם תוך 0 שניות.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year;

הפרק הבא הושלם תוך 0.983 שניות.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

לשם השוואה, הרצתי את אותן שאילתות בטבלה מבוססת MergeTree ששוכנת אך ורק בשרת הראשון.

הערכת ביצועים של צומת ClickHouse אחד

מה שראיתי אחר כך היה הזמן המהיר ביותר שראיתי מריצים כל שאילתה בטבלה מספר פעמים trips_mergetree_x3.

הפרק הבא הושלם תוך 0.241 שניות.

SELECT cab_type, count(*)
FROM trips_mergetree
GROUP BY cab_type;

הפרק הבא הושלם תוך 0.826 שניות.

SELECT passenger_count,
       avg(total_amount)
FROM trips_mergetree
GROUP BY passenger_count;

הפרק הבא הושלם תוך 1.209 שניות.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year;

הפרק הבא הושלם תוך 1.781 שניות.

SELECT passenger_count,
       toYear(pickup_date) AS year,
       round(trip_distance) AS distance,
       count(*)
FROM trips_mergetree
GROUP BY passenger_count,
         year,
         distance
ORDER BY year,
         count(*) DESC;

הרהורים על התוצאות

זו הפעם הראשונה שמסד נתונים חינמי מבוסס CPU הצליח להתעלות על מסד נתונים מבוסס GPU בבדיקות שלי. מסד הנתונים מבוסס ה-GPU הזה עבר שתי גרסאות מאז, אבל הביצועים ש-ClickHouse סיפקה על צומת בודד בכל זאת מרשימים מאוד.

יחד עם זאת, בעת ביצוע שאילתה 1 במנוע מבוזר, עלויות התקורה גבוהות בסדר גודל. אני מקווה שפספסתי משהו במחקר שלי עבור הפוסט הזה כי זה יהיה נחמד לראות את זמני השאילתה יורדים ככל שאני מוסיף צמתים נוספים לאשכול. עם זאת, זה נהדר שכאשר מבצעים שאילתות אחרות, הביצועים גדלו בערך פי 2.

זה יהיה נחמד לראות את ClickHouse מתפתחת לקראת היכולת להפריד בין אחסון ומחשוב כדי שיוכלו להתאים באופן עצמאי. תמיכת HDFS, שנוספה בשנה שעברה, יכולה להיות צעד לקראת זה. במונחים של מחשוב, אם ניתן להאיץ שאילתה בודדת על ידי הוספת צמתים נוספים לאשכול, אז העתיד של התוכנה הזו בהיר מאוד.

תודה שהקדשת מזמנך לקרוא את הפוסט הזה. אני מציע שירותי ייעוץ, ארכיטקטורה ופיתוח תרגול ללקוחות בצפון אמריקה ואירופה. אם תרצה לדון כיצד ההצעות שלי יכולות לעזור לעסק שלך, אנא צור איתי קשר באמצעות לינקדין.

מקור: www.habr.com

1.1 מיליארד נסיעות במוניות: אשכול ClickHouse בעל 108 ליבות