Oversettelsen av artikkelen ble utarbeidet spesielt for studentene på kurset .
er en kolonnebasert database med åpen kildekode. Det er et flott miljø hvor hundrevis av analytikere raskt kan forespørre detaljerte data, selv om titalls milliarder nye poster legges inn per dag. Infrastrukturkostnadene for å støtte et slikt system kan være så høye som $100 10 per år, og potensielt halvparten av det avhengig av bruk. På et tidspunkt inneholdt ClickHouse-installasjonen fra Yandex Metrics XNUMX billioner poster. I tillegg til Yandex, har ClickHouse også funnet suksess med Bloomberg og Cloudflare.
For to år siden brukte jeg databaser ved hjelp av én maskin, og det ble gratis databaseprogramvare jeg noen gang har sett. Siden den gang har utviklerne ikke sluttet å legge til funksjoner, inkludert støtte for Kafka, HDFS og ZStandard-komprimering. I fjor la de til støtte for kaskadekompresjonsmetoder, og koding ble mulig. Når du komprimerer tidsseriedata, kan måleverdier komprimeres godt ved å bruke delta-koding, men for tellere ville det være bedre å bruke delta-for-delta-koding. God komprimering har blitt nøkkelen til ClickHouse sin ytelse.
ClickHouse består av 170 tusen linjer med C++-kode, unntatt tredjepartsbiblioteker, og er en av de minste distribuerte databasekodebasene. Til sammenligning støtter ikke SQLite distribusjon og består av 235 tusen linjer med C-kode. Når dette skrives, har 207 ingeniører bidratt til ClickHouse, og intensiteten på forpliktelser har økt den siste tiden.
I mars 2017 begynte ClickHouse å gjennomføre som en enkel måte å holde oversikt over utviklingen. De delte også opp den monolittiske dokumentasjonsfilen i et Markdown-basert filhierarki. Problemer og funksjoner spores via GitHub, og generelt har programvaren blitt mye mer tilgjengelig de siste årene.
I denne artikkelen skal jeg ta en titt på ytelsen til en ClickHouse-klynge på AWS EC2 ved bruk av 36-kjerners prosessorer og NVMe-lagring.
OPPDATERING: En uke etter at jeg opprinnelig publiserte dette innlegget, kjørte jeg testen på nytt med en forbedret konfigurasjon og oppnådde mye bedre resultater. Dette innlegget har blitt oppdatert for å gjenspeile disse endringene.
Lansering av en AWS EC2-klynge
Jeg skal bruke tre c5d.9xlarge EC2-forekomster for dette innlegget. Hver av dem inneholder 36 virtuelle CPUer, 72 GB RAM, 900 GB NVMe SSD-lagring og støtter 10 Gigabit-nettverk. De koster $1,962 1/time hver i eu-west-16.04-regionen når de kjøres på forespørsel. Jeg kommer til å bruke Ubuntu Server XNUMX LTS som operativsystem.
Brannmuren er konfigurert slik at hver maskin kan kommunisere med hverandre uten begrensninger, og kun min IPv4-adresse er hvitelistet av SSH i klyngen.
NVMe-stasjon i driftsberedskapstilstand
For at ClickHouse skal fungere, vil jeg lage et filsystem i EXT4-formatet på en NVMe-stasjon på hver av serverne.
$ sudo mkfs -t ext4 /dev/nvme1n1
$ sudo mkdir /ch
$ sudo mount /dev/nvme1n1 /chNår alt er konfigurert, kan du se monteringspunktet og 783 GB ledig plass på hvert system.
$ lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
loop0 7:0 0 87.9M 1 loop /snap/core/5742
loop1 7:1 0 16.5M 1 loop /snap/amazon-ssm-agent/784
nvme0n1 259:1 0 8G 0 disk
└─nvme0n1p1 259:2 0 8G 0 part /
nvme1n1 259:0 0 838.2G 0 disk /ch$ df -hFilesystem Size Used Avail Use% Mounted on
udev 35G 0 35G 0% /dev
tmpfs 6.9G 8.8M 6.9G 1% /run
/dev/nvme0n1p1 7.7G 967M 6.8G 13% /
tmpfs 35G 0 35G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 35G 0 35G 0% /sys/fs/cgroup
/dev/loop0 88M 88M 0 100% /snap/core/5742
/dev/loop1 17M 17M 0 100% /snap/amazon-ssm-agent/784
tmpfs 6.9G 0 6.9G 0% /run/user/1000
/dev/nvme1n1 825G 73M 783G 1% /chDatasettet jeg skal bruke i denne testen er en datadump jeg genererte fra 1.1 milliarder taxiturer tatt i New York City over seks år. På bloggen detaljer hvordan jeg samlet inn dette datasettet. De er lagret i AWS S3, så jeg vil konfigurere AWS CLI med min tilgang og hemmelige nøkler.
$ sudo apt update
$ sudo apt install awscli
$ aws configureJeg setter klientens grense for samtidige forespørsel til 100, slik at filer lastes ned raskere enn standardinnstillingene.
$ aws configure set
default.s3.max_concurrent_requests
100Jeg laster ned datasettet for taxiturer fra AWS S3 og lagrer det på en NVMe-stasjon på den første serveren. Dette datasettet er ~104 GB i GZIP-komprimert CSV-format.
$ sudo mkdir -p /ch/csv
$ sudo chown -R ubuntu /ch/csv
$ aws s3 sync s3://<bucket>/csv /ch/csvClickHouse installasjon
Jeg vil installere OpenJDK-distribusjonen for Java 8 da den kreves for å kjøre Apache ZooKeeper, som kreves for en distribuert installasjon av ClickHouse på alle tre maskinene.
$ sudo apt update
$ sudo apt install
openjdk-8-jre
openjdk-8-jdk-headless
Deretter setter jeg miljøvariabelen JAVA_HOME.
$ sudo vi /etc/profile
export JAVA_HOME=/usr
$ source /etc/profileJeg vil da bruke Ubuntus pakkehåndteringssystem for å installere ClickHouse 18.16.1, glances og ZooKeeper på alle tre maskinene.
$ sudo apt-key adv
--keyserver hkp://keyserver.ubuntu.com:80
--recv E0C56BD4
$ echo "deb http://repo.yandex.ru/clickhouse/deb/stable/ main/" |
sudo tee /etc/apt/sources.list.d/clickhouse.list
$ sudo apt-get update$ sudo apt install
clickhouse-client
clickhouse-server
glances
zookeeperdJeg skal lage en katalog for ClickHouse og også gjøre noen konfigurasjonsoverstyringer på alle tre serverne.
$ sudo mkdir /ch/clickhouse
$ sudo chown -R clickhouse /ch/clickhouse
$ sudo mkdir -p /etc/clickhouse-server/conf.d
$ sudo vi /etc/clickhouse-server/conf.d/taxis.confDette er konfigurasjonsoverstyringene jeg skal bruke.
<?xml version="1.0"?>
<yandex>
<listen_host>0.0.0.0</listen_host>
<path>/ch/clickhouse/</path>
<remote_servers>
<perftest_3shards>
<shard>
<replica>
<host>172.30.2.192</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>172.30.2.162</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>172.30.2.36</host>
<port>9000</port>
</replica>
</shard>
</perftest_3shards>
</remote_servers> <zookeeper-servers>
<node>
<host>172.30.2.192</host>
<port>2181</port>
</node>
<node>
<host>172.30.2.162</host>
<port>2181</port>
</node>
<node>
<host>172.30.2.36</host>
<port>2181</port>
</node>
</zookeeper-servers> <macros>
<shard>03</shard>
<replica>01</replica>
</macros>
</yandex>Jeg vil da kjøre ZooKeeper og ClickHouse-serveren på alle tre maskinene.
$ sudo /etc/init.d/zookeeper start
$ sudo service clickhouse-server startLaster opp data til ClickHouse
På den første serveren vil jeg lage en turtabell (trips), som vil lagre et datasett med taxiturer ved hjelp av loggmotoren.
$ clickhouse-client --host=0.0.0.0
CREATE TABLE trips (
trip_id UInt32,
vendor_id String,
pickup_datetime DateTime,
dropoff_datetime Nullable(DateTime),
store_and_fwd_flag Nullable(FixedString(1)),
rate_code_id Nullable(UInt8),
pickup_longitude Nullable(Float64),
pickup_latitude Nullable(Float64),
dropoff_longitude Nullable(Float64),
dropoff_latitude Nullable(Float64),
passenger_count Nullable(UInt8),
trip_distance Nullable(Float64),
fare_amount Nullable(Float32),
extra Nullable(Float32),
mta_tax Nullable(Float32),
tip_amount Nullable(Float32),
tolls_amount Nullable(Float32),
ehail_fee Nullable(Float32),
improvement_surcharge Nullable(Float32),
total_amount Nullable(Float32),
payment_type Nullable(String),
trip_type Nullable(UInt8),
pickup Nullable(String),
dropoff Nullable(String),
cab_type Nullable(String),
precipitation Nullable(Int8),
snow_depth Nullable(Int8),
snowfall Nullable(Int8),
max_temperature Nullable(Int8),
min_temperature Nullable(Int8),
average_wind_speed Nullable(Int8),
pickup_nyct2010_gid Nullable(Int8),
pickup_ctlabel Nullable(String),
pickup_borocode Nullable(Int8),
pickup_boroname Nullable(String),
pickup_ct2010 Nullable(String),
pickup_boroct2010 Nullable(String),
pickup_cdeligibil Nullable(FixedString(1)),
pickup_ntacode Nullable(String),
pickup_ntaname Nullable(String),
pickup_puma Nullable(String),
dropoff_nyct2010_gid Nullable(UInt8),
dropoff_ctlabel Nullable(String),
dropoff_borocode Nullable(UInt8),
dropoff_boroname Nullable(String),
dropoff_ct2010 Nullable(String),
dropoff_boroct2010 Nullable(String),
dropoff_cdeligibil Nullable(String),
dropoff_ntacode Nullable(String),
dropoff_ntaname Nullable(String),
dropoff_puma Nullable(String)
) ENGINE = Log;
Deretter trekker jeg ut og laster hver av CSV-filene inn i en turtabell (trips). Følgende ble fullført på 55 minutter og 10 sekunder. Etter denne operasjonen var størrelsen på datakatalogen 134 GB.
$ time (for FILENAME in /ch/csv/trips_x*.csv.gz; do
echo $FILENAME
gunzip -c $FILENAME |
clickhouse-client
--host=0.0.0.0
--query="INSERT INTO trips FORMAT CSV"
done)Importhastigheten var 155 MB ukomprimert CSV-innhold per sekund. Jeg mistenker at dette skyldtes en flaskehals i GZIP-dekompresjon. Det kan ha vært raskere å pakke ut alle de gzippede filene parallelt ved å bruke xargs og deretter laste de utpakkede dataene. Nedenfor er en beskrivelse av hva som ble rapportert under CSV-importprosessen.
$ sudo glancesip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws) Uptime: 0:11:42
CPU 8.2% nice: 0.0% LOAD 36-core MEM 9.8% active: 5.20G SWAP 0.0%
user: 6.0% irq: 0.0% 1 min: 2.24 total: 68.7G inactive: 61.0G total: 0
system: 0.9% iowait: 1.3% 5 min: 1.83 used: 6.71G buffers: 66.4M used: 0
idle: 91.8% steal: 0.0% 15 min: 1.01 free: 62.0G cached: 61.6G free: 0
NETWORK Rx/s Tx/s TASKS 370 (507 thr), 2 run, 368 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5 136b 2Kb
lo 343Mb 343Mb CPU% MEM% VIRT RES PID USER NI S TIME+ IOR/s IOW/s Command
100.4 1.5 1.65G 1.06G 9909 ubuntu 0 S 1:01.33 0 0 clickhouse-client --host=0.0.0.0 --query=INSERT INTO trips FORMAT CSV
DISK I/O R/s W/s 85.1 0.0 4.65M 708K 9908 ubuntu 0 R 0:50.60 32M 0 gzip -d -c /ch/csv/trips_xac.csv.gz
loop0 0 0 54.9 5.1 8.14G 3.49G 8091 clickhous 0 S 1:44.23 0 45M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
loop1 0 0 4.5 0.0 0 0 319 root 0 S 0:07.50 1K 0 kworker/u72:2
nvme0n1 0 3K 2.3 0.0 91.1M 28.9M 9912 root 0 R 0:01.56 0 0 /usr/bin/python3 /usr/bin/glances
nvme0n1p1 0 3K 0.3 0.0 0 0 960 root -20 S 0:00.10 0 0 kworker/28:1H
nvme1n1 32.1M 495M 0.3 0.0 0 0 1058 root -20 S 0:00.90 0 0 kworker/23:1HJeg vil frigjøre plass på NVMe-stasjonen ved å slette de originale CSV-filene før jeg fortsetter.
$ sudo rm -fr /ch/csvKonverter til kolonneskjema
Logg ClickHouse-motoren vil lagre data i et radorientert format. For å spørre data raskere, konverterer jeg dem til kolonneformat ved hjelp av MergeTree-motoren.
$ clickhouse-client --host=0.0.0.0Følgende ble fullført på 34 minutter og 50 sekunder. Etter denne operasjonen var størrelsen på datakatalogen 237 GB.
CREATE TABLE trips_mergetree
ENGINE = MergeTree(pickup_date, pickup_datetime, 8192)
AS SELECT
trip_id,
CAST(vendor_id AS Enum8('1' = 1,
'2' = 2,
'CMT' = 3,
'VTS' = 4,
'DDS' = 5,
'B02512' = 10,
'B02598' = 11,
'B02617' = 12,
'B02682' = 13,
'B02764' = 14)) AS vendor_id,
toDate(pickup_datetime) AS pickup_date,
ifNull(pickup_datetime, toDateTime(0)) AS pickup_datetime,
toDate(dropoff_datetime) AS dropoff_date,
ifNull(dropoff_datetime, toDateTime(0)) AS dropoff_datetime,
assumeNotNull(store_and_fwd_flag) AS store_and_fwd_flag,
assumeNotNull(rate_code_id) AS rate_code_id,
assumeNotNull(pickup_longitude) AS pickup_longitude,
assumeNotNull(pickup_latitude) AS pickup_latitude,
assumeNotNull(dropoff_longitude) AS dropoff_longitude,
assumeNotNull(dropoff_latitude) AS dropoff_latitude,
assumeNotNull(passenger_count) AS passenger_count,
assumeNotNull(trip_distance) AS trip_distance,
assumeNotNull(fare_amount) AS fare_amount,
assumeNotNull(extra) AS extra,
assumeNotNull(mta_tax) AS mta_tax,
assumeNotNull(tip_amount) AS tip_amount,
assumeNotNull(tolls_amount) AS tolls_amount,
assumeNotNull(ehail_fee) AS ehail_fee,
assumeNotNull(improvement_surcharge) AS improvement_surcharge,
assumeNotNull(total_amount) AS total_amount,
assumeNotNull(payment_type) AS payment_type_,
assumeNotNull(trip_type) AS trip_type,
pickup AS pickup,
pickup AS dropoff,
CAST(assumeNotNull(cab_type)
AS Enum8('yellow' = 1, 'green' = 2))
AS cab_type,
precipitation AS precipitation,
snow_depth AS snow_depth,
snowfall AS snowfall,
max_temperature AS max_temperature,
min_temperature AS min_temperature,
average_wind_speed AS average_wind_speed,
pickup_nyct2010_gid AS pickup_nyct2010_gid,
pickup_ctlabel AS pickup_ctlabel,
pickup_borocode AS pickup_borocode,
pickup_boroname AS pickup_boroname,
pickup_ct2010 AS pickup_ct2010,
pickup_boroct2010 AS pickup_boroct2010,
pickup_cdeligibil AS pickup_cdeligibil,
pickup_ntacode AS pickup_ntacode,
pickup_ntaname AS pickup_ntaname,
pickup_puma AS pickup_puma,
dropoff_nyct2010_gid AS dropoff_nyct2010_gid,
dropoff_ctlabel AS dropoff_ctlabel,
dropoff_borocode AS dropoff_borocode,
dropoff_boroname AS dropoff_boroname,
dropoff_ct2010 AS dropoff_ct2010,
dropoff_boroct2010 AS dropoff_boroct2010,
dropoff_cdeligibil AS dropoff_cdeligibil,
dropoff_ntacode AS dropoff_ntacode,
dropoff_ntaname AS dropoff_ntaname,
dropoff_puma AS dropoff_puma
FROM trips;Dette er hvordan blikkutgangen så ut under operasjonen:
ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws) Uptime: 1:06:09
CPU 10.3% nice: 0.0% LOAD 36-core MEM 16.1% active: 13.3G SWAP 0.0%
user: 7.9% irq: 0.0% 1 min: 1.87 total: 68.7G inactive: 52.8G total: 0
system: 1.6% iowait: 0.8% 5 min: 1.76 used: 11.1G buffers: 71.8M used: 0
idle: 89.7% steal: 0.0% 15 min: 1.95 free: 57.6G cached: 57.2G free: 0
NETWORK Rx/s Tx/s TASKS 367 (523 thr), 1 run, 366 slp, 0 oth sorted automatically by cpu_percent, flat view
ens5 1Kb 8Kb
lo 2Kb 2Kb CPU% MEM% VIRT RES PID USER NI S TIME+ IOR/s IOW/s Command
241.9 12.8 20.7G 8.78G 8091 clickhous 0 S 30:36.73 34M 125M /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml
DISK I/O R/s W/s 2.6 0.0 90.4M 28.3M 9948 root 0 R 1:18.53 0 0 /usr/bin/python3 /usr/bin/glances
loop0 0 0 1.3 0.0 0 0 203 root 0 S 0:09.82 0 0 kswapd0
loop1 0 0 0.3 0.1 315M 61.3M 15701 ubuntu 0 S 0:00.40 0 0 clickhouse-client --host=0.0.0.0
nvme0n1 0 3K 0.3 0.0 0 0 7 root 0 S 0:00.83 0 0 rcu_sched
nvme0n1p1 0 3K 0.0 0.0 0 0 142 root 0 S 0:00.22 0 0 migration/27
nvme1n1 25.8M 330M 0.0 0.0 59.7M 1.79M 2764 ubuntu 0 S 0:00.00 0 0 (sd-pam)I den siste testen ble flere kolonner konvertert og beregnet på nytt. Jeg fant ut at noen av disse funksjonene ikke lenger fungerer som forventet på dette datasettet. For å løse dette problemet fjernet jeg de upassende funksjonene og lastet inn dataene uten å konvertere til mer granulære typer.
Distribusjon av data på tvers av klyngen
Jeg vil distribuere dataene på tvers av alle tre klyngenodene. For å starte, nedenfor vil jeg lage en tabell på alle tre maskinene.
$ clickhouse-client --host=0.0.0.0CREATE TABLE trips_mergetree_third (
trip_id UInt32,
vendor_id String,
pickup_date Date,
pickup_datetime DateTime,
dropoff_date Date,
dropoff_datetime Nullable(DateTime),
store_and_fwd_flag Nullable(FixedString(1)),
rate_code_id Nullable(UInt8),
pickup_longitude Nullable(Float64),
pickup_latitude Nullable(Float64),
dropoff_longitude Nullable(Float64),
dropoff_latitude Nullable(Float64),
passenger_count Nullable(UInt8),
trip_distance Nullable(Float64),
fare_amount Nullable(Float32),
extra Nullable(Float32),
mta_tax Nullable(Float32),
tip_amount Nullable(Float32),
tolls_amount Nullable(Float32),
ehail_fee Nullable(Float32),
improvement_surcharge Nullable(Float32),
total_amount Nullable(Float32),
payment_type Nullable(String),
trip_type Nullable(UInt8),
pickup Nullable(String),
dropoff Nullable(String),
cab_type Nullable(String),
precipitation Nullable(Int8),
snow_depth Nullable(Int8),
snowfall Nullable(Int8),
max_temperature Nullable(Int8),
min_temperature Nullable(Int8),
average_wind_speed Nullable(Int8),
pickup_nyct2010_gid Nullable(Int8),
pickup_ctlabel Nullable(String),
pickup_borocode Nullable(Int8),
pickup_boroname Nullable(String),
pickup_ct2010 Nullable(String),
pickup_boroct2010 Nullable(String),
pickup_cdeligibil Nullable(FixedString(1)),
pickup_ntacode Nullable(String),
pickup_ntaname Nullable(String),
pickup_puma Nullable(String),
dropoff_nyct2010_gid Nullable(UInt8),
dropoff_ctlabel Nullable(String),
dropoff_borocode Nullable(UInt8),
dropoff_boroname Nullable(String),
dropoff_ct2010 Nullable(String),
dropoff_boroct2010 Nullable(String),
dropoff_cdeligibil Nullable(String),
dropoff_ntacode Nullable(String),
dropoff_ntaname Nullable(String),
dropoff_puma Nullable(String)
) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192);Da skal jeg sørge for at den første serveren kan se alle tre nodene i klyngen.
SELECT *
FROM system.clusters
WHERE cluster = 'perftest_3shards'
FORMAT Vertical;Row 1:
──────
cluster: perftest_3shards
shard_num: 1
shard_weight: 1
replica_num: 1
host_name: 172.30.2.192
host_address: 172.30.2.192
port: 9000
is_local: 1
user: default
default_database:Row 2:
──────
cluster: perftest_3shards
shard_num: 2
shard_weight: 1
replica_num: 1
host_name: 172.30.2.162
host_address: 172.30.2.162
port: 9000
is_local: 0
user: default
default_database:Row 3:
──────
cluster: perftest_3shards
shard_num: 3
shard_weight: 1
replica_num: 1
host_name: 172.30.2.36
host_address: 172.30.2.36
port: 9000
is_local: 0
user: default
default_database:
Deretter vil jeg definere en ny tabell på den første serveren som er basert på skjemaet trips_mergetree_third og bruker den distribuerte motoren.
CREATE TABLE trips_mergetree_x3
AS trips_mergetree_third
ENGINE = Distributed(perftest_3shards,
default,
trips_mergetree_third,
rand());Jeg vil deretter kopiere dataene fra den MergeTree-baserte tabellen til alle tre serverne. Følgende ble fullført på 34 minutter og 44 sekunder.
INSERT INTO trips_mergetree_x3
SELECT * FROM trips_mergetree;Etter operasjonen ovenfor ga jeg ClickHouse 15 minutter på å gå bort fra merket for maksimalt lagringsnivå. Datakatalogene endte opp med å være henholdsvis 264 GB, 34 GB og 33 GB på hver av de tre serverne.
ClickHouse-klyngeytelsesevaluering
Det jeg så neste var den raskeste tiden jeg har sett å kjøre hvert søk på en tabell flere ganger trips_mergetree_x3.
$ clickhouse-client --host=0.0.0.0Følgende fullført på 2.449 sekunder.
SELECT cab_type, count(*)
FROM trips_mergetree_x3
GROUP BY cab_type;Følgende fullført på 0.691 sekunder.
SELECT passenger_count,
avg(total_amount)
FROM trips_mergetree_x3
GROUP BY passenger_count;Følgende fullført på 0 sekunder.
SELECT passenger_count,
toYear(pickup_date) AS year,
count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
year;Følgende fullført på 0.983 sekunder.
SELECT passenger_count,
toYear(pickup_date) AS year,
round(trip_distance) AS distance,
count(*)
FROM trips_mergetree_x3
GROUP BY passenger_count,
year,
distance
ORDER BY year,
count(*) DESC;Til sammenligning kjørte jeg de samme spørringene på en MergeTree-basert tabell som ligger utelukkende på den første serveren.
Ytelsesevaluering av én ClickHouse-node
Det jeg så neste var den raskeste tiden jeg har sett å kjøre hvert søk på en tabell flere ganger trips_mergetree_x3.
Følgende fullført på 0.241 sekunder.
SELECT cab_type, count(*)
FROM trips_mergetree
GROUP BY cab_type;Følgende fullført på 0.826 sekunder.
SELECT passenger_count,
avg(total_amount)
FROM trips_mergetree
GROUP BY passenger_count;Følgende fullført på 1.209 sekunder.
SELECT passenger_count,
toYear(pickup_date) AS year,
count(*)
FROM trips_mergetree
GROUP BY passenger_count,
year;Følgende fullført på 1.781 sekunder.
SELECT passenger_count,
toYear(pickup_date) AS year,
round(trip_distance) AS distance,
count(*)
FROM trips_mergetree
GROUP BY passenger_count,
year,
distance
ORDER BY year,
count(*) DESC;Refleksjoner rundt resultatene
Dette er første gang en gratis CPU-basert database var i stand til å overgå en GPU-basert database i testene mine. Den GPU-baserte databasen har gått gjennom to revisjoner siden den gang, men ytelsen som ClickHouse leverte på en enkelt node er likevel veldig imponerende.
På samme tid, når du utfører spørring 1 på en distribuert motor, er overheadkostnadene en størrelsesorden høyere. Jeg håper jeg gikk glipp av noe i forskningen min for dette innlegget fordi det ville være fint å se spørringstidene gå ned etter hvert som jeg legger til flere noder i klyngen. Det er imidlertid flott at når du utfører andre spørringer, økte ytelsen med omtrent 2 ganger.
Det ville vært fint å se ClickHouse utvikle seg mot å kunne separere lagring og beregning slik at de kan skalere uavhengig. HDFS-støtte, som ble lagt til i fjor, kan være et skritt mot dette. Når det gjelder databehandling, hvis en enkelt spørring kan akselereres ved å legge til flere noder til klyngen, så er fremtiden til denne programvaren veldig lys.
Takk for at du tok deg tid til å lese dette innlegget. Jeg tilbyr konsulent-, arkitektur- og praksisutviklingstjenester til kunder i Nord-Amerika og Europa. Hvis du vil diskutere hvordan forslagene mine kan hjelpe din bedrift, vennligst kontakt meg via .
Kilde: www.habr.com