á¡á¬ážáá¯á¶ážáááºá¹ááá¬áá«! áá°á·á¡ááœááº
Graphite+Whisper á០Graphite+ClickHouse ááœáẠáááºááá áºáá»á¬áž ááááºážáááºážááŒááºážá០á¡ááœááºáá°ážááŒá±á¬ááºážááŸá¯ááᯠáááºááá¯á·á á®á ááºáááºááᯠááá·áºá¡á¬áž áá»áœááºá¯ááºáááŒá±á¬ááŒáá®á ááá¯ááá¯á·áá±á¬ áá¯á¶ážááŒááºáá»ááºáá»áááŒááºážá á¡ááŒá±á¬ááºážáááºážáá»á¬ážááŸáá·áº á¡áá»áááºá¡áá±á¬áºááŒá¬ áá±ááá¯ááºáá²á·ááá·áº Whisper á á¡á¬ážáááºážáá»ááºáá»á¬ážá¡ááŒá±á¬ááºáž á¡áá»ááºá¡áááºáá»á¬ážááᯠáá»áœááºá¯ááºááŒá±á¬ááŒááá¯áá«áááºá
ááá¯ááºááẠ+ ááááºááááºáá±áž ááŒá¿áá¬áá»á¬áž
1. disk subsystem ááœáẠload ááŒáá·áºáá¬ážááŒááºážá
á¡áá°ážá¡ááŒá±á¬ááºážáá¬áááœáẠáá áºáááá áºáá»áŸáẠáááºááá Ạá.á áááºážááá·áºááẠáá»áœááºá¯ááºááá¯á·áᶠáá±á¬ááºááŸááá¬áá«áááºá ááá¯ááá¯á·áá±á¬á á®ážáááºážááŸá¯ááŒáá·áº áá¬áá¬áá»á¬ážááœáẠáá áºááºá¡áá¯á¶ážááŒá¯ááŸá¯ááẠ~1.5% ááŒá áºáááºá áá±áá°áá»á¡á¬ážááŒáá·áºá á€á¡áá¬ááẠá¡áá±á¬áºáá±áž áááºáá¶ááá¯ááºááẠ- á¡áá¬á¡á¬ážáá¯á¶áž áááºááŒáááºá áœá¬ á¡áá¯ááºáá¯ááºááŒá®ážá ááŒááºááŒááºáááºááẠáá±ážáá¬ážáááºá ááŒááºááŒááºáááºáááº... ááœá¶á·ááŒáá¯ážááá¯ážáááºáá±áž á¡ááœá²á·áá»á¬ážáá²á០áá áºáŠážá០á¡ááºá¹áá«áááºá¡áá áºááᯠáá¯ááºááŒááŒá®áž áá áºáááá áºáá»áŸáẠáááºááá Ạ30 áááºážááᯠáá±ážááá¯á·ááŒááºáž áááŒá¯ááá»ááºážá ááá¯á¡áá»áááºááœáẠdisk ááœá²á áá áºá¡á¬áž áááºážáá»ááºáá¬ááŒá®áž 10% á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠáá»áœááºá¯ááºááá¯á·ááœá±á·ááŒááºáá²á·ááááºá ááŒá¿áá¬ááᯠááŒááºááŒááºáááºááẠááŒá±ááŸááºážááá¯ááºáá²á·áá±ááá·áº á¡ááŒáœááºážá¡áá»ááºááœá± áá»ááºáá²á·áá«áááºá
2. áá¯á¶áá°ááœá¬ážááŒááºážááŸáá·áº áá®ááœááºááŸá¯ áááŸáááŒááºážá
Graphite+Whisper ááᯠá¡áá¯á¶ážááŒá¯áá°/á¡áá¯á¶ážááŒá¯áá°ááá¯ááºážáá²á·ááá¯á· ááŒá áºááá¯ááºááŒá±á¡ááŸááá¯á¶ážááŸá¬á áá»áœááºá¯ááºááá¯á·ááẠá¡ááŸá¬ážáá¶ááá¯ááºáááºááŸáá á±áááºá¡ááœáẠGraphite áá¬áá¬áá»á¬ážá áœá¬ááᯠáá áºááŒáá¯ááºáááºáááºáž áá°áá®áá±á¬ áááºááá áºá á®ážááŒá±á¬ááºážááᯠáá±á¬ááºážáá»áá«áááºá á¡ááŒá±á¬ááºážáá áºáá¯áá¯ááŒá±á¬áá·áº áá¬áá¬áá áºáᯠáá»ááºáá»ááá·áºá¡ááá¯ááºá¡ááá·áºá¡áá áááºážá¡ááœáẠá¡áá°ážááŒá¿áá¬áá»á¬áž áááŸááá²á·áá«á ááá«ááá¶ááœáẠáá»áœááºá¯ááºááá¯á·ááẠá¡áá¯á¶á¡áá±á¬áẠáá»áááºážááœá¬ážáá±á¬ áá¬áá¬áá áºáá¯ááᯠá¡ááŒááºáá±á¬ááºáá°ááá¯ááºáá²á·ááŒá®áž áá¬ááœááº-c-relay ááẠáááºážá áááºááŸáºá០áááºááá áºáá»á¬ážááᯠáááºážáá²ááá¯á· ááá·áºááœááºážááá¯ááºáá²á·áá±á¬áºáááºáž áá áºáá«áá áºáᶠááá¯ááºáá«á ááá¯á·áá±á¬áẠáá»áœááºá¯ááºááá¯á·ááẠrsync ááŒáá·áºááŒáá·áºáá¬ážáá±á¬ áááºááá áºáá»á¬ážááœáẠá¡áá±á«ááºáá áºáá¯ááŸááááºá áá¯ááºáá¯á¶ážáá¯ááºáááºážá áá±á¬áºáá±á¬áºááŸááºáááºá áá áºáá¯áááºážáá±á¬ áááºáááºááŒááºážáá»á±ážáá°ážááŸá¬ á€á¡áá¬ááẠá¡ááœááºááŸá¬ážáá«ážááŸáá«áááºá áá»áœááºá¯ááºááá¯á·áááºáááºáž á¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ áá»áááºáž áááºááá áºáá»á¬ážááᯠá¡áá«á¡á¬ážáá»á±á¬áºá áœá¬ áá°áᬠáááºážááá¯á·á¡á¬áž á¡á á¯á¡áá±ážá á¡áá®ážáá¬ážááŸá node áá»á¬ážááœáẠá¡áá»áá¯ážá¡á á¬ážáá° á¡ááŒá¬ážáá°áá»á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºáá«áááºá ááŒá áºáááºáá»á¬ážá 5% ááá·áºááœááºá áá»á¬ážá áœá¬áá±á¬áááºááá¯ážáá»á¬ážááẠááœá²ááŒá¬ážáá²á·ááŒááŒá®áž áá»áœááºá¯ááºááá¯á· á¡ááœááºááá»á±á¬áºááœáŸááºáá²á·ááŒáá«á
3. ááŒá®ážáá¬ážáá±á¬ááŒá±áá¬
áá»áœááºá¯ááºááá¯á·ááẠGraphite ááœáẠá¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶áá¬áá á á®ážááœá¬ážáá±ážááá¯ááºáᬠáááºááá áºáá»á¬áž (ááᯠKubernetes á០áááºááá áºáá»á¬ážáá«ááŸááááº) ááŒá áºáá±á¬ááŒá±á¬áá·áº áá»áœááºá¯ááºááá¯á·ááẠáááºááá áºáááºááá¯ážá¡áááºážáááºáá¬áá«áááºááá·áº á¡ááŒá±á¡áá±áá»áá¯ážááᯠáááŸáááŒááŒá®áž .wsp ááá¯ááºááᯠááááºážááááºážááŸá¯á¡á¬ážáá¯á¶ážááᯠááá·áºááœááºážááœááºáá»ááºááŒá®áž áááºáá®ážáá¬ážáááºá á¡áá»áááºáá¬áá áá»áœááºá¯ááºááá¯á·á¡ááœáẠ~2MB ááŒá áºááá·áºá¡ááœáẠááŒáá¯áááºááœá²áá±áá¬ážáá±á¬ áá±áá¬ááá¬áááᯠáá°áá«áááºá á¡áá¬ážáá°ááá¯ááºáá»á¬ážá áœá¬ááẠá¡áá»áááºááŒá¬áá¬áááºááŸáá·áºá¡áá»áŸ áá±á«áºáá¬ááŒá®áž áááºážááá¯á·ááᯠá¡á á®áááºáá¶á á¬áá»á¬ážáááºáá±á¬ááºááá·áºá¡áá«á ááá¬ááŒá áºáá±áá±á¬á¡áá»ááºáá»á¬ážááá¯áááºááŒááºážááẠá¡áá»áááºááŸáá·áºá¡áááºážá¡ááŒá áºáá»á¬ážá áœá¬áá°áááá·áºá¡áá»ááºááŒá±á¬áá·áº ááŒá¿áá¬ááᯠááá¯ááá¯ááá¯ážááœá¬ážá á±áááºá
á¡áááºáá±á¬áºááŒáá« ááŒá¿áá¬áá»á¬ážááᯠáááºážáááºážá¡áá»áá¯ážáá»áá¯ážááŒáá·áº áááá±á¬ááºááŸá¯ áá®ááá®á¡áá»áá¯ážáá»áá¯ážááŒáá·áº ááŒá±ááŸááºážááá¯ááºáá±á¬áºáááºáž áá±áá¬ááá¯ááá¯áááŸááá±áá±á ááá¯ááá¯ááá¯ážááœá¬ážáá±áá±ááŒá áºááŒá±á¬ááºáž áá»áœááºá¯ááºáá»ááºáá»ááºážáááááŒá¯á á±ááá¯áá«áááºá
á¡áááºáá«á¡áá»ááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠ(ááááºáááá·áºááœááºážá
ááºážá
á¬ážáá«á
Graphite+ClickHouseá áá»áŸá±á¬áºááá·áºáá»ááºáá»á¬áž
áááºááŒá®áž Yandex á០áá±á¬ááºá»á¬ážáá±ážáá»á¬áž ááœá±á·áá¯á¶ááœá²áá»á¬ážá
áœá¬ááᯠááœá¬ážáá±á¬ááºáááºáááºáá²á·áááºá
á¡á±á¬ááºáá«ááá¯á·ááᯠáááºáá¶ááá°ááá¯áá«áááºá
- disk subsystem á¡áá¯á¶ážáá»ááŸá¯ááᯠ30% á០5% áá»áŸá±á¬á·áá»áá«á
- 1TB á០100GB á¡áá ááááºážááá¯ááºáá¬ážáá±á¬ áá±áá¬ááá¬áááᯠáá»áŸá±á¬á·áá»áá«á
- áá¬áá¬áá²ááá¯á· áá áºáááá áºáá»áŸáẠáááºááá áºáá»á¬áž áááºáž 100 áááŸáááá¯ááºáááºá
- áá±áá¬áá¯á¶áá°ááœá¬ážááŒááºážááŸáá·áº á¡ááŸá¬ážá¡ááœááºážáá»á¬ážááᯠáááºážáá¶ááá¯ááºááŸá¯
- á€ááá±á¬áá»ááºááœáẠáá áºááŸá áºáá»áŸ áááá¯ááºáá«ááŸáá·áº ááá·áºáá»á±á¬áºáá±á¬á¡áá»áááºáá±á¬ááºá¡ááœááºáž á¡ááœááºáá°ážááŒá±á¬ááºážááŸá¯ááᯠááŒá¯áá¯ááºáá«á
- á¡áá»áááºáááá¯ááºážáá² ááŒá±á¬ááºážáá«á
áá±á¬áºáá±á¬áº áááºááŸááºážáá»ááºááŒá®ážááẠáá¯ááºáá¬ážá
Graphite+ClickHouseá á¡á áááºá¡ááá¯ááºážáá»á¬áž
Graphite áááá¯ááá¯áá±á¬ááŸáá
áºááá·áº áá±áá¬ááᯠáááºáá¶ááá°ááŒá®áž áááºážááᯠClickHouse ááœáẠááŸááºáááºážáááºááẠáá»áœááºá¯ááºááœá±ážáá»ááºáá²á·áááºá
áááºááŒáááºáá±á¬áá¬ážááŸááºáž 1.1.54253á ClickHouse ááá±á¬ááºáá¯á¶ážááœááºááŸáááŸá¯ááᯠá¡áá»áááºá
á®ážáá®ážááááºážáááºážáááºá¡ááœáẠáá±áá¬áá±á·á
áºá¡ááŒá
Ạááœá±ážáá»ááºáá²á·áááºá áááºážááá¯áá¯ááºáá±á¬ááºáá¬ááœáẠááŒá¿áá¬áá»á¬ážááŸááá²á·áááº- áá
áºáá¯á¶ážáá»á¬ážáá²ááá¯á· á¡ááŸá¬ážá¡ááœááºážáá»á¬ážáá«áááºáá¬ááŒá®áž áááºážááá¯á·ááŸáá·áº áááºááá¯á·áááºáá¯á¶áá¯ááºáá±á¬ááºááááºááᯠááŸááºážááŸááºážáááºážáááºážáááááá±á ááŸáá·áº ááœá±ážááœá±ážáááºá
ClickHouse á០áá±áá¬ááᯠáááºááẠááœá±ážáá»ááºáá¬ážáááºá
Graphite+ClickHouseá ááá¬ážááœá²á·á ááºážáá¯á¶
âgraphiteâ ááẠááá¬ážáá»á¬ážááᯠá á±á¬áá·áºááŒáá·áºáááºá¡ááœáẠáá»áœááºá¯ááºááá¯á· áááºáá®ážáá¬ážáá±á¬ áá±áá¬áá±á·á áºáá áºáá¯ááŒá áºáááºá
âgraphite.metricsâ - ReplicatedReplacingMergeTree á¡ááºáá»ááºááŒáá·áº ááá¬áž (áááºáá°áá¯ááºáá¬ážáááºá
CREATE TABLE graphite.metrics ( Date Date, Level UInt32, Path String, Deleted UInt8, Version UInt32 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.metrics', âr1â, Date, (Level, Path), 8192, Version);
âgraphite.dataâ - ReplicatedGraphiteMergeTree á¡ááºáá»ááºááŒáá·áº ááá¬áž (áááºáá°áá¯ááºáá¬ážáááºá
CREATE TABLE graphite.data ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/replicator/graphite.data', 'r1', Date, (Path, Time), 8192, 'graphite_rollup')
âgraphite.date_metricsâ ááẠReplicatedReplacingMergeTree á¡ááºáá»ááºáá«ááŸááá±á¬ á¡ááŒá±á¡áá±á¡á ááŒáá·áºáá¬ážáá±á¬ááá¬ážááŒá
áºáááºá á€ááá¬ážááẠáá±á·á
á¥áºááŒá¯á¶ááœá±á·áááá·áº áááºááá
áºá¡á¬ážáá¯á¶ážá á¡áááºáá»á¬ážááᯠááŸááºáááºážáááºáááºá áááºážááááºáá®ážááŸá¯á¡ááŒá±á¬ááºážáááºážáá»á¬ážááᯠááá¹áááœáẠáá±á¬áºááŒáá¬ážáá«áááºá
CREATE MATERIALIZED VIEW graphite.date_metrics ( Path String, Level UInt32, Date Date) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.date_metrics', 'r1', Date, (Level, Path, Date), 8192) AS SELECT toUInt32(length(splitByChar('.', Path))) AS Level, Date, Path FROM graphite.data
âgraphite.data_statâ - ReplicatedAggregatingMergeTree á¡ááºáá»ááºááŒáá·áº á¡ááŒá±á¡áá±á¡ááá¯áẠááŒáá·áºáá¬ážáá±á¬ ááá¬ážáá
áºáᯠ(áá¯á¶áá°áá°ážáá¬ážáááº
CREATE MATERIALIZED VIEW graphite.data_stat ( Date Date, Prefix String, Timestamp UInt32, Count AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/replicator/graphite.data_stat', 'r1', Date, (Timestamp, Prefix), 8192) AS SELECT toStartOfMonth(now()) AS Date, replaceRegexpOne(Path, '^([^.]+.[^.]+.[^.]+).*$', '1') AS Prefix, toUInt32(toStartOfMinute(toDateTime(Timestamp))) AS Timestamp, countState() AS Count FROM graphite.data GROUP BY Timestamp, Prefix
Graphite+ClickHouseá á¡á áááºá¡ááá¯ááºáž á¡ááŒááºá¡ááŸáẠáááºááœááºááŸá¯ áá¯á¶ááŒááºáž
Graphite+ClickHouseá áá±áá¬ááœáŸá±á·ááŒá±á¬ááºážááŒááºážá
á€ááá±á¬áá»ááºááŸáá»áŸá±á¬áºááá·áºáá»ááºáá»á¬ážááŸáá»áœááºá¯ááºááá¯á·áááááááºá¡ááá¯ááºáž ClickHouse ááá¯á·áá°ážááŒá±á¬ááºážááŒááºážáááºá¡áá»áááºáá¯ááºááŒááºážáááŸááá²ááŒá
áºááá·áºáááºá ááá¯á·ááŒá±á¬áá·áºáá»áœááºá¯ááºááá¯á·áá
á±á¬áá·áºááŒáá·áºáá±ážá
áá
áºáá
áºáá¯áá¯á¶ážááá¯áá»áœááºá¯ááºááá¯á·áá¡áá¯á¶ážááŒá¯áá°áá»á¬ážá¡ááœááºáááºááá¯ááºááá»áŸááœáá·áºáááºážááŒááºáá¬á
áœá¬ááá¯ááŸá±á¬ááºááŸá¯á¡áá
áºááá¯á·áá»áœááºá¯ááºááá¯á·áá
áºáááºážáááºážááŒáá·áºááŒá±á¬ááºážááááºááŒá
áºáá«áááºá
áá«á áá«ááá¯á·áá¯ááºáá²á·áá¬á
-
ClickHouse ááá¬ážáá»á¬ážáá¯á¶áá°áá°ážááŒááºážááœááºáá« á ááºááá·áºáá¬áá¬áá»á¬ážáá²ááŸáá áºáá¯ááá¬ááœááº-ááá áºááá áºáá±á¬ááºá áºááá¯á· áááºááá áºá á®ážááŒá±á¬ááºážáá áºáá¯áááºáá¶áá±ážááá¯á·ááẠáá¬ááœááº-c-ááŒááºááá¯á·ááŸá¯ááœáẠá ááºážáá»ááºážáá áºáá¯ááᯠááá·áºááœááºážáá¬ážáááºá
-
áá»áœááºá¯ááºááá¯á·ááẠáá»áœááºá¯ááºááá¯á·áááá¯ááŸá±á¬ááºááŸá¯á០.wsp ááá¯ááºáá»á¬ážá¡á¬ážáá¯á¶ážááᯠáááºááŒááŒá®áž á á¬ááœá² 24 áá¯ááŒáá·áº á¡áááºáá±á¬áºááŒáá« áá¬ááœááºááá áºáá¯á¶ááá¯á· áá±ážááá¯á·ááá·áº ááááºáááááºáááºááºáá áºáá»á áºááá¯ááºááᯠá¡áá¯á¶ážááŒá¯á python ááœáẠáá±ážáááºáá±á¬ script áá±ážáá áºáá¯áá±ážáá²á·áááºá áá¬ááœááº-ááá áºáá¯á¶ááŸá áááºáá¶áááºááá áºáááºááá¯ážá¡áá±á¡ááœááºááẠáá áºáááá áºáá»áŸáẠ125 áááºážá¡áááá±á¬ááºááŸááá²á·ááŒá®áž ClickHouse ááẠáá»áœá±ážáá±á¬ááºáááŒááºáá²á·áá«á
-
áááºááŸá áááºááŸáºáá¯ááºáá»á¬ážááœáẠá¡áá¯á¶ážááŒá¯ááá·áº áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠá¡ááŸá¬ážááŸá¬ááẠGrafana ááœáẠáá®ážááŒá¬áž DataSource áá áºáá¯ááᯠáááºáá®ážáá¬ážáá«áááºá áá»áœááºá¯ááºááá¯á·á¡áá¯á¶ážááŒá¯áá²á·ááá·áº áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážá á¬áááºážááᯠáá»áœááºá¯ááºááá¯á·áá±á¬áºáá¯ááºáá²á·ááŒá®áž áááºážááá¯á·ááᯠáá¬ááœááºááá®ááœáẠá¡áá±á¬ááºá¡áááºááá±á¬áºáá²á·áá«á áá»áœááºá¯ááºááá¯á·ááẠá€áá¯ááºáá±á¬ááºáá»ááºáá»á¬ážááᯠááá·áºááœááºážááŒá®áž carbonapi áá±ážáá¬ážáá°áá»á¬ážáᶠPR áá»á¬ážáá±ážááá¯á·áá²á·ááẠ(áá°ááá¯á·á¡á¬áž á¡áá°ážáá»á±ážáá°ážáááºááŸááá«áááº)á
- áá»áááºááœááºáá»áŸá¬áááºáááºáá»á¬ážááœáẠáááºááŸá¯ááŒááºážáááºááᯠááŒá±á¬ááºážáááºá áá»áœááºá¯ááºááá¯á·ááẠá¡áá¯á¶ážááŸááºáá»á¬ážááᯠááááºááá¯ááº-api (Graphite+Whisper á¡ááœáẠAPI áá»ááºááŸá¬ááŒááº) á០áá¬ááœááºáá¬áá®ááá¯á· ááŒá±á¬ááºážáá²áá²á·áááºá
Graphite+ClickHouseá ááááºáá»á¬áž
-
disk subsystem á¡áá¯á¶ážáá»ááŸá¯ááᯠ30% á០1% áá»áŸá±á¬á·áá»;
- 1 TB á០300 GB ááá¯á· ááááºážááá¯ááºáá¬ážáá±á¬ space ááá¬áááᯠáá»áŸá±á¬á·áá»ááŒá®ážá
- áá»áœááºá¯ááºááá¯á·ááẠáá¬áá¬ááá¯á· áá áºáááá áºáá»áŸáẠáááºááá Ạááá áááºážááᯠáááºáá¶ááá¯ááºááẠ(ááœáŸá±á·ááŒá±á¬ááºážááá·áºá¡áá»áááºááœáẠá¡ááŒáá·áºáá¯á¶ážááŒá áºáááº)á
- áááºááá áºá¡á¬ážáá¯á¶ážááᯠá áá¹ááá·áºáá¯á¶ážáááºááŒá¬ ááá¯ááŸá±á¬ááºááŸá¯ááŒá¬ážáá¬áááá¯á· ááœáŸá²ááŒá±á¬ááºážáá²á·áááºá
- áá±áá¬áá¯á¶áá°ááœá¬ážááŸá¯ááŸáá·áº á¡ááŸá¬ážáá¶ááá¯ááºáááºááᯠáááºáá¶áááŸááá²á·áááºá
- á ááºáááºááŒááºážáááŸááá²ááŒá±á¬ááºážáá²á·áááº;
- á¡á¬ážáá¯á¶ážááŒá®ážá¡á±á¬ááºáá¯ááºááá¯á· 7 áááºáá±á¬ááºááŒá¬áááºá
Graphite+ClickHouseá ááŒá¿áá¬áá»á¬áž
áá»áœááºá¯ááºááá¯á·áá¡ááŒá±á¡áá±ááœááºá áá»áá¯á·ááœááºážáá»ááºá¡áá»áá¯á·ááŸááá²á·áááºá áá«á á¡áá°ážá¡ááŒá±á¬ááºážá¡ááŒá®ážááŸá¬ áá»áœááºáá±á¬áºááá¯á· ááŒá¯á¶ááœá±á·áá²á·ááá¬áá«á
- ClickHouse ááẠáá»á¶áááºážááŸá¯ááœáẠconfigs ááá¯á¡ááŒá²áááºážááŒááºááááºáá«á áá áºáá«áá áºáᶠáááºážááᯠááŒááºáááºá áááºááẠááá¯á¡ááºáááºá á¥ááá¬á¡á¬ážááŒáá·áºá ClickHouse config ááœáẠzookeeper cluster ááá±á¬áºááŒáá»ááºááá á¹á ááœááºá clickhouse-server ááá¯ááŒááºáááºá áááºáááºá¡ááá¡áá¯á¶ážáááŒá¯áá«á
- ááŒá®ážáá¬ážáá±á¬ ClickHouse áá±á¬ááºážááá¯ááŸá¯áá»á¬ážááẠáá¡á±á¬ááºááŒááºáá²á·áá«á ááá¯á·ááŒá±á¬áá·áº ááááºááá¯ááº-ááá
áºáá¯á¶ááœáẠáá»áœááºá¯ááºááá¯á·á ClickHouse áá»áááºáááºááŸá¯á
á¬ááŒá±á¬ááºážááẠá€áá²á·ááá¯á·ááŒá
áºáá±áááº-
url = "http://localhost:8123/?max_query_size=268435456&max_ast_elements=1000000"
- ClickHouse ááẠáááºááŒáááºáá±á¬ áá¬ážááŸááºážá¡áá áºáá»á¬ážááᯠáááŒá¬áá áá¯ááºááŒááºáá±á·ááŸááááºá áááºážááá¯á·ááœáẠá¡á¶á·ááŒá áá¬áá»á¬áž áá«áááºááá¯ááºáááº- ááááá¬ážáá«á
- Kubernetes ááœáẠááá¯ááºážááá
áºááŒáá·áº áááºáá®ážáá¬ážáá±á¬ ááœááºááááºáá¬áá»á¬ážááẠááá¯áá±á¬ááºážááŒá®áž áá»áááºážáá
áºáááºáá¬ááŸáá·áºá¡áá° áááºááá
áºá¡áá»á¬ážá¡ááŒá¬ážááᯠáá±ážááá¯á·áááºá ááá¯ááá¯á·áá±á¬ áááºááá
áºáá»á¬ážá¡ááœáẠá¡ááŸááºáá»á¬ážá
áœá¬áááŸááá«á áá±áá¬ááœááºááŸáá·áº ááŒá¿áá¬áááŸááá«á ááá¯á·áá±á¬áº á
á¯á¶á
ááºážáá±ážááŒááºážááŸá¯áá»á¬ážááᯠáááºáá±á¬ááºááá·áºá¡áá«á ClickHouse ááẠ'áááºááá
áºáá»á¬áž' ááá¬ážá០á€áá°áá®áá±á¬ áááºááá
áºááááºážááááºážáá»á¬ážá
áœá¬ááᯠáá±á¬ááºáá°áá«áááºá ááá
á¹á
áá»á¬ážá 90% ááœááºá áááºážááá¯á·ááœáẠáááºážááá¯ážááẠ(24 áá¬áá®) áá»á±á¬áºááœááºá áá±áá¬áááŸááá«á ááá¯á·áá±á¬áº 'áá±áá¬' ááá¬ážááœáẠá€áá±áá¬ááᯠááŸá¬ááœá±ááẠá¡áá»áááºáá¯ááºááŒá®áž áá±á¬ááºáá¯á¶ážááœáẠá¡áá»áááºáá¯ááºááœá¬ážáá«áááºá á€ááŒá¿áá¬ááá¯ááŒá±ááŸááºážáááºá¡ááœáẠáá»áœááºá¯ááºááá¯á·ááẠáá±á·á
á¥áºááŒá¯á¶ááœá±á·áá²á·áááá·áº áááºááá
áºáá»á¬ážááá¯ááºáᬠá¡áá»ááºá¡áááºáá»á¬ážááŸáá·áº áá®ážááŒá¬ážááŒáá·áºááŸá¯ááŸá¯ááᯠá
áááºáá²á·áááºá ááá¯á·ááŒá±á¬áá·áºá ááá¯ááºážááá
áºááŒáá·áºáááºáá®ážáá¬ážáá±á¬ááœááºááááºáá¬áá»á¬ážá¡ááœáẠá¡á
á®áááºáá¶á
á¬áá»á¬áž (ááááºáá
áºáá»á¬áž) áááºáá±á¬ááºááá·áºá¡áá«á áááºážááá¯á·á¡áá±á«áº á¡á
á®áááºáá¶á
á¬áá»á¬ážáááºáá±á¬ááºááŸá¯ááᯠáááá¬áááºááŸá¬ážá
áœá¬ á¡ááŸáááºááŒáŸáá·áºáá±ážááá·áº á¡áá»áááºáá
áºáá¯áá¯á¶ážá¡ááœááºááá¯ááºáá² áá±ážáá¬ážááá·áºáááºážááá¯ážáá
áºáá¯á¡ááœááºáž ááŒá¯á¶ááœá±á·áááá·áº áááºááá
áºáá»á¬ážááá¯áᬠá
á¯á¶á
ááºážáá±ážááŒááºážáá«áááºá á¡áááºáá±á¬áºááŒáá« ááŒá±ááŸááºážáááºážá¡ááœáẠáá»áœááºáá±á¬áº á
á¯áá±á¬ááºážáááá«áááºá
ááá¯ááºáá¬-ááá áºáá¯á¶ (áááºážáá¯á¶áááºážááœ) date_metrics ááá¬ážááŒáá·áº áá¯ááºáá±á¬ááºááŒááºáž á¡áá±á¬ááºá¡áááºáá±á¬áºááŒááºáž áá«áááºáááºá
Graphite+ClickHouseá áááº
áá¬ážááŸááºáž 1.1.0 ááŸáá·áºá¡áá° Graphite ááá¬ážáááºááŒá
áºáá¬áá²á·áááºá
Graphite+ClickHouseá ááœá²ááœá²áá±áá±á¬ áá±á¬ááºááŸááºážáááááá¬
á¡áááºááœááºáá±á¬áºááŒáá¬ážáá±á¬ á¡ááŒá±áá¶á¡áá±á¬ááºá¡á¡á¯á¶á¡áá±á«áºá¡ááŒá±áá¶á áá»áœááºá¯ááºááá¯á·ááẠáááŸááºááááºááŸá¬ááœá±á ááºá ááŸá±á·ááŒá±ážáá¯á¶á á¶ááᯠá¡áá±á¬ááºá¡áááºáá±á¬áºáá²á·ááŒá®áž áááºážááẠá¡áá¯ááºáá¯ááºáá«áááºá áá«áá±ááá·áº áá±á¬ááºáá±á¬ááºážáá«ážááŸá¬ áá°á·á¡ááŒá±á¬ááºáž ááá¯áá»á¬ážáááºá
á á¬áááºážááœááºážáá«á á¡áá±á«áºááŒáŸá¬ážááá¯ááŸáááºááŒá®áž áá»á±á¬áºááœáŸááºáá«á á±á
source: www.habr.com