VictoriaMetricsá TimescaleDB ááŸáá·áº InfluxDB ááá¯á·ááᯠááŸáá¯ááºážááŸááºáá¬ážáááºá 40K áá°ážááŒá¬ážáá±á¬ á¡áá»áááºá á®ážáá®ážáá»á¬áž ááá¯ááºááá¯ááºááá·áº áá±áá¬á¡áá»ááºáá±á«ááºáž áá®áá®áá¶ááŸáá·áºáá»á®ááŸááá±á¬ áá±áá¬á¡ááœá²áá áºáá¯ááœááºá
ááœááºáá²á·áá±á¬ááŸá áºá¡áááºážáááºá Zabbix áá±ááºáá áºáá¯ááŸááá²á·áááºá ááá¹áá¯ááá«áá±á¬ áá¬áá¬áá áºáá¯á á®ááœáẠááœáŸááºááááºážá¡áááºážáááºááẠáááá¯áá« - CPU á¡áá¯á¶ážááŒá¯ááŸá¯á RAM á¡áá¯á¶ážááŒá¯ááŸá¯á áá áºá¡áá¯á¶ážááŒá¯ááŸá¯ááŸáá·áº ááœááºáááºá¡áá¯á¶ážááŒá¯ááŸá¯á á€áááºážá¡á¬ážááŒáá·áº áá¬áá¬áá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬á០áááºááá áºáá»á¬ážááᯠ40 áá®ážááá·áºá¡áá»áááºá á®ážáá®ážáá»á¬ážááœáẠá¡á¶áááºááœááºáá»ááŒá áºá á±ááá¯ááºááŒá®áž Zabbix ááẠá¡áá»áááºá á®ážáá®ážáá±áá¬á¡ááœáẠáá±á¬ááºáá¶á¡ááŒá ẠMySQL ááᯠá¡áá¯á¶ážááŒá¯ááá¯ááºáá«áááºá :)
áá±á¬áá±á¬ááẠáá áºáá±á¬ááºáááºáž áá¯á¶áá±ááœá²á·á ááºážáá¯á¶áá»á¬ážááŒáá·áº áá»ááºážáá»áŸ host ááœáẠáááºááá Ạ500 áá»á±á¬áºááᯠáá¶á·ááá¯ážáá±ážáááºá áá»á¬ážá áœá¬ááŸááá«ááẠáá±áá¬áá±á·á áºá¡áá»áá¯ážáá»áá¯ážá áááºáá¬áá¬áá»á¬ážá áá¬á·ááºáá²á áá áºáá»á¬áž á áááºááá¯á·á¡ááœáẠáááºážááá¯á·á¡á¬ážáá¯á¶ážááẠá¡áá¯á¶ážáááºáá±á¬ áááºááá áºá¡áá»áá¯ážáá»áá¯ážááᯠáá±ážáá±á¬ááºáááºá á¡á¬ážáá¯á¶áž áááºážááá¯á·á¡ááœáẠá¡áá»áá¯ážáá»áá¯ážáá±á¬ ááœáŸááºááááºážáá»á¬ážááᯠá áááºáááºááŸááºáá«á áááºááá áºáá»á¬ážá áœá¬ááᯠáá±á¬áºááŒááá·áº á¡á á¯á¡á ááºážáá»á¬ážááŸáá·áº áá±á«á·ááºáá»á¬ážáá«ááŸááá±á¬ Kubernetes ááŸááááºá áááºážááẠhost áá áºáá¯áá»áŸáẠáá±á¬ááºáá±á«ááºážáá»á¬ážá áœá¬áá±á¬ áá°ážááŒá¬ážáá±á¬ áááºááá áºáá»á¬ážááᯠááŒáááá·áº áá¬áá¬áá»á¬ážááᯠááŒá áºáá±á«áºá á±áááºá ááá¯á·ááŒá±á¬áá·áº áá°ážááŒá¬ážáá±á¬ 40K á¡áá»áááºá á®ážáá®ážááẠáá«áá«ááŒáá·áºáá¬ážáá±á¬á·áááºááá¯ááºáá«á áááºážááẠáááºááá±á á®ážááŒá±á¬ááºážááŒá áºáá¬ááŒá®áž áááºááá·áºáá±ááºáá®áá±á¬ TSDB áááᯠáá¬áá¬áá áºáá¯áááºážááœáẠá¡ááœááºááá°ááá¯ááºááœááºááá·áºáááºá
ááá¯á¡áá»áááºááœáẠáá°ážááŒá¬ážáá±á¬ á¡áá»áááºá á®ážáá®ážá¡áá±á¡ááœáẠáááºáá»áŸááŸáááááºážá 400K ááá¯á·ááá¯áẠ4M ááŒá áºááá¯ááºáá«ááá¬ážá áá«ááŸááá¯áẠ40 áá®áá¬? áá±ááºáá® TSDB áá»á¬ážááᯠá€áá¶áá«ááºáá»á¬ážááŸáá·áº ááŸáá¯ááºážááŸááºááŒáá·áºáá¡á±á¬ááºá
á á¶áááºááŸááºáá»ááºáá áºáᯠááá·áºááœááºážááŒááºážá
TSDB áá»á¬ážá¡ááœáẠá¡ááœááºáá±á¬ááºážááœááºáá±á¬ á
á¶áááºááŸááºááŒááºážáááááá¬áá
áºáá¯ááŒá
áºáááºá áááºážááẠááá·áºá¡á¬áž á¡áᶠ10 ááŒáá·áº ááá¯ááºážááŒá¬ážáá¬ážáá±á¬ ááá¯á¡ááºáá±á¬ á¡áá»áááºá
á®ážáá®ážá¡áá±á¡ááœááºááᯠáá»á±á¬áºááŒááºááŒááºážááŒáá·áº ááááºáááá¯ááááºážááááºážáá»á¬ážááᯠáá¯ááºáá¯ááºááá¯ááºá
á±áá«áááºá (áá±á¬ááºáž -scale-var) 10 ááẠáááºáá¶áá° ááá¯á·ááá¯áẠáá¬áá¬áá
áºáá¯á
á®ááœáẠáá¯ááºáá±ážááá·áº á¡ááá¯ááºážá¡áᬠ(áááºááá
áºáá»á¬áž) ááŒá
áºáááºá á
á¶áááºááŸááºáá»ááºá¡ááœáẠTSBS ááᯠá¡áá¯á¶ážááŒá¯á á¡á±á¬ááºáá«áá±áá¬á¡ááœá²áá»á¬ážááᯠáá¯ááºáá±ážáá²á·áááº-
- 400K áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®ážá áá±áá¬á¡áá»ááºáá»á¬ážááŒá¬áž 60 á áá¹ááá·áºááŒá¬ážáá¬áá áá±áá¬ááẠ3 áááºá¡ááŒáá·áºá áá±áá¬á á¯á á¯áá±á«ááºážá¡áá±á¡ááœáẠ~1.7B ááŒá áºáááºá
- 4M áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®ážá 600 á áá¹ááá·áºááŒá¬ážáá¬áá áá±áá¬ááẠ3 áááºá¡ááŒáá·áºá áá±áá¬á á¯á á¯áá±á«ááºážá¡áá±á¡ááœáẠ~1.7Bá
- 40M áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®ážá 1 áá¬áá®ááŒá¬ážáá¬áá áá±áá¬ááẠ3 áááºá¡ááŒáá·áºá áá±áá¬á á¯á á¯áá±á«ááºážá¡áá±á¡ááœáẠ~2.8Bá
áááá¯ááºážááá·áºááŸáá·áº áá¬áá¬ááẠáá®ážááŒá¬ážááŒá áºáááºáá»á¬ážááœáẠáá¯ááºáá±á¬ááºáá±áá«áááºá Google cloud ááœáẠá€ááŒá áºáááºáá»á¬ážááœáẠá¡á±á¬ááºáá«áá¯á¶á á¶áá»á¬áž áá«ááŸááááº-
- vCPU áá»á¬áž- áá
- RAM ááᯠ- 60 GB
- ááá¯ááŸá±á¬ááºááŸá¯- áá¯á¶ááŸáẠ1TB HDDá áááºážááẠ120 Mbps read/write throughputá áá áºá áá¹ááá·áºáá»áŸáẠ750 read operations ááŸáá·áº 1,5K writes per second ááá¯á·ááᯠáá±á¬ááºáá¶á·áá±ážáááºá
TSDB áá»á¬ážááᯠááá¬ážááẠdocker áá¯á¶áá»á¬ážá០áá¯ááºáá°ááŒá®áž á¡á±á¬ááºáá«áá¯á¶á á¶áá»á¬ážááŒáá·áº docker ááœáẠáá¯ááºáá±á¬ááºáááº-
-
VictoriaMetrics-
docker run -it --rm -v /mnt/disks/storage/vmetrics-data:/victoria-metrics-data -p 8080:8080 valyala/victoria-metrics -
ááŒáá·áºáá¬ážáá±á¬áá«áá«ááá¯áá¶á·ááá¯ážááẠInfluxDB (-e) áááºááá¯ážáá»á¬áž ááá¯á¡ááºáá«áááºá á¡áá±ážá áááºá¡áá»ááºá¡áááºáá»á¬ážááᯠááœááºááŒáá·áºáá«á ):
docker run -it --rm -p 8086:8086 -e INFLUXDB_DATA_MAX_VALUES_PER_TAG=4000000 -e INFLUXDB_DATA_CACHE_MAX_MEMORY_SIZE=100g -e INFLUXDB_DATA_MAX_SERIES_PER_DATABASE=0 -v /mnt/disks/storage/influx-data:/var/lib/influxdb influxdb -
TimescaleDB (ááœá²á·á ááºážáá¯á¶á០áá°áááºá ááá¯ááº):
MEM=`free -m | grep "Mem" | awk â{print $7}â`
let "SHARED=$MEM/4"
let "CACHE=2*$MEM/3"
let "WORK=($MEM-$SHARED)/30"
let "MAINT=$MEM/16"
let "WAL=$MEM/16"
docker run -it â rm -p 5432:5432
--shm-size=${SHARED}MB
-v /mnt/disks/storage/timescaledb-data:/var/lib/postgresql/data
timescale/timescaledb:latest-pg10 postgres
-cmax_wal_size=${WAL}MB
-clog_line_prefix="%m [%p]: [%x] %u@%d"
-clogging_collector=off
-csynchronous_commit=off
-cshared_buffers=${SHARED}MB
-ceffective_cache_size=${CACHE}MB
-cwork_mem=${WORK}MB
-cmaintenance_work_mem=${MAINT}MB
-cmax_files_per_process=100data loader ááᯠparallel threads 16 áá¯ááŒáá·áº run áá¬ážáááºá
á€áá±á¬ááºážáá«ážááœáẠááá·áºááœááºážááŸá¯á á¶ááŸá¯ááºážáá»á¬ážá¡ááœáẠááááºáá»á¬ážáᬠáá«ááŸááááºá ááœá±ážáá»ááºáá¬ážáá±á¬á á¶ááŸá¯ááºážáá»á¬ážáááááºáá»á¬ážááᯠáá®ážááŒá¬ážáá±á¬ááºážáá«ážááœáẠáá¯ááºáá±áá«áááºá
400K áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®áž
ááá¯ážááŸááºážáá±á¬ááŒááºá ááºáá»á¬áž - 400K ááŒáá·áºá ááŒáá«á áá¯á·á á á¶ááááºáá»á¬áž-
- VictoriaMetrics- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡áá»áẠ2,6 áááºážá RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 3 GB; disk áá±á«áºááŸá áá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 965 MB
- InfluxDB- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡áá»ááºáá»á¬áž 1.2Má RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 8.5 GB; áá áºááºááŸá áá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 1.6 GB
- á¡áá»áááºá¡ááá¯ááºážá¡áá¬- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡ááŸáẠáááKá RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 849 GB; áá áºáá±á«áºááœáẠáá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 2,5 GB
á¡áááºáá±á¬áºááŒáá«ááááºáá»á¬ážá០áááºááœá±á·ááŒááºáááá·áºá¡ááá¯ááºáž VictoriaMetrics ááẠááá·áºááœááºážááŸá¯á áœááºážáá±á¬ááºáááºááŸáá·áº ááááááºááŸá¯á¡áá»áá¯ážááœáẠá¡ááá¯ááºááááºá Timeline ááẠRAM á¡áá¯á¶ážááŒá¯ááŸá¯ááœáẠá¡ááá¯ááºááá±á¬áºáááºáž áááºážááẠáá±áá¬á¡áá»ááºáá áºáá¯áá»áŸáẠ29 bytes á¡áá»á¬ážá¡ááŒá¬ážááᯠá¡áá¯á¶ážááŒá¯áááºá
á á¶áááºááŸááºáá»áááºá¡ááœááºáž TSDBs áá áºáá¯á á®á¡ááœáẠCPU á¡áá¯á¶ážááŒá¯ááŸá¯ááááºáá»á¬ážááẠá¡á±á¬ááºáá«ááá¯á·ááŒá áºáááº-
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶ááŒá áºáááº- VictoriaMetrics - áá°ážááŒá¬ážáá±á¬ 400K áááºááá áºá¡ááœáẠááá·áºááœááºážá ááºážáááºá ááºá¡ááœááºáž CPU áááºáá¯ááºáááºááá¯ážá
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶ááŒá áºáááº- InfluxDB - áá°ážááŒá¬ážáá±á¬áááºááá Ạ400K á¡ááœáẠááá·áºááœááºážá ááºážáááºá ááºá¡ááœááºáž CPU load
á¡áá±á«áºá áááºáá¬ážááŒááºáá¬ááºáá¯á¶áá áºáá¯ááŒá áºáá«áááº- TimescaleDB - 400K ááá°ážááŒá¬ážáá±á¬áááºááá áºá¡ááœáẠááá·áºááœááºážá ááºážáááºáá±á áẠCPU load
VictoriaMetrics ááẠáááŸáááá¯ááºáá±á¬ vCPU á¡á¬ážáá¯á¶ážááᯠá¡áá¯á¶ážááŒá¯áá±á¬áºáááºáž InfluxDB ááẠvCPU 2 áá¯á¡áááºá០16 áá¯ááᯠá¡áá¯á¶ážáááŒá¯áá±á¬á·áá«á
Timescale ááẠvCPU 3 áá¯á¡ááẠ4-16 áá¯áá¬á¡áá¯á¶ážááŒá¯áááºá TimescaleDB á¡áá»áááºá áá±ážááááºááŸá iowait ááŸáá·áº á áá áºá á¡áá»áá¯ážá¡á á¬ážááŒáá·áºáá¬ážááŸá¯ááẠinput/output (I/O) á áá áºááœá²ááœáẠááááºááá¯á·ááŸá¯ááᯠááœáŸááºááŒáááºá disk bandwidth á¡áá¯á¶ážááŒá¯ááŸá¯ááááºáá»á¬ážááᯠááŒáá·áºááŒáá«á áá¯á·á
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶- VictoriaMetrics - Unique Metrics 400K á¡ááœáẠInsertion Test ááœáẠDisk Bandwidth á¡áá¯á¶ážááŒá¯ááŸá¯á
á¡áááºáá±á¬áºááŒáá« áá»ááºááŸá¬ááŒááºáá¯á¶ááẠInfluxDB - Unique Metrics 400K á¡ááœáẠInsertion Test ááœáẠDisk Bandwidth á¡áá¯á¶ážááŒá¯ááŸá¯á
á¡áá±á«áºá áá»ááºááŸá¬ááŒááºáá¯á¶áá áºáá¯á¶áá«- TimescaleDB - Unique Metrics 400K á¡ááœáẠInsertion Test ááœáẠDisk Bandwidth á¡áá¯á¶ážááŒá¯ááŸá¯á
VictoriaMetrics ááẠ20 Mbps ááŒáá·áº áá±áá¬ááᯠá¡ááŒáá·áºáá¯á¶áž 45 Mbps á¡áá ááŸááºáááºážáááºáááºá áá±á¬ááºááááºáá»á¬ážááẠáá áºáááºááŸá ááŒá®ážáá¬ážáá±á¬ áá áºá áááºáá áºááá¯ááºáž áá±á«ááºážá ááºááŸá¯áá»á¬ážááŸáá·áº ááá¯ááºáá®áááºá .
InfluxDB ááẠ160 MB/s ááŒáá·áº áá±áá¬ááᯠ1 TB áááá¯ááºááŒáá·áº áá±ážáá¬ážáááºá throughput 120 MB/s ááᯠáá±ážáá«á
TimescaleDB ááẠ120 Mbps á ááŒááºáááºážááŸá¯á¡á¬áž áá±ážáá¬ážááẠááá·áºáááºáá¬ážáá±á¬áºáááºáž áá áºáá«áá áºáá¶ááœáẠáááºážááẠá€ááá·áºáááºáá»ááºááᯠáá»áá¯ážáá»ááºááŒá®áž á¡ááŒáá·áºáá¯á¶ážáááºááá¯ážáá»á¬ážááœáẠ220 Mbps á¡áá áá±á¬ááºááŸááááºá á€á¡ááœááºá¡ááááºáá»á¬ážááẠááááºááááºááœáẠááá¯á¶áá±á¬ááºáá±á¬ CPU á¡áá¯á¶ážááŒá¯ááŸá¯áá»áá¯áá·áºáá»á¬ážááŸáá·áº ááá¯ááºáá®áá«áááºá
á¡áááº/á¡ááœáẠ(I/O) á¡áá¯á¶ážááŒá¯ááŸá¯ááááºáá»á¬ážááᯠááŒáá·áºááŒáá«á áá¯á·á
á¡áá±á«áºá áááºáá¬ážááŒááºáá¬ááºáá¯á¶- VictoriaMetrics - 400K áá°ážááŒá¬ážáá±á¬ áááºááá áºáá»á¬ážá¡ááœáẠá ááºážáááºááŸá¯ I/O á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááá·áºááœááºážáá«á
á¡áá±á«áºá áá»ááºááŸá¬ááŒááºáá¯á¶áá áºáá¯á¶áá«- InfluxDB - 400K áá°ážááŒá¬ážáá±á¬áááºááá áºáá»á¬ážá¡ááœáẠá ááºážáááºááŸá¯ I/O á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááá·áºááœááºážáá«á
á¡áá±á«áºá áááºáá¬ážááŒááºáá¬ááºáá¯á¶- TimescaleDB - 400K áá°ážááŒá¬ážáá±á¬áááºááá áºáá»á¬ážá¡ááœáẠá ááºážáááºááŸá¯ I/O á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááá·áºááœááºážáá«á
TimescaleDB ááẠáááºážá I/O ááá·áºáááºáá»ááºááá¯á· áá±á¬ááºááŸááá±ááŒá®ááŒá áºáᬠáááºážááẠáá»áẠ12 vCPU áá»á¬ážááᯠá¡áá¯á¶ážáááŒá¯ááá¯ááºáá±á¬á·áá±á
4M áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®áž
4M time series ááẠá¡áááºážááẠá áááºáá±á«áºáá¯á¶áá±á«ááºáááºá áá«áá±ááá·áº áá»áœááºáá±á¬áºááá¯á·áá²á· ááŒáá¯ááºáááºááœá±á áá®á á¬áá±ážááœá²ááᯠá¡á±á¬ááºááŒááºá áœá¬ á¡á±á¬ááºáá²á·áá«áááºá á á¶ááááºáá»á¬áž-
- VictoriaMetrics- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡ááŸáẠ2,2Má RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 6 GB; áá áºááºááŸá áá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 3 GBá
- InfluxDB- áá áºá áá¹ááá·áºáá»áŸáẠ330K áá±áá¬á¡áá»ááºáá»á¬ážá RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 20,5 GB; disk ááœááºáá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 18,4 GB á
- TimescaleDB- áá áºá áá¹ááá·áºáá»áŸáẠ480K áá±áá¬á¡áá»ááºáá»á¬ážá RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 2,5 GB; áá áºáá±á«áºááœáẠáá±á¬ááºáá¯á¶ážáá±áá¬á¡ááœááºá¡á á¬áž- 52 GBá
InfluxDB á áœááºážáá±á¬ááºáááºááẠ1,2M á¡áá»áááºá á®ážáá®ážáá áºáá¯á¡ááœáẠáá áºá áá¹ááá·áºáá»áŸáẠ400M áá±áá¬ááŸááºáá»á¬ážá០330K á¡áá»áááºá á®ážáá®ážá¡ááœáẠáá áºá áá¹ááá·áºáá»áŸáẠ4K áá±áá¬á¡ááŸááºááá¯á· áá»áááºážááœá¬ážáááºá áá«áᬠáááŒá¬ážááŒáá¯ááºáááºááœá±áá²á· ááŸááºááẠáááááá¬áᬠá áœááºážáá±á¬ááºáááºáá»ááŒááºážáá«áá²á á€áá¯á¶ážááŸá¯á¶ážááŸá¯áá¡áááºážá¡ááŒá áºááá¯áá¬ážáááºááẠCPU á¡áá¯á¶ážááŒá¯ááŸá¯ááááºáá»á¬ážááá¯ááŒáá·áºááŒáá«á áá¯á·á
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶- VictoriaMetrics - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž CPU á¡áá¯á¶ážááŒá¯ááŸá¯á
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶ááŒá áºáááº- InfluxDB - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž CPU á¡áá¯á¶ážááŒá¯ááŸá¯á
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶- TimescaleDB - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž CPU á¡áá¯á¶ážááŒá¯ááŸá¯á
VictoriaMetrics ááẠáá¯ááºáá±á¬ááºáá²áá°áá Ạ(CPU) áá«áá«á¡á¬ážáá¯á¶ážáá®ážáá«ážááᯠá¡áá¯á¶ážááŒá¯áááºá áá±áá¬á¡á¬ážáá¯á¶ážááᯠááá·áºááœááºážááŒá®ážáá±á¬áẠá¡áá¯á¶ážááœáẠáá»áááºážááŸá¯ááẠáá»ááºááŸááá±á¬ LSM áá»á¬áž áá±á«ááºážá ááºážááŸá¯ááŸáá·áº áááºááá¯ááºáááºá
InfluxDB ááẠvCPU 8 áá¯á¡ááẠ16 áá¯ááá¯áá¬á¡áá¯á¶ážááŒá¯ááŒá®áž TimsecaleDB ááẠvCPU 4 áá¯á¡ááẠ16 áá¯ááá¯á¡áá¯á¶ážááŒá¯áááºá áá°ááá¯á·áá²á· ááááºáá
áºááœá±á áá¬ááœá±áá²á ááŒáá·áºáá± iowaitáááºážááẠI/O ááááºááá¯á·ááŸá¯ááᯠááœáŸááºááŒááŒááºáááºá
TimescaleDB ááœáẠáá»áŸáá±ááŸá¯ ááŒáá·áºáá¬ážáááºá system. ááŒáá·áºáá¬ážáá±á¬ áá«áá«ááẠá
áá
áºáá±á«áºááá¯ááŸá¯áá»á¬áž ááá¯á·ááá¯áẠá¡áá»á¬ážá¡ááŒá¬ážááᯠááŒá
áºáá±á«áºá
á±áááºáᯠáá»áœááºá¯ááºááá¯á· áá°ááá«áááºá .
disk throughput graphs ááᯠááŒáá·áºáá¡á±á¬ááºá
á¡áááºááœááºáá±á¬áºááŒáá¬ážáá±á¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶- VictoriaMetrics - 4M áá°ážááŒá¬ážáá±á¬áááºááá áºáá»á¬ážááá¯ááá·áºááœááºážááẠdisk bandwidth ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážá
á¡áá±á«áºá áááºáá¬ážááŒááºáá¬ááºáá¯á¶áá áºáá¯ááŒá áºáá«áááº- InfluxDB - 4M áá°ážááŒá¬ážáá±á¬áááºááá áºáá»á¬ážááá¯ááá·áºááœááºážááẠdisk bandwidth ááá¯á¡áá¯á¶ážááŒá¯ááŒááºážá
á¡áá±á«áºá áá»ááºááŸá¬ááŒááºáá¯á¶áá áºáá¯á¶áá«- TimescaleDB - 4M áá°ážááŒá¬ážáá±á¬áááºááá áºáá»á¬ážááᯠááá·áºááœááºážááẠáá áºááºáááºážáááºááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá
VictoriaMetrics ááẠá¡ááœááºá¡ááááºááœáẠ120 MB/s ááá·áºáááºáá»ááºááá¯á·áá±á¬ááºááŸááá²á·ááŒá®áž áá»ááºážáá»áŸáá±ážáá¬ážááŸá¯ááŸá¯ááºážááŸá¬ 40 MB/s ááŒá áºáááºá á¡ááœááºá¡ááááºáá¬áá¡ááœááºáž áá±ážáá¶áá±á¬ LSM áá±á«ááºážááŒá±á¬ááºáá»á¬ážá áœá¬ááᯠáá¯ááºáá±á¬ááºáá²á·ááœááºááŸááááºá
InfluxDB ááẠ200 MB/s ááá·áºáááºáá¬ážáá±á¬ 340 MB/s ááŒáá·áº disk áá áºáá¯áá±á«áºááœáẠ120 MB/s á¡áá á¡ááŒáá·áºáá¯á¶áž XNUMX MB/s ááŒáá·áº áá»ááºážáá»áŸ áá±ážááá¯ááºááŸá¯á¡á¬áž áááºáᶠááŸá áºáá¯ááºááẠ:)
TimescaleDB ááẠáá
áºááºá¡ááá·áºá¡áááºááá¯ááºáá±á¬á·áá«á ááŒáá·áºáá¬ážáá±á¬á¡áá»áá¯ážá¡á
á¬ážááŸáá·áº áááºáááºááá·áº á¡ááŒá¬ážá¡áá¬áá»á¬ážááŒáá·áº ááá·áºáááºáá¬ážáá¯á¶áá±á«áºáááºá ÑОÑÑеЌМПй CPU áááºá
IO á¡áá¯á¶ážááŒá¯ááŸá¯ááááºáá»á¬ážááᯠááŒáá·áºááŒáá«á áá¯á·á
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶- VictoriaMetrics - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž I/O ááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá
á¡áááºááœááºáá±á¬áºááŒáá¬ážáááºááŸá¬ áááºáá¬ážááŒááºáá¬ááºáá¯á¶ááŒá áºáááº- InfluxDB - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž I/O ááᯠá¡áá¯á¶ážááŒá¯ááŒááºážá
á¡áááºáá±á¬áºááŒáá« áááºáá¬ážááŒááºáá¬ááºáá¯á¶- TimescaleDB - áá°ážááŒá¬ážáá±á¬ 4M á¡áá»áááºá á®ážáá®ážá¡ááœáẠááá·áºááœááºážá ááºážáááºááŸá¯á¡ááœááºáž I/O á¡áá¯á¶ážááŒá¯ááŸá¯á
IO á¡áá¯á¶ážááŒá¯ááŸá¯áá¯á¶á á¶áá»á¬ážááẠdisk bandwidth ááá¯áááºáááºá á±ááẠ- InfluxDB ááẠIO á¡ááá·áºá¡áááºááŸáááŒá®áž VictoriaMetrics ááŸáá·áº TimescaleDB ááœáẠIO á¡áááºážá¡ááŒá áºáá»á¬áž á¡ááá¯áá«ááŸááááºá
40M áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®áž
40M áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®ážááẠInfluxDB á¡ááœáẠá¡ááœááºááŒá®ážáá¬ážááẠ:)
á á¶ááááºáá»á¬áž-
- VictoriaMetrics- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡áá»áẠá.á áááºážá RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 1,7 GB; Disk áá±áá¬á¡áá¯á¶ážááŒá¯ááŸá¯- 29 GBá
- InfluxDB- RAM 60GB áááºááá¯ááá¯á¡ááºáá±á¬ááŒá±á¬áá·áº áááŒá®ážáá«á
- TimescaleDB- áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡áá»áẠ330Ká RAM á¡áá¯á¶ážááŒá¯ááŸá¯- 2,5 GB; Disk áá±áá¬á¡áá¯á¶ážááŒá¯ááŸá¯- 84GBá
TimescaleDB ááẠáá°ážááŒá¬ážáá±á¬ 2,5M ááŸáá·áº 4K áááºááá áºáá»á¬ážá¡ááœáẠáá°áá®áá±á¬ 400 GB ááœáẠá¡ááœááºáááá·áºááŒá®áž áááºááŒáááºáá±á¬ RAM á¡áá¯á¶ážááŒá¯ááŸá¯ááᯠááŒááááºá
VictoriaMetrics ááẠáá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬á¡áá»ááºáá±á«ááºáž 100k ááŸá¯ááºážááŒáá·áº áááŒááºážááŒááºáž áá»á²á·ááœááºáᬠáááºááá áºá¡ááẠ40M á¡á¬ážáá¯á¶ážááᯠáááºáá¬ážáá±á¬ áááºááá áºá¡áááºáá»á¬áž áá¯ááºáá±á¬ááºááŒá®ážáááºá¡áá áá»á²á·ááœááºáá²á·áááºá ááá¯á·áá±á¬áẠáá°ááẠáá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬ááŸááºááá¯áẠ1,5-2,0M áááºááá¯áẠááá·áºááœááºážááŸá¯ááºážááᯠáááŸááá²á·ááŒá®áž áá±á¬ááºáá¯á¶ážááááºááŸá¬ áá áºá áá¹ááá·áºáá»áŸáẠáá±áá¬ááŸáẠ1,7M ááŒá áºáááºá
40M áá°ážááŒá¬ážááá·áºá¡áá»áááºá á®ážáá®ážáá»á¬ážá¡ááœáẠááááºáá»á¬ážááẠ4M áá°ážááŒá¬ážááá·áºá¡áá»áááºá á®ážáá®ážáá»á¬ážá¡ááœáẠááááºáá»á¬ážááŸáá·áºáááºáá°áá±á¬ááŒá±á¬áá·áº áááºážááá¯á·ááᯠáá»á±á¬áºááá¯ááºááŒáá«á áá¯á·á
ááœá±á·ááŸááá»ááºáá»á¬áž
- áá±ááºáá® TSDB áá»á¬ážááẠáá¬áá¬áá áºáá¯áááºážááŸá áááºážáá±á«ááºážáá»á¬ážá áœá¬áá±á¬ á¡áá»áááºá á®ážáá®ážáá»á¬ážá¡ááœáẠááá·áºááœááºážááŸá¯áá»á¬ážááᯠáá¯ááºáá±á¬ááºááá¯ááºá áœááºážááŸááááºá áá±á¬ááºáá±á¬ááºážáá«ážááœááºá áááºážááŸáá·áºáá»á®áá±á¬áá°ážááŒá¬ážáá±á¬á¡áá»áááºá á®ážáá®ážáá»á¬ážáá áºáá»áŸá±á¬áẠTSDB áá»á¬ážááẠááœá±ážáá»ááºááŸá¯ááᯠáááºáá»áŸáá±á¬ááºážá áœá¬áá¯ááºáá±á¬ááºááá¯ááºáááºááᯠáá»áœááºá¯ááºááá¯á·á ááºážáááºáá«áááºá
- CPU á¡áá¯á¶ážááŒá¯ááŸá¯ ááá¯á¶áá±á¬ááºááŒááºážááẠI/O ááááºááá¯á·ááŸá¯ááᯠááœáŸááºááŒáááºá áá áºááŒáááºáá»áŸáẠááá¯ááºážá¡áááºážáááºáᬠáá¯ááºáá±á¬ááºááá¯ááºáááŒáá·áº ááááºááá¯á·ááŒááºážááẠááŒááºážááœááºážáááºáá¯áááºáž ááœáŸááºááŒááá¯ááºáááºá
- á¡áá°ážáááŒáá·áº cloud áááºáá±á¬ááºááŸá¯áá±ážáá°áá»á¬ážá virtualized block devices áá»á¬ážáá²á·ááá¯á·áá±á¬ SSD ááá¯ááºáá±á¬ ááá¯ááŸá±á¬ááºááŸá¯ááœáẠI/O ááááºááá¯á·ááŸá¯ ááŸááá«áááºá
- VictoriaMetrics ááẠááŸá±ážááœá±ážááŒá®áž áááá·áºáá±á¬ I/O ááá¯ááŸá±á¬ááºááŸá¯á¡ááœáẠá¡áá±á¬ááºážáá¯á¶áž ááá¯ááá¯áá±á¬ááºážááœááºá¡á±á¬áẠáá¯ááºáá±á¬ááºáá±ážáá«áááºá áááºážááẠá¡áá±á¬ááºážáá¯á¶ážá¡ááŒááºááŸá¯ááºážááŸáá·áº á¡áá±á¬ááºážáá¯á¶áž compression á¡áá»áá¯ážááᯠáá±ážáá±á¬ááºáááºá
áá±á«ááºážáá¯áẠáááºááá±áá¬ááá¯á ááºážááŒáá·áºáá«á áááºááá¯ááºáᬠstatic binary ááŸá¬ áááá¯ááºáá«áááºá .
á€ááœáẠVictoriaMetrics á¡ááŒá±á¬ááºážááá¯ááá¯áááºáá«á .
á¡ááºááááº- áá¯ááºáá±áá²á·áááºá áá»áá¯ážááœá¬ážááá¯ááºáá±á¬ááááºáá»á¬ážááŸáá·áºá¡áá°á
á¡ááºáááẠ#2- ááá¯áááºážáááºáá«á .
á¡ááºáááẠ#3- !
ááŒá±ážáááºážáá»ááº-
source: www.habr.com