ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ TSDB ਬੈਂਚਮਾਰਕ ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਬਨਾਮ ਟਾਈਮਸਕੇਲਡੀਬੀ ਬਨਾਮ ਇਨਫਲੂਕਸਡੀਬੀ

ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ, ਟਾਈਮਸਕੇਲਡੀਬੀ ਅਤੇ ਇਨਫਲੂਕਸਡੀਬੀ ਦੀ ਤੁਲਨਾ ਕੀਤੀ ਗਈ ਸੀ ਪਿਛਲੇ ਲੇਖ 40K ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਨਾਲ ਸਬੰਧਤ ਇੱਕ ਅਰਬ ਡੇਟਾ ਪੁਆਇੰਟਾਂ ਵਾਲੇ ਡੇਟਾਸੈਟ ਉੱਤੇ।

ਕੁਝ ਸਾਲ ਪਹਿਲਾਂ ਜ਼ੈਬਿਕਸ ਦਾ ਦੌਰ ਸੀ। ਹਰੇਕ ਬੇਅਰ ਮੈਟਲ ਸਰਵਰ ਵਿੱਚ ਕੁਝ ਸੂਚਕਾਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਸਨ - CPU ਵਰਤੋਂ, RAM ਵਰਤੋਂ, ਡਿਸਕ ਵਰਤੋਂ ਅਤੇ ਨੈੱਟਵਰਕ ਵਰਤੋਂ। ਇਸ ਤਰ੍ਹਾਂ, ਹਜ਼ਾਰਾਂ ਸਰਵਰਾਂ ਤੋਂ ਮੈਟ੍ਰਿਕਸ 40 ਹਜ਼ਾਰ ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਵਿੱਚ ਫਿੱਟ ਹੋ ਸਕਦੇ ਹਨ, ਅਤੇ ਜ਼ੈਬਿਕਸ MySQL ਨੂੰ ਟਾਈਮ ਸੀਰੀਜ਼ ਡੇਟਾ ਲਈ ਬੈਕਐਂਡ ਵਜੋਂ ਵਰਤ ਸਕਦਾ ਹੈ :)

ਵਰਤਮਾਨ ਵਿੱਚ ਇਕੱਲੇ node_exporter ਡਿਫੌਲਟ ਸੰਰਚਨਾਵਾਂ ਦੇ ਨਾਲ ਔਸਤ ਹੋਸਟ 'ਤੇ 500 ਤੋਂ ਵੱਧ ਮੀਟ੍ਰਿਕਸ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਉੱਥੇ ਕਈ ਹਨ ਨਿਰਯਾਤ ਵੱਖ-ਵੱਖ ਡਾਟਾਬੇਸ, ਵੈੱਬ ਸਰਵਰ, ਹਾਰਡਵੇਅਰ ਸਿਸਟਮ, ਆਦਿ ਲਈ। ਇਹ ਸਾਰੇ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਉਪਯੋਗੀ ਮੈਟ੍ਰਿਕਸ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ। ਸਾਰੇ ਹੋਰ ਅਤੇ ਹੋਰ ਜਿਆਦਾ ਐਪਲੀਕੇਸ਼ਨ ਆਪਣੇ ਲਈ ਵੱਖ-ਵੱਖ ਸੂਚਕਾਂ ਨੂੰ ਸੈੱਟ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੰਦੇ ਹਨ। ਕਲੱਸਟਰਾਂ ਅਤੇ ਪੌਡਾਂ ਦੇ ਨਾਲ ਕੁਬਰਨੇਟਸ ਹੈ ਜੋ ਬਹੁਤ ਸਾਰੇ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਉਜਾਗਰ ਕਰਦੇ ਹਨ। ਇਸ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਸਰਵਰ ਪ੍ਰਤੀ ਹੋਸਟ ਹਜ਼ਾਰਾਂ ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਨੂੰ ਪ੍ਰਗਟ ਕਰਦੇ ਹਨ। ਇਸ ਲਈ ਵਿਲੱਖਣ 40K ਸਮਾਂ ਲੜੀ ਹੁਣ ਉੱਚ ਸ਼ਕਤੀ ਨਹੀਂ ਹੈ। ਇਹ ਮੁੱਖ ਧਾਰਾ ਬਣ ਰਿਹਾ ਹੈ ਅਤੇ ਇੱਕ ਸਿੰਗਲ ਸਰਵਰ 'ਤੇ ਕਿਸੇ ਵੀ ਆਧੁਨਿਕ TSDB ਦੁਆਰਾ ਆਸਾਨੀ ਨਾਲ ਸੰਭਾਲਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਇਸ ਸਮੇਂ ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਦੀ ਵੱਡੀ ਗਿਣਤੀ ਕਿੰਨੀ ਹੈ? ਸ਼ਾਇਦ 400K ਜਾਂ 4M? ਜਾਂ 40m? ਆਉ ਇਹਨਾਂ ਸੰਖਿਆਵਾਂ ਨਾਲ ਆਧੁਨਿਕ TSDB ਦੀ ਤੁਲਨਾ ਕਰੀਏ।

ਇੱਕ ਬੈਂਚਮਾਰਕ ਸਥਾਪਤ ਕਰਨਾ

ਟੀ.ਐੱਸ.ਬੀ.ਐੱਸ TSDBs ਲਈ ਇੱਕ ਸ਼ਾਨਦਾਰ ਬੈਂਚਮਾਰਕਿੰਗ ਟੂਲ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ 10 - ਫਲੈਗ ਦੁਆਰਾ ਵੰਡਿਆ ਸਮਾਂ ਲੜੀ ਦੀ ਲੋੜੀਂਦੀ ਸੰਖਿਆ ਨੂੰ ਪਾਸ ਕਰਕੇ ਮੈਟ੍ਰਿਕਸ ਦੀ ਇੱਕ ਮਨਮਾਨੀ ਸੰਖਿਆ ਤਿਆਰ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ - ਸਕੇਲ (ਸਾਬਕਾ -scale-var). 10 ਹਰੇਕ ਹੋਸਟ ਜਾਂ ਸਰਵਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਮਾਪ (ਮੈਟ੍ਰਿਕਸ) ਦੀ ਸੰਖਿਆ ਹੈ। ਬੈਂਚਮਾਰਕ ਲਈ TSBS ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਨਿਮਨਲਿਖਤ ਡੇਟਾਸੇਟ ਤਿਆਰ ਕੀਤੇ ਗਏ ਸਨ:

• 400K ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ, ਡੇਟਾ ਪੁਆਇੰਟਾਂ ਵਿਚਕਾਰ 60 ਸਕਿੰਟ ਦਾ ਅੰਤਰਾਲ, ਡੇਟਾ ਪੂਰੇ 3 ਦਿਨਾਂ ਵਿੱਚ ਫੈਲਦਾ ਹੈ, ~1.7B ਡੇਟਾ ਪੁਆਇੰਟਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ।
• 4M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ, 600 ਸਕਿੰਟ ਅੰਤਰਾਲ, ਡੇਟਾ 3 ਪੂਰੇ ਦਿਨਾਂ ਵਿੱਚ ਫੈਲਦਾ ਹੈ, ~1.7B ਡੇਟਾ ਪੁਆਇੰਟਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ।
• 40M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ, 1 ਘੰਟੇ ਦਾ ਅੰਤਰਾਲ, ਡੇਟਾ 3 ਪੂਰੇ ਦਿਨ ਫੈਲਦਾ ਹੈ, ~2.8B ਡੇਟਾ ਪੁਆਇੰਟਾਂ ਦੀ ਕੁੱਲ ਸੰਖਿਆ।

ਕਲਾਇੰਟ ਅਤੇ ਸਰਵਰ ਸਮਰਪਿਤ ਸਥਿਤੀਆਂ 'ਤੇ ਚੱਲ ਰਹੇ ਸਨ n1-ਸਟੈਂਡਰਡ-16 ਗੂਗਲ ਕਲਾਉਡ ਵਿੱਚ. ਇਹਨਾਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਹੇਠ ਲਿਖੀਆਂ ਸੰਰਚਨਾਵਾਂ ਸਨ:

• vCPUs: 16
• ਰੈਮ: 60 ਜੀ.ਬੀ.
• ਸਟੋਰੇਜ: ਸਟੈਂਡਰਡ 1TB HDD। ਇਹ 120 Mbps ਰੀਡ/ਰਾਈਟ ਥ੍ਰੋਪੁੱਟ, 750 ਰੀਡ ਓਪਰੇਸ਼ਨ ਪ੍ਰਤੀ ਸਕਿੰਟ ਅਤੇ 1,5K ਰਾਈਟਸ ਪ੍ਰਤੀ ਸਕਿੰਟ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

TSDBs ਨੂੰ ਅਧਿਕਾਰਤ ਡੌਕਰ ਚਿੱਤਰਾਂ ਤੋਂ ਕੱਢਿਆ ਗਿਆ ਸੀ ਅਤੇ ਹੇਠ ਲਿਖੀਆਂ ਸੰਰਚਨਾਵਾਂ ਨਾਲ ਡੌਕਰ ਵਿੱਚ ਚਲਾਇਆ ਗਿਆ ਸੀ:

• ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ:

  docker run -it --rm -v /mnt/disks/storage/vmetrics-data:/victoria-metrics-data -p 8080:8080 valyala/victoria-metrics

• ਉੱਚ ਸ਼ਕਤੀ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ InfluxDB (-e) ਮੁੱਲਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਵਿੱਚ ਵੇਰਵੇ ਦੇਖੋ ਦਸਤਾਵੇਜ਼):

  docker run -it --rm -p 8086:8086 
  -e INFLUXDB_DATA_MAX_VALUES_PER_TAG=4000000 
  -e INFLUXDB_DATA_CACHE_MAX_MEMORY_SIZE=100g 
  -e INFLUXDB_DATA_MAX_SERIES_PER_DATABASE=0 
  -v /mnt/disks/storage/influx-data:/var/lib/influxdb influxdb

• TimescaleDB (ਸੰਰਚਨਾ ਇਸ ਤੋਂ ਲਈ ਗਈ ਹੈ ਇਸ ਨੂੰ ਫਾਈਲ):

MEM=`free -m | grep "Mem" | awk ‘{print $7}’`
let "SHARED=$MEM/4"
let "CACHE=2*$MEM/3"
let "WORK=($MEM-$SHARED)/30"
let "MAINT=$MEM/16"
let "WAL=$MEM/16"
docker run -it — rm -p 5432:5432 
--shm-size=${SHARED}MB 
-v /mnt/disks/storage/timescaledb-data:/var/lib/postgresql/data 
timescale/timescaledb:latest-pg10 postgres 
-cmax_wal_size=${WAL}MB 
-clog_line_prefix="%m [%p]: [%x] %u@%d" 
-clogging_collector=off 
-csynchronous_commit=off 
-cshared_buffers=${SHARED}MB 
-ceffective_cache_size=${CACHE}MB 
-cwork_mem=${WORK}MB 
-cmaintenance_work_mem=${MAINT}MB 
-cmax_files_per_process=100

ਡਾਟਾ ਲੋਡਰ 16 ਸਮਾਨਾਂਤਰ ਥ੍ਰੈਡਾਂ ਨਾਲ ਚਲਾਇਆ ਗਿਆ ਸੀ।

ਇਸ ਲੇਖ ਵਿੱਚ ਸਿਰਫ਼ ਸੰਮਿਲਨ ਮਾਪਦੰਡਾਂ ਲਈ ਨਤੀਜੇ ਹਨ। ਚੋਣਵੇਂ ਬੈਂਚਮਾਰਕ ਦੇ ਨਤੀਜੇ ਇੱਕ ਵੱਖਰੇ ਲੇਖ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਜਾਣਗੇ।

400K ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ

ਆਉ ਸਧਾਰਨ ਤੱਤਾਂ ਨਾਲ ਸ਼ੁਰੂ ਕਰੀਏ - 400K। ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ:

• ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ: 2,6M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 3 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਿਮ ਡਾਟਾ ਆਕਾਰ: 965 MB
• InfluxDB: 1.2M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 8.5 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਿਮ ਡਾਟਾ ਆਕਾਰ: 1.6 GB
• ਟਾਈਮਸਕੇਲ: 849K ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 2,5 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਿਮ ਡਾਟਾ ਆਕਾਰ: 50 GB

ਜਿਵੇਂ ਕਿ ਤੁਸੀਂ ਉਪਰੋਕਤ ਨਤੀਜਿਆਂ ਤੋਂ ਦੇਖ ਸਕਦੇ ਹੋ, ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਸੰਮਿਲਨ ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਸੰਕੁਚਨ ਅਨੁਪਾਤ ਵਿੱਚ ਜਿੱਤਦੀ ਹੈ। ਟਾਈਮਲਾਈਨ ਰੈਮ ਵਰਤੋਂ ਵਿੱਚ ਜਿੱਤਦੀ ਹੈ, ਪਰ ਇਹ ਬਹੁਤ ਸਾਰੀ ਡਿਸਕ ਸਪੇਸ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ - 29 ਬਾਈਟ ਪ੍ਰਤੀ ਡੇਟਾ ਪੁਆਇੰਟ।

ਹੇਠਾਂ ਬੈਂਚਮਾਰਕ ਦੇ ਦੌਰਾਨ ਹਰੇਕ TSDB ਲਈ CPU ਵਰਤੋਂ ਗ੍ਰਾਫ ਹਨ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - ਇੱਕ ਵਿਲੱਖਣ 400K ਮੀਟ੍ਰਿਕ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ CPU ਲੋਡ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਲੱਖਣ ਮੀਟ੍ਰਿਕ 400K ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ InfluxDB - CPU ਲੋਡ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: TimescaleDB - 400K ਦੇ ਇੱਕ ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ CPU ਲੋਡ।

VictoriaMetrics ਸਾਰੇ ਉਪਲਬਧ vCPUs ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ InfluxDB 2 vCPUs ਵਿੱਚੋਂ ~16 ਦੀ ਘੱਟ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਟਾਈਮਸਕੇਲ 3 vCPU ਵਿੱਚੋਂ ਸਿਰਫ਼ 4-16 ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। TimescaleDB ਟਾਈਮਸਕੇਲ ਗ੍ਰਾਫ ਵਿੱਚ iowait ਅਤੇ ਸਿਸਟਮ ਦੇ ਉੱਚ ਅਨੁਪਾਤ ਇੰਪੁੱਟ/ਆਊਟਪੁੱਟ (I/O) ਸਬ-ਸਿਸਟਮ ਵਿੱਚ ਇੱਕ ਰੁਕਾਵਟ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਆਉ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਵਰਤੋਂ ਗ੍ਰਾਫਾਂ ਨੂੰ ਵੇਖੀਏ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ 400K ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਵਿੱਚ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: InfluxDB - ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ 400K ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ 'ਤੇ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: TimescaleDB - ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ 400K ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ 'ਤੇ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ।

ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ 20 Mbps ਤੱਕ ਦੇ ਸਿਖਰਾਂ ਦੇ ਨਾਲ 45 Mbps 'ਤੇ ਡਾਟਾ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ। ਸਿਖਰ ਦਰਖਤ ਵਿੱਚ ਵੱਡੇ ਅੰਸ਼ਕ ਵਿਲੀਨਤਾ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਐਲਐਸਐਮ.

InfluxDB 160 MB/s 'ਤੇ ਡਾਟਾ ਲਿਖਦਾ ਹੈ, ਜਦਕਿ 1 TB ਡਰਾਈਵ ਸੀਮਿਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਥ੍ਰੋਪੁੱਟ 120 MB/s ਲਿਖੋ।

TimescaleDB 120 Mbps ਦੇ ਥ੍ਰੋਪੁੱਟ ਨੂੰ ਲਿਖਣ ਲਈ ਸੀਮਿਤ ਹੈ, ਪਰ ਕਈ ਵਾਰ ਇਹ ਇਸ ਸੀਮਾ ਨੂੰ ਤੋੜਦਾ ਹੈ ਅਤੇ ਸਿਖਰ ਮੁੱਲਾਂ ਵਿੱਚ 220 Mbps ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ। ਇਹ ਚੋਟੀਆਂ ਪਿਛਲੇ ਗ੍ਰਾਫ ਵਿੱਚ ਨਾਕਾਫ਼ੀ CPU ਉਪਯੋਗਤਾ ਦੀਆਂ ਘਾਟੀਆਂ ਨਾਲ ਮੇਲ ਖਾਂਦੀਆਂ ਹਨ।

ਆਉ ਇਨਪੁਟ/ਆਉਟਪੁੱਟ (I/O) ਵਰਤੋਂ ਗ੍ਰਾਫਾਂ ਨੂੰ ਵੇਖੀਏ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - 400K ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਲਈ ਟੈਸਟ I/O ਵਰਤੋਂ ਦਾਖਲ ਕਰੋ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: InfluxDB - 400K ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਲਈ ਟੈਸਟ I/O ਵਰਤੋਂ ਦਾਖਲ ਕਰੋ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: TimescaleDB - 400K ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਲਈ ਟੈਸਟ I/O ਵਰਤੋਂ ਸ਼ਾਮਲ ਕਰੋ।

ਇਹ ਹੁਣ ਸਪੱਸ਼ਟ ਹੈ ਕਿ TimescaleDB ਆਪਣੀ I/O ਸੀਮਾ ਤੱਕ ਪਹੁੰਚ ਰਿਹਾ ਹੈ, ਇਸਲਈ ਇਹ ਬਾਕੀ ਬਚੇ 12 vCPUs ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰ ਸਕਦਾ ਹੈ।

4M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ

4M ਸਮਾਂ ਲੜੀ ਥੋੜੀ ਚੁਣੌਤੀਪੂਰਨ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ। ਪਰ ਸਾਡੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਇਸ ਪ੍ਰੀਖਿਆ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਪਾਸ ਕਰਦੇ ਹਨ। ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ:

• ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ: 2,2M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; ਰੈਮ ਦੀ ਵਰਤੋਂ: 6 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਿਮ ਡਾਟਾ ਆਕਾਰ: 3 GB.
• InfluxDB: 330K ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 20,5 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਿਮ ਡਾਟਾ ਆਕਾਰ: 18,4 GB.
• TimescaleDB: 480K ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 2,5 GB; ਡਿਸਕ 'ਤੇ ਅੰਤਮ ਡਾਟਾ ਆਕਾਰ: 52 GB.

InfluxDB ਪ੍ਰਦਰਸ਼ਨ 1,2K ਟਾਈਮ ਸੀਰੀਜ਼ ਲਈ 400M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ ਤੋਂ 330M ਟਾਈਮ ਸੀਰੀਜ਼ ਲਈ 4K ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ 'ਤੇ ਆ ਗਿਆ। ਇਹ ਦੂਜੇ ਪ੍ਰਤੀਯੋਗੀਆਂ ਦੇ ਮੁਕਾਬਲੇ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਪ੍ਰਦਰਸ਼ਨ ਨੁਕਸਾਨ ਹੈ। ਆਉ ਇਸ ਨੁਕਸਾਨ ਦੇ ਮੂਲ ਕਾਰਨ ਨੂੰ ਸਮਝਣ ਲਈ CPU ਵਰਤੋਂ ਗ੍ਰਾਫਾਂ ਨੂੰ ਵੇਖੀਏ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - ਇੱਕ ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ CPU ਵਰਤੋਂ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ InfluxDB - CPU ਵਰਤੋਂ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: TimescaleDB - ਇੱਕ ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ CPU ਵਰਤੋਂ।

VictoriaMetrics ਲਗਭਗ ਸਾਰੀ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟ (CPU) ਪਾਵਰ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ। ਅੰਤ ਵਿੱਚ ਡ੍ਰੌਪ ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾਣ ਤੋਂ ਬਾਅਦ ਬਾਕੀ ਰਹਿੰਦੇ LSM ਵਿਲੀਨਤਾ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ।

InfluxDB 8 ਵਿੱਚੋਂ ਸਿਰਫ਼ 16 vCPUs ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜਦੋਂ ਕਿ TimsecaleDB 4 ਵਿੱਚੋਂ 16 vCPUs ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਉਹਨਾਂ ਦੇ ਗ੍ਰਾਫਾਂ ਵਿੱਚ ਕੀ ਸਾਂਝਾ ਹੈ? ਉੱਚ ਸ਼ੇਅਰ iowait, ਜੋ ਦੁਬਾਰਾ ਇੱਕ I/O ਰੁਕਾਵਟ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

TimescaleDB ਦਾ ਉੱਚ ਹਿੱਸਾ ਹੈ system. ਅਸੀਂ ਇਹ ਮੰਨਦੇ ਹਾਂ ਕਿ ਉੱਚ ਸ਼ਕਤੀ ਦੇ ਨਤੀਜੇ ਵਜੋਂ ਬਹੁਤ ਸਾਰੀਆਂ ਸਿਸਟਮ ਕਾਲਾਂ ਜਾਂ ਬਹੁਤ ਸਾਰੀਆਂ ਪੇਜ ਦੇ ਮਾਮੂਲੀ ਨੁਕਸ.

ਆਉ ਡਿਸਕ ਥਰੂਪੁੱਟ ਗ੍ਰਾਫਾਂ ਨੂੰ ਵੇਖੀਏ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - 4M ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਪਾਉਣ ਲਈ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: InfluxDB - 4M ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਪਾਉਣ ਲਈ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: TimescaleDB - 4M ਵਿਲੱਖਣ ਮੈਟ੍ਰਿਕਸ ਸੰਮਿਲਿਤ ਕਰਨ ਲਈ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਸਿਖਰ 'ਤੇ 120 MB/s ਦੀ ਸੀਮਾ 'ਤੇ ਪਹੁੰਚ ਗਿਆ, ਜਦੋਂ ਕਿ ਔਸਤ ਲਿਖਣ ਦੀ ਗਤੀ 40 MB/s ਸੀ। ਇਹ ਸੰਭਾਵਨਾ ਹੈ ਕਿ ਪੀਕ ਦੇ ਦੌਰਾਨ ਕਈ ਭਾਰੀ LSM ਫਿਊਜ਼ਨ ਕੀਤੇ ਗਏ ਸਨ.

InfluxDB 200 MB/s ਦੀ ਲਿਖਣ ਦੀ ਸੀਮਾ ਦੇ ਨਾਲ ਇੱਕ ਡਿਸਕ 'ਤੇ 340 MB/s ਤੱਕ ਦੀ ਸਿਖਰ ਦੇ ਨਾਲ 120 MB/s ਦੇ ਔਸਤ ਰਾਈਟ ਥ੍ਰਰੂਪੁਟ ਨੂੰ ਦੁਬਾਰਾ ਨਿਚੋੜਦਾ ਹੈ :)

TimescaleDB ਹੁਣ ਡਿਸਕ ਸੀਮਿਤ ਨਹੀਂ ਹੈ। ਇਹ ਉੱਚ ਅਨੁਪਾਤ ਨਾਲ ਸਬੰਧਤ ਕਿਸੇ ਹੋਰ ਚੀਜ਼ ਦੁਆਰਾ ਸੀਮਿਤ ਜਾਪਦਾ ਹੈ системной CPU ਲੋਡ।

ਆਓ IO ਵਰਤੋਂ ਗ੍ਰਾਫਾਂ ਨੂੰ ਵੇਖੀਏ:

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ - ਇੱਕ ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ I/O ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: InfluxDB - ਇੱਕ ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ I/O ਦੀ ਵਰਤੋਂ ਕਰਨਾ।

ਉੱਪਰ ਇੱਕ ਸਕ੍ਰੀਨਸ਼ੌਟ ਹੈ: ਵਿਲੱਖਣ 4M ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨ ਟੈਸਟ ਦੌਰਾਨ TimescaleDB - I/O ਵਰਤੋਂ।

IO ਵਰਤੋਂ ਪੈਟਰਨ ਡਿਸਕ ਬੈਂਡਵਿਡਥ ਦੇ ਪ੍ਰਤੀਬਿੰਬ ਹਨ - InfluxDB IO ਸੀਮਿਤ ਹੈ, ਜਦੋਂ ਕਿ ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਅਤੇ ਟਾਈਮਸਕੇਲਡੀਬੀ ਕੋਲ ਵਾਧੂ IO ਸਰੋਤ ਹਨ।

40M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ

InfluxDB ਲਈ 40M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਬਹੁਤ ਵੱਡੀ ਸੀ :)

ਬੈਂਚਮਾਰਕ ਨਤੀਜੇ:

• ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ: 1,7M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ; RAM ਦੀ ਵਰਤੋਂ: 29 GB; ਡਿਸਕ ਸਪੇਸ ਦੀ ਵਰਤੋਂ: 17 GB.
• InfluxDB: ਪੂਰਾ ਨਹੀਂ ਹੋਇਆ ਕਿਉਂਕਿ ਇਸ ਨੂੰ 60GB ਤੋਂ ਵੱਧ RAM ਦੀ ਲੋੜ ਹੈ।
• TimescaleDB: 330K ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ, RAM ਵਰਤੋਂ: 2,5 GB; ਡਿਸਕ ਸਪੇਸ ਦੀ ਵਰਤੋਂ: 84GB।

TimescaleDB 2,5 GB 'ਤੇ ਅਸਧਾਰਨ ਤੌਰ 'ਤੇ ਘੱਟ ਅਤੇ ਸਥਿਰ RAM ਵਰਤੋਂ ਦਿਖਾਉਂਦਾ ਹੈ - ਵਿਲੱਖਣ 4M ਅਤੇ 400K ਮੈਟ੍ਰਿਕਸ ਦੇ ਸਮਾਨ।

ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਹੌਲੀ-ਹੌਲੀ 100k ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਦਰ ਨਾਲ ਸਕੇਲ ਕੀਤਾ ਗਿਆ ਜਦੋਂ ਤੱਕ ਸਾਰੇ 40M ਟੈਗ ਕੀਤੇ ਮੀਟ੍ਰਿਕ ਨਾਮਾਂ 'ਤੇ ਕਾਰਵਾਈ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ। ਫਿਰ ਉਸਨੇ 1,5-2,0M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਇੱਕ ਨਿਰੰਤਰ ਸੰਮਿਲਨ ਦਰ ਪ੍ਰਾਪਤ ਕੀਤੀ, ਇਸ ਲਈ ਅੰਤਿਮ ਨਤੀਜਾ 1,7M ਡਾਟਾ ਪੁਆਇੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ ਸੀ।

40M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਲਈ ਗ੍ਰਾਫ਼ 4M ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਦੇ ਗ੍ਰਾਫ਼ਾਂ ਦੇ ਸਮਾਨ ਹਨ, ਇਸ ਲਈ ਆਓ ਉਹਨਾਂ ਨੂੰ ਛੱਡ ਦੇਈਏ।

ਸਿੱਟਾ

• ਆਧੁਨਿਕ TSDBs ਇੱਕ ਸਿੰਗਲ ਸਰਵਰ 'ਤੇ ਲੱਖਾਂ ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਲਈ ਸੰਮਿਲਨਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਦੇ ਸਮਰੱਥ ਹਨ। ਅਗਲੇ ਲੇਖ ਵਿੱਚ, ਅਸੀਂ ਜਾਂਚ ਕਰਾਂਗੇ ਕਿ TSDBs ਲੱਖਾਂ ਵਿਲੱਖਣ ਸਮਾਂ ਲੜੀ ਵਿੱਚ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਚੋਣ ਕਰਦੇ ਹਨ।
• ਨਾਕਾਫ਼ੀ CPU ਉਪਯੋਗਤਾ ਆਮ ਤੌਰ 'ਤੇ I/O ਰੁਕਾਵਟ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਇਹ ਇਹ ਵੀ ਦਰਸਾ ਸਕਦਾ ਹੈ ਕਿ ਬਲਾਕਿੰਗ ਬਹੁਤ ਮੋਟੀ ਹੈ, ਜਿਸ ਵਿੱਚ ਇੱਕ ਸਮੇਂ ਵਿੱਚ ਸਿਰਫ ਕੁਝ ਥਰਿੱਡ ਹੀ ਚੱਲ ਸਕਦੇ ਹਨ।
• I/O ਬੋਟਲਨੇਕ ਮੌਜੂਦ ਹੈ, ਖਾਸ ਤੌਰ 'ਤੇ ਗੈਰ-SSD ਸਟੋਰੇਜ਼ ਜਿਵੇਂ ਕਿ ਕਲਾਉਡ ਪ੍ਰਦਾਤਾਵਾਂ ਦੇ ਵਰਚੁਅਲਾਈਜ਼ਡ ਬਲਾਕ ਡਿਵਾਈਸਾਂ ਵਿੱਚ।
• VictoriaMetrics ਹੌਲੀ, ਘੱਟ I/O ਸਟੋਰੇਜ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਅਨੁਕੂਲਤਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਸਭ ਤੋਂ ਵਧੀਆ ਗਤੀ ਅਤੇ ਵਧੀਆ ਕੰਪਰੈਸ਼ਨ ਅਨੁਪਾਤ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਡਾ .ਨਲੋਡ ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਸਿੰਗਲ-ਸਰਵਰ ਚਿੱਤਰ ਅਤੇ ਇਸਨੂੰ ਆਪਣੇ ਡੇਟਾ 'ਤੇ ਅਜ਼ਮਾਓ। ਅਨੁਸਾਰੀ ਸਥਿਰ ਬਾਈਨਰੀ 'ਤੇ ਉਪਲਬਧ ਹੈ GitHub.

ਇਸ ਵਿੱਚ ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਬਾਰੇ ਹੋਰ ਪੜ੍ਹੋ ਲੇਖ.

ਅੱਪਡੇਟ: ਪ੍ਰਕਾਸ਼ਿਤ InfluxDB ਨਾਲ ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਦੇ ਸੰਮਿਲਿਤ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਤੁਲਨਾ ਕਰਨ ਵਾਲਾ ਲੇਖ ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨ ਯੋਗ ਨਤੀਜਿਆਂ ਦੇ ਨਾਲ.

ਅੱਪਡੇਟ #2: ਇਹ ਵੀ ਪੜ੍ਹੋ ਵਰਟੀਕਲ ਸਕੇਲੇਬਿਲਟੀ 'ਤੇ ਲੇਖ VictoriaMetrics ਬਨਾਮ InfluxDB ਬਨਾਮ TimescaleDB.

ਅੱਪਡੇਟ #3: ਵਿਕਟੋਰੀਆ ਮੈਟ੍ਰਿਕਸ ਹੁਣ ਓਪਨ ਸੋਰਸ ਹੈ!

ਟੈਲੀਗ੍ਰਾਮ ਚੈਟ: https://t.me/VictoriaMetrics_ru1

ਸਰੋਤ: www.habr.com