उच्च-कार्यक्षमता TSDB बेंचमार्क VictoriaMetrics वि TimescaleDB वि InfluxDB

VictoriaMetrics, TimescaleDB आणि InfluxDB मध्ये तुलना केली गेली मागील लेख 40K अनन्य वेळ मालिकेतील अब्ज डेटा पॉइंट्स असलेल्या डेटासेटवर.

काही वर्षांपूर्वी झब्बीक्सचे युग होते. प्रत्येक बेअर मेटल सर्व्हरमध्ये काही निर्देशकांपेक्षा जास्त नाही - CPU वापर, RAM वापर, डिस्क वापर आणि नेटवर्क वापर. अशा प्रकारे, हजारो सर्व्हरवरील मेट्रिक्स 40 हजार युनिक टाइम सीरिजमध्ये बसू शकतात आणि Zabbix MySQL टाइम सीरिज डेटासाठी बॅकएंड म्हणून वापरू शकते :)

सध्या एकटा node_exporter डीफॉल्ट कॉन्फिगरेशनसह सरासरी होस्टवर 500 मेट्रिक्स प्रदान करतात. अनेक आहेत निर्यातदार विविध डेटाबेस, वेब सर्व्हर, हार्डवेअर सिस्टीम इ.साठी. ते सर्व विविध उपयुक्त मेट्रिक्स प्रदान करतात. सर्व अधिक आणि अधिक अनुप्रयोग स्वत: साठी विविध निर्देशक सेट करण्यास सुरवात करतात. क्लस्टर्स आणि पॉड्ससह कुबर्नेट्स आहेत जे अनेक मेट्रिक्स उघड करतात. यामुळे सर्व्हर प्रति होस्ट हजारो अद्वितीय मेट्रिक्स उघड करतात. त्यामुळे अद्वितीय 40K वेळ मालिका यापुढे उच्च शक्ती आहे. हे मुख्य प्रवाहात होत आहे आणि एका सर्व्हरवर कोणत्याही आधुनिक TSDB द्वारे सहजपणे हाताळले जावे.

याक्षणी अनन्य वेळ मालिकेची संख्या किती आहे? कदाचित 400K किंवा 4M? किंवा 40 मी? चला आधुनिक TSDB ची या संख्यांशी तुलना करूया.

बेंचमार्क स्थापित करणे

TSBS TSDBs साठी एक उत्कृष्ट बेंचमार्किंग साधन आहे. हे तुम्हाला 10 - ध्वजाने भागलेल्या वेळेच्या मालिकेची आवश्यक संख्या उत्तीर्ण करून मेट्रिक्सची अनियंत्रित संख्या निर्माण करण्यास अनुमती देते - स्केल (माजी -scale-var). 10 ही प्रत्येक होस्ट किंवा सर्व्हरवर व्युत्पन्न केलेल्या मोजमापांची संख्या (मेट्रिक्स) आहे. बेंचमार्कसाठी TSBS वापरून खालील डेटासेट व्युत्पन्न केले गेले:

• 400K युनिक टाईम सिरीज, डेटा पॉइंट्समधील 60 सेकंदाचा अंतराल, डेटा संपूर्ण 3 दिवसांचा आहे, ~1.7B डेटा पॉइंट्सची एकूण संख्या.
• 4M अद्वितीय वेळ मालिका, 600 सेकंद अंतराल, डेटा 3 पूर्ण दिवसांचा आहे, डेटा पॉइंट्सची एकूण संख्या ~1.7B.
• 40M अनन्य वेळ मालिका, 1 तासाचा अंतराल, डेटा 3 पूर्ण दिवसांचा आहे, ~2.8B डेटा पॉइंट्सची एकूण संख्या.

क्लायंट आणि सर्व्हर समर्पित उदाहरणांवर चालू होते n1-मानक-16 Google क्लाउड मध्ये. या उदाहरणांमध्ये खालील कॉन्फिगरेशन होते:

• vCPUs: 16
• रॅम: 60 जीबी
• स्टोरेज: मानक 1TB HDD. हे 120 Mbps रीड/राईट थ्रूपुट, 750 रीड ऑपरेशन्स प्रति सेकंद आणि 1,5K लेखन प्रति सेकंद प्रदान करते.

TSDB अधिकृत डॉकर प्रतिमांमधून काढले गेले आणि खालील कॉन्फिगरेशनसह डॉकरमध्ये चालवले गेले:

• व्हिक्टोरियामेट्रिक्स:

  docker run -it --rm -v /mnt/disks/storage/vmetrics-data:/victoria-metrics-data -p 8080:8080 valyala/victoria-metrics

• उच्च शक्तीचे समर्थन करण्यासाठी InfluxDB (-e) मूल्ये आवश्यक आहेत. मध्ये तपशील पहा दस्तऐवजीकरण):

  docker run -it --rm -p 8086:8086 
  -e INFLUXDB_DATA_MAX_VALUES_PER_TAG=4000000 
  -e INFLUXDB_DATA_CACHE_MAX_MEMORY_SIZE=100g 
  -e INFLUXDB_DATA_MAX_SERIES_PER_DATABASE=0 
  -v /mnt/disks/storage/influx-data:/var/lib/influxdb influxdb

• TimescaleDB (वरून घेतलेले कॉन्फिगरेशन तो फाइल):

MEM=`free -m | grep "Mem" | awk ‘{print $7}’`
let "SHARED=$MEM/4"
let "CACHE=2*$MEM/3"
let "WORK=($MEM-$SHARED)/30"
let "MAINT=$MEM/16"
let "WAL=$MEM/16"
docker run -it — rm -p 5432:5432 
--shm-size=${SHARED}MB 
-v /mnt/disks/storage/timescaledb-data:/var/lib/postgresql/data 
timescale/timescaledb:latest-pg10 postgres 
-cmax_wal_size=${WAL}MB 
-clog_line_prefix="%m [%p]: [%x] %u@%d" 
-clogging_collector=off 
-csynchronous_commit=off 
-cshared_buffers=${SHARED}MB 
-ceffective_cache_size=${CACHE}MB 
-cwork_mem=${WORK}MB 
-cmaintenance_work_mem=${MAINT}MB 
-cmax_files_per_process=100

डेटा लोडर 16 समांतर थ्रेडसह चालविला गेला.

या लेखात फक्त इन्सर्टेशन बेंचमार्कचे परिणाम आहेत. निवडक बेंचमार्कचे निकाल वेगळ्या लेखात प्रकाशित केले जातील.

400K अद्वितीय वेळ मालिका

चला साध्या घटकांसह प्रारंभ करूया - 400K. बेंचमार्क परिणाम:

• व्हिक्टोरियामेट्रिक्स: 2,6M डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 3 जीबी; डिस्कवरील अंतिम डेटा आकार: 965 एमबी
• InfluxDB: 1.2M डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 8.5 जीबी; डिस्कवरील अंतिम डेटा आकार: 1.6 GB
• टाइमस्केल: 849K डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 2,5 जीबी; डिस्कवरील अंतिम डेटा आकार: 50 जीबी

वरील परिणामांवरून तुम्ही बघू शकता, व्हिक्टोरियामेट्रिक्स इन्सर्टेशन परफॉर्मन्स आणि कॉम्प्रेशन रेशोमध्ये जिंकते. रॅम वापरामध्ये टाइमलाइन जिंकते, परंतु ती भरपूर डिस्क स्पेस वापरते - 29 बाइट्स प्रति डेटा पॉइंट.

खाली बेंचमार्क दरम्यान प्रत्येक TSDB साठी CPU वापर आलेख आहेत:

वर एक स्क्रीनशॉट आहे: VictoriaMetrics - अनन्य 400K मेट्रिकसाठी इन्सर्शन चाचणी दरम्यान CPU लोड.

वर एक स्क्रीनशॉट आहे: अनन्य मेट्रिक 400K साठी इन्सर्शन चाचणी दरम्यान InfluxDB - CPU लोड.

वर एक स्क्रीनशॉट आहे: 400K च्या अनन्य मेट्रिकसाठी समाविष्ट चाचणी दरम्यान TimescaleDB - CPU लोड.

VictoriaMetrics सर्व उपलब्ध vCPUs वापरते, तर InfluxDB 2 vCPU पैकी ~16 कमी वापरते.

टाइमस्केल 3 पैकी फक्त 4-16 vCPU वापरते. TimescaleDB टाइमस्केल आलेखामध्ये iowait आणि प्रणालीचे उच्च प्रमाण इनपुट/आउटपुट (I/O) उपप्रणालीमध्ये अडथळे दर्शवते. चला डिस्क बँडविड्थ वापर आलेख पाहू:

वर एक स्क्रीनशॉट आहे: VictoriaMetrics - Unique Metrics 400K साठी इन्सर्शन टेस्टमध्ये डिस्क बँडविड्थ वापर.

वर एक स्क्रीनशॉट आहे: InfluxDB - अनन्य मेट्रिक्स 400K साठी इन्सर्शन टेस्टवर डिस्क बँडविड्थ वापर.

वर एक स्क्रीनशॉट आहे: टाइमस्केलडीबी - युनिक मेट्रिक्स 400K साठी इन्सर्शन टेस्टवर डिस्क बँडविड्थ वापर.

VictoriaMetrics 20 Mbps पर्यंतच्या शिखरांसह 45 Mbps वर डेटा रेकॉर्ड करते. शिखरे झाडातील मोठ्या आंशिक विलीनीकरणाशी संबंधित आहेत एलएसएम.

InfluxDB 160 MB/s वर डेटा लिहितो, तर 1 TB ड्राइव्ह मर्यादित असावे थ्रुपुट 120 MB/s लिहा.

TimescaleDB 120 Mbps थ्रुपुट लिहिण्यासाठी मर्यादित आहे, परंतु काहीवेळा ते ही मर्यादा मोडते आणि शिखर मूल्यांमध्ये 220 Mbps पर्यंत पोहोचते. ही शिखरे मागील आलेखामधील अपुरा CPU वापराच्या खोऱ्यांशी संबंधित आहेत.

चला इनपुट/आउटपुट (I/O) वापर आलेख पाहू:

वरील स्क्रीनशॉट आहे: VictoriaMetrics - 400K अद्वितीय मेट्रिक्ससाठी चाचणी I/O वापर घाला.

वर एक स्क्रीनशॉट आहे: InfluxDB - 400K अद्वितीय मेट्रिक्ससाठी चाचणी I/O वापर घाला.

वरील स्क्रीनशॉट आहे: TimescaleDB - 400K अद्वितीय मेट्रिक्ससाठी चाचणी I/O वापर घाला.

हे आता स्पष्ट झाले आहे की TimescaleDB त्याची I/O मर्यादा गाठत आहे, त्यामुळे ते उर्वरित 12 vCPUs वापरू शकत नाही.

4M अद्वितीय वेळ मालिका

4M वेळ मालिका थोडी आव्हानात्मक दिसते. पण आमचे स्पर्धक ही परीक्षा यशस्वीपणे उत्तीर्ण होतात. बेंचमार्क परिणाम:

• VictoriaMetrics: 2,2M डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 6 जीबी; डिस्कवरील अंतिम डेटा आकार: 3 जीबी.
• InfluxDB: 330K डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 20,5 जीबी; डिस्कवरील अंतिम डेटा आकार: 18,4 जीबी.
• TimescaleDB: 480K डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 2,5 जीबी; डिस्कवरील अंतिम डेटा आकार: 52 जीबी.

InfluxDB कार्यप्रदर्शन 1,2K टाइम सीरिजसाठी 400M डेटा पॉइंट्स प्रति सेकंदावरून 330M टाइम सीरिजसाठी 4K डेटा पॉइंट्स प्रति सेकंदावर घसरले. इतर प्रतिस्पर्ध्यांच्या तुलनेत हे लक्षणीय कामगिरीचे नुकसान आहे. या नुकसानाचे मूळ कारण समजून घेण्यासाठी CPU वापर आलेख पाहू:

वर एक स्क्रीनशॉट आहे: व्हिक्टोरियामेट्रिक्स - अनन्य 4M टाइम सीरिजसाठी इन्सर्शन चाचणी दरम्यान CPU वापर.

वर एक स्क्रीनशॉट आहे: अनन्य 4M टाइम सीरिजसाठी इन्सर्शन चाचणी दरम्यान InfluxDB - CPU वापर.

वर एक स्क्रीनशॉट आहे: टाइमस्केलडीबी - अनन्य 4M टाइम सीरिजसाठी इन्सर्टेशन चाचणी दरम्यान CPU वापर.

VictoriaMetrics जवळजवळ सर्व प्रोसेसिंग युनिट (CPU) पॉवर वापरते. सर्व डेटा टाकल्यानंतर शेवटी ड्रॉप उर्वरित LSM विलीनीकरणाशी संबंधित आहे.

InfluxDB 8 पैकी फक्त 16 vCPU वापरते, तर TimsecaleDB 4 पैकी 16 vCPU वापरते. त्यांच्या आलेखांमध्ये काय साम्य आहे? उच्च वाटा iowait, जे पुन्हा I/O अडथळे दर्शवते.

TimescaleDB चा वाटा जास्त आहे system. आम्ही असे गृहीत धरतो की उच्च शक्तीमुळे अनेक सिस्टम कॉल किंवा अनेक किरकोळ पृष्ठ दोष.

चला डिस्क थ्रुपुट आलेख पाहू:

वर एक स्क्रीनशॉट आहे: VictoriaMetrics - 4M अद्वितीय मेट्रिक्स घालण्यासाठी डिस्क बँडविड्थ वापरणे.

वर एक स्क्रीनशॉट आहे: InfluxDB - 4M अद्वितीय मेट्रिक्स घालण्यासाठी डिस्क बँडविड्थ वापरणे.

वर एक स्क्रीनशॉट आहे: TimescaleDB - 4M अद्वितीय मेट्रिक्स घालण्यासाठी डिस्क बँडविड्थ वापरणे.

VictoriaMetrics ने शिखरावर 120 MB/s ची मर्यादा गाठली, तर सरासरी लेखन गती 40 MB/s होती. शिखर दरम्यान अनेक जड LSM फ्यूजन केले गेले असण्याची शक्यता आहे.

InfluxDB पुन्हा 200 MB/s च्या लेखन मर्यादा असलेल्या डिस्कवर 340 MB/s पर्यंतच्या शिखरांसह 120 MB/s चा सरासरी लेखन थ्रुपुट पिळून काढते :)

TimescaleDB यापुढे डिस्क मर्यादित नाही. हे उच्च प्रमाणाशी संबंधित काहीतरी मर्यादित असल्याचे दिसते системной CPU लोड.

चला IO वापर आलेख पाहू:

वरील स्क्रीनशॉट आहे: VictoriaMetrics - अनन्य 4M टाइम सीरिजसाठी इन्सर्शन टेस्ट दरम्यान I/O वापरणे.

वर एक स्क्रीनशॉट आहे: InfluxDB - अनन्य 4M टाइम सीरिजसाठी इन्सर्टेशन टेस्ट दरम्यान I/O वापरणे.

वर एक स्क्रीनशॉट आहे: टाइमस्केलडीबी - अनन्य 4M टाइम सीरीजसाठी इन्सर्शन चाचणी दरम्यान I/O वापर.

IO वापराचे नमुने डिस्क बँडविड्थचे मिरर करतात - InfluxDB IO मर्यादित आहे, तर VictoriaMetrics आणि TimescaleDB कडे अतिरिक्त IO संसाधने आहेत.

40M अद्वितीय वेळ मालिका

InfluxDB साठी 40M अद्वितीय वेळ मालिका खूप मोठी होती :)

बेंचमार्क परिणाम:

• व्हिक्टोरियामेट्रिक्स: 1,7M डेटा पॉइंट्स प्रति सेकंद; रॅम वापर: 29 जीबी; डिस्क स्पेस वापर: 17 GB.
• InfluxDB: पूर्ण झाले नाही कारण त्याला 60GB पेक्षा जास्त RAM आवश्यक आहे.
• TimescaleDB: 330K डेटा पॉइंट्स प्रति सेकंद, RAM वापर: 2,5 GB; डिस्क स्पेस वापर: 84GB.

TimescaleDB 2,5 GB वर अपवादात्मकपणे कमी आणि स्थिर RAM वापर दर्शवते - अद्वितीय 4M आणि 400K मेट्रिक्स प्रमाणेच.

सर्व 100M टॅग केलेल्या मेट्रिक नावांवर प्रक्रिया होईपर्यंत VictoriaMetrics हळूहळू 40k डेटा पॉइंट प्रति सेकंद या वेगाने वाढले. त्यानंतर त्याने 1,5-2,0M डेटा पॉइंट्स प्रति सेकंद असा सातत्यपूर्ण इन्सर्शन रेट गाठला, त्यामुळे अंतिम परिणाम प्रति सेकंद 1,7M डेटा पॉइंट्स होता.

40M युनिक टाईम सिरीजचे आलेख 4M युनिक टाईम सिरीजसाठी आलेखासारखेच आहेत, त्यामुळे ते वगळूया.

निष्कर्ष

• आधुनिक TSDB एकाच सर्व्हरवर लाखो अनन्य वेळ मालिकेसाठी इन्सर्टवर प्रक्रिया करण्यास सक्षम आहेत. पुढील लेखात, लाखो अनन्य टाइम सीरिजमध्ये TSDBs किती चांगल्या प्रकारे निवड करतात ते आम्ही तपासू.
• अपुरा CPU वापर सहसा I/O अडथळे दर्शवते. हे देखील सूचित करू शकते की ब्लॉकिंग खूप खडबडीत आहे, फक्त काही थ्रेड्स एका वेळी चालू शकतात.
• I/O बॉटलनेक अस्तित्वात आहे, विशेषत: नॉन-एसएसडी स्टोरेजमध्ये जसे की क्लाउड प्रदात्यांच्या वर्च्युअलाइज्ड ब्लॉक डिव्हाइसेसमध्ये.
• VictoriaMetrics मंद, कमी I/O स्टोरेजसाठी सर्वोत्तम ऑप्टिमायझेशन प्रदान करते. हे सर्वोत्तम गती आणि सर्वोत्तम कॉम्प्रेशन गुणोत्तर प्रदान करते.

डाउनलोड करा VictoriaMetrics सिंगल-सर्व्हर इमेज आणि तुमच्या डेटावर प्रयत्न करा. संबंधित स्थिर बायनरी येथे उपलब्ध आहे GitHub.

यामध्ये VictoriaMetrics बद्दल अधिक वाचा लेख.

अद्यतन: प्रकाशित InfluxDB सह VictoriaMetrics च्या इन्सर्ट परफॉर्मन्सची तुलना करणारा लेख पुनरुत्पादक परिणामांसह.

अद्यतन #2: हे देखील वाचा अनुलंब स्केलेबिलिटी वरील लेख VictoriaMetrics vs InfluxDB vs TimescaleDB.

अद्यतन #3: VictoriaMetrics आता मुक्त स्रोत आहे!

टेलिग्राम चॅट: https://t.me/VictoriaMetrics_ru1

स्त्रोत: www.habr.com