🥇उच्च-प्रदर्शन टीएसडीबी बेंचमार्क विक्टोरियामेट्रिक्स बनाम टाइमस्केलडीबी बनाम इन्फ्लक्सडीबी

विक्टोरियामेट्रिक्स, टाइमस्केलडीबी और इन्फ्लक्सडीबी की तुलना की गई पिछला लेख 40K अद्वितीय समय श्रृंखला से संबंधित एक अरब डेटा बिंदुओं वाले डेटासेट पर।

कुछ साल पहले ज़ैबिक्स का युग था। प्रत्येक बेयर मेटल सर्वर में कुछ संकेतकों से अधिक कुछ नहीं था - सीपीयू उपयोग, रैम उपयोग, डिस्क उपयोग और नेटवर्क उपयोग। इस तरह, हजारों सर्वरों के मेट्रिक्स 40 हजार अद्वितीय समय श्रृंखला में फिट हो सकते हैं, और ज़ैबिक्स समय श्रृंखला डेटा के लिए बैकएंड के रूप में MySQL का उपयोग कर सकता है :)

फिलहाल अकेले हैं नोड_निर्यातक डिफ़ॉल्ट कॉन्फ़िगरेशन के साथ औसत होस्ट पर 500 से अधिक मेट्रिक्स प्रदान करता है। वहां कई हैं निर्यातकों विभिन्न डेटाबेस, वेब सर्वर, हार्डवेयर सिस्टम आदि के लिए। वे सभी विभिन्न प्रकार के उपयोगी मेट्रिक्स प्रदान करते हैं। सभी अधिक से अधिक अनुप्रयोग अपने लिए विभिन्न संकेतक निर्धारित करना शुरू करें। क्लस्टर और पॉड्स के साथ कुबेरनेट्स है जो कई मेट्रिक्स को उजागर करता है। इसके परिणामस्वरूप सर्वर प्रति होस्ट हजारों अद्वितीय मेट्रिक्स को उजागर करते हैं। इसलिए अद्वितीय 40K समय श्रृंखला अब उच्च शक्ति वाली नहीं है। यह मुख्यधारा बन रहा है और इसे किसी भी आधुनिक टीएसडीबी द्वारा एक ही सर्वर पर आसानी से नियंत्रित किया जाना चाहिए।

इस समय अद्वितीय समय शृंखला की बड़ी संख्या क्या है? संभवतः 400K या 4M? या 40 मी? आइए आधुनिक टीएसडीबी की तुलना इन नंबरों से करें।

एक बेंचमार्क स्थापित करना

टीएसबीएस टीएसडीबी के लिए एक उत्कृष्ट बेंचमार्किंग टूल है। यह आपको समय श्रृंखला की आवश्यक संख्या को 10-ध्वज से विभाजित करके पारित करके मैट्रिक्स की एक मनमानी संख्या उत्पन्न करने की अनुमति देता है -काले (पूर्व -scale-var). 10 प्रत्येक होस्ट या सर्वर पर उत्पन्न माप (मेट्रिक्स) की संख्या है। बेंचमार्क के लिए टीएसबीएस का उपयोग करके निम्नलिखित डेटासेट तैयार किए गए थे:

400K अद्वितीय समय श्रृंखला, डेटा बिंदुओं के बीच 60 सेकंड का अंतराल, डेटा पूरे 3 दिनों तक चलता है, ~1.7B डेटा बिंदुओं की कुल संख्या।
4M अद्वितीय समय श्रृंखला, 600 सेकंड का अंतराल, डेटा पूरे 3 दिनों तक फैला, ~1.7B डेटा बिंदुओं की कुल संख्या।
40एम अद्वितीय समय श्रृंखला, 1 घंटे का अंतराल, डेटा पूरे 3 दिनों तक फैला, ~2.8बी डेटा बिंदुओं की कुल संख्या।

क्लाइंट और सर्वर समर्पित इंस्टेंसेस पर चल रहे थे n1-मानक-16 गूगल क्लाउड में. इन उदाहरणों में निम्नलिखित कॉन्फ़िगरेशन थे:

वीसीपीयू: 16
रैम: 60 जीबी
भंडारण: मानक 1टीबी एचडीडी। यह 120 एमबीपीएस रीड/राइट थ्रूपुट, 750 रीड ऑपरेशन प्रति सेकंड और 1,5K राइट्स प्रति सेकंड प्रदान करता है।

टीएसडीबी को आधिकारिक डॉकर छवियों से निकाला गया और निम्नलिखित कॉन्फ़िगरेशन के साथ डॉकर में चलाया गया:

विक्टोरियामेट्रिक्स:

docker run -it --rm -v /mnt/disks/storage/vmetrics-data:/victoria-metrics-data -p 8080:8080 valyala/victoria-metrics

उच्च शक्ति का समर्थन करने के लिए InfluxDB (-e) मान आवश्यक हैं। विवरण देखें प्रलेखन):

docker run -it --rm -p 8086:8086 
-e INFLUXDB_DATA_MAX_VALUES_PER_TAG=4000000 
-e INFLUXDB_DATA_CACHE_MAX_MEMORY_SIZE=100g 
-e INFLUXDB_DATA_MAX_SERIES_PER_DATABASE=0 
-v /mnt/disks/storage/influx-data:/var/lib/influxdb influxdb

टाइमस्केलडीबी (कॉन्फ़िगरेशन से लिया गया इस का फ़ाइल):

MEM=`free -m | grep "Mem" | awk ‘{print $7}’`
let "SHARED=$MEM/4"
let "CACHE=2*$MEM/3"
let "WORK=($MEM-$SHARED)/30"
let "MAINT=$MEM/16"
let "WAL=$MEM/16"
docker run -it — rm -p 5432:5432 
--shm-size=${SHARED}MB 
-v /mnt/disks/storage/timescaledb-data:/var/lib/postgresql/data 
timescale/timescaledb:latest-pg10 postgres 
-cmax_wal_size=${WAL}MB 
-clog_line_prefix="%m [%p]: [%x] %u@%d" 
-clogging_collector=off 
-csynchronous_commit=off 
-cshared_buffers=${SHARED}MB 
-ceffective_cache_size=${CACHE}MB 
-cwork_mem=${WORK}MB 
-cmaintenance_work_mem=${MAINT}MB 
-cmax_files_per_process=100

डेटा लोडर को 16 समानांतर थ्रेड्स के साथ चलाया गया था।

इस आलेख में केवल प्रविष्टि बेंचमार्क के परिणाम शामिल हैं। चयनात्मक बेंचमार्क के परिणाम एक अलग लेख में प्रकाशित किए जाएंगे।

400K अद्वितीय समय श्रृंखला

आइए सरल तत्वों से शुरू करें - 400K। बेंचमार्क परिणाम:

विक्टोरियामेट्रिक्स: प्रति सेकंड 2,6M डेटा पॉइंट; रैम उपयोग: 3 जीबी; डिस्क पर अंतिम डेटा आकार: 965 एमबी
इन्फ्लक्सडीबी: प्रति सेकंड 1.2M डेटा पॉइंट; रैम उपयोग: 8.5 जीबी; डिस्क पर अंतिम डेटा आकार: 1.6 जीबी
टाइमस्केल: प्रति सेकंड 849K डेटा पॉइंट; रैम उपयोग: 2,5 जीबी; डिस्क पर अंतिम डेटा आकार: 50 जीबी

जैसा कि आप उपरोक्त परिणामों से देख सकते हैं, विक्टोरियामेट्रिक्स ने सम्मिलन प्रदर्शन और संपीड़न अनुपात में जीत हासिल की है। रैम उपयोग में टाइमलाइन जीतती है, लेकिन यह बहुत अधिक डिस्क स्थान का उपयोग करती है - प्रति डेटा बिंदु 29 बाइट्स।

बेंचमार्क के दौरान प्रत्येक टीएसडीबी के लिए सीपीयू उपयोग ग्राफ़ नीचे दिए गए हैं:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - एक अद्वितीय 400K मीट्रिक के लिए प्रविष्टि परीक्षण के दौरान सीपीयू लोड।

ऊपर एक स्क्रीनशॉट है: इन्फ्लक्सडीबी - अद्वितीय मीट्रिक 400K के लिए प्रविष्टि परीक्षण के दौरान सीपीयू लोड।

ऊपर एक स्क्रीनशॉट है: टाइमस्केलडीबी - 400K की एक अद्वितीय मीट्रिक के लिए सम्मिलन परीक्षण के दौरान सीपीयू लोड।

विक्टोरियामेट्रिक्स सभी उपलब्ध वीसीपीयू का उपयोग करता है, जबकि इन्फ्लक्सडीबी 2 वीसीपीयू में से ~16 का कम उपयोग करता है।

टाइमस्केल 3 वीसीपीयू में से केवल 4-16 का उपयोग करता है। TimescaleDB टाइमस्केल ग्राफ़ में iowait और सिस्टम का उच्च अनुपात इनपुट/आउटपुट (I/O) सबसिस्टम में एक अड़चन का संकेत देता है। आइए डिस्क बैंडविड्थ उपयोग ग्राफ़ देखें:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - यूनिक मेट्रिक्स 400K के लिए इंसर्शन टेस्ट में डिस्क बैंडविड्थ उपयोग।

ऊपर एक स्क्रीनशॉट है: इन्फ्लक्सडीबी - यूनिक मेट्रिक्स 400K के लिए इंसर्शन टेस्ट पर डिस्क बैंडविड्थ उपयोग।

ऊपर एक स्क्रीनशॉट है: टाइमस्केलडीबी - यूनिक मेट्रिक्स 400K के लिए इंसर्शन टेस्ट पर डिस्क बैंडविड्थ उपयोग।

विक्टोरियामेट्रिक्स 20 एमबीपीएस पर डेटा रिकॉर्ड करता है, जिसकी अधिकतम सीमा 45 एमबीपीएस है। चोटियाँ पेड़ में बड़े आंशिक विलय के अनुरूप हैं एलएसएम.

InfluxDB 160 एमबी/एस पर डेटा लिखता है, जबकि 1 टीबी ड्राइव सीमित होना चाहिए थ्रूपुट 120 एमबी/एस लिखें।

टाइमस्केलडीबी 120 एमबीपीएस के राइट थ्रूपुट तक सीमित है, लेकिन कभी-कभी यह इस सीमा को तोड़ देता है और चरम मूल्यों में 220 एमबीपीएस तक पहुंच जाता है। ये शिखर पिछले ग्राफ़ में अपर्याप्त सीपीयू उपयोग की घाटियों के अनुरूप हैं।

आइए इनपुट/आउटपुट (I/O) उपयोग ग्राफ़ देखें:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - 400K अद्वितीय मेट्रिक्स के लिए परीक्षण I/O उपयोग डालें।

ऊपर एक स्क्रीनशॉट है: InfluxDB - 400K अद्वितीय मेट्रिक्स के लिए परीक्षण I/O उपयोग डालें।

ऊपर एक स्क्रीनशॉट है: टाइमस्केलडीबी - 400K अद्वितीय मेट्रिक्स के लिए परीक्षण I/O उपयोग डालें।

अब यह स्पष्ट है कि TimescaleDB अपनी I/O सीमा तक पहुंच रहा है, इसलिए यह शेष 12 vCPU का उपयोग नहीं कर सकता है।

4M अद्वितीय समय श्रृंखला

4M समय श्रृंखला थोड़ी चुनौतीपूर्ण लगती है। लेकिन हमारे प्रतियोगी इस परीक्षा को सफलतापूर्वक पास कर लेते हैं। बेंचमार्क परिणाम:

विक्टोरियामेट्रिक्स: 2,2M डेटा पॉइंट प्रति सेकंड; रैम उपयोग: 6 जीबी; डिस्क पर अंतिम डेटा आकार: 3 जीबी।
इन्फ्लक्सडीबी: प्रति सेकंड 330K डेटा पॉइंट; रैम उपयोग: 20,5 जीबी; डिस्क पर अंतिम डेटा आकार: 18,4 जीबी।
टाइमस्केलडीबी: प्रति सेकंड 480K डेटा पॉइंट; रैम उपयोग: 2,5 जीबी; डिस्क पर अंतिम डेटा आकार: 52 जीबी।

InfluxDB का प्रदर्शन 1,2K समय श्रृंखला के लिए 400M डेटा पॉइंट प्रति सेकंड से गिरकर 330M समय श्रृंखला के लिए 4K डेटा पॉइंट प्रति सेकंड हो गया। यह अन्य प्रतिस्पर्धियों की तुलना में एक महत्वपूर्ण प्रदर्शन हानि है। आइए इस हानि के मूल कारण को समझने के लिए सीपीयू उपयोग ग्राफ़ देखें:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - एक अद्वितीय 4एम समय श्रृंखला के लिए सम्मिलन परीक्षण के दौरान सीपीयू का उपयोग।

ऊपर एक स्क्रीनशॉट है: InfluxDB - अद्वितीय 4M समय श्रृंखला के लिए प्रविष्टि परीक्षण के दौरान CPU उपयोग।

ऊपर एक स्क्रीनशॉट है: टाइमस्केलडीबी - एक अद्वितीय 4एम समय श्रृंखला के लिए सम्मिलन परीक्षण के दौरान सीपीयू का उपयोग।

विक्टोरियामेट्रिक्स लगभग सभी प्रोसेसिंग यूनिट (सीपीयू) पावर का उपयोग करता है। अंत में गिरावट सभी डेटा डालने के बाद शेष एलएसएम विलय से मेल खाती है।

InfluxDB 8 vCPU में से केवल 16 का उपयोग करता है, जबकि टिमसेकेलDB 4 vCPU में से 16 का उपयोग करता है। उनके ग्राफ़ में क्या समानता है? उच्च शेयर iowait, जो फिर से एक I/O बाधा को इंगित करता है।

TimescaleDB की हिस्सेदारी अधिक है system. हम मानते हैं कि उच्च शक्ति के परिणामस्वरूप कई सिस्टम कॉल या कई कॉलें हुईं छोटे पृष्ठ दोष.

आइए डिस्क थ्रूपुट ग्राफ़ देखें:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - 4M अद्वितीय मेट्रिक्स सम्मिलित करने के लिए डिस्क बैंडविड्थ का उपयोग करना।

ऊपर एक स्क्रीनशॉट है: InfluxDB - 4M अद्वितीय मेट्रिक्स सम्मिलित करने के लिए डिस्क बैंडविड्थ का उपयोग करना।

ऊपर एक स्क्रीनशॉट है: TimescaleDB - 4M अद्वितीय मेट्रिक्स सम्मिलित करने के लिए डिस्क बैंडविड्थ का उपयोग करना।

विक्टोरियामेट्रिक्स चरम पर 120 एमबी/सेकंड की सीमा तक पहुंच गया, जबकि औसत लिखने की गति 40 एमबी/सेकेंड थी। यह संभावना है कि चरम के दौरान कई भारी एलएसएम फ़्यूज़न का प्रदर्शन किया गया था।

इन्फ्लक्सडीबी फिर से 200 एमबी/एस की लेखन सीमा के साथ एक डिस्क पर 340 एमबी/एस तक के शिखर के साथ 120 एमबी/एस के औसत लेखन थ्रूपुट को निचोड़ता है :)

TimescaleDB अब डिस्क सीमित नहीं है। ऐसा प्रतीत होता है कि यह उच्च अनुपात से संबंधित किसी अन्य चीज़ द्वारा सीमित है системной सीपीयू लोड.

आइए IO उपयोग ग्राफ़ देखें:

ऊपर एक स्क्रीनशॉट है: विक्टोरियामेट्रिक्स - एक अद्वितीय 4M समय श्रृंखला के लिए सम्मिलन परीक्षण के दौरान I/O का उपयोग करना।

ऊपर एक स्क्रीनशॉट है: InfluxDB - एक अद्वितीय 4M समय श्रृंखला के लिए सम्मिलन परीक्षण के दौरान I/O का उपयोग करना।

ऊपर एक स्क्रीनशॉट है: टाइमस्केलडीबी - अद्वितीय 4M समय श्रृंखला के लिए सम्मिलन परीक्षण के दौरान I/O उपयोग।

IO उपयोग पैटर्न डिस्क बैंडविड्थ को प्रतिबिंबित करते हैं - InfluxDB IO सीमित है, जबकि विक्टोरियामेट्रिक्स और टाइमस्केलDB के पास अतिरिक्त IO संसाधन हैं।

40M अद्वितीय समय श्रृंखला

40M अद्वितीय समय श्रृंखला InfluxDB के लिए बहुत बड़ी थी :)

बेंचमार्क परिणाम:

विक्टोरियामेट्रिक्स: प्रति सेकंड 1,7M डेटा पॉइंट; रैम उपयोग: 29 जीबी; डिस्क स्थान उपयोग: 17 जीबी.
InfluxDB: समाप्त नहीं हुआ क्योंकि इसके लिए 60GB से अधिक RAM की आवश्यकता थी।
टाइमस्केलडीबी: प्रति सेकंड 330K डेटा पॉइंट, रैम उपयोग: 2,5 जीबी; डिस्क स्थान उपयोग: 84GB.

TimescaleDB 2,5 जीबी पर असाधारण रूप से कम और स्थिर रैम उपयोग दिखाता है - अद्वितीय 4M और 400K मेट्रिक्स के समान।

विक्टोरियामेट्रिक्स धीरे-धीरे 100k डेटा पॉइंट प्रति सेकंड की दर से बढ़ गया जब तक कि सभी 40M टैग किए गए मीट्रिक नाम संसाधित नहीं हो गए। फिर उन्होंने प्रति सेकंड 1,5-2,0M डेटा पॉइंट की निरंतर प्रविष्टि दर हासिल की, इसलिए अंतिम परिणाम 1,7M डेटा पॉइंट प्रति सेकंड था।

40M अद्वितीय समय श्रृंखला के ग्राफ़ 4M अद्वितीय समय श्रृंखला के ग्राफ़ के समान हैं, तो आइए उन्हें छोड़ दें।

निष्कर्ष

आधुनिक टीएसडीबी एक ही सर्वर पर लाखों अद्वितीय समय श्रृंखला के लिए आवेषण संसाधित करने में सक्षम हैं। अगले लेख में, हम परीक्षण करेंगे कि टीएसडीबी लाखों अद्वितीय समय श्रृंखलाओं में कितनी अच्छी तरह चयन करता है।
अपर्याप्त CPU उपयोग आमतौर पर I/O बाधा का संकेत देता है। यह यह भी संकेत दे सकता है कि अवरोधन बहुत कठोर है, एक समय में केवल कुछ ही थ्रेड चलने में सक्षम हैं।
I/O बाधा मौजूद है, विशेष रूप से गैर-एसएसडी स्टोरेज जैसे क्लाउड प्रदाताओं के वर्चुअलाइज्ड ब्लॉक डिवाइस में।
विक्टोरियामेट्रिक्स धीमी, कम I/O स्टोरेज के लिए सर्वोत्तम अनुकूलन प्रदान करता है। यह सर्वोत्तम गति और सर्वोत्तम संपीड़न अनुपात प्रदान करता है।

डाउनलोड विक्टोरियामेट्रिक्स एकल-सर्वर छवि और इसे अपने डेटा पर आज़माएँ। संबंधित स्थिर बाइनरी यहां उपलब्ध है GitHub.

इसमें विक्टोरियामेट्रिक्स के बारे में और पढ़ें लेख.

अद्यतन: प्रकाशित InfluxDB के साथ विक्टोरियामेट्रिक्स के सम्मिलित प्रदर्शन की तुलना करने वाला लेख प्रतिलिपि प्रस्तुत करने योग्य परिणामों के साथ.

अद्यतन #2: यह भी पढ़ें वर्टिकल स्केलेबिलिटी विक्टोरियामेट्रिक्स बनाम इन्फ्लक्सडीबी बनाम टाइमस्केलडीबी पर लेख.

अद्यतन #3: विक्टोरियामेट्रिक्स अब खुला स्रोत है!

टेलीग्राम चैट: https://t.me/VictoriaMetrics_ru1

स्रोत: www.habr.com

उच्च-प्रदर्शन टीएसडीबी बेंचमार्क विक्टोरियामेट्रिक्स बनाम टाइमस्केलडीबी बनाम इन्फ्लक्सडीबी

एक बेंचमार्क स्थापित करना

400K अद्वितीय समय श्रृंखला

4M अद्वितीय समय श्रृंखला

40M अद्वितीय समय श्रृंखला

निष्कर्ष

एक टिप्पणी जोड़ें उत्तर रद्द