ईएलके, बिग क्वेरी और टाइमस्केलडीबी के प्रतिस्थापन के रूप में क्लिकहाउस का उपयोग करना

clickhouse यैंडेक्स द्वारा बनाई गई ऑनलाइन विश्लेषणात्मक क्वेरी प्रोसेसिंग (OLAP) के लिए एक ओपन-सोर्स कॉलमर डेटाबेस प्रबंधन प्रणाली है। इसका उपयोग Yandex, CloudFlare, VK.com, Badoo और दुनिया भर की अन्य सेवाओं द्वारा वास्तव में बड़ी मात्रा में डेटा संग्रहीत करने के लिए किया जाता है (प्रति सेकंड हजारों पंक्तियों का सम्मिलन या डिस्क पर संग्रहीत डेटा की पेटाबाइट)।

एक सामान्य, "स्ट्रिंग" DBMS में, जिसके उदाहरण MySQL, Postgres, MS SQL सर्वर हैं, डेटा इस क्रम में संग्रहीत किया जाता है:

इस स्थिति में, एक पंक्ति से संबंधित मान भौतिक रूप से एक साथ संग्रहीत होते हैं। कॉलमर डीबीएमएस में, अलग-अलग कॉलम के मान अलग-अलग संग्रहीत किए जाते हैं, और एक कॉलम का डेटा एक साथ संग्रहीत किया जाता है:

स्तंभ DBMS के उदाहरण हैं वर्टिका, पैरासेल (एक्टियन मैट्रिक्स, अमेज़ॅन रेडशिफ्ट), साइबेस आईक्यू, एक्सासोल, इन्फोब्राइट, इनफिनीडीबी, मोनेटडीबी (वेक्टरवाइज, एक्टियन वेक्टर), ल्यूसिडडीबी, एसएपी हाना, गूगल ड्रेमेल, गूगल पावरड्रिल, ड्र्यूड, केडीबी+।

कंपनी एक मेल फारवर्डर है क्विंट्री मैंने रिपोर्टिंग के लिए 2018 में क्लिकहाउस का उपयोग करना शुरू किया और इसकी सादगी, स्केलेबिलिटी, एसक्यूएल समर्थन और गति से बहुत प्रभावित हुआ। इस DBMS की गति जादू की सीमा पर थी।

आराम

क्लिकहाउस एक ही कमांड से उबंटू पर इंस्टॉल हो जाता है। यदि आप SQL जानते हैं, तो आप तुरंत अपनी आवश्यकताओं के लिए Clickhouse का उपयोग शुरू कर सकते हैं। हालाँकि, इसका मतलब यह नहीं है कि आप MySQL में "तालिका बनाएँ दिखाएँ" और Clickhouse में SQL कॉपी-पेस्ट कर सकते हैं।

MySQL की तुलना में, इस DBMS में टेबल स्कीमा परिभाषाओं में महत्वपूर्ण डेटा प्रकार अंतर हैं, इसलिए आपको टेबल स्कीमा परिभाषाओं को बदलने और सहज होने के लिए टेबल इंजन सीखने के लिए अभी भी कुछ समय चाहिए।

क्लिकहाउस बिना किसी अतिरिक्त सॉफ़्टवेयर के बढ़िया काम करता है, लेकिन यदि आप प्रतिकृति का उपयोग करना चाहते हैं तो आपको ज़ूकीपर इंस्टॉल करना होगा। क्वेरी प्रदर्शन विश्लेषण उत्कृष्ट परिणाम दिखाता है - सिस्टम तालिकाओं में सभी जानकारी होती है, और सभी डेटा पुराने और उबाऊ SQL का उपयोग करके प्राप्त किया जा सकता है।

निष्पादन

• बेंचमार्क कॉन्फ़िगरेशन सर्वर पर क्लिकहाउस बनाम वर्टिका और MySQL तुलना: दो सॉकेट Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz; 128 जीबी रैम; 5 8TB SATA HDD, ext6 पर md RAID-4।
• बेंचमार्क अमेज़ॅन रेडशिफ्ट क्लाउड स्टोरेज के साथ क्लिकहाउस की तुलना।
• ब्लॉग अंश क्लिकहाउस प्रदर्शन के बारे में क्लाउडफ्लेयर:

ClickHouse डेटाबेस का डिज़ाइन बहुत सरल है - क्लस्टर में सभी नोड्स की कार्यक्षमता समान है और समन्वय के लिए केवल ZooKeeper का उपयोग करते हैं। हमने कई नोड्स का एक छोटा समूह बनाया और परीक्षण किया, जिसके दौरान हमने पाया कि सिस्टम का प्रदर्शन काफी प्रभावशाली है, जो विश्लेषणात्मक डीबीएमएस बेंचमार्क में दावा किए गए फायदे से मेल खाता है। हमने ClickHouse के पीछे की अवधारणा पर करीब से नज़र डालने का निर्णय लिया। अनुसंधान में पहली बाधा टूल की कमी और ClickHouse का छोटा समुदाय था, इसलिए हमने यह समझने के लिए कि यह कैसे काम करता है, इस DBMS के डिज़ाइन पर गहराई से विचार किया।

ClickHouse सीधे काफ्का से डेटा प्राप्त करने का समर्थन नहीं करता है, क्योंकि यह सिर्फ एक डेटाबेस है, इसलिए हमने गो में अपनी स्वयं की एडाप्टर सेवा लिखी है। इसने काफ्का से कैप'एन प्रोटो एन्कोडेड संदेशों को पढ़ा, उन्हें टीएसवी में परिवर्तित किया, और उन्हें HTTP इंटरफ़ेस के माध्यम से बैचों में क्लिकहाउस में डाला। बाद में हमने प्रदर्शन को बेहतर बनाने के लिए अपने स्वयं के ClickHouse इंटरफ़ेस के साथ गो लाइब्रेरी का उपयोग करने के लिए इस सेवा को फिर से लिखा। पैकेट प्राप्त करने के प्रदर्शन का मूल्यांकन करते समय, हमने एक महत्वपूर्ण बात खोजी - यह पता चला कि ClickHouse के लिए यह प्रदर्शन दृढ़ता से पैकेट के आकार पर निर्भर करता है, अर्थात, एक ही समय में डाली गई पंक्तियों की संख्या। यह समझने के लिए कि ऐसा क्यों होता है, हमने अध्ययन किया कि ClickHouse डेटा को कैसे संग्रहीत करता है।

मुख्य इंजन, या बल्कि, डेटा संग्रहीत करने के लिए ClickHouse द्वारा उपयोग किया जाने वाला टेबल इंजन का एक परिवार, मर्जट्री है। यह इंजन वैचारिक रूप से Google BigTable या Apache Cassandra में उपयोग किए जाने वाले LSM एल्गोरिदम के समान है, लेकिन एक इंटरमीडिएट मेमोरी टेबल बनाने से बचता है और डेटा को सीधे डिस्क पर लिखता है। यह इसे उत्कृष्ट लेखन थ्रूपुट देता है, क्योंकि प्रत्येक सम्मिलित पैकेट को केवल "प्राथमिक कुंजी" प्राथमिक कुंजी द्वारा क्रमबद्ध किया जाता है, संपीड़ित किया जाता है, और एक सेगमेंट बनाने के लिए डिस्क पर लिखा जाता है।

मेमोरी टेबल की अनुपस्थिति या डेटा की "ताजगी" की किसी भी अवधारणा का मतलब यह भी है कि उन्हें केवल जोड़ा जा सकता है, सिस्टम बदलने या हटाने का समर्थन नहीं करता है। आज तक, डेटा को हटाने का एकमात्र तरीका इसे कैलेंडर माह के अनुसार हटाना है, क्योंकि खंड कभी भी एक महीने की सीमा को पार नहीं करते हैं। ClickHouse टीम इस सुविधा को अनुकूलन योग्य बनाने पर सक्रिय रूप से काम कर रही है। दूसरी ओर, यह लेखन और विलय खंडों को विवाद-मुक्त बनाता है, इसलिए I/O या कोर संतृप्त होने तक समानांतर आवेषण की संख्या के साथ थ्रूपुट स्केल रैखिक रूप से प्राप्त करें।
हालाँकि, इस परिस्थिति का यह भी अर्थ है कि सिस्टम छोटे पैकेटों के लिए उपयुक्त नहीं है, इसलिए बफरिंग के लिए काफ्का सेवाओं और इंसर्टर्स का उपयोग किया जाता है। इसके अलावा, पृष्ठभूमि में ClickHouse लगातार खंडों को मर्ज करना जारी रखता है, जिससे जानकारी के कई छोटे टुकड़े संयुक्त हो जाएंगे और अधिक बार रिकॉर्ड किए जाएंगे, जिससे रिकॉर्डिंग की तीव्रता बढ़ जाएगी। हालाँकि, जब तक मर्ज जारी रहेगा, बहुत से असंबंधित हिस्से इन्सर्ट के आक्रामक थ्रॉटलिंग का कारण बनेंगे। हमने पाया है कि वास्तविक समय डेटा अंतर्ग्रहण और अंतर्ग्रहण प्रदर्शन के बीच सबसे अच्छा समझौता तालिका में प्रति सेकंड सीमित संख्या में प्रविष्टियों को स्वीकार करना है।

तालिका पढ़ने के प्रदर्शन की कुंजी डिस्क पर डेटा का अनुक्रमण और स्थान है। इससे कोई फर्क नहीं पड़ता कि प्रसंस्करण कितना तेज है, जब इंजन को डिस्क से टेराबाइट डेटा को स्कैन करने और इसके केवल एक अंश का उपयोग करने की आवश्यकता होती है, तो इसमें समय लगेगा। ClickHouse एक कॉलम स्टोर है, इसलिए प्रत्येक सेगमेंट में प्रत्येक पंक्ति के लिए क्रमबद्ध मानों के साथ प्रत्येक कॉलम (कॉलम) के लिए एक फ़ाइल होती है। इस प्रकार, क्वेरी में मौजूद नहीं होने वाले संपूर्ण कॉलम को पहले छोड़ा जा सकता है, और फिर कई कोशिकाओं को वेक्टरकृत निष्पादन के साथ समानांतर में संसाधित किया जा सकता है। पूर्ण स्कैन से बचने के लिए, प्रत्येक खंड में एक छोटी अनुक्रमणिका फ़ाइल होती है।

यह देखते हुए कि सभी कॉलम "प्राथमिक कुंजी" द्वारा क्रमबद्ध हैं, इंडेक्स फ़ाइल में केवल प्रत्येक Nth पंक्ति के लेबल (कैप्चर की गई पंक्तियाँ) होते हैं, ताकि उन्हें बहुत बड़ी तालिकाओं के लिए भी मेमोरी में रखा जा सके। उदाहरण के लिए, आप डिफ़ॉल्ट सेटिंग्स को "प्रत्येक 8192वीं पंक्ति को चिह्नित करें", फिर 1 ट्रिलियन वाली तालिका की "अल्प" अनुक्रमणिका सेट कर सकते हैं। स्मृति में आसानी से फिट होने वाली पंक्तियों में केवल 122 अक्षर लगेंगे।

प्रणाली का विकास

क्लिकहाउस के विकास और सुधार का पता लगाया जा सकता है गितुब रेपो और सुनिश्चित करें कि "बड़े होने" की प्रक्रिया प्रभावशाली गति से हो रही है।

लोकप्रियता

ऐसा लगता है कि क्लिकहाउस की लोकप्रियता तेजी से बढ़ रही है, खासकर रूसी भाषी समुदाय में। पिछले साल के हाई लोड 2018 सम्मेलन (मॉस्को, 8-9 नवंबर, 2018) से पता चला कि vk.com और Badoo जैसे राक्षस Clickhouse का उपयोग करते हैं, जो एक साथ हजारों सर्वरों से डेटा (उदाहरण के लिए, लॉग) सम्मिलित करता है। 40 मिनट के वीडियो में VKontakte टीम के यूरी नसरेटदीनोव इस बारे में बात करते हैं कि यह कैसे किया जाता है. सामग्री के साथ काम करने की सुविधा के लिए हम जल्द ही हैबर पर प्रतिलेख पोस्ट करेंगे।

अनुप्रयोगों

शोध में कुछ समय बिताने के बाद, मुझे लगता है कि ऐसे क्षेत्र हैं जहां ClickHouse उपयोगी हो सकता है या MySQL, PostgreSQL, ELK, Google Big Query, Amazon RedShift, TimescaleDB, Hadoop, MapReduce, Pinot और जैसे अन्य पारंपरिक और लोकप्रिय समाधानों को पूरी तरह से बदलने में सक्षम हो सकता है। ड्र्यूड. उपरोक्त DBMS को अपग्रेड करने या पूरी तरह से बदलने के लिए ClickHouse का उपयोग करने का विवरण निम्नलिखित है।

MySQL और PostgreSQL का विस्तार

हाल ही में, हमने न्यूज़लेटर प्लेटफ़ॉर्म के लिए आंशिक रूप से MySQL को ClickHouse से बदल दिया है मैटिक न्यूज़लेटर. समस्या यह थी कि गलत डिज़ाइन के कारण MySQL ने भेजे गए प्रत्येक ईमेल और उस ईमेल के प्रत्येक लिंक को बेस 64 हैश के साथ लॉग किया, जिससे एक विशाल MySQL तालिका (email_stats) बन गई। सेवा के ग्राहकों को केवल 10 मिलियन ईमेल भेजने के बाद, इस तालिका ने 150 जीबी फ़ाइल स्थान पर कब्जा कर लिया, और MySQL सरल प्रश्नों पर "बेवकूफी" करने लगा। फ़ाइल स्थान समस्या को ठीक करने के लिए, हमने सफलतापूर्वक InnoDB तालिका संपीड़न का उपयोग किया, जिसने इसे 4 के कारक से कम कर दिया। हालाँकि, केवल इतिहास पढ़ने के लिए MySQL में 20-30 मिलियन से अधिक ईमेल संग्रहीत करना अभी भी समझ में नहीं आता है, क्योंकि किसी भी कारण से पूर्ण स्कैन करने वाली किसी भी साधारण क्वेरी के परिणामस्वरूप स्वैप और भारी I/O होता है। ओवरहेड, जिसके बारे में हमें नियमित रूप से ज़ैबिक्स चेतावनियाँ प्राप्त होती थीं।

क्लिकहाउस दो संपीड़न एल्गोरिदम का उपयोग करता है जो डेटा की मात्रा को लगभग कम कर देता है 3-4 बार, लेकिन इस विशेष मामले में, डेटा विशेष रूप से "संपीड़ित" था।

ईएलके प्रतिस्थापन

मेरे अपने अनुभव के आधार पर, ELK स्टैक (ElasticSearch, Logstash और Kibana, इस विशेष मामले में ElasticSearch) को चलाने के लिए लॉग को संग्रहीत करने के लिए आवश्यक संसाधनों की तुलना में बहुत अधिक संसाधनों की आवश्यकता होती है। यदि आप अच्छी पूर्ण-पाठ लॉग खोज चाहते हैं (जो मुझे नहीं लगता कि आपको वास्तव में चाहिए), तो ElasticSearch एक बेहतरीन इंजन है, लेकिन मुझे आश्चर्य है कि यह वास्तव में मानक लॉगिंग इंजन क्यों बन गया है। लॉगस्टैश के साथ मिलकर इसके अंतर्ग्रहण प्रदर्शन ने हमें काफी हल्के कार्यभार में भी समस्याएं दीं और अधिक से अधिक रैम और डिस्क स्थान जोड़ने की आवश्यकता पड़ी। डेटाबेस के रूप में, Clickhouse निम्नलिखित कारणों से ElasticSearch से बेहतर है:

• SQL बोली समर्थन;
• संग्रहीत डेटा के संपीड़न की सर्वोत्तम डिग्री;
• पूर्ण पाठ खोज के बजाय रेगेक्स खोज के लिए समर्थन;
• बेहतर क्वेरी शेड्यूलिंग और बेहतर समग्र प्रदर्शन।

वर्तमान में, ClickHouse की ELK से तुलना करते समय जो सबसे बड़ी समस्या उत्पन्न होती है, वह है लॉग अपलोड करने के समाधान की कमी, साथ ही इस विषय पर दस्तावेज़ीकरण और ट्यूटोरियल की कमी। साथ ही, प्रत्येक उपयोगकर्ता डिजिटल ओशन मैनुअल का उपयोग करके ईएलके स्थापित कर सकता है, जो ऐसी प्रौद्योगिकियों के तेजी से कार्यान्वयन के लिए बहुत महत्वपूर्ण है। यहां एक डेटाबेस इंजन है, लेकिन ClickHouse के लिए अभी तक कोई फ़ाइलबीट नहीं है। हाँ वहाँ है धाराप्रवाह और लॉग के साथ काम करने के लिए एक प्रणाली लॉग हाउस, एक उपकरण है पूंछ पर क्लिक करें ClickHouse में लॉग फ़ाइल डेटा दर्ज करने के लिए, लेकिन इस सब में अधिक समय लगता है। हालाँकि, ClickHouse अपनी सादगी के कारण अभी भी अग्रणी है, इसलिए शुरुआती लोग भी इसे आसानी से इंस्टॉल कर सकते हैं और केवल 10 मिनट में पूरी तरह कार्यात्मक उपयोग शुरू कर सकते हैं।

न्यूनतम समाधानों को प्राथमिकता देते हुए, मैंने काफ्का का उपयोग करने से बचने की कोशिश करते हुए ClickHouse के साथ फ्लुएंटबिट, एक बहुत ही कम मेमोरी लॉग अपलोड टूल का उपयोग करने का प्रयास किया। हालाँकि, छोटी-मोटी असंगतियों को संबोधित करने की आवश्यकता है, जैसे कि दिनांक प्रारूप संबंधी समस्याएंइससे पहले कि यह प्रॉक्सी परत के बिना किया जा सके जो डेटा को फ्लुएंटबिट से क्लिकहाउस में परिवर्तित करता है।

किबाना के विकल्प के रूप में, आप ClickHouse को बैकएंड के रूप में उपयोग कर सकते हैं ग्राफाना. जहां तक ​​मैं समझता हूं, यह बड़ी संख्या में डेटा बिंदुओं को प्रस्तुत करते समय प्रदर्शन संबंधी समस्याएं पैदा कर सकता है, खासकर ग्राफाना के पुराने संस्करणों के साथ। क्विंट्री में, हमने अभी तक यह कोशिश नहीं की है, लेकिन टेलीग्राम में क्लिकहाउस सपोर्ट चैनल पर समय-समय पर इस बारे में शिकायतें सामने आती रहती हैं।

Google Big Query और Amazon RedShift का प्रतिस्थापन (बड़ी कंपनियों के लिए समाधान)

BigQuery के लिए आदर्श उपयोग का मामला 1TB JSON डेटा लोड करना और उस पर विश्लेषणात्मक क्वेरी चलाना है। बिग क्वेरी एक बेहतरीन उत्पाद है जिसकी मापनीयता का अनुमान लगाना कठिन है। यह आंतरिक क्लस्टर पर चलने वाले ClickHouse की तुलना में कहीं अधिक जटिल सॉफ़्टवेयर है, लेकिन क्लाइंट के दृष्टिकोण से, इसमें ClickHouse के साथ बहुत कुछ समान है। एक बार जब आप प्रत्येक चयन के लिए भुगतान करना शुरू कर देते हैं तो BigQuery तुरंत "कीमत बढ़ा" सकता है, इसलिए यह अपने सभी पेशेवरों और विपक्षों के साथ एक वास्तविक SaaS समाधान है।

जब आप बहुत सारी कम्प्यूटेशनल रूप से महंगी क्वेरी चलाते हैं तो ClickHouse सबसे अच्छा विकल्प है। आप हर दिन जितनी अधिक SELECT क्वेरीज़ चलाएंगे, Big Query को ClickHouse से बदलना उतना ही अधिक सार्थक होगा, क्योंकि जब कई टेराबाइट्स डेटा संसाधित होने की बात आती है तो इस तरह के प्रतिस्थापन से आपको हजारों डॉलर की बचत होगी। यह संग्रहीत डेटा पर लागू नहीं होता है, जिसे बिग क्वेरी में संसाधित करना काफी सस्ता है।

अल्टिनिटी के सह-संस्थापक अलेक्जेंडर ज़ैतसेव के एक लेख में "क्लिकहाउस पर जाना" ऐसे DBMS माइग्रेशन के लाभों का वर्णन करता है।

टाइमस्केलडीबी रिप्लेसमेंट

TimescaleDB एक PostgreSQL एक्सटेंशन है जो नियमित डेटाबेस में टाइमसीरीज़ के साथ काम करने को अनुकूलित करता है (https://docs.timescale.com/v1.0/introduction, https://habr.com/ru/company/zabbix/blog/458530/).

हालाँकि ClickHouse समय श्रृंखला क्षेत्र में एक गंभीर प्रतियोगी नहीं है, लेकिन स्तंभ संरचना और वेक्टर क्वेरी निष्पादन के मामले में, यह विश्लेषणात्मक प्रश्नों को संसाधित करने के अधिकांश मामलों में TimescaleDB की तुलना में बहुत तेज़ है। साथ ही, ClickHouse पैकेट डेटा प्राप्त करने का प्रदर्शन लगभग 3 गुना अधिक है, इसके अतिरिक्त, यह 20 गुना कम डिस्क स्थान का उपयोग करता है, जो ऐतिहासिक डेटा की बड़ी मात्रा को संसाधित करने के लिए वास्तव में महत्वपूर्ण है: 
https://www.altinity.com/blog/ClickHouse-for-time-series.

ClickHouse के विपरीत, TimescaleDB में कुछ डिस्क स्थान बचाने का एकमात्र तरीका ZFS या समान फ़ाइल सिस्टम का उपयोग करना है।

ClickHouse के आगामी अपडेट में संभवतः डेल्टा संपीड़न की शुरुआत होगी, जो इसे समय श्रृंखला डेटा को संसाधित करने और संग्रहीत करने के लिए और भी उपयुक्त बना देगा। निम्नलिखित मामलों में टाइमस्केलडीबी नंगे क्लिकहाउस से बेहतर विकल्प हो सकता है:

• बहुत कम रैम (<3 जीबी) के साथ छोटे इंस्टॉलेशन;
• बड़ी संख्या में छोटे INSERT जिन्हें आप बड़े टुकड़ों में बफ़र नहीं करना चाहते;
• बेहतर स्थिरता, एकरूपता और ACID आवश्यकताएँ;
• पोस्टजीआईएस समर्थन;
• मौजूदा PostgreSQL तालिकाओं के साथ विलय करें, क्योंकि Timescale DB अनिवार्य रूप से PostgreSQL है।

Hadoop और MapReduce सिस्टम के साथ प्रतिस्पर्धा

Hadoop और अन्य MapReduce उत्पाद बहुत सारी जटिल गणनाएँ कर सकते हैं, लेकिन वे बड़ी विलंबता पर चलते हैं। ClickHouse टेराबाइट्स डेटा को संसाधित करके और लगभग तुरंत परिणाम उत्पन्न करके इस समस्या को ठीक करता है। इस प्रकार, ClickHouse तेज़, इंटरैक्टिव विश्लेषणात्मक अनुसंधान करने के लिए अधिक कुशल है, जो डेटा वैज्ञानिकों के लिए रुचिकर होना चाहिए।

पिनोट और ड्र्यूड के साथ प्रतियोगिता

ClickHouse के निकटतम प्रतिस्पर्धी स्तंभकार, रैखिक रूप से स्केलेबल ओपन सोर्स उत्पाद Pinot और Druid हैं। इन प्रणालियों की तुलना करने का एक उत्कृष्ट कार्य लेख में प्रकाशित किया गया है रोमाना लेवेंटोवा 1 फरवरी 2018

इस आलेख को अद्यतन करने की आवश्यकता है - इसमें कहा गया है कि ClickHouse अद्यतन और DELETE संचालन का समर्थन नहीं करता है, जो नवीनतम संस्करणों के संबंध में पूरी तरह से सच नहीं है।

हमारे पास इन डीबीएमएस के साथ ज्यादा अनुभव नहीं है, लेकिन मुझे ड्र्यूड और पिनोट को चलाने के लिए आवश्यक अंतर्निहित बुनियादी ढांचे की जटिलता पसंद नहीं है - यह सभी तरफ से जावा से घिरे "चलती भागों" का एक पूरा समूह है।

ड्र्यूड और पिनोट अपाचे इनक्यूबेटर प्रोजेक्ट हैं, जिन्हें अपाचे ने अपने GitHub प्रोजेक्ट पेजों पर विस्तार से कवर किया है। पिनोट अक्टूबर 2018 में इनक्यूबेटर में दिखाई दिया, और ड्र्यूड का जन्म 8 महीने पहले - फरवरी में हुआ था।

एएफएस कैसे काम करता है, इसके बारे में जानकारी की कमी मेरे लिए कुछ और शायद बेवकूफी भरे सवाल उठाती है। मुझे आश्चर्य है कि क्या पिनोट के लेखकों ने देखा कि अपाचे फाउंडेशन ड्र्यूड के प्रति अधिक प्रवृत्त है, और क्या किसी प्रतियोगी के प्रति इस तरह के रवैये से ईर्ष्या की भावना पैदा हुई? क्या ड्र्यूड का विकास धीमा हो जाएगा और पिनोट का विकास तेज़ हो जाएगा यदि पूर्व का समर्थन करने वाले प्रायोजक अचानक बाद में रुचि लेने लगें?

क्लिकहाउस के नुकसान

अपरिपक्वता: जाहिर है, यह अभी भी एक उबाऊ तकनीक है, लेकिन किसी भी मामले में, अन्य स्तंभ DBMS में ऐसा कुछ भी नहीं देखा जाता है।

छोटे इंसर्ट उच्च गति पर अच्छा प्रदर्शन नहीं करते हैं: इंसर्ट को बड़े टुकड़ों में विभाजित किया जाना चाहिए क्योंकि छोटे इंसर्ट का प्रदर्शन प्रत्येक पंक्ति में कॉलम की संख्या के अनुपात में कम हो जाता है। इस प्रकार ClickHouse डिस्क पर डेटा संग्रहीत करता है - प्रत्येक कॉलम का अर्थ है 1 फ़ाइल या अधिक, इसलिए 1 कॉलम वाली 100 पंक्ति सम्मिलित करने के लिए, आपको कम से कम 100 फ़ाइलें खोलने और लिखने की आवश्यकता है। यही कारण है कि सम्मिलित बफ़रिंग के लिए एक मध्यस्थ की आवश्यकता होती है (जब तक कि क्लाइंट स्वयं बफ़रिंग प्रदान नहीं करता है) - आमतौर पर काफ्का या किसी प्रकार की कतार प्रणाली। आप बाद में डेटा के बड़े हिस्से को मर्जट्री टेबल में कॉपी करने के लिए बफ़र टेबल इंजन का भी उपयोग कर सकते हैं।

टेबल जॉइन सर्वर रैम द्वारा सीमित हैं, लेकिन कम से कम वे वहां हैं! उदाहरण के लिए, ड्र्यूड और पिनोट के पास ऐसे कनेक्शन बिल्कुल नहीं हैं, क्योंकि उन्हें वितरित सिस्टम में सीधे लागू करना मुश्किल है जो नोड्स के बीच डेटा के बड़े हिस्से को स्थानांतरित करने का समर्थन नहीं करते हैं।

निष्कर्ष

आने वाले वर्षों में, हम क्विंट्री में ClickHouse का व्यापक उपयोग करने की योजना बना रहे हैं, क्योंकि यह DBMS प्रदर्शन, कम ओवरहेड, स्केलेबिलिटी और सरलता का उत्कृष्ट संतुलन प्रदान करता है। मुझे पूरा यकीन है कि जब ClickHouse समुदाय छोटे और मध्यम इंस्टॉलेशन में इसका उपयोग करने के और तरीके लेकर आएगा तो यह तेजी से फैल जाएगा।

कुछ विज्ञापन 🙂

हमारे साथ रहने के लिए धन्यवाद। क्या आप हमारे लेख पसंद करते हैं? अधिक रोचक सामग्री देखना चाहते हैं? आदेश देकर या मित्रों को अनुशंसा करके हमारा समर्थन करें, डेवलपर्स के लिए क्लाउड VPS $4.99 से शुरू, प्रवेश स्तर के सर्वरों का एक अनूठा एनालॉग, जिसका आविष्कार हमने आपके लिए किया था: VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps के बारे में पूरी सच्चाई $19 से या सर्वर कैसे साझा करें? (RAID1 और RAID10 के साथ उपलब्ध, 24 कोर तक और 40GB DDR4 तक)।

एम्स्टर्डम में इक्विनिक्स टियर IV डेटा सेंटर में Dell R730xd 2x सस्ता है? केवल यहां 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 टीवी $199 से नीदरलैंड में! डेल R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - $99 से! के बारे में पढ़ा इन्फ्रास्ट्रक्चर कॉर्प का निर्माण कैसे करें। एक पैसा के लिए 730 यूरो मूल्य के डेल R5xd E2650-4 v9000 सर्वर के उपयोग के साथ वर्ग?

स्रोत: www.habr.com