क्लिकहाउस में स्थानांतरण: 3 वर्ष बाद

तीन साल पहले यैंडेक्स से विक्टर टारनवस्की और एलेक्सी मिलोविदोव मंच पर थे HighLoad ++ बताया, ClickHouse कितना अच्छा है, और यह कैसे धीमा नहीं होता है। और अगले चरण पर था अलेक्जेंडर ज़ैतसेव с रिपोर्ट good में जाने के बारे में क्लिकहाउस एक अन्य विश्लेषणात्मक डीबीएमएस से और इस निष्कर्ष के साथ क्लिकहाउसबेशक, अच्छा है, लेकिन बहुत सुविधाजनक नहीं है। जब 2016 में कंपनी LifeStreet, जहां अलेक्जेंडर तब काम करता था, एक मल्टी-पेटाबाइट विश्लेषणात्मक प्रणाली को परिवर्तित कर रहा था क्लिकहाउस, यह अज्ञात खतरों से भरी एक आकर्षक "पीली ईंट वाली सड़क" थी - क्लिकहाउस उस समय यह एक बारूदी सुरंग जैसा दिखता था।

तीन साल बाद क्लिकहाउस बहुत बेहतर हो गया - इस दौरान अलेक्जेंडर ने कंपनी अल्टिनिटी की स्थापना की, जो न केवल लोगों को आगे बढ़ने में मदद करती है क्लिकहाउस दर्जनों परियोजनाएं, बल्कि यांडेक्स के सहयोगियों के साथ मिलकर उत्पाद में सुधार भी करती हैं। अब क्लिकहाउस अभी भी एक लापरवाह सैर नहीं है, लेकिन अब एक खदान क्षेत्र भी नहीं है।

अलेक्जेंडर 2003 से वितरित प्रणालियों के साथ काम कर रहा है और बड़ी परियोजनाओं का विकास कर रहा है मायएसक्यूएल, ओरेकल и वर्टिका. अंत समय पर हाईलाड ++ 2019 अलेक्जेंडर, उपयोग के अग्रदूतों में से एक क्लिकहाउस, बताया कि अब यह DBMS क्या है। हम मुख्य विशेषताओं के बारे में जानेंगे क्लिकहाउस: यह अन्य प्रणालियों से कैसे भिन्न है और किन मामलों में इसका उपयोग करना अधिक प्रभावी है। उदाहरणों का उपयोग करते हुए, हम सिस्टम के निर्माण के लिए हाल ही में और परियोजना-परीक्षणित प्रथाओं को देखेंगे क्लिकहाउस.

पूर्वव्यापी: 3 साल पहले क्या हुआ था

तीन साल पहले हमने कंपनी ट्रांसफर कर दी थी LifeStreet पर क्लिकहाउस किसी अन्य विश्लेषणात्मक डेटाबेस से, और विज्ञापन नेटवर्क एनालिटिक्स माइग्रेशन इस तरह दिखता था:

• जून 2016. में खुला स्रोत दिखाई दिया क्लिकहाउस और हमारा प्रोजेक्ट शुरू हुआ;
• अगस्त। अवधारणा का सबूत: बड़ा विज्ञापन नेटवर्क, बुनियादी ढांचा और 200-300 टेराबाइट डेटा;
• अक्टूबर। पहला उत्पादन डेटा;
• दिसंबर। संपूर्ण उत्पाद भार प्रति दिन 10-50 बिलियन ईवेंट है।
• जून 2017. उपयोगकर्ताओं का सफल माइग्रेशन क्लिकहाउस, 2,5 सर्वर के क्लस्टर पर 60 पेटाबाइट डेटा।

प्रवासन प्रक्रिया के दौरान, यह समझ बढ़ रही थी क्लिकहाउस एक अच्छी प्रणाली है जिसके साथ काम करना सुखद है, लेकिन यह यांडेक्स का एक आंतरिक प्रोजेक्ट है। इसलिए, बारीकियां हैं: यांडेक्स पहले अपने आंतरिक ग्राहकों के साथ व्यवहार करेगा और उसके बाद ही समुदाय और बाहरी उपयोगकर्ताओं की जरूरतों के साथ, और ClickHouse तब कई कार्यात्मक क्षेत्रों में उद्यम स्तर तक नहीं पहुंच पाया। इसीलिए हमने इसे बनाने के लिए मार्च 2017 में Altinity की स्थापना की क्लिकहाउस न केवल यांडेक्स के लिए, बल्कि अन्य उपयोगकर्ताओं के लिए भी तेज़ और अधिक सुविधाजनक। और अब हम:

• हम प्रशिक्षण देते हैं और इसके आधार पर समाधान बनाने में मदद करते हैं क्लिकहाउस ताकि ग्राहकों को परेशानी न हो, और समाधान अंततः काम करे;
• हम 24/7 सहायता प्रदान करते हैं क्लिकहाउस- स्थापना;
• हम अपनी स्वयं की पारिस्थितिकी तंत्र परियोजनाएं विकसित करते हैं;
• हम सक्रिय रूप से स्वयं के प्रति प्रतिबद्ध हैं क्लिकहाउस, उन उपयोगकर्ताओं के अनुरोधों का जवाब देना जो कुछ सुविधाएं देखना चाहते हैं।

और निश्चित रूप से, हम आगे बढ़ने में मदद करते हैं क्लिकहाउस с MySQL, वर्टिका, ओरेकल, हरा आलूबुखारा, लाल विचलन और अन्य प्रणालियाँ। हम कई तरह के कदमों में शामिल रहे हैं और वे सभी सफल रहे हैं।

क्यों जाएँ? क्लिकहाउस

धीमा नहीं होता! यह मुख्य कारण है। क्लिकहाउस - विभिन्न परिदृश्यों के लिए बहुत तेज़ डेटाबेस:

उन लोगों के यादृच्छिक उद्धरण जो लंबे समय से लोगों के साथ काम कर रहे हैं क्लिकहाउस.

मापनीयता। किसी अन्य डेटाबेस पर आप हार्डवेयर के एक टुकड़े पर अच्छा प्रदर्शन प्राप्त कर सकते हैं, लेकिन क्लिकहाउस आप केवल सर्वर जोड़कर न केवल लंबवत, बल्कि क्षैतिज रूप से भी स्केल कर सकते हैं। हर चीज़ उतनी सहजता से काम नहीं करती जितनी हम चाहते हैं, लेकिन काम करती है। जैसे-जैसे आपका व्यवसाय बढ़ता है आप सिस्टम का विस्तार कर सकते हैं। यह महत्वपूर्ण है कि हम अब समाधान तक ही सीमित नहीं हैं और विकास की संभावना हमेशा बनी रहेगी।

पोर्टेबिलिटी. किसी एक चीज़ से कोई लगाव नहीं होता. उदाहरण के लिए, साथ अमेज़न रेडशिफ्ट कहीं आना-जाना कठिन है. ए क्लिकहाउस आप इसे अपने लैपटॉप, सर्वर पर इंस्टॉल कर सकते हैं, क्लाउड पर तैनात कर सकते हैं, पर जा सकते हैं Kubernetes - बुनियादी ढांचे के संचालन पर कोई प्रतिबंध नहीं है। यह सभी के लिए सुविधाजनक है, और यह एक बड़ा लाभ है जिसका कई अन्य समान डेटाबेस दावा नहीं कर सकते।

लचीलापन. क्लिकहाउस एक चीज़ पर नहीं रुकता, उदाहरण के लिए, Yandex.Metrica, बल्कि विकसित होता है और अधिक से अधिक विभिन्न परियोजनाओं और उद्योगों में उपयोग किया जाता है। नई समस्याओं को हल करने के लिए नई क्षमताओं को जोड़कर इसका विस्तार किया जा सकता है। उदाहरण के लिए, यह माना जाता है कि डेटाबेस में लॉग संग्रहीत करना बुरा व्यवहार है, इसलिए वे इसे लेकर आए Elasticsearch. लेकिन लचीलेपन के लिए धन्यवाद क्लिकहाउस, आप इसमें लॉग भी स्टोर कर सकते हैं, और अक्सर यह इससे भी बेहतर होता है Elasticsearch - में क्लिकहाउस इसके लिए 10 गुना कम आयरन की आवश्यकता होती है।

मुक्त मुक्त स्रोत. आपको किसी भी चीज़ के लिए भुगतान नहीं करना पड़ेगा। आपके लैपटॉप या सर्वर पर सिस्टम स्थापित करने के लिए अनुमति पर बातचीत करने की कोई आवश्यकता नहीं है। कोई छिपी हुई फीस नहीं. वहीं, स्पीड के मामले में कोई अन्य ओपन सोर्स डेटाबेस तकनीक प्रतिस्पर्धा नहीं कर सकती क्लिकहाउस. MySQL, मारियाडीबी, ग्रीनप्लम - वे सभी बहुत धीमे हैं।

समुदाय, ड्राइव और मज़ा। में क्लिकहाउस उत्कृष्ट समुदाय: मुलाकातें, बातचीत और एलेक्सी मिलोविडोव, जो अपनी ऊर्जा और आशावाद से हम सभी को उत्साहित करते हैं।

क्लिकहाउस पर जा रहे हैं

को जाने के लिए क्लिकहाउस किसी कारण से, आपको केवल तीन चीज़ों की आवश्यकता है:

• सीमाओं को समझें क्लिकहाउस और यह किसके लिए उपयुक्त नहीं है।
• लाभ उठाइये प्रौद्योगिकी और इसकी सबसे बड़ी ताकत।
• प्रयोग. यह भी समझना कि यह कैसे काम करता है क्लिकहाउस, यह अनुमान लगाना हमेशा संभव नहीं होता है कि यह कब तेज़ होगा, कब धीमा होगा, कब बेहतर होगा और कब बदतर होगा। तो इसे आज़माएं.

चलने में समस्या

केवल एक ही "लेकिन" है: यदि आप आगे बढ़ते हैं क्लिकहाउस किसी और चीज़ से, तो आमतौर पर कुछ गलत हो जाता है। हम कुछ प्रथाओं और चीजों के आदी हैं जो हमारे पसंदीदा डेटाबेस में काम करते हैं। उदाहरण के लिए, किसी के साथ काम करना SQएल-डेटाबेस कार्यों के निम्नलिखित सेट को अनिवार्य मानते हैं:

• लेनदेन;
• प्रतिबंध;
• संगतता;
• सूचकांक;
• अद्यतन करें/हटाएँ;
• शून्य;
• मिलीसेकंड;
• स्वचालित प्रकार के कास्ट;
• एकाधिक जोड़;
• मनमाना विभाजन;
• क्लस्टर प्रबंधन उपकरण.

भर्ती अनिवार्य है, लेकिन तीन साल पहले क्लिकहाउस इनमें से कोई भी फ़ंक्शन उपलब्ध नहीं था! अब जो लागू नहीं किया गया है उसका आधे से भी कम हिस्सा बचा है: लेनदेन, बाधाएं, संगति, मिलीसेकंड और टाइप कास्टिंग।

और मुख्य बात यह है कि क्लिकहाउस कुछ मानक प्रथाएं और दृष्टिकोण काम नहीं करते हैं या हमारी आदत से अलग काम करते हैं। वह सब कुछ जो दिखाई देता है क्लिकहाउस, से मेल खाती है "क्लिकहाउस रास्ता", अर्थात। फ़ंक्शन अन्य डेटाबेस से भिन्न होते हैं। उदाहरण के लिए:

• अनुक्रमणिका का चयन नहीं किया गया है, बल्कि छोड़ दिया गया है।
• अद्यतन करें/हटाएँ समकालिक नहीं, बल्कि अतुल्यकालिक।
• कई जोड़ हैं, लेकिन कोई क्वेरी प्लानर नहीं है। फिर उन्हें कैसे निष्पादित किया जाता है, यह आम तौर पर डेटाबेस जगत के लोगों के लिए बहुत स्पष्ट नहीं है।

क्लिकहाउस स्क्रिप्ट्स

1960 में, हंगेरियन मूल के एक अमेरिकी गणितज्ञ विग्नर ईपी एक लेख लिखा "प्राकृतिक विज्ञान में गणित की अनुचित प्रभावशीलता” ("प्राकृतिक विज्ञान में गणित की अतुलनीय प्रभावशीलता") कि हमारे आस-पास की दुनिया किसी कारण से गणितीय कानूनों द्वारा अच्छी तरह से वर्णित है। गणित एक अमूर्त विज्ञान है, और गणितीय रूप में व्यक्त भौतिक नियम तुच्छ नहीं हैं, और विग्नर ईपी इस बात पर जोर दिया कि यह बहुत अजीब है।

मेरे नज़रिये से, क्लिकहाउस - वही विचित्रता. विग्नर को दोबारा शब्दों में कहें तो, हम यह कह सकते हैं: अकल्पनीय दक्षता आश्चर्यजनक है क्लिकहाउस विश्लेषणात्मक अनुप्रयोगों की एक विस्तृत विविधता में!

उदाहरण के लिए, आइए लेते हैं रीयल-टाइम डेटा वेयरहाउस, जिसमें डेटा लगभग लगातार लोड किया जाता है। हम दूसरी देरी से इससे अनुरोध प्राप्त करना चाहते हैं। कृपया - इसका उपयोग करें क्लिकहाउस, क्योंकि यही वह परिदृश्य है जिसके लिए इसे डिज़ाइन किया गया था। क्लिकहाउस ठीक इसी प्रकार इसका उपयोग न केवल वेब पर, बल्कि विपणन और वित्तीय विश्लेषण में भी किया जाता है, एडटेकएच, साथ ही साथ में धोखाधड़ी का पता लगानाएन। में वास्तविक समय डेटा वेयरहाउस "स्टार" या "स्नोफ्लेक" जैसी जटिल संरचित योजना का उपयोग किया जाता है, जिसमें कई तालिकाएँ होती हैं शामिल हों (कभी-कभी एकाधिक), और डेटा आमतौर पर कुछ प्रणालियों में संग्रहीत और परिवर्तित किया जाता है।

चलिए एक और परिदृश्य लेते हैं - समय श्रृंखला: उपकरणों, नेटवर्क, उपयोग के आंकड़ों, इंटरनेट ऑफ थिंग्स की निगरानी। यहां हम समय पर क्रमबद्ध काफी सरल घटनाओं का सामना करते हैं। क्लिकहाउस मूल रूप से इसके लिए विकसित नहीं किया गया था, लेकिन इसने खुद को अच्छी तरह से काम करना दिखाया है, यही कारण है कि बड़ी कंपनियां इसका उपयोग करती हैं क्लिकहाउस सूचना की निगरानी के लिए एक भंडार के रूप में। यह पता लगाने के लिए कि क्या यह उपयुक्त है क्लिकहाउस समय-श्रृंखला के लिए, हमने दृष्टिकोण और परिणामों के आधार पर एक बेंचमार्क बनाया इन्फ्लक्सडीबी и टाइमस्केलडीबी - विशिष्ट समय श्रृंखला डेटाबेस। यह निकलाकि क्लिकहाउस, ऐसे कार्यों के लिए अनुकूलन के बिना भी, विदेशी क्षेत्र में जीतता है:

В समय श्रृंखला आमतौर पर एक संकीर्ण तालिका का उपयोग किया जाता है - कई छोटे स्तंभ। निगरानी से बहुत सारा डेटा आ सकता है—प्रति सेकंड लाखों रिकॉर्ड—और वे आम तौर पर छोटे-छोटे विस्फोटों में आते हैं (वास्तविक समय स्ट्रीमिंग)। इसलिए, एक अलग प्रविष्टि स्क्रिप्ट की आवश्यकता होती है, और प्रश्नों की अपनी विशिष्टताएँ होती हैं।

प्रवेश प्रबंधन. डेटाबेस में लॉग एकत्रित करना आमतौर पर बुरा है, लेकिन क्लिकहाउस यह ऊपर वर्णित कुछ टिप्पणियों के साथ किया जा सकता है। कई कंपनियां इस्तेमाल करती हैं क्लिकहाउस बिल्कुल इसी उद्देश्य के लिए. इस मामले में, हम एक सपाट चौड़ी तालिका का उपयोग करते हैं जहां हम संपूर्ण लॉग संग्रहीत करते हैं (उदाहरण के लिए, फॉर्म में)। JSON), या टुकड़ों में काट लें। डेटा आमतौर पर बड़े बैचों (फ़ाइलों) में लोड किया जाता है, और हम किसी फ़ील्ड द्वारा खोजते हैं।

इनमें से प्रत्येक फ़ंक्शन के लिए, आमतौर पर विशेष डेटाबेस का उपयोग किया जाता है। क्लिकहाउस कोई यह सब कर सकता है और इतनी अच्छी तरह से कि यह उनसे बेहतर प्रदर्शन करता है। आइए अब करीब से देखें समय श्रृंखला परिदृश्य, और सही ढंग से "पकाना" कैसे है क्लिकहाउस इस परिदृश्य के लिए.

समय श्रृंखला

फिलहाल यही मुख्य परिदृश्य है क्लिकहाउस मानक समाधान माना जाता है. समय श्रृंखला समय में क्रमबद्ध घटनाओं का एक समूह है, जो समय के साथ किसी प्रक्रिया में परिवर्तन का प्रतिनिधित्व करता है। उदाहरण के लिए, यह प्रति दिन हृदय गति या सिस्टम में प्रक्रियाओं की संख्या हो सकती है। जो कुछ भी समय देता है वह कुछ आयामों के साथ टिकता है समय श्रृंखला:

इस प्रकार की अधिकांश घटनाएँ निगरानी से आती हैं। इससे न केवल वेब की निगरानी की जा सकती है, बल्कि वास्तविक उपकरणों की भी निगरानी की जा सकती है: कारें, औद्योगिक प्रणालियाँ, IoT, कारखाने या मानव रहित टैक्सियाँ, जिनके ट्रंक में यांडेक्स पहले से ही डाल रहा है क्लिकहाउस-सर्वर.

उदाहरण के लिए, ऐसी कंपनियाँ हैं जो जहाजों से डेटा एकत्र करती हैं। हर कुछ सेकंड में, कंटेनर जहाज पर लगे सेंसर सैकड़ों अलग-अलग माप भेजते हैं। इंजीनियर उनका अध्ययन करते हैं, मॉडल बनाते हैं और यह समझने की कोशिश करते हैं कि जहाज का उपयोग कितनी कुशलता से किया जाता है, क्योंकि एक कंटेनर जहाज को एक सेकंड के लिए भी निष्क्रिय नहीं रहना चाहिए। किसी भी डाउनटाइम में पैसे की हानि होती है, इसलिए मार्ग की भविष्यवाणी करना महत्वपूर्ण है ताकि स्टॉपेज कम से कम हो।

आजकल मापने वाले विशेष डेटाबेसों का विकास हो रहा है समय श्रृंखला। साइट पर डीबी इंजन विभिन्न डेटाबेसों को किसी तरह रैंक किया गया है, और आप उन्हें प्रकार के आधार पर देख सकते हैं:

सबसे तेजी से बढ़ने वाली किस्म है समय श्रृंखलाएस। ग्राफ़ डेटाबेस भी बढ़ रहे हैं, लेकिन समय श्रृंखलापिछले कुछ वर्षों में यह तेजी से बढ़ रहा है। डेटाबेस के इस परिवार के विशिष्ट प्रतिनिधि हैं इन्फ्लक्सडीबी, प्रोमिथेउस, KDB, टाइमस्केलडीबी (बनाया गया पोस्टग्रेएसक्यूएल), से समाधान वीरांगना. क्लिकहाउस यहाँ भी प्रयोग किया जा सकता है, और प्रयोग किया जाता है। मैं आपको कुछ सार्वजनिक उदाहरण देता हूँ।

अग्रदूतों में से एक कंपनी है CloudFlare (CDN-प्रदाता). वे उनकी निगरानी करते हैं CDN के माध्यम से क्लिकहाउस (डीएनएस-अनुरोध, HTTP-प्रश्न) भारी भार के साथ - प्रति सेकंड 6 मिलियन घटनाएँ। सब कुछ हो जाता है काफ्का, जाता है क्लिकहाउस, जो वास्तविक समय में सिस्टम में घटनाओं के डैशबोर्ड को देखने का अवसर प्रदान करता है।

कॉमकास्ट - संयुक्त राज्य अमेरिका में दूरसंचार के नेताओं में से एक: इंटरनेट, डिजिटल टेलीविजन, टेलीफोनी। उन्होंने एक समान नियंत्रण प्रणाली बनाई CDN अंदर मुक्त स्रोत परियोजना अपाचे यातायात नियंत्रण अपने विशाल डेटा के साथ काम करने के लिए। क्लिकहाउस एनालिटिक्स के लिए बैकएंड के रूप में उपयोग किया जाता है।

Percona में निर्मित क्लिकहाउस आपके अंदर PMMविभिन्न की निगरानी रखने के लिए MySQL.

विशिष्ठ जरूरतें

समय-श्रृंखला डेटाबेस की अपनी विशिष्ट आवश्यकताएँ होती हैं।

• कई एजेंटों से तेजी से प्रविष्टि. हमें कई स्ट्रीम से डेटा बहुत तेज़ी से डालना होगा। क्लिकहाउस यह ऐसा अच्छी तरह से करता है क्योंकि इसके सभी आवेषण गैर-अवरुद्ध हैं। कोई डालने के डिस्क पर एक नई फ़ाइल है, और छोटे आवेषण को एक या दूसरे तरीके से बफर किया जा सकता है। में क्लिकहाउस एक समय में एक पंक्ति के बजाय बड़े बैचों में डेटा डालना बेहतर है।
• लचीली योजना. में समय श्रृंखला हम आमतौर पर डेटा संरचना को पूरी तरह से नहीं जानते हैं। किसी विशिष्ट एप्लिकेशन के लिए एक निगरानी प्रणाली बनाना संभव है, लेकिन फिर इसे किसी अन्य एप्लिकेशन के लिए उपयोग करना मुश्किल है। इसके लिए अधिक लचीली योजना की आवश्यकता है। क्लिकहाउस, आपको ऐसा करने की अनुमति देता है, भले ही यह दृढ़ता से टाइप किया गया आधार हो।
• डेटा का कुशल भंडारण और विस्मरण. आमतौर पर में समय श्रृंखला डेटा की एक बड़ी मात्रा, इसलिए इसे यथासंभव कुशलतापूर्वक संग्रहीत किया जाना चाहिए। उदाहरण के लिए, पर इन्फ्लक्सडीबी अच्छा कम्प्रेशन इसकी मुख्य विशेषता है। लेकिन भंडारण के अलावा, आपको पुराने डेटा को "भूलने" और कुछ अन्य कार्य करने में भी सक्षम होना चाहिए डाउनस्मलिंग - समुच्चय की स्वचालित गणना।
• एकत्रित डेटा पर तेज़ क्वेरीज़. कभी-कभी अंतिम 5 मिनटों को मिलीसेकंड की सटीकता के साथ देखना दिलचस्प होता है, लेकिन मासिक डेटा पर मिनट या सेकंड ग्रैन्युलैरिटी की आवश्यकता नहीं हो सकती है - सामान्य आँकड़े पर्याप्त हैं। इस प्रकार का समर्थन आवश्यक है, अन्यथा 3 महीने के अनुरोध को पूरा होने में भी बहुत लंबा समय लगेगा क्लिकहाउस.
• जैसे अनुरोध "अंतिम बिंदु, जैसा कि». ये विशिष्ट हैं समय श्रृंखला प्रश्न: किसी भी समय सिस्टम के अंतिम माप या स्थिति को देखें t. डेटाबेस के लिए ये बहुत सुखद प्रश्न नहीं हैं, लेकिन आपको इन्हें निष्पादित करने में सक्षम होने की भी आवश्यकता है।
• "ग्लूइंग" समय श्रृंखला. समय श्रृंखला एक समय श्रृंखला है. यदि दो समय श्रृंखलाएं हैं, तो उन्हें अक्सर कनेक्ट और सहसंबद्ध करने की आवश्यकता होती है। सभी डेटाबेस पर ऐसा करना सुविधाजनक नहीं है, विशेष रूप से असंरेखित समय श्रृंखला के साथ: यहां कुछ समय बिंदु हैं, अन्य हैं। आप औसत मान सकते हैं, लेकिन अचानक वहां अभी भी एक छेद होगा, इसलिए यह स्पष्ट नहीं है।

आइए देखें कि ये आवश्यकताएं कैसे पूरी होती हैं क्लिकहाउस.

ड्राइविंग

В क्लिकहाउस के लिए योजना समय श्रृंखला डेटा की नियमितता की डिग्री के आधार पर, विभिन्न तरीकों से किया जा सकता है। जब हम सभी मेट्रिक्स को पहले से जानते हैं तो नियमित डेटा पर एक सिस्टम बनाना संभव है। उदाहरण के लिए, मैंने यह किया CloudFlare निगरानी के साथ CDN एक अच्छी तरह से अनुकूलित प्रणाली है. आप एक अधिक सामान्य प्रणाली बना सकते हैं जो संपूर्ण बुनियादी ढांचे और विभिन्न सेवाओं की निगरानी करती है। अनियमित डेटा के मामले में, हम पहले से नहीं जानते कि हम क्या निगरानी कर रहे हैं - और यह शायद सबसे आम मामला है।

नियमित डेटा. कॉलम. योजना सरल है - आवश्यक प्रकार वाले कॉलम:

CREATE TABLE cpu (
  created_date Date DEFAULT today(),  
  created_at DateTime DEFAULT now(),  
  time String,  
  tags_id UInt32,  /* join to dim_tag */
  usage_user Float64,  
  usage_system Float64,  
  usage_idle Float64,  
  usage_nice Float64,  
  usage_iowait Float64,  
  usage_irq Float64,  
  usage_softirq Float64,  
  usage_steal Float64,  
  usage_guest Float64,  
  usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

यह एक नियमित तालिका है जो किसी प्रकार की सिस्टम लोडिंग गतिविधि पर नज़र रखती है (उपयोगकर्ता, प्रणाली, बेकार, अच्छा). सरल और सुविधाजनक, लेकिन लचीला नहीं। यदि हम अधिक लचीली योजना चाहते हैं, तो हम सरणियों का उपयोग कर सकते हैं।

अनियमित डेटा. सरणियों:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  )
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

संरचना नेस्ट दो सरणियाँ हैं: मेट्रिक्स.नाम и मेट्रिक्स.मूल्य. यहां आप ऐसे मनमाने मॉनिटरिंग डेटा को नामों की एक श्रृंखला और प्रत्येक घटना के लिए माप की एक सरणी के रूप में संग्रहीत कर सकते हैं। आगे अनुकूलन के लिए, ऐसी एक संरचना के बजाय, आप कई बना सकते हैं। उदाहरण के लिए, एक के लिए नाव-मूल्य, अन्य - के लिए int-अर्थ क्योंकि int मैं अधिक कुशलता से भंडारण करना चाहता हूं.

लेकिन ऐसी संरचना तक पहुंचना अधिक कठिन है। आपको पहले सूचकांक और फिर सरणी के मूल्यों को निकालने के लिए विशेष कार्यों का उपयोग करके एक विशेष निर्माण का उपयोग करना होगा:

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

लेकिन यह अभी भी काफी तेजी से काम करता है। अनियमित डेटा को संग्रहीत करने का दूसरा तरीका पंक्ति है।

अनियमित डेटा. स्ट्रिंग्स. इस पारंपरिक विधि में, बिना सरणियों के, नाम और मान एक साथ संग्रहीत किए जाते हैं। यदि एक डिवाइस से एक बार में 5 माप आते हैं, तो डेटाबेस में 000 पंक्तियाँ उत्पन्न होती हैं:

CREATE TABLE cpu_rlc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metric_name LowCardinality(String),  
  metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);


SELECT 
    maxIf(metric_value, metric_name = 'usage_user'),
    ... 
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)

क्लिकहाउस इससे मुकाबला करता है - इसमें विशेष एक्सटेंशन हैं क्लिकहाउस एसक्यूएल। उदाहरण के लिए, मैक्सइफ़ - एक विशेष फ़ंक्शन जो कुछ शर्त पूरी होने पर मीट्रिक द्वारा अधिकतम की गणना करता है। आप एक अनुरोध में ऐसे कई भाव लिख सकते हैं और तुरंत कई मैट्रिक्स के लिए मूल्य की गणना कर सकते हैं।

आइए तीन दृष्टिकोणों की तुलना करें:

Детали

यहां मैंने कुछ परीक्षण डेटा सेट के लिए "डिस्क डेटा आकार" जोड़ा है। कॉलम के मामले में, हमारे पास सबसे छोटा डेटा आकार है: अधिकतम संपीड़न, अधिकतम क्वेरी गति, लेकिन हम एक ही बार में सब कुछ रिकॉर्ड करके भुगतान करते हैं।

सरणियों के मामले में, सब कुछ थोड़ा खराब है। डेटा अभी भी अच्छी तरह से संपीड़ित है और एक अनियमित पैटर्न संग्रहीत किया जा सकता है। लेकिन क्लिकहाउस - एक स्तंभ डेटाबेस, और जब हम एक सरणी में सब कुछ संग्रहीत करना शुरू करते हैं, तो यह एक पंक्ति में बदल जाता है, और हम दक्षता के साथ लचीलेपन के लिए भुगतान करते हैं। किसी भी ऑपरेशन के लिए, आपको पूरे एरे को मेमोरी में पढ़ना होगा, फिर उसमें वांछित तत्व ढूंढना होगा - और यदि एरे बढ़ता है, तो गति कम हो जाती है।

इस दृष्टिकोण का उपयोग करने वाली कंपनियों में से एक में (उदाहरण के लिए, Uber), सरणियों को 128 तत्वों के टुकड़ों में काटा जाता है। प्रति दिन 200 टीबी डेटा की मात्रा वाले कई हजार मेट्रिक्स का डेटा एक सरणी में नहीं, बल्कि विशेष भंडारण तर्क के साथ 10 या 30 सरणियों में संग्रहीत किया जाता है।

सबसे सरल तरीका स्ट्रिंग्स के साथ है। लेकिन डेटा खराब रूप से संपीड़ित है, तालिका का आकार बड़ा है, और यहां तक ​​कि जब प्रश्न कई मैट्रिक्स पर आधारित होते हैं, तब भी ClickHouse बेहतर तरीके से काम नहीं करता है।

हाइब्रिड योजना

आइए मान लें कि हमने एक ऐरे सर्किट चुना है। लेकिन अगर हम जानते हैं कि हमारे अधिकांश डैशबोर्ड केवल उपयोगकर्ता और सिस्टम मेट्रिक्स दिखाते हैं, तो हम इन मेट्रिक्स को तालिका स्तर पर एक सरणी से कॉलम में इस तरह से जोड़ सकते हैं:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  ),
  usage_user Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
  usage_system Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

डालते समय क्लिकहाउस स्वचालित रूप से उनकी गिनती होगी. इस तरह आप व्यवसाय को आनंद के साथ जोड़ सकते हैं: योजना लचीली और सामान्य है, लेकिन हमने सबसे अधिक उपयोग किए जाने वाले कॉलम निकाले हैं। ध्यान दें कि इसके लिए इन्सर्ट बदलने की आवश्यकता नहीं है ईटीएलजो तालिका में सारणी सम्मिलित करना जारी रखता है। हमने अभी किया तालिका में परिवर्तन, कुछ स्पीकर जोड़े और हमें एक हाइब्रिड और तेज़ योजना मिली जिसका उपयोग आप तुरंत शुरू कर सकते हैं।

कोडेक्स और संपीड़न

के लिए समय श्रृंखला यह मायने रखता है कि आप डेटा को कितनी अच्छी तरह पैक करते हैं क्योंकि जानकारी की मात्रा बहुत बड़ी हो सकती है। में क्लिकहाउस 1:10, 1:20 और कभी-कभी अधिक का संपीड़न प्रभाव प्राप्त करने के लिए उपकरणों का एक सेट होता है। इसका मतलब है कि डिस्क पर 1 टीबी अनपैक्ड डेटा 50-100 जीबी तक लेता है। छोटा आकार अच्छा है, डेटा को तेजी से पढ़ा और संसाधित किया जा सकता है।

उच्च स्तर का संपीड़न प्राप्त करने के लिए, क्लिकहाउस निम्नलिखित कोडेक्स का समर्थन करता है:

उदाहरण तालिका:

CREATE TABLE benchmark.cpu_codecs_lz4 (
    created_date Date DEFAULT today(), 
    created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4), 
    tags_id UInt32, 
    usage_user Float64 Codec(Gorilla, LZ4), 
    usage_system Float64 Codec(Gorilla, LZ4), 
    usage_idle Float64 Codec(Gorilla, LZ4), 
    usage_nice Float64 Codec(Gorilla, LZ4), 
    usage_iowait Float64 Codec(Gorilla, LZ4), 
    usage_irq Float64 Codec(Gorilla, LZ4), 
    usage_softirq Float64 Codec(Gorilla, LZ4), 
    usage_steal Float64 Codec(Gorilla, LZ4), 
    usage_guest Float64 Codec(Gorilla, LZ4), 
    usage_guest_nice Float64 Codec(Gorilla, LZ4), 
    additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

यहां हम कोडेक को परिभाषित करते हैं डबलडेल्टा एक मामले में, दूसरे में - गोरिल्ला, और हम निश्चित रूप से और अधिक जोड़ेंगे LZ4 संपीड़न. परिणामस्वरूप, डिस्क पर डेटा का आकार बहुत कम हो जाता है:

इससे पता चलता है कि एक ही डेटा कितनी जगह लेता है, लेकिन विभिन्न कोडेक्स और कंप्रेशन का उपयोग करता है:

• डिस्क पर GZIP फ़ाइल में;
• ClickHouse में कोडेक्स के बिना, लेकिन ZSTD संपीड़न के साथ;
• कोडेक्स और संपीड़न LZ4 और ZSTD के साथ ClickHouse में।

यह देखा जा सकता है कि कोडेक्स वाली तालिकाएँ बहुत कम जगह लेती हैं।

आकार मायने रखता है

कम महत्वपूर्ण नहीं выбрать सही डेटा प्रकार:

उपरोक्त सभी उदाहरणों में मैंने उपयोग किया फ्लोट 64. लेकिन अगर हमने चुना फ्लोट 32, तो वह और भी अच्छा होगा। ऊपर लिंक किए गए लेख में पेरकोना के लोगों द्वारा इसे अच्छी तरह से प्रदर्शित किया गया था। सबसे कॉम्पैक्ट प्रकार का उपयोग करना महत्वपूर्ण है जो कार्य के लिए उपयुक्त है: क्वेरी गति की तुलना में डिस्क आकार के लिए भी कम। क्लिकहाउस इसके प्रति बहुत संवेदनशील.

यदि आप उपयोग कर सकते हैं int32 के बदले int64, तो प्रदर्शन में लगभग दोगुनी वृद्धि की उम्मीद करें। डेटा कम मेमोरी लेता है, और सभी "अंकगणित" बहुत तेजी से काम करते हैं। क्लिकहाउस आंतरिक रूप से यह एक बहुत सख्ती से टाइप की गई प्रणाली है; यह आधुनिक प्रणालियों द्वारा प्रदान की जाने वाली सभी संभावनाओं का अधिकतम उपयोग करती है।

एकत्रीकरण और भौतिकवादी दृश्य

एकत्रीकरण और भौतिक दृश्य आपको विभिन्न अवसरों के लिए समुच्चय बनाने की अनुमति देते हैं:

उदाहरण के लिए, आपके पास गैर-एकत्रित स्रोत डेटा हो सकता है, और आप एक विशेष इंजन के माध्यम से स्वचालित सारांश के साथ उनमें विभिन्न भौतिक दृश्य संलग्न कर सकते हैं सममिंगमर्जट्री (एसएमटी). श्रीमती एक विशेष एकत्रित डेटा संरचना है जो स्वचालित रूप से समुच्चय की गणना करती है। कच्चा डेटा डेटाबेस में डाला जाता है, यह स्वचालित रूप से एकत्रित होता है, और डैशबोर्ड का उपयोग तुरंत इस पर किया जा सकता है।

टीटीएल - पुराना डेटा "भूल जाओ"।

उस डेटा को कैसे "भूलें" जिसकी अब आवश्यकता नहीं है? क्लिकहाउस यह करना जानता है. तालिकाएँ बनाते समय, आप निर्दिष्ट कर सकते हैं टीटीएल अभिव्यक्ति: उदाहरण के लिए, हम एक दिन के लिए मिनट डेटा, 30 दिनों के लिए दैनिक डेटा संग्रहीत करते हैं, और साप्ताहिक या मासिक डेटा को कभी नहीं छूते हैं:

CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day

CREATE TABLE aggr_by_day
…
TTL time + interval 30 day

CREATE TABLE aggr_by_week
…
/* no TTL */

बहु स्तरीय - डेटा को डिस्क में विभाजित करें

इस विचार को आगे बढ़ाते हुए डेटा को स्टोर किया जा सकता है क्लिकहाउस अलग-अलग जगहों पर. मान लीजिए कि हम पिछले सप्ताह के हॉट डेटा को बहुत तेज़ लोकल पर संग्रहीत करना चाहते हैं एसएसडी, और हम अधिक ऐतिहासिक डेटा दूसरी जगह डालते हैं। में क्लिकहाउस यह अब संभव है:

आप भंडारण नीति कॉन्फ़िगर कर सकते हैं (भंडारण नीति) इसलिए क्लिकहाउस कुछ शर्तों पर पहुंचने पर स्वचालित रूप से डेटा को दूसरे स्टोरेज में स्थानांतरित कर देगा।

लेकिन वह सब नहीं है। किसी विशिष्ट तालिका के स्तर पर, आप ठीक उसी समय के लिए नियमों को परिभाषित कर सकते हैं जब डेटा कोल्ड स्टोरेज में चला जाता है। उदाहरण के लिए, डेटा को 7 दिनों के लिए बहुत तेज़ डिस्क पर संग्रहीत किया जाता है, और जो कुछ भी पुराना है उसे धीमी गति से स्थानांतरित किया जाता है। यह अच्छा है क्योंकि यह आपको लागतों को नियंत्रित करते हुए और ठंडे डेटा पर पैसा बर्बाद न करते हुए सिस्टम को अधिकतम प्रदर्शन पर रखने की अनुमति देता है:

CREATE TABLE 
... 
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume', 
    date + INTERVAL 180 DAY DELETE

अनूठे अवसर क्लिकहाउस

लगभग हर चीज़ में क्लिकहाउस ऐसे "हाइलाइट" हैं, लेकिन वे विशिष्टता से ऑफसेट हैं - कुछ ऐसा जो अन्य डेटाबेस में नहीं है। उदाहरण के लिए, यहां कुछ अनूठी विशेषताएं दी गई हैं क्लिकहाउस:

• सरणियों. में क्लिकहाउस सरणियों के लिए बहुत अच्छा समर्थन, साथ ही उन पर जटिल गणना करने की क्षमता।
• डेटा संरचनाओं का एकत्रीकरण. यह "हत्यारा सुविधाओं" में से एक है क्लिकहाउस. इस तथ्य के बावजूद कि यांडेक्स के लोग कहते हैं कि हम डेटा एकत्र नहीं करना चाहते हैं, सब कुछ एकत्र किया गया है क्लिकहाउस, क्योंकि यह तेज़ और सुविधाजनक है।
• भौतिक दृश्य. डेटा संरचनाओं को एकत्रित करने के साथ-साथ, भौतिक दृश्य आपको सुविधाजनक बनाने की अनुमति देते हैं वास्तविक समय एकत्रीकरण.
• क्लिकहाउस एसक्यूएल. यह एक भाषा विस्तार है एसक्यूएल कुछ अतिरिक्त और विशिष्ट सुविधाओं के साथ जो केवल यहीं उपलब्ध हैं क्लिकहाउस. पहले, यह एक तरफ विस्तार और दूसरी तरफ नुकसान जैसा था। अब इसकी तुलना में लगभग सभी नुकसान हैं SQL 92 हमने इसे हटा दिया, अब यह सिर्फ एक एक्सटेंशन है।
• lambda-अभिव्यक्ति. क्या वे अभी भी किसी डेटाबेस में हैं?
• ML-सहायता. यह विभिन्न डेटाबेस में उपलब्ध है, कुछ बेहतर हैं, कुछ बदतर हैं।
• खुला स्त्रोत. हम विस्तार कर सकते हैं क्लिकहाउस एक साथ। अभी इसमें क्लिकहाउस लगभग 500 योगदानकर्ता, और यह संख्या लगातार बढ़ रही है।

पेचीदा प्रश्न

В क्लिकहाउस एक ही काम को करने के कई अलग-अलग तरीके हैं। उदाहरण के लिए, आप किसी तालिका से अंतिम मान को तीन अलग-अलग तरीकों से वापस कर सकते हैं सी पी यू (एक चौथा भी है, लेकिन यह और भी अधिक आकर्षक है)।

पहला दिखाता है कि इसमें ऐसा करना कितना सुविधाजनक है क्लिकहाउस जब आप उसे जांचना चाहते हैं तो प्रश्न करें टपल सबक्वेरी में निहित है। यह कुछ ऐसा है जिसे मैं व्यक्तिगत रूप से अन्य डेटाबेस में नहीं भूल पाया। यदि मैं किसी चीज़ की तुलना किसी सबक्वेरी से करना चाहता हूँ, तो अन्य डेटाबेस में केवल एक स्केलर की तुलना उसके साथ की जा सकती है, लेकिन कई कॉलमों के लिए मुझे लिखना होगा शामिल हों. में क्लिकहाउस आप टुपल का उपयोग कर सकते हैं:

SELECT *
  FROM cpu 
 WHERE (tags_id, created_at) IN 
    (SELECT tags_id, max(created_at)
        FROM cpu 
        GROUP BY tags_id)

दूसरी विधि भी वही काम करती है लेकिन समग्र फ़ंक्शन का उपयोग करती है argMax:

SELECT 
    argMax(usage_user), created_at),
    argMax(usage_system), created_at),
...
 FROM cpu 

В क्लिकहाउस कई दर्जन समुच्चय कार्य हैं, और यदि आप कॉम्बिनेटर का उपयोग करते हैं, तो कॉम्बिनेटरिक्स के नियमों के अनुसार आपको उनमें से लगभग एक हजार मिलेंगे। आर्गमैक्स - अधिकतम मूल्य की गणना करने वाले कार्यों में से एक: अनुरोध मूल्य लौटाता है उपयोग_उपयोगकर्ता, जिस पर अधिकतम मूल्य पहुँच जाता है पर बनाया गया:

SELECT now() as created_at,
       cpu.*
  FROM (SELECT DISTINCT tags_id from cpu) base 
  ASOF LEFT JOIN cpu USING (tags_id, created_at)

एएसओएफ शामिल हों - अलग-अलग समय के साथ पंक्तियों को "चिपकाना"। यह डेटाबेस के लिए एक अनूठी सुविधा है जो केवल यहीं उपलब्ध है केडीबी+. यदि अलग-अलग समय वाली दो समय श्रृंखलाएं हैं, एएसओएफ शामिल हों आपको उन्हें एक अनुरोध में स्थानांतरित करने और विलय करने की अनुमति देता है। एक समय श्रृंखला में प्रत्येक मान के लिए, दूसरे में निकटतम मान पाया जाता है, और उन्हें उसी पंक्ति में लौटाया जाता है:

विश्लेषणात्मक कार्य

मानक में एसक्यूएल-2003 आप इस तरह लिख सकते हैं:

SELECT origin,
       timestamp,
       timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
       timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
       ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
       COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
  FROM mytable
ORDER BY origin, timestamp;

В क्लिकहाउस आप ऐसा नहीं कर सकते - यह मानक का समर्थन नहीं करता है एसक्यूएल-2003 और शायद ऐसा कभी नहीं करूंगा. इसके बजाय, में क्लिकहाउस इस प्रकार लिखने की प्रथा है:

मैंने लैम्ब्डा से वादा किया था - वे यहाँ हैं!

यह मानक में विश्लेषणात्मक क्वेरी का एक एनालॉग है एसक्यूएल-2003: वह दोनों के बीच अंतर गिनाता है टाइमस्टैम्प, अवधि, क्रमसूचक संख्या - वह सब कुछ जिसे हम आमतौर पर विश्लेषणात्मक कार्य मानते हैं। में क्लिकहाउस हम उन्हें सरणियों के माध्यम से गिनते हैं: पहले हम डेटा को एक सरणी में संक्षिप्त करते हैं, उसके बाद हम सरणी पर वह सब कुछ करते हैं जो हम चाहते हैं, और फिर हम इसे वापस विस्तारित करते हैं। यह बहुत सुविधाजनक नहीं है, इसके लिए कम से कम कार्यात्मक प्रोग्रामिंग की आवश्यकता होती है, लेकिन यह बहुत लचीला है।

विशेष लक्षण

इसके अलावा, में क्लिकहाउस कई विशिष्ट कार्य। उदाहरण के लिए, यह कैसे निर्धारित किया जाए कि एक साथ कितने सत्र हो रहे हैं? एक सामान्य निगरानी कार्य एक अनुरोध के साथ अधिकतम लोड निर्धारित करना है। में क्लिकहाउस इस उद्देश्य के लिए एक विशेष कार्य है:

सामान्य तौर पर, ClickHouse में कई उद्देश्यों के लिए विशेष कार्य होते हैं:

• रनिंगडिफ़रेंस, रनिंगएक्युमुलेट, पड़ोसी;
• sumMap(कुंजी, मान);
• timeSeriesGroupSum(uid, टाइमस्टैम्प, मान);
• timeSeriesGroupRateSum(uid, टाइमस्टैम्प, मान);
• स्क्यूपॉप, स्क्यूसैंप, कर्टपॉप, कर्टसैंप;
• भराव के साथ / संबंधों के साथ;
• SimpleLinearRegression, स्टोकेस्टिकLinearRegression।

यह कार्यों की पूरी सूची नहीं है, कुल मिलाकर 500-600 हैं। संकेत: सभी कार्य क्लिकहाउस सिस्टम तालिका में है (सभी प्रलेखित नहीं हैं, लेकिन सभी दिलचस्प हैं):

select * from system.functions order by name

क्लिकहाउस यह अपने बारे में बहुत सारी जानकारी संग्रहीत करता है, जिसमें शामिल है लॉग टेबल, query_log, ट्रेस लॉग, डेटा ब्लॉक के साथ संचालन का लॉग (भाग_लॉग), मेट्रिक्स लॉग, और सिस्टम लॉग, जिसे यह आमतौर पर डिस्क पर लिखता है। लॉग मेट्रिक्स है समय श्रृंखला в क्लिकहाउस वास्तव में क्लिकहाउस: डेटाबेस स्वयं एक भूमिका निभा सकता है समय श्रृंखला डेटाबेस, इस प्रकार स्वयं "भस्म" हो जाता है।

यह भी एक अनोखी बात है - चूँकि हम अच्छा काम करते हैं समय श्रृंखला, हम अपनी ज़रूरत की हर चीज़ अपने अंदर संग्रहित क्यों नहीं कर सकते? हमें जरूरत नहीं है प्रोमिथेउस, हम सब कुछ अपने तक ही रखते हैं। जुड़े हुए ग्राफाना और हम स्वयं निगरानी करते हैं। हालांकि, यदि क्लिकहाउस गिरता है, हम नहीं देख पाएंगे कि क्यों, इसलिए वे आमतौर पर ऐसा नहीं करते हैं।

बड़ा समूह या अनेक छोटे क्लिकहाउस

क्या बेहतर है - एक बड़ा क्लस्टर या कई छोटे क्लिकहाउस? पारंपरिक दृष्टिकोण डीडब्ल्यूएच एक बड़ा क्लस्टर है जिसमें प्रत्येक एप्लिकेशन के लिए सर्किट आवंटित किए जाते हैं। हम डेटाबेस प्रशासक के पास आए - हमें एक आरेख दें, और उन्होंने हमें एक दिया:

В क्लिकहाउस आप इसे अलग ढंग से कर सकते हैं. आप प्रत्येक एप्लिकेशन को अपना बना सकते हैं क्लिकहाउस:

हमें अब किसी बड़े राक्षसी की जरूरत नहीं है डीडब्ल्यूएच और अड़ियल व्यवस्थापक। हम प्रत्येक एप्लिकेशन को उसका अपना दे सकते हैं क्लिकहाउस, और डेवलपर इसे स्वयं कर सकता है क्लिकहाउस स्थापित करना बहुत आसान है और जटिल प्रशासन की आवश्यकता नहीं है:

लेकिन अगर हमारे पास बहुत कुछ है क्लिकहाउस, और आपको इसे अक्सर इंस्टॉल करने की आवश्यकता होती है, तो आप इस प्रक्रिया को स्वचालित करना चाहते हैं। उदाहरण के लिए, हम इसका उपयोग कर सकते हैं Kubernetes и क्लिकहाउस-ऑपरेटर। में कुबेरनेट्स क्लिकहाउस आप इसे "ऑन-क्लिक" कर सकते हैं: मैं एक बटन पर क्लिक कर सकता हूं, मेनिफेस्ट चला सकता हूं और डेटाबेस तैयार है। मैं तुरंत एक आरेख बना सकता हूं, वहां मेट्रिक्स अपलोड करना शुरू कर सकता हूं और 5 मिनट में मेरे पास एक डैशबोर्ड तैयार हो जाएगा ग्राफाना. ये इतना सरल है!

नतीजा?

इस प्रकार, क्लिकहाउस - यह:

• जल्दी से. ये तो हर कोई जानता है.
• केवल. थोड़ा विवादास्पद, लेकिन मेरा मानना ​​है कि प्रशिक्षण में यह कठिन है, युद्ध में आसान है। अगर आप समझते हैं कैसे क्लिकहाउस यह काम करता है, तो सब कुछ बहुत सरल है।
• सार्वभौमिक. यह विभिन्न परिदृश्यों के लिए उपयुक्त है: डीडब्ल्यूएच, टाइम सीरीज़, लॉग स्टोरेज. लेकिन यह नहीं है OLTP डेटाबेस, इसलिए वहां संक्षिप्त प्रविष्टियां और पढ़ने का प्रयास न करें।
• दिलचस्पी से. शायद वही जो साथ काम करता हो क्लिकहाउस, अच्छे और बुरे अर्थों में कई दिलचस्प क्षणों का अनुभव किया। उदाहरण के लिए, एक नई रिलीज़ सामने आई, सब कुछ काम करना बंद कर दिया। या जब आप किसी काम को लेकर दो दिन तक जूझते रहे, लेकिन टेलीग्राम चैट में सवाल पूछने के बाद वह काम दो मिनट में हल हो गया. या लेशा मिलोविदोव की रिपोर्ट पर सम्मेलन की तरह, एक स्क्रीनशॉट क्लिकहाउस प्रसारण तोड़ दिया HighLoad ++. इस तरह की चीजें हर समय होती रहती हैं और हमारे जीवन को कठिन बना देती हैं। क्लिकहाउस उज्ज्वल और दिलचस्प!

आप प्रेजेंटेशन देख सकते हैं यहां.

हाई-लोड सिस्टम के डेवलपर्स की लंबे समय से प्रतीक्षित बैठक HighLoad ++ 9 और 10 नवंबर को स्कोल्कोवो में होगा। अंततः, यह एक ऑफ़लाइन सम्मेलन होगा (यद्यपि सभी सावधानियों के साथ), क्योंकि हाईलोड++ की ऊर्जा को ऑनलाइन पैक नहीं किया जा सकता है।

सम्मेलन के लिए, हम आपको प्रौद्योगिकी की अधिकतम क्षमताओं के बारे में मामले ढूंढते और दिखाते हैं: हाईलोड++ एकमात्र स्थान था, है और रहेगा जहां आप दो दिनों में सीख सकते हैं कि फेसबुक, यांडेक्स, वीकॉन्टैक्टे, गूगल और अमेज़ॅन कैसे काम करते हैं।

2007 से हमारी बैठकें बिना किसी रुकावट के हो रही हैं, इस साल हम 14वीं बार मिलेंगे। इस समय के दौरान, सम्मेलन 10 गुना बढ़ गया है; पिछले साल, प्रमुख उद्योग कार्यक्रम में 3339 प्रतिभागी, 165 वक्ता, रिपोर्ट और मीटअप आए थे, और 16 ट्रैक एक साथ चल रहे थे।
पिछले साल 20 बसें, 5280 लीटर चाय और कॉफी, 1650 लीटर फल पेय और 10200 बोतल पानी थे। और अन्य 2640 किलोग्राम भोजन, 16 प्लेटें और 000 कप। वैसे, पुनर्नवीनीकरण कागज से जुटाए गए पैसे से, हमने 25 ओक के पौधे लगाए :)

आप टिकट खरीद सकते हैं यहां, सम्मेलन के बारे में समाचार प्राप्त करें - यहां, और सभी सामाजिक नेटवर्क पर बात करें: Telegram, फेसबुक, Vkontakte и ट्विटर.

स्रोत: www.habr.com