प्रश्न र उत्तरहरूमा उन्नत प्रयोगकर्ताहरूको लागि घर क्लिक गर्नुहोस्

अप्रिलमा, एभिटो इन्जिनियरहरू मुख्य क्लिकहाउस विकासकर्ता एलेक्सी मिलोविडोभ र इन्टिग्रोसका गोलाङ विकासकर्ता किरिल श्वाकोभसँग अनलाइन बैठकहरूको लागि भेला भए। हामीले डाटाबेस व्यवस्थापन प्रणाली कसरी प्रयोग गर्छौं र हामीले कस्ता कठिनाइहरू सामना गर्छौं भनेर हामीले छलफल गर्यौं।

बैठकको आधारमा, हामीले ब्याकअपहरू, डेटा रिसार्डिङ, बाह्य शब्दकोशहरू, Golang ड्राइभर र ClickHouse संस्करणहरू अद्यावधिक गर्ने बारे हाम्रा र श्रोताहरूको प्रश्नहरूको विशेषज्ञहरूको जवाफहरू सहित एउटा लेख कम्पाइल गरेका छौं। यो विकासकर्ताहरूको लागि उपयोगी हुन सक्छ जो पहिले नै सक्रिय रूपमा Yandex DBMS सँग काम गरिरहेका छन् र यसको वर्तमान र भविष्यमा रुचि राख्छन्। पूर्वनिर्धारित रूपमा, उत्तरहरू एलेक्सी मिलोविडोभद्वारा हुन्, अन्यथा लेखिएमा।

सावधान रहनुहोस्, कट मुनि धेरै पाठ छ। हामी आशा गर्छौं कि प्रश्नहरू सहितको सामग्रीले तपाईंलाई नेभिगेट गर्न मद्दत गर्नेछ।

सामग्रीहरू

• ClickHouse लगातार अद्यावधिक छ, तर हाम्रो डाटा छैन। यसमा के गर्ने ?
• ClickHouse बाट डाटा जगेडा गर्नका लागि हालका उत्तम अभ्यासहरू के हुन्?
• के शाफ्टहरूमा प्रतिकृतिहरूको नियन्त्रित ढिलाइ व्यवस्थित गर्न सम्भव छ?
• तालिका संरचना परिवर्तन भएको छ भने के हुन्छ?
• डाटा रिसार्डिङमा हालका उत्कृष्ट अभ्यासहरू के हुन्?
• ClickHouse मा clickhouse-copier उपयोगिता छ। के तपाईं मलाई उनको बारेमा बताउन सक्नुहुन्छ?
• तपाईंसँग resharding भनिने एउटा पायलट कुरा थियो। उनीसँग के?
• के यसलाई ढिलो डिस्कहरूमा सार्नु अघि डाटाका सबै टुक्राहरू एकसाथ मर्ज गर्न सम्भव छ?
• यदि पहिले नै अनुकूलता जाँच गर्ने कुनै तरिका छैन भने ClickHouse को नयाँ संस्करणहरूमा कसरी माइग्रेट गर्ने?
• किल क्वेरीले प्रश्नहरू मार्नु पर्छ, तर यो गर्दैन। किन?
• पढ्ने लोड अन्तर्गत प्रतिक्रिया समय कसरी गणना गर्ने?
• म क्लिकहाउसमा के ट्वीक गर्न सक्छु ताकि थप डाटा क्यासमा छ?
• म कसरी RAM मा भण्डारणको लागि store_configuration कन्फिगर गर्न सक्छु?
• लो कार्डिनलिटी प्रभावकारी अद्वितीय मानहरूको कति संख्यामा हुन्छ?
• पाँच बिलियन पङ्क्तिहरू भएको तालिकामा पूर्ण-पाठ खोज्ने उत्तम अभ्यासहरू के हुन्?
• ठूलो संख्यामा प्रयोगकर्ताहरूको लागि क्लिकहाउसमा पहुँच व्यवस्थित गर्ने उत्तम तरिका के हो?
• के दस ग्राहकहरूलाई एउटा प्रश्नको नतिजा दिन सम्भव छ?
• एसिन्क्रोनस अपरेशनहरू र भौतिक दृश्यहरूको बारेमा के हो?
• ClickHouse मा धेरै लगहरू छन्। यस क्षणमा सर्भरसँग भइरहेको सबै कुरा म कसरी हेर्न सक्छु?
• मर्जहरूलाई कसरी प्रभाव पार्ने ताकि सर्भर OOM मा क्र्यास नहोस्?
• ClickHouse को लागि Golang ड्राइभर कसरी विकसित हुनेछ?
• lazy_load सेटिङ सक्षम भएको रिबुट पछि बाह्य शब्दकोश लोड हुँदैन। के गर्ने?
• प्रणाली रिलोड शब्दकोशहरूले धेरै शब्दकोशहरू मध्ये कुनै पनि लोड गर्दैन यदि तिनीहरूमध्ये कम्तिमा एउटा त्रुटिको साथ क्र्यास भयो भने के गर्ने?
• क्लिकहाउस कन्फिगरमा विवरणहरू कन्फिगर गर्ने तरिका छ, तर त्रुटिहरूको अवस्थामा तिनीहरूलाई प्रदर्शन नगर्ने?
• बोनस: जमघटबाट जुमका लागि पृष्ठभूमि

यदि तपाइँ पाठ पढ्न चाहनुहुन्न भने, तपाइँ जमघटहरूको रेकर्डिङ हेर्न सक्नुहुन्छ हाम्रो YouTube च्यानलमा। टाइमकोडहरू भिडियो अन्तर्गत पहिलो टिप्पणीमा छन्।

ClickHouse लगातार अद्यावधिक छ, तर हाम्रो डाटा छैन। यसमा के गर्ने ?

ClickHouse लगातार अपडेट हुन्छ, र हाम्रो डाटा, जुन अन्तिम प्रशोधनलाई अनुकूलित गरिएको थियो, अद्यावधिक गरिएको छैन र ब्याकअप प्रतिलिपिमा छ।

मानौं हामीसँग केही समस्या थियो र डाटा हराएको थियो। हामीले पुनर्स्थापना गर्ने निर्णय गर्यौं, र यो पत्ता लाग्यो कि ब्याकअप सर्भरहरूमा भण्डारण गरिएका पुराना विभाजनहरू क्लिकहाउसको हाल प्रयोग गरिएको संस्करण भन्दा धेरै फरक छन्। यस्तो अवस्थामा के गर्ने, र यो सम्भव छ?

एउटा स्थिति जसमा तपाईंले पुरानो ढाँचामा ब्याकअपबाट डेटा पुनर्स्थापित गर्नुभयो, तर यो नयाँ संस्करणमा जडान हुँदैन, असम्भव छ। हामी सुनिश्चित गर्छौं कि ClickHouse मा डेटा ढाँचा सधैं पछाडि संगत रहन्छ। यो कार्यक्षमतामा पछाडि अनुकूलता भन्दा धेरै महत्त्वपूर्ण छ यदि केहि दुर्लभ रूपमा प्रयोग गरिएको प्रकार्यको व्यवहार परिवर्तन भएको छ। ClickHouse को नयाँ संस्करण सधैं डिस्क मा भण्डारण गरिएको डाटा पढ्न सक्षम हुनुपर्छ। यो कानून हो।

ClickHouse बाट डाटा जगेडा गर्नका लागि हालका उत्तम अभ्यासहरू के हुन्?

ब्याकअपहरू कसरी बनाउने, हामीसँग अन्तिम अपरेशनहरू, टेराबाइटको विशाल डाटाबेस, र अद्यावधिक गरिएको डाटा, पछिल्लो तीन दिनको लागि, र त्यसपछि कुनै प्रक्रियाहरू भएनन् भन्ने कुरालाई ध्यानमा राख्दै?

हामी आफ्नै समाधान बनाउन सक्छौं र bash मा लेख्न सक्छौं: यी ब्याकअप प्रतिलिपिहरू यसरी र यसरी सङ्कलन गर्नुहोस्। सायद त्यहाँ केहि बैसाखी गर्न आवश्यक छैन, र साइकल धेरै पहिले आविष्कार गरिएको थियो?

सबै भन्दा राम्रो अभ्यासहरु संग सुरु गरौं। मेरा सहकर्मीहरूले सधैं सल्लाह दिन्छन्, ब्याकअपको बारेमा प्रश्नहरूको जवाफमा, तिनीहरूलाई Yandex.Cloud सेवाको बारेमा सम्झाउन, जहाँ यो समस्या पहिले नै हल भइसकेको छ। त्यसैले सम्भव भएमा प्रयोग गर्नुहोस्।

त्यहाँ ब्याकअपहरूको लागि कुनै पूर्ण समाधान छैन, क्लिकहाउसमा निर्मित १०० प्रतिशत। त्यहाँ केही खाली ठाउँहरू छन् जुन प्रयोग गर्न सकिन्छ। पूर्ण समाधान प्राप्त गर्न, तपाईंले या त म्यानुअल रूपमा अलिकति टिंकर गर्नुपर्नेछ, वा स्क्रिप्टको रूपमा र्यापरहरू सिर्जना गर्नुपर्नेछ।

म डेटाको मात्रा र क्लस्टरको साइजमा निर्भर गर्दै सबैभन्दा सरल समाधानहरूबाट सुरु गर्नेछु र सबैभन्दा परिष्कृत समाधानहरूसँग अन्त्य गर्नेछु। क्लस्टर जति ठूलो हुन्छ, समाधान त्यति नै जटिल हुन्छ।

यदि डाटा भएको तालिकाले केही गिगाबाइट मात्र ओगटेको छ भने, ब्याकअप यसरी गर्न सकिन्छ:

1. तालिका परिभाषा बचत गर्नुहोस् अर्थात् मेटाडेटा - देखाउनुहोस् तालिका सिर्जना गर्नुहोस्.
2. क्लिकहाउस क्लाइन्ट प्रयोग गरेर डम्प बनाउनुहोस् - चयन * टेबलबाट फाइल गर्न। पूर्वनिर्धारित रूपमा तपाईंले TabSeparated ढाँचामा फाइल प्राप्त गर्नुहुनेछ। यदि तपाइँ अधिक कुशल हुन चाहनुहुन्छ भने, तपाइँ यसलाई नेटिभ ढाँचामा गर्न सक्नुहुन्छ।

यदि डाटाको मात्रा ठूलो छ भने, ब्याकअपले धेरै समय र धेरै ठाउँ लिनेछ। यसलाई तार्किक ब्याकअप भनिन्छ; यो ClickHouse डाटा ढाँचामा बाँधिएको छैन। यदि यो हो भने, अन्तिम उपायको रूपमा तपाईले ब्याकअप लिन सक्नुहुन्छ र रिकभरीको लागि MySQL मा अपलोड गर्न सक्नुहुन्छ।

थप उन्नत केसहरूको लागि, क्लिकहाउससँग स्थानीय फाइल प्रणालीमा विभाजनहरूको स्न्यापसट सिर्जना गर्ने क्षमता छ। यो सुविधा अनुरोधको रूपमा उपलब्ध छ तालिका स्थिर विभाजन परिवर्तन गर्नुहोस्। वा सरल तालिका स्थिर परिवर्तन गर्नुहोस् - यो सम्पूर्ण तालिकाको स्न्यापसट हो।

स्न्यापसट एक शार्डमा एउटा तालिकाको लागि निरन्तर रूपमा सिर्जना गरिनेछ, अर्थात्, यस तरिकाले सम्पूर्ण क्लस्टरको लगातार स्न्यापसट सिर्जना गर्न असम्भव छ। तर धेरै जसो कार्यहरूको लागि त्यहाँ त्यस्तो कुनै आवश्यकता छैन, र यो प्रत्येक शार्डमा अनुरोध कार्यान्वयन गर्न र लगातार स्न्यापसट प्राप्त गर्न पर्याप्त छ। यो हार्डलिङ्कको रूपमा सिर्जना गरिएको हो र त्यसैले थप ठाउँ लिँदैन। अर्को, तपाईंले ब्याकअप सर्भर वा ब्याकअपको लागि प्रयोग गर्ने भण्डारणमा यो स्न्यापसट प्रतिलिपि गर्नुहोस्।

यस्तो ब्याकअप पुनर्स्थापना एकदम सजिलो छ। पहिले, अवस्थित तालिका परिभाषाहरू प्रयोग गरेर तालिकाहरू सिर्जना गर्नुहोस्। अर्को, यी तालिकाहरूको लागि डाइरेक्टरी-पृथकमा विभाजनहरूको बचत गरिएका स्न्यापसटहरू प्रतिलिपि गर्नुहोस् र क्वेरी चलाउनुहोस्। विभाजन संलग्न गर्नुहोस्। यो समाधान डाटा को सबै भन्दा गम्भीर मात्रा लागि एकदम उपयुक्त छ।

कहिलेकाहीँ तपाईलाई केहि चिसो पनि चाहिन्छ - तपाईसँग प्रत्येक सर्भरमा दसौं वा सयौं टेराबाइटहरू र सयौं सर्भरहरू भएका अवस्थामा। यहाँ एउटा समाधान छ जुन मैले Yandex.Metrica बाट मेरा सहकर्मीहरूबाट उठाएको छु। म यसलाई सबैलाई सिफारिस गर्दिन - यसलाई पढ्नुहोस् र यो उपयुक्त छ कि छैन आफैले निर्णय गर्नुहोस्।

पहिले तपाईले ठूला डिस्क शेल्फहरूसँग धेरै सर्भरहरू सिर्जना गर्न आवश्यक छ। अर्को, यी सर्भरहरूमा, धेरै क्लिकहाउस सर्भरहरू उठाउनुहोस् र तिनीहरूलाई कन्फिगर गर्नुहोस् ताकि तिनीहरू समान शार्डहरूको लागि अर्को प्रतिकृतिको रूपमा काम गर्छन्। र त्यसपछि यी सर्भरहरूमा फाइल प्रणाली वा केही उपकरण प्रयोग गर्नुहोस् जसले तपाईंलाई स्न्यापसटहरू सिर्जना गर्न अनुमति दिन्छ। यहाँ दुई विकल्प छन्। पहिलो विकल्प LVM स्न्यापशट हो, दोस्रो विकल्प लिनक्समा ZFS हो।

त्यस पछि, हरेक दिन तपाईंले स्न्यापसट सिर्जना गर्न आवश्यक छ, यो झूट हुनेछ र केहि ठाउँ लिन्छ। स्वाभाविक रूपमा, यदि डेटा परिवर्तन हुन्छ भने, ठाउँको मात्रा समयसँगै बढ्नेछ। यो स्न्यापसट कुनै पनि समयमा बाहिर निकाल्न सकिन्छ र डाटा पुनर्स्थापना, यस्तो अनौठो समाधान। साथै, हामीले यी प्रतिकृतिहरूलाई कन्फिगरेसनमा सीमित गर्न आवश्यक छ ताकि तिनीहरू नेता बन्ने प्रयास नगर्नुहोस्।

के शाफ्टहरूमा प्रतिकृतिहरूको नियन्त्रित ढिलाइ व्यवस्थित गर्न सम्भव छ?

यस वर्ष तपाईं क्लिकहाउसमा शाफ्टहरू बनाउने योजना गर्दै हुनुहुन्छ। के तिनीहरूमा प्रतिकृतिहरूको नियन्त्रित ढिलाइलाई व्यवस्थित गर्न सम्भव छ? हामी यसलाई परिवर्तनहरू र अन्य परिवर्तनहरूसँग नकारात्मक परिदृश्यहरूबाट आफूलाई जोगाउन प्रयोग गर्न चाहन्छौं।

के यो परिवर्तनको लागि केहि प्रकारको रोल ब्याक गर्न सम्भव छ? उदाहरणका लागि, अवस्थित शाफ्टमा, लिनुहोस् र भन्नुहोस् कि यो क्षण सम्म तपाइँ परिवर्तनहरू लागू गर्नुहुन्छ, र यो क्षणबाट तपाइँ परिवर्तनहरू लागू गर्न बन्द गर्नुहुन्छ?

यदि हाम्रो क्लस्टरमा कमाण्ड आयो र यसलाई तोडियो भने, हामीसँग एक घण्टा ढिलो भएको सशर्त प्रतिकृति छ, जहाँ हामी भन्न सक्छौं कि यसलाई अहिले प्रयोग गरौं, तर हामी अन्तिम दस मिनेटमा यसमा परिवर्तनहरू लागू गर्दैनौं?

पहिलो, प्रतिकृतिहरूको नियन्त्रित ढिलाइको बारेमा। त्यहाँ प्रयोगकर्ताहरूबाट यस्तो अनुरोध थियो, र हामीले Github मा अनुरोधको साथ एउटा मुद्दा सिर्जना गर्‍यौं: "यदि कसैलाई यो चाहिन्छ भने, मन पराउनुहोस्।" कसैले डेलिभर गरेन, र मुद्दा बन्द भयो। यद्यपि, तपाईले पहिले नै क्लिकहाउस सेटअप गरेर यो अवसर प्राप्त गर्न सक्नुहुन्छ। सत्य, संस्करण २०.३ बाट मात्र सुरु हुन्छ।

क्लिकहाउसले पृष्ठभूमिमा डाटा मर्ज गर्ने कार्य गर्दछ। जब एक मर्ज पूरा हुन्छ, डेटा को टुक्रा को एक निश्चित सेट ठूलो टुक्रा संग प्रतिस्थापित हुन्छ। एकै समयमा, पहिले त्यहाँ भएका डाटाका टुक्राहरू केही समयको लागि डिस्कमा रहन जारी राख्छन्।

पहिलो, गैर-ब्लकिङ सञ्चालन प्रदान गर्नका लागि तिनीहरूलाई प्रयोग गर्ने चयन गरिएका प्रश्नहरू नभएसम्म तिनीहरू भण्डारण गरिरहन्छन्। चयन गरिएका प्रश्नहरू पुराना टुक्राहरूबाट सजिलै पढ्न सकिन्छ।

दोस्रो, त्यहाँ एक समय थ्रेसहोल्ड पनि छ - डाटाको पुरानो टुक्राहरू आठ मिनेटको लागि डिस्कमा रहन्छन्। यी आठ मिनेटहरू अनुकूलित र एक दिनमा परिणत गर्न सकिन्छ। यसले डिस्क स्पेस खर्च गर्नेछ: डाटा प्रवाहको आधारमा, यो थाहा हुन्छ कि अन्तिम दिनमा डाटा मात्र दोब्बर हुनेछैन, यो पाँच गुणा बढी हुन सक्छ। तर यदि त्यहाँ एक गम्भीर समस्या छ भने, तपाइँ क्लिकहाउस सर्भर रोक्न र सबै कुरा मिलाउन सक्नुहुन्छ।

अब प्रश्न उठ्छ कि यसले परिवर्तनहरूबाट कसरी जोगाउँछ। यहाँ एक गहिरो हेराई लिन लायक छ, किनकि क्लिकहाउसको पुरानो संस्करणहरूमा, परिवर्तनले यस्तो तरिकाले काम गर्यो कि यसले सीधा टुक्राहरू परिवर्तन गर्यो। त्यहाँ केही फाइलहरूसँग डाटाको टुक्रा छ, र हामी गर्छौं, उदाहरणका लागि, ड्रप स्तम्भ परिवर्तन गर्नुहोस्। त्यसपछि यो स्तम्भ भौतिक रूपमा सबै भागहरूबाट हटाइन्छ।

तर संस्करण 20.3 बाट सुरु गर्दै, परिवर्तन संयन्त्र पूर्ण रूपमा परिवर्तन गरिएको छ, र अब डाटाका टुक्राहरू सधैं अपरिवर्तनीय छन्। तिनीहरू कुनै पनि परिवर्तन गर्दैनन् - परिवर्तनहरूले अब मर्जहरू जस्तै काम गर्दछ। ठाउँमा टुक्रा बदल्नुको सट्टा, हामी नयाँ सिर्जना गर्छौं। नयाँ टुक्रामा, परिवर्तन नगरिएका फाइलहरू हार्डलिङ्कहरू बन्छन्, र यदि हामीले स्तम्भ मेटाउँछौं भने, यो नयाँ टुक्रामा हराइरहेको हुनेछ। पुरानो टुक्रा आठ मिनेट पछि पूर्वनिर्धारित रूपमा मेटिनेछ, र यहाँ तपाइँ माथि उल्लेखित सेटिङहरू ट्वीक गर्न सक्नुहुन्छ।

उत्परिवर्तन जस्ता परिवर्तनहरूमा पनि यो लागू हुन्छ। जब तपाईं गर्नुहुन्छ मेटाउन परिवर्तन गर्नुहोस् वा अपडेट परिवर्तन गर्नुहोस्, यसले टुक्रा परिवर्तन गर्दैन, तर नयाँ सिर्जना गर्दछ। र त्यसपछि पुरानो मेटाउँछ।

तालिका संरचना परिवर्तन भएको छ भने के हुन्छ?

पुरानो योजना संग बनाइएको ब्याकअप कसरी पुनर्स्थापित गर्ने? र दोस्रो प्रश्न स्न्यापशट र फाइल प्रणाली उपकरणहरूको मामलाको बारेमा हो। लिनक्स LVM मा ZFS को सट्टा Btrfs यहाँ राम्रो छ?

यदि गर्नुहुन्छ भने विभाजन संलग्न गर्नुहोस् फरक संरचनाको साथ विभाजन, त्यसपछि क्लिकहाउसले तपाईंलाई बताउनेछ कि यो सम्भव छैन। यही हो समाधान । पहिले पुरानो संरचनाको साथ MergeTree प्रकारको अस्थायी तालिका बनाउनु हो, त्यहाँ संलग्न प्रयोग गरेर डाटा संलग्न गर्नुहोस्, र एक परिवर्तन क्वेरी बनाउनुहोस्। त्यसो भए तपाईले यो डाटा प्रतिलिपि गर्न वा स्थानान्तरण गर्न सक्नुहुन्छ र फेरि संलग्न गर्न सक्नुहुन्छ, वा अनुरोध प्रयोग गर्न सक्नुहुन्छ तालिका सार्ने विभाजन परिवर्तन गर्नुहोस्.

अब दोस्रो प्रश्न हो कि Btrfs प्रयोग गर्न सकिन्छ। सुरुमा, यदि तपाईंसँग LVM छ भने, LVM स्न्यापसटहरू पर्याप्त छन्, र फाइल प्रणाली ext4 हुन सक्छ, यसले फरक पार्दैन। Btrts को साथ, सबै कुरा यसलाई प्रयोग गर्ने तपाईंको अनुभवमा निर्भर गर्दछ। यो एक परिपक्व फाइल प्रणाली हो, तर त्यहाँ अझै पनि केहि शङ्काहरू छन् कि कसरी सबै कुरा एक विशेष परिदृश्यमा व्यवहारमा काम गर्नेछ। म यो प्रयोग गर्न सिफारिस गर्दिन जबसम्म तपाईंसँग उत्पादनमा Btrfs छैन।

डाटा रिसार्डिङमा हालका उत्कृष्ट अभ्यासहरू के हुन्?

पुनर्संरचनाको मुद्दा जटिल र बहुआयामिक छ। यहाँ धेरै सम्भावित जवाफहरू छन्। तपाईं एक तर्फबाट जान सक्नुहुन्छ र यो भन्न सक्नुहुन्छ - ClickHouse मा निर्मित रिसार्डिङ सुविधा छैन। तर मलाई डर छ कि यो जवाफ कसैलाई मिल्दैन। त्यसकारण, तपाइँ अर्को तर्फबाट जान सक्नुहुन्छ र भन्न सक्नुहुन्छ कि क्लिकहाउससँग डाटा पुन: साझा गर्ने धेरै तरिकाहरू छन्।

यदि क्लस्टरको ठाउँ सकियो वा यसले लोड ह्यान्डल गर्न सक्दैन भने, तपाइँ नयाँ सर्भरहरू थप्नुहुन्छ। तर यी सर्भरहरू पूर्वनिर्धारित रूपमा खाली छन्, तिनीहरूमा कुनै डाटा छैन, त्यहाँ कुनै लोड छैन। तपाईंले डाटालाई पुन: व्यवस्थित गर्न आवश्यक छ ताकि यो नयाँ, ठूलो क्लस्टरमा समान रूपमा फैलियोस्।

यो गर्न सकिने पहिलो तरिका भनेको अनुरोध प्रयोग गरेर नयाँ सर्भरहरूमा विभाजनहरूको अंश प्रतिलिपि गर्नु हो तालिका फेच विभाजन परिवर्तन गर्नुहोस्। उदाहरणका लागि, तपाइँसँग महिना अनुसार विभाजन थियो, र तपाइँ 2017 को पहिलो महिना लिनुहुन्छ र यसलाई नयाँ सर्भरमा प्रतिलिपि गर्नुहुन्छ, त्यसपछि तेस्रो महिनालाई केहि अन्य नयाँ सर्भरमा प्रतिलिपि गर्नुहोस्। र यो कम वा कम नभएसम्म तपाईं यो गर्नुहुन्छ।

स्थानान्तरण ती विभाजनहरूको लागि मात्र गर्न सकिन्छ जुन रेकर्डिङको समयमा परिवर्तन हुँदैन। ताजा विभाजनहरूको लागि, रेकर्डिङ असक्षम हुनुपर्छ, किनभने तिनीहरूको स्थानान्तरण परमाणु छैन। अन्यथा, तपाईं डुप्लिकेट वा डाटामा खाली ठाउँहरू समाप्त हुनेछ। यद्यपि, यो विधि व्यावहारिक छ र धेरै प्रभावकारी काम गर्दछ। रेडिमेड संकुचित विभाजनहरू नेटवर्कमा प्रसारित हुन्छन्, त्यो हो, डाटा संकुचित वा पुन: एन्कोड गरिएको छैन।

यो विधिमा एउटा कमजोरी छ, र यो शार्डिङ योजनामा ​​निर्भर गर्दछ, तपाईंले यो शार्डिङ योजनामा ​​प्रतिज्ञा गर्नुभएको छ कि छैन, तपाईंसँग कुन शार्डिङ कुञ्जी छ। मेट्रिक्सको मामलाको लागि तपाईंको उदाहरणमा, शार्डिङ कुञ्जी पथको ह्यास हो। जब तपाइँ वितरित तालिका चयन गर्नुहुन्छ, यो एकै पटक क्लस्टरमा सबै शार्डहरूमा जान्छ र त्यहाँबाट डाटा लिन्छ।

यसको मतलब यो हो कि यसले तपाइँलाई वास्तवमा फरक पर्दैन कुन डेटा कुन शार्डमा समाप्त भयो। मुख्य कुरा यो हो कि एक मार्गमा डेटा एक शार्डमा समाप्त हुन्छ, तर कुन महत्त्वपूर्ण छैन। यस अवस्थामा, तयार पार्टिसनहरू स्थानान्तरण गर्नु उत्तम छ, किनकि चयन गरिएका प्रश्नहरूको साथ तपाईंले पूर्ण डाटा पनि प्राप्त गर्नुहुनेछ - चाहे रिसार्डिङ अघि वा पछि, योजनाले वास्तवमा फरक पार्दैन।

तर त्यहाँ केसहरू अधिक जटिल छन्। यदि एप्लिकेसन तर्क स्तरमा तपाइँ एक विशेष शार्डिङ योजनामा ​​निर्भर हुनुहुन्छ भने, यो क्लाइन्ट यस्तो र यस्तो शार्डमा अवस्थित छ, र अनुरोध सिधै त्यहाँ पठाउन सकिन्छ, र वितरित तालिकामा होइन। वा तपाईंले ClickHouse को एकदमै भर्खरको संस्करण प्रयोग गर्दै हुनुहुन्छ र सेटिङ सक्षम गर्नुभएको छ प्रयोग नगरिएका शार्डहरू छोड्नुहोस् अनुकूलन गर्नुहोस्। यस अवस्थामा, चयन क्वेरीको बखत, जहाँ खण्डको अभिव्यक्तिलाई विश्लेषण गरिनेछ र यो गणना गरिनेछ कि कुन शार्डहरू शार्डिङ योजना अनुसार प्रयोग गर्न आवश्यक छ। यो कार्य गर्दछ कि डाटा यो शार्डिङ योजना अनुसार ठ्याक्कै विभाजन गरिएको छ। यदि तपाईंले तिनीहरूलाई म्यानुअल रूपमा पुन: व्यवस्थित गर्नुभयो भने, पत्राचार परिवर्तन हुन सक्छ।

त्यसैले यो विधि नम्बर एक हो। र म तपाईको जवाफको लागि पर्खिरहेको छु, विधि उपयुक्त छ, वा अगाडि बढौं।

व्लादिमीर कोलोबाएव, एविटोमा प्रमुख प्रणाली प्रशासक: एलेक्सी, तपाईले उल्लेख गर्नुभएको विधिले धेरै राम्रो काम गर्दैन जब तपाईलाई पढाइ सहित लोड फैलाउन आवश्यक छ। हामी मासिक रूपमा विभाजन लिन सक्छौं र अघिल्लो महिना अर्को नोडमा लिन सक्छौं, तर जब यो डेटाको लागि अनुरोध आउँछ, हामी यसलाई मात्र लोड गर्नेछौं। तर हामी सम्पूर्ण क्लस्टर लोड गर्न चाहन्छौं, किनभने अन्यथा, केही समयको लागि सम्पूर्ण पठन लोड दुई शार्डहरूद्वारा प्रशोधन गरिनेछ।

एलेक्सी मिलोविडोभ: यहाँ जवाफ अजीब छ - हो, यो नराम्रो छ, तर यसले काम गर्न सक्छ। म ठ्याक्कै कसरी व्याख्या गर्नेछु। यो लोड परिदृश्य हेर्न लायक छ जुन तपाइँको डाटा पछि आउँछ। यदि यो डेटा निगरानी हो भने, हामी लगभग निश्चित रूपमा भन्न सक्छौं कि अनुरोधहरूको विशाल बहुमत ताजा डेटाको लागि हो।

तपाईंले नयाँ सर्भरहरू स्थापना गर्नुभयो, पुरानो विभाजनहरू माइग्रेट गर्नुभयो, तर ताजा डाटा रेकर्ड गर्ने तरिका पनि परिवर्तन गर्नुभयो। र ताजा डाटा क्लस्टर भर फैलिनेछ। यसरी, केवल पाँच मिनेट पछि, अन्तिम पाँच मिनेटको अनुरोधले समान रूपमा क्लस्टर लोड गर्नेछ; एक दिन पछि, XNUMX घण्टाको लागि अनुरोधहरूले समान रूपमा क्लस्टर लोड गर्नेछ। र अघिल्लो महिनाका लागि अनुरोधहरू, दुर्भाग्यवश, क्लस्टर सर्भरहरूको अंशमा मात्र जानेछन्।

तर प्रायः तपाईसँग विशेष रूपमा फेब्रुअरी २०१९ को लागि अनुरोधहरू छैनन्। सम्भवतः, यदि अनुरोधहरू 2019 मा जान्छन्, तब तिनीहरू सम्पूर्ण 2019 को लागि हुनेछन् - समयको ठूलो अवधिको लागि, र केही सानो दायराको लागि होइन। र त्यस्ता अनुरोधहरूले पनि समान रूपमा क्लस्टर लोड गर्न सक्षम हुनेछन्। तर सामान्यतया, तपाईको टिप्पणी बिल्कुल सही छ कि यो एक तदर्थ समाधान हो जसले डाटालाई पूर्ण रूपमा समान रूपमा फैलाउँदैन।

प्रश्नको जवाफ दिन मसँग केहि थप बिन्दुहरू छन्। ती मध्ये एउटा सुरुमा कसरी सार्डिङ योजना डिजाइन गर्ने भन्ने बारे हो ताकि पुन: सेयर गर्दा कम पीडा हुन्छ। यो सधैं सम्भव छैन।

उदाहरणका लागि, तपाईंसँग निगरानी डाटा छ। निगरानी डाटा तीन कारणहरु को लागी बढ्दै छ। पहिलो ऐतिहासिक तथ्याङ्कको सङ्कलन हो। दोस्रो ट्राफिक वृद्धि हो। र तेस्रो अनुगमनको अधीनमा रहेका चीजहरूको संख्यामा वृद्धि हो। त्यहाँ नयाँ माइक्रोसेवाहरू र मेट्रिकहरू छन् जुन बचत गर्न आवश्यक छ।

यो सम्भव छ कि यी मध्ये, सबैभन्दा ठूलो वृद्धि तेस्रो कारण संग सम्बन्धित छ - अनुगमन को उपयोग मा वृद्धि। र यस अवस्थामा, यो लोडको प्रकृति हेर्न लायक छ, मुख्य चयन प्रश्नहरू के हुन्। आधारभूत चयन क्वेरीहरू प्रायः मेट्रिक्सको केही उपसेटमा आधारित हुनेछन्।

उदाहरण को लागी, केहि सेवा द्वारा केहि सर्भर मा CPU उपयोग। यो बाहिर जान्छ कि त्यहाँ कुञ्जीहरूको एक निश्चित उपसेट छ जसद्वारा तपाईंले यो डाटा प्राप्त गर्नुहुन्छ। र यस डेटाको लागि अनुरोध आफैं सम्भवतः एकदम सरल छ र दसौं मिलिसेकेन्डमा पूरा हुन्छ। निगरानी सेवाहरू र ड्यासबोर्डहरूको लागि प्रयोग गरिन्छ। मलाई आशा छ कि मैले यो सहि बुझेको छु।

भ्लादिमिर कोलोबाएव: तथ्य यो हो कि हामी प्रायः ऐतिहासिक तथ्याङ्कलाई अपील गर्छौं, किनकि हामी वास्तविक समयमा ऐतिहासिकसँग हालको अवस्था तुलना गर्छौं। र हाम्रो लागि डेटाको ठूलो मात्रामा द्रुत पहुँच हुनु महत्त्वपूर्ण छ, र क्लिकहाउसले यससँग उत्कृष्ट काम गर्दछ।

तपाइँ बिल्कुल सही हुनुहुन्छ, हामीले कुनै पनि निगरानी प्रणाली जस्तै, अन्तिम दिनमा धेरै जसो पढ्ने अनुरोधहरू अनुभव गर्छौं। तर एकै समयमा, ऐतिहासिक डेटा मा लोड पनि धेरै ठूलो छ। यो मूलतया एक चेतावनी प्रणालीबाट हो जुन हरेक तीस सेकेन्डमा जान्छ र क्लिकहाउसलाई भन्छ: "मलाई पछिल्लो छ हप्ताको डेटा दिनुहोस्। अब मलाई तिनीहरूबाट कुनै प्रकारको चल्ने औसत बनाउनुहोस्, र वर्तमान मूल्यलाई ऐतिहासिक मूल्यसँग तुलना गरौं।

म भन्न चाहन्छु कि त्यस्ता धेरै भर्खरका अनुरोधहरूको लागि हामीसँग अर्को सानो तालिका छ जसमा हामी केवल दुई दिनको डाटा भण्डार गर्छौं, र मुख्य अनुरोधहरू यसमा उड्छन्। हामी केवल ठूला ऐतिहासिक प्रश्नहरू ठूला टुक्रा गरिएको तालिकामा पठाउँछौं।

एलेक्सी मिलोविडोभ: दुर्भाग्यवश, यो तपाईंको परिदृश्यको लागि कमजोर रूपमा लागू हुन्छ, तर म तपाईंलाई दुई खराब र जटिल शेर्डिङ योजनाहरूको विवरण बताउनेछु जुन प्रयोग गर्न आवश्यक छैन, तर जुन मेरो साथीहरूको सेवामा प्रयोग गरिन्छ।

Yandex.Metrica घटनाहरूको साथ एक मुख्य क्लस्टर छ। घटनाहरू पृष्ठ दृश्यहरू, क्लिकहरू, र रूपान्तरणहरू हुन्। धेरै अनुरोधहरू एक विशिष्ट वेबसाइटमा जान्छन्। तपाईंले Yandex.Metrica सेवा खोल्नुभयो, तपाईंसँग वेबसाइट छ - avito.ru, रिपोर्टमा जानुहोस्, र तपाईंको वेबसाइटको लागि अनुरोध गरिएको छ।

तर त्यहाँ अन्य अनुरोधहरू छन् - विश्लेषणात्मक र विश्वव्यापी - जुन आन्तरिक विश्लेषकहरूले गरेका छन्। केवल के अवस्थामा, म नोट गर्छु कि आन्तरिक विश्लेषकहरूले Yandex सेवाहरूको लागि मात्र अनुरोधहरू गर्छन्। तर जे होस्, Yandex सेवाहरू पनि सबै डाटाको एक महत्त्वपूर्ण हिस्सा ओगटेको छ। यी अनुरोधहरू विशिष्ट काउन्टरहरूको लागि होइन, तर फराकिलो फिल्टरिङका लागि हुन्।

सबै कुरा एक काउन्टरको लागि कुशलतापूर्वक काम गर्ने, र विश्वव्यापी प्रश्नहरू पनि यस्तो तरिकाले डाटा कसरी व्यवस्थित गर्ने? अर्को कठिनाई यो हो कि मेट्रिक्स क्लस्टरको लागि क्लिकहाउसमा अनुरोधहरूको संख्या धेरै हजार प्रति सेकेन्ड छ। एकै समयमा, एउटा क्लिकहाउस सर्भरले गैर-तुच्छ अनुरोधहरू ह्यान्डल गर्न सक्दैन, उदाहरणका लागि, प्रति सेकेन्ड धेरै हजार।

क्लस्टर साइज छ सय-केही सर्भरहरू छन्। यदि तपाईले यस क्लस्टरमा वितरित तालिका तान्नु भयो र त्यहाँ धेरै हजार अनुरोधहरू पठाउनु भयो भने, यो तिनीहरूलाई एउटा सर्भरमा पठाउनु भन्दा पनि खराब हुनेछ। अर्कोतर्फ, डाटा समान रूपमा फैलिएको विकल्प, र हामी गएर सबै सर्भरहरूबाट अनुरोध गर्छौं, तुरुन्तै खारेज गरिन्छ।

त्यहाँ एक विकल्प छ जुन diametrically विपरीत छ। कल्पना गर्नुहोस् कि यदि हामीले साइटहरूमा डेटा साझा गर्छौं, र एउटा साइटको लागि अनुरोध एक शर्डमा जान्छ। अब क्लस्टरले प्रति सेकेन्ड दस हजार अनुरोधहरू ह्यान्डल गर्न सक्षम हुनेछ, तर एक शर्डमा कुनै पनि अनुरोध धेरै ढिलो काम गर्नेछ। यो अब थ्रुपुट को मामला मा मापन हुनेछ। विशेष गरी यदि यो साइट avito.ru हो। म गोप्य खुलासा गर्दिन यदि म भन्छु कि Avito RuNet मा सबैभन्दा धेरै भ्रमण गरिएका साइटहरू मध्ये एक हो। र यसलाई एक शार्डमा प्रशोधन गर्नु पागलपन हुनेछ।

त्यसैले, sharding योजना एक अधिक चालाक तरिकामा डिजाइन गरिएको छ। सम्पूर्ण क्लस्टर धेरै क्लस्टरहरूमा विभाजित छ, जसलाई हामी तहहरू भन्छौं। प्रत्येक क्लस्टरमा एक दर्जन देखि धेरै दर्जन शार्डहरू हुन्छन्। जम्मा ३९ वटा त्यस्ता क्लस्टरहरू छन्।

यो सबै मापन कसरी हुन्छ? क्लस्टरहरूको संख्या परिवर्तन हुँदैन - यो केहि वर्ष पहिले XNUMX थियो, यो यस्तै रहन्छ। तर ती प्रत्येक भित्र, हामीले डाटा सङ्कलन गर्दा क्रमशः शार्डहरूको संख्या बढाउँछौं। र समग्र रूपमा शेर्डिङ योजना यस्तो छ: यी क्लस्टरहरूलाई वेबसाइटहरूमा विभाजन गरिएको छ, र कुन वेबसाइट कुन क्लस्टरमा छ भनेर बुझ्नको लागि, MySQL मा छुट्टै मेटाबेस प्रयोग गरिन्छ। एक साइट - एक क्लस्टर मा। र यसको भित्र, आगन्तुक आईडी अनुसार शेर्डिङ हुन्छ।

रेकर्डिङ गर्दा, हामी तिनीहरूलाई आगन्तुक ID को विभाजनको बाँकी भागद्वारा विभाजित गर्छौं। तर नयाँ शार्ड थप्दा, शार्डिङ योजना परिवर्तन हुन्छ; हामी विभाजित गर्न जारी राख्छौं, तर अर्को संख्याले विभाजनको बाँकी भागको साथ। यसको मतलब एक आगन्तुक पहिले नै धेरै सर्भरहरूमा अवस्थित छ, र तपाईं यसमा भरोसा गर्न सक्नुहुन्न। यो डेटा राम्रो संकुचित छ भनेर सुनिश्चित गर्न मात्र गरिन्छ। र अनुरोध गर्दा, हामी वितरित तालिकामा जान्छौं, जसले क्लस्टरमा हेर्छ र दर्जनौं सर्भरहरू पहुँच गर्दछ। यो यस्तो मूर्ख योजना हो।

तर हामीले यो योजना त्याग्यौं भनेर नभन्दा मेरो कथा अधुरो हुनेछ। नयाँ योजनामा, हामीले सबै कुरा परिवर्तन गर्यौं र clickhouse-copier प्रयोग गरेर सबै डेटा प्रतिलिपि गर्यौं।

नयाँ योजनामा, सबै साइटहरू दुई कोटीहरूमा विभाजित छन् - ठूलो र सानो। मलाई थाहा छैन कि थ्रेसहोल्ड कसरी छानियो, तर नतिजा यो थियो कि ठूला साइटहरू एक क्लस्टरमा रेकर्ड गरिएका छन्, जहाँ प्रत्येकमा तीन प्रतिकृतिहरू सहित 120 शार्डहरू छन् - त्यो हो, 360 सर्भरहरू। र शेर्डिङ योजना यस्तो छ कि कुनै पनि अनुरोध एकै पटक सबै शार्डहरूमा जान्छ। यदि तपाईंले अब Yandex.Metrica मा avito.ru को लागि कुनै रिपोर्ट पृष्ठ खोल्नुभयो भने, अनुरोध 120 सर्भरहरूमा जानेछ। RuNet मा केहि ठूला साइटहरू छन्। र अनुरोधहरू प्रति सेकेन्ड हजार होइन, तर सय भन्दा कम छन्। यो सबै चुपचाप वितरित तालिका द्वारा चपाइएको छ, जुन प्रत्येकले 120 सर्भरहरूसँग प्रक्रिया गर्दछ।

र दोस्रो क्लस्टर साना साइटहरूको लागि हो। यहाँ साइट ID मा आधारित एक शेर्डिङ योजना छ, र प्रत्येक अनुरोध ठीक एक शार्डमा जान्छ।

ClickHouse मा clickhouse-copier उपयोगिता छ। के तपाईं मलाई उनको बारेमा बताउन सक्नुहुन्छ?

म तुरुन्तै भन्छु कि यो समाधान अधिक बोझिलो र केहि कम उत्पादक छ। फाइदा यो हो कि यसले तपाईले निर्दिष्ट गर्नुभएको ढाँचा अनुसार डाटा पूर्ण रूपमा स्मियर गर्दछ। तर उपयोगिता को कमजोरी यो सबै reshard गर्दैन छ। यसले एउटा क्लस्टर स्किमाबाट अर्को क्लस्टर स्किमामा डेटा प्रतिलिपि गर्छ।

यसको मतलब यो काम गर्नको लागि तपाईंसँग दुईवटा क्लस्टरहरू हुनुपर्छ। तिनीहरू एउटै सर्भरहरूमा अवस्थित हुन सक्छन्, तर, यद्यपि, डेटा बढ्दो रूपमा सारियो, तर प्रतिलिपि गरिनेछ।

उदाहरणका लागि, त्यहाँ चार सर्भरहरू थिए, अहिले त्यहाँ आठ छन्। तपाईंले सबै सर्भरहरूमा नयाँ डिस्ट्रिब्युटेड तालिका सिर्जना गर्नुहोस्, नयाँ स्थानीय तालिकाहरू र क्लिकहाउस-कपियर सुरु गर्नुहोस्, यसमा त्यहाँबाट पढ्नु पर्ने कार्य योजनालाई संकेत गर्दै, नयाँ शार्डिङ योजना स्वीकार गर्नुहोस् र त्यहाँ डाटा स्थानान्तरण गर्नुहोस्। र पुरानो सर्भरहरूमा तपाईलाई अहिलेको भन्दा डेढ गुणा बढी ठाउँ चाहिन्छ, किनकि पुरानो डाटा तिनीहरूमा रहनु पर्छ, र उही पुरानो डाटाको आधा तिनीहरूको माथि आइपुग्नेछ। यदि तपाइँ पहिले नै सोच्नुभयो कि डाटा पुन: साझा गर्न आवश्यक छ र त्यहाँ ठाउँ छ, त्यसपछि यो विधि उपयुक्त छ।

Clickhouse-copier भित्र कसरी काम गर्छ? यसले सबै कामलाई एउटा टुक्रामा एउटा टेबलको एउटा विभाजनलाई प्रशोधन गर्नका लागि कार्यहरूको सेटमा तोड्छ। यी सबै कार्यहरू समानान्तर रूपमा कार्यान्वयन गर्न सकिन्छ, र clickhouse-copier धेरै उदाहरणहरूमा विभिन्न मेसिनहरूमा चलाउन सकिन्छ, तर यसले एउटा विभाजनको लागि के गर्छ त्यो घुसाउनुहोस् चयन बाहेक अरू केही होइन। डाटा पढिन्छ, डिकम्प्रेस गरिएको छ, पुन: विभाजन गरिएको छ, त्यसपछि फेरि कम्प्रेस गरिएको छ, कतै लेखिएको छ, र पुन: क्रमबद्ध गरिएको छ। यो अझ कडा निर्णय हो।

तपाईंसँग resharding भनिने एउटा पायलट कुरा थियो। उनीसँग के?

2017 मा फिर्ता, तपाईंसँग resharding भनिने एउटा पायलट कुरा थियो। ClickHouse मा एक विकल्प पनि छ। मैले बुझेझैं, यो उठेको छैन। यो किन भयो भन्न सक्नुहुन्छ? यो धेरै सान्दर्भिक देखिन्छ।

सम्पूर्ण समस्या यो हो कि यदि यो ठाउँमा डाटा पुन: साझा गर्न आवश्यक छ भने, यो परमाणु रूपमा गर्नको लागि धेरै जटिल सिङ्क्रोनाइजेसन आवश्यक छ। जब हामीले यो सिंक्रोनाइजेसन कसरी काम गर्छ भनेर हेर्न थाल्यौं, यो स्पष्ट भयो कि त्यहाँ आधारभूत समस्याहरू थिए। र यी आधारभूत समस्याहरू सैद्धान्तिक मात्र होइनन्, तर तुरुन्तै व्यवहारमा आफूलाई धेरै सरल रूपमा व्याख्या गर्न सकिने कुराको रूपमा देखाउन थाले - केहि पनि काम गर्दैन।

के यसलाई ढिलो डिस्कहरूमा सार्नु अघि डाटाका सबै टुक्राहरू एकसाथ मर्ज गर्न सम्भव छ?

मर्जको सन्दर्भमा ढिलो डिस्क विकल्पमा सार्ने TTL बारे प्रश्न। के त्यहाँ कुनै तरिका छ, क्रोन मार्फत बाहेक, ढिलो डिस्कहरूमा सार्नु अघि सबै भागहरूलाई एकमा मर्ज गर्ने?

प्रश्नको जवाफ यो सम्भव छ कि सबै टुक्राहरूलाई स्थानान्तरण गर्नु अघि स्वचालित रूपमा एकमा टाँस्नुहोस् - होइन। मलाई यो आवश्यक छ जस्तो लाग्दैन। तपाईंले सबै भागहरू एकमा मर्ज गर्नुपर्दैन, तर तिनीहरू स्वचालित रूपमा ढिलो डिस्कहरूमा स्थानान्तरण हुनेछन् भन्ने तथ्यमा गणना गर्नुहोस्।

हामीसँग स्थानान्तरण नियमहरूको लागि दुई मापदण्डहरू छन्। पहिलो भरिएको जस्तै छ। यदि हालको भण्डारण तहमा खाली ठाउँको निश्चित प्रतिशत भन्दा कम छ भने, हामी एउटा टुक्रा चयन गर्छौं र यसलाई ढिलो भण्डारणमा सार्छौं। वा बरु, ढिलो होइन, तर अर्को - तपाईले कन्फिगर गरे अनुसार।

दोस्रो मापदण्ड आकार हो। यो ठूला टुक्राहरू सार्ने बारे हो। तपाईं द्रुत डिस्कमा खाली ठाउँ अनुसार थ्रेसहोल्ड समायोजन गर्न सक्नुहुन्छ, र डाटा स्वचालित रूपमा स्थानान्तरण हुनेछ।

यदि पहिले नै अनुकूलता जाँच गर्ने कुनै तरिका छैन भने ClickHouse को नयाँ संस्करणहरूमा कसरी माइग्रेट गर्ने?

यो विषय नियमित रूपमा छलफल भइरहेको छ ClickHouse टेलिग्राम च्याटमा खातामा विभिन्न संस्करणहरू लिँदै, र अझै पनि। संस्करण 19.11 देखि 19.16 सम्म र, उदाहरणका लागि, 19.16 बाट 20.3 सम्म अपग्रेड गर्न कति सुरक्षित छ। पहिले नै स्यान्डबक्समा अनुकूलता जाँच गर्न सक्षम नभई नयाँ संस्करणहरूमा माइग्रेट गर्ने उत्तम तरिका के हो?

यहाँ धेरै "सुनौलो" नियमहरू छन्। पहिलो - changelog पढ्नुहोस्। यो ठूलो छ, तर पछाडि असंगत परिवर्तनहरूको बारेमा छुट्टै अनुच्छेदहरू छन्। यी बिन्दुहरूलाई रातो झण्डाको रूपमा व्यवहार नगर्नुहोस्। यी सामान्यतया सानो असंगतिहरू हुन् जसमा केही किनारा कार्यक्षमता समावेश हुन्छ जुन तपाईंले सम्भवतः प्रयोग गर्नुहुन्न।

दोस्रो, यदि स्यान्डबक्समा अनुकूलता जाँच गर्ने कुनै तरिका छैन भने, र तपाइँ उत्पादनमा तुरुन्तै अपडेट गर्न चाहानुहुन्छ, सिफारिस यो हो कि तपाइँ यो गर्न आवश्यक छैन। पहिले स्यान्डबक्स बनाउनुहोस् र परीक्षण गर्नुहोस्। यदि त्यहाँ कुनै परीक्षण वातावरण छैन भने, तब तपाइँसँग सम्भवतः धेरै ठूलो कम्पनी छैन, जसको मतलब तपाइँ तपाइँको ल्यापटपमा केहि डाटा प्रतिलिपि गर्न सक्नुहुन्छ र यो सुनिश्चित गर्नुहोस् कि सबै कुरा यसमा ठीकसँग काम गर्दछ। तपाईं आफ्नो मेसिनमा स्थानीय रूपमा धेरै प्रतिकृतिहरू पनि उठाउन सक्नुहुन्छ। वा तपाईं नजिकैको कतै नयाँ संस्करण उठाउन सक्नुहुन्छ र त्यहाँ केही डाटा अपलोड गर्न सक्नुहुन्छ - त्यो हो, एक सुधारिएको परीक्षण वातावरण सिर्जना गर्नुहोस्।

अर्को नियम उत्पादनमा बगहरू समात्ने र त्यसपछिका द्रुत समाधानहरूको कारण संस्करणको रिलीज पछि एक हप्ताको लागि अद्यावधिक नगर्नु हो। क्लिकहाउस संस्करणहरूको संख्या पत्ता लगाउनुहोस् ताकि भ्रममा नपरोस्।

त्यहाँ संस्करण 20.3.4 छ। 20 नम्बरले निर्माणको वर्षलाई संकेत गर्दछ - 2020। भित्र के छ भन्ने दृष्टिकोणबाट, यसले फरक पार्दैन, त्यसैले हामी यसमा ध्यान दिने छैनौं। अर्को - 20.3। हामी दोस्रो नम्बर बढाउँछौं - यस अवस्थामा 3 - हरेक पटक हामीले केहि नयाँ कार्यक्षमताको साथ रिलीज रिलीज गर्छौं। यदि हामी क्लिकहाउसमा केही सुविधा थप्न चाहन्छौं भने, हामीले यो संख्या बढाउनु पर्छ। त्यो हो, संस्करण 20.4 मा ClickHouse अझ राम्रो काम गर्नेछ। तेस्रो अंक 20.3.4 हो। यहाँ 4 प्याच रिलीजहरूको संख्या हो जसमा हामीले नयाँ सुविधाहरू थपेका छैनौं, तर केही बगहरू फिक्स गरेका छौं। र 4 को मतलब हामीले यो चार पटक गर्यौं।

यो भयानक कुरा हो भनेर नसोच्नुहोस्। सामान्यतया प्रयोगकर्ताले नवीनतम संस्करण स्थापना गर्न सक्छ र यसले प्रति वर्ष अपटाइमको साथ कुनै समस्या बिना काम गर्नेछ। तर कल्पना गर्नुहोस् कि बिटम्याप प्रशोधनका लागि केही प्रकार्यमा, जुन हाम्रा चिनियाँ साथीहरूले थपेका थिए, गलत तर्कहरू पास गर्दा सर्भर क्र्यास हुन्छ। यसलाई सच्याउने जिम्मेवारी हाम्रो हो । हामी नयाँ प्याच संस्करण जारी गर्नेछौं र क्लिकहाउस थप स्थिर हुनेछ।

यदि तपाइँसँग ClickHouse उत्पादनमा चलिरहेको छ भने, र ClickHouse को नयाँ संस्करण थप सुविधाहरू सहित बाहिर आउँछ - उदाहरणका लागि, 20.4.1 सबैभन्दा पहिलो हो, यसलाई पहिलो दिनमा उत्पादनमा राख्न हतार नगर्नुहोस्। यो पनि किन आवश्यक छ? यदि तपाइँ पहिले नै क्लिकहाउस प्रयोग गर्नुहुन्न भने, तपाइँ यसलाई स्थापना गर्न सक्नुहुन्छ, र सम्भवतः सबै कुरा ठीक हुनेछ। तर यदि क्लिकहाउस पहिले नै स्थिर रूपमा काम गरिरहेको छ भने, हामीले के समस्याहरू समाधान गर्दैछौं भनेर हेर्न प्याचहरू र अद्यावधिकहरूमा नजर राख्नुहोस्।

किरिल श्वाकोभ: म परीक्षण वातावरणको बारेमा थोरै थप्न चाहन्छु। सबैजना परीक्षण वातावरणसँग धेरै डराउँछन् र कुनै कारणले तिनीहरू विश्वास गर्छन् कि यदि तपाईंसँग धेरै ठूलो क्लिकहाउस क्लस्टर छ भने, त्यसपछि परीक्षण वातावरण कम्तिमा दस गुणा सानो हुनु हुँदैन। त्यस्तो पटक्कै होइन ।

म मेरो आफ्नै उदाहरणबाट भन्न सक्छु। मसँग एउटा परियोजना छ, र त्यहाँ क्लिकहाउस छ। हाम्रो परीक्षण वातावरण केवल उनको लागि हो - यो बीस यूरो को लागि Hetzner मा एक सानो भर्चुअल मेसिन हो, जहाँ बिल्कुल सबै तैनाथ गरिएको छ। यो गर्नको लागि, हामीसँग उत्तरदायीमा पूर्ण स्वचालन छ, र त्यसकारण, सिद्धान्तमा, यसले कुनै फरक पार्दैन जहाँ जाने - हार्डवेयर सर्भरहरूमा वा भर्चुअल मेशिनहरूमा मात्र तैनाती गर्नुहोस्।

के गर्न सकिन्छ? तपाईंको आफ्नै घरमा सानो क्लस्टर कसरी डिप्लोय गर्ने भन्ने बारे ClickHouse कागजातमा उदाहरण प्रदान गर्न पाउँदा राम्रो हुनेछ - डकरमा, LXC मा, हुनसक्छ एउटा उत्तरदायी प्लेबुक सिर्जना गर्नुहोस्, किनकि फरक-फरक व्यक्तिहरूको डिप्लोयमेन्ट हुन्छ। यसले धेरै सरल बनाउनेछ। जब तपाइँ पाँच मिनेटमा क्लस्टर लिनुहुन्छ र तैनात गर्नुहुन्छ, केहि कुरा पत्ता लगाउन प्रयास गर्न धेरै सजिलो हुन्छ। यो धेरै सुविधाजनक छ, किनकि तपाईंले परीक्षण नगरेको उत्पादन संस्करणमा रोल गर्नु भनेको कतै जाने बाटो हो। कहिलेकाहीं यो काम गर्दछ र कहिलेकाहीं यो गर्दैन। र त्यसकारण, सफलताको आशा गर्नु खराब छ।

मैक्सिम Kotyakov, वरिष्ठ ब्याकएन्ड ईन्जिनियर Avito: म ठूला कम्पनीहरूले सामना गर्ने समस्याहरूको श्रृंखलाबाट परीक्षण वातावरणको बारेमा थोरै थप्नेछु। हामीसँग एक पूर्ण क्लिकहाउस स्वीकृति क्लस्टर छ; डेटा योजना र सेटिङहरूको सन्दर्भमा, यो उत्पादनमा रहेको कुराको सही प्रतिलिपि हो। यो क्लस्टर न्यूनतम स्रोतहरूको साथ पर्याप्त रनडाउन कन्टेनरहरूमा तैनात गरिएको छ। हामी त्यहाँ उत्पादन डेटा को एक निश्चित प्रतिशत लेख्छौं, सौभाग्य देखि यो Kafka मा स्ट्रिम प्रतिकृति गर्न सम्भव छ। त्यहाँ सबै कुरा सिंक्रोनाइज र मापन गरिएको छ - क्षमता र प्रवाह दुवैको सर्तमा, र, सिद्धान्तमा, अन्य सबै चीजहरू समान छन्, यो मेट्रिक्सको सर्तमा उत्पादन जस्तै व्यवहार गर्नुपर्छ। सम्भावित विस्फोटक सबै चीजहरू पहिले यो स्ट्यान्डमा घुमाइन्छ र तयार नभएसम्म धेरै दिनको लागि त्यहाँ छोडिन्छ। तर स्वाभाविक रूपमा, यो समाधान महँगो, गाह्रो छ र गैर-शून्य समर्थन लागत छ।

एलेक्सी मिलोविडोभ: म तपाईंलाई Yandex.Metrica बाट हाम्रा साथीहरूको परीक्षण वातावरण कस्तो छ भन्नेछु। एउटा क्लस्टरमा 600-विचित्र सर्भरहरू थिए, अर्कोमा 360 थियो, र त्यहाँ तेस्रो र धेरै क्लस्टरहरू छन्। ती मध्ये एकको लागि परीक्षण वातावरण प्रत्येकमा दुई प्रतिकृतिहरू सहित दुईवटा शार्डहरू हुन्। किन दुई टुक्रा? ताकि तपाईं एक्लै हुनुहुन्न। र त्यहाँ प्रतिकृतिहरू पनि हुनुपर्छ। केवल एक निश्चित न्यूनतम रकम जुन तपाईले खर्च गर्न सक्नुहुन्छ।

यो परीक्षण वातावरणले तपाईका प्रश्नहरू काम गरिरहेको छ वा छैन र केहि प्रमुख बिग्रिएको छ भने जाँच गर्न अनुमति दिन्छ। तर प्रायः समस्याहरू पूर्णतया फरक प्रकृतिको हुन्छन्, जब सबै काम गर्दछ, तर लोडमा केही साना परिवर्तनहरू छन्।

म तपाईंलाई एउटा उदाहरण दिन्छु। हामीले ClickHouse को नयाँ संस्करण स्थापना गर्ने निर्णय गर्यौं। यो परीक्षण वातावरणमा पोस्ट गरिएको छ, स्वचालित परीक्षणहरू Yandex.Metrica मा पूरा भएको छ, जुन पुरानो संस्करण र नयाँ संस्करणमा डेटा तुलना गर्दछ, सम्पूर्ण पाइपलाइन चलिरहेको छ। र अवश्य पनि, हाम्रो CI को हरियो परीक्षण। अन्यथा हामीले यो संस्करण प्रस्तावित गर्ने थिएनौं।

सबै ठीक छ। उत्पादनमा लाग्न थालेका छौं । मैले सन्देश प्राप्त गरें कि ग्राफमा लोड धेरै गुणा बढेको छ। हामी संस्करण फिर्ता गर्दैछौं। म ग्राफमा हेर्छु र हेर्छु: रोलआउटको समयमा लोड वास्तवमा धेरै पटक बढ्यो, र तिनीहरू रोल आउट हुँदा फिर्ता घट्यो। त्यसपछि हामीले संस्करण फिर्ता गर्न थाल्यौं। अनि भार पनि उस्तै बढ्यो र फेरि उस्तै ढल्यो। त्यसोभए निष्कर्ष यो हो: लेआउटको कारण लोड बढेको छ, अचम्मको कुरा छैन।

त्यसपछि नयाँ संस्करण स्थापना गर्न सहकर्मीहरूलाई मनाउन गाह्रो थियो। म भन्छु: "ठीक छ, रोल आउट गर्नुहोस्। आफ्नो औंलाहरू क्रस राख्नुहोस्, सबै काम हुनेछ। अब ग्राफमा लोड बढेको छ, तर सबै ठीक छ। त्यहीँ बस।" सामान्यतया, हामीले यो गर्यौं, र यो हो - संस्करण उत्पादनको लागि जारी गरिएको थियो। तर लगभग हरेक लेआउट संग समान समस्या उत्पन्न हुन्छ।

किल क्वेरीले प्रश्नहरू मार्नु पर्छ, तर यो गर्दैन। किन?

एक प्रयोगकर्ता, कुनै प्रकारको विश्लेषक, मसँग आए र मेरो क्लिकहाउस क्लस्टर राख्ने अनुरोध सिर्जना गर्नुभयो। केहि नोड वा सम्पूर्ण क्लस्टर, कुन प्रतिकृति वा शर्ड अनुरोधमा गएको आधारमा। मैले यो सर्भरमा सबै CPU स्रोतहरू शेल्फमा देखेको छु, सबै कुरा रातो छ। एकै समयमा, क्लिकहाउस आफैले अनुरोधहरूको जवाफ दिन्छ। र म लेख्छु: "कृपया मलाई देखाउनुहोस्, प्रक्रिया सूची, कुन अनुरोधले यो पागलपन उत्पन्न गर्यो।"

म यो अनुरोध फेला पार्छु र यसलाई मार्न लेख्छु। र म देख्छु कि केहि भइरहेको छैन। मेरो सर्भर शेल्फमा छ, क्लिकहाउसले मलाई केही आदेशहरू दिन्छ, सर्भर जीवित छ भनेर देखाउँछ, र सबै कुरा उत्कृष्ट छ। तर मसँग सबै प्रयोगकर्ता अनुरोधहरूमा गिरावट छ, क्लिकहाउसमा रेकर्डहरूबाट गिरावट सुरु हुन्छ, र मेरो किल क्वेरीले काम गर्दैन। किन? मैले सोचे कि किल क्वेरीले प्रश्नहरू मार्नु पर्ने थियो, तर त्यसो भएन।

अब त्यहाँ एक बरु अनौठो जवाफ हुनेछ। बिन्दु यो हो कि किल क्वेरीले प्रश्नहरू मार्दैन।

किल क्वेरीले एउटा सानो बाकस जाँच गर्छ "म यो क्वेरी मारिन चाहन्छु।" र प्रत्येक ब्लक प्रशोधन गर्दा अनुरोध आफैले यो झण्डा हेर्छ। यदि यो सेट गरिएको छ भने, अनुरोधले काम गर्न रोक्छ। यो बाहिर जान्छ कि कसैले अनुरोध मार्दैन, उसले आफैंले सबै कुरा जाँच गर्नुपर्छ र रोक्नु पर्छ। र यो सबै मामिलाहरूमा काम गर्नुपर्छ जहाँ अनुरोध डाटाको ब्लकहरू प्रशोधन गर्ने अवस्थामा छ। यसले डाटाको अर्को ब्लकलाई प्रशोधन गर्नेछ, झण्डा जाँच गर्नुहोस्, र रोक्नुहोस्।

केही अपरेशनमा अनुरोध अवरुद्ध भएको अवस्थामा यसले काम गर्दैन। साँचो, सम्भवतः यो तपाइँको मामला होइन, किनकि तपाइँको अनुसार, यसले सर्भर स्रोतहरूको एक टन प्रयोग गर्दछ। यो सम्भव छ कि यसले बाह्य क्रमबद्धता र केहि अन्य विवरणहरूमा काम गर्दैन। तर सामान्यतया यो हुनु हुँदैन, यो एक बग हो। र मैले सिफारिस गर्न सक्ने एक मात्र कुरा क्लिकहाउस अपडेट गर्नु हो।

पढ्ने लोड अन्तर्गत प्रतिक्रिया समय कसरी गणना गर्ने?

त्यहाँ एक तालिका छ जुन वस्तुको समुच्चय भण्डार गर्दछ - विभिन्न काउन्टरहरू। लाइनहरूको संख्या लगभग एक सय मिलियन छ। यदि तपाईंले 1K वस्तुहरूको लागि 1K RPS खन्याउनुभयो भने के यो अनुमानित प्रतिक्रिया समयमा गणना गर्न सम्भव छ?

सन्दर्भको आधारमा, हामी पढ्ने भारको बारेमा कुरा गर्दैछौं, किनकि त्यहाँ लेख्नको लागि कुनै समस्या छैन - एक हजार, एक लाख पनि, र कहिलेकाहीँ लाखौं पङ्क्तिहरू सम्मिलित गर्न सकिन्छ।

पढ्ने अनुरोधहरू धेरै फरक छन्। चयन 1 मा, क्लिकहाउसले प्रति सेकेन्ड हजारौं अनुरोधहरू प्रदर्शन गर्न सक्छ, त्यसैले एउटा कुञ्जीको लागि अनुरोधहरू पनि पहिले नै केही स्रोतहरू चाहिन्छ। र त्यस्ता बिन्दु प्रश्नहरू केही मुख्य-मान डेटाबेसहरूमा भन्दा बढी गाह्रो हुनेछ, किनभने प्रत्येक पढ्नको लागि यो अनुक्रमणिका द्वारा डेटाको ब्लक पढ्न आवश्यक छ। हाम्रो सूचकांकले प्रत्येक रेकर्डलाई होइन, तर प्रत्येक दायरालाई सम्बोधन गर्छ। त्यो हो, तपाईंले सम्पूर्ण दायरा पढ्नु पर्छ - यो पूर्वनिर्धारित रूपमा 8192 लाइनहरू हो। र तपाईंले 64 KB देखि 1 MB सम्म कम्प्रेस गरिएको डाटा ब्लक डिकम्प्रेस गर्नुपर्नेछ। सामान्यतया, त्यस्ता लक्षित प्रश्नहरू पूरा हुन केही मिलिसेकेन्ड लाग्छ। तर यो सबैभन्दा सरल विकल्प हो।

केही सरल अंकगणितीय प्रयास गरौं। यदि तपाईंले केही मिलिसेकेन्डलाई हजारले गुणा गर्नुभयो भने, तपाईंले केही सेकेन्डहरू पाउनुहुनेछ। यो प्रति सेकेन्ड हजार अनुरोधहरू राख्न असम्भव छ जस्तो छ, तर वास्तवमा यो सम्भव छ, किनकि हामीसँग धेरै प्रोसेसर कोरहरू छन्। त्यसोभए, सिद्धान्तमा, क्लिकहाउसले कहिलेकाहीँ 1000 RPS समात्न सक्छ, तर छोटो अनुरोधहरूको लागि, विशेष गरी लक्षितहरू।

यदि तपाईंलाई साधारण अनुरोधहरूको संख्याद्वारा क्लिकहाउस क्लस्टर मापन गर्न आवश्यक छ भने, त्यसपछि म सरल कुरा सिफारिस गर्दछु - प्रतिकृतिहरूको संख्या बढाउनुहोस् र अनियमित प्रतिकृतिमा अनुरोधहरू पठाउनुहोस्। यदि एक प्रतिकृतिले प्रति सेकेन्ड पाँच सय अनुरोधहरू राख्छ, जुन पूर्ण रूपमा यथार्थपरक छ, त्यसपछि तीन प्रतिकृतिहरूले डेढ हजार ह्यान्डल गर्नेछन्।

कहिलेकाहीँ, निस्सन्देह, तपाईले क्लिकहाउस कन्फिगर गर्न सक्नुहुन्छ बिन्दु पढाइको अधिकतम संख्याको लागि। यसको लागि के आवश्यक छ? पहिलो सूचकांकको ग्रेन्युलारिटी घटाउनु हो। यस अवस्थामा, यसलाई एकमा घटाउनु हुँदैन, तर सूचकांकमा प्रविष्टिहरूको संख्या प्रति सर्भरमा लाखौं वा दसौं लाख हुनेछ भन्ने आधारमा। यदि तालिकामा एक सय मिलियन पङ्क्तिहरू छन् भने, त्यसपछि ग्रेन्युलारिटी 64 मा सेट गर्न सकिन्छ।

तपाइँ संकुचित ब्लक को आकार कम गर्न सक्नुहुन्छ। यसका लागि सेटिङहरू छन् न्यूनतम कम्प्रेस ब्लक आकार, अधिकतम कम्प्रेस ब्लक आकार। तिनीहरू घटाउन सकिन्छ, डेटासँग रिफिल गर्न सकिन्छ, र त्यसपछि लक्षित प्रश्नहरू छिटो हुनेछन्। तर अझै, ClickHouse कुञ्जी-मान डाटाबेस होइन। साना अनुरोधहरूको ठूलो संख्या लोड एन्टिप्याटर्न हो।

किरिल श्वाकोभ: त्यहाँ सामान्य खाताहरू छन् भने म सल्लाह दिनेछु। यो एकदम मानक स्थिति हो जब क्लिकहाउसले कुनै प्रकारको काउन्टर भण्डार गर्दछ। मसँग एक प्रयोगकर्ता छ, उहाँ यस्तो र यस्तो देशको हो, र केहि तेस्रो क्षेत्र हो, र मैले क्रमशः केहि बढाउनु पर्छ। MySQL लिनुहोस्, एउटा अद्वितीय कुञ्जी बनाउनुहोस् - MySQL मा यो डुप्लिकेट कुञ्जी हो, र PostgreSQL मा यो विवाद हो - र प्लस चिन्ह थप्नुहोस्। यसले धेरै राम्रो काम गर्नेछ।

जब तपाईंसँग धेरै डाटा छैन, त्यहाँ क्लिकहाउस प्रयोग गर्न धेरै बिन्दु छैन। त्यहाँ नियमित डेटाबेसहरू छन् र तिनीहरूले यो राम्रोसँग गर्छन्।

म क्लिकहाउसमा के ट्वीक गर्न सक्छु ताकि थप डाटा क्यासमा छ?

एउटा अवस्थाको कल्पना गरौं - सर्भरहरूसँग 256 GB RAM छ, दैनिक तालिकामा क्लिकहाउसले लगभग 60-80 GB लिन्छ, शिखरमा - 130 सम्म। के सक्षम गर्न सकिन्छ र ट्वीक गर्न सकिन्छ ताकि थप डाटा क्यासमा छ र, तदनुसार, डिस्कमा कम यात्राहरू छन्?

सामान्यतया, अपरेटिङ सिस्टमको पृष्ठ क्यासले यसको राम्रो काम गर्छ। यदि तपाईंले भर्खरै माथि खोल्नुभयो भने, त्यहाँ क्यास वा नि: शुल्क हेर्नुहोस् - यसले कति क्यास छ भनेर पनि बताउँछ - त्यसपछि तपाईंले याद गर्नुहुनेछ कि क्यासको लागि सबै नि: शुल्क मेमोरी प्रयोग गरिएको छ। र यो डाटा पढ्दा, यो डिस्कबाट होइन, तर RAM बाट पढिनेछ। एकै समयमा, म भन्न सक्छु कि क्यास प्रभावकारी रूपमा प्रयोग गरिएको छ किनभने यो क्यास गरिएको संकुचित डाटा हो।

जे होस्, यदि तपाइँ केहि सरल प्रश्नहरूलाई अझ बढि गति दिन चाहनुहुन्छ भने, क्लिकहाउस भित्र डिकम्प्रेस गरिएको डाटामा क्यास सक्षम गर्न सम्भव छ। भनिन्छ असम्पीडित क्यास। config.xml कन्फिगरेसन फाइलमा, असम्पीडित क्यास साइज तपाईलाई आवश्यक मानमा सेट गर्नुहोस् - म नि: शुल्क RAM को आधा भन्दा बढी सिफारिस गर्दछु, किनकि बाँकी पृष्ठ क्यास अन्तर्गत जानेछ।

थप रूपमा, त्यहाँ दुई अनुरोध स्तर सेटिङहरू छन्। पहिलो सेटिङ - असम्पीडित क्यास प्रयोग गर्नुहोस् - यसको प्रयोग समावेश छ। यसलाई सबै अनुरोधहरूको लागि सक्षम गर्न सिफारिस गरिन्छ, भारीहरू बाहेक, जसले सबै डेटा पढ्न र क्यास फ्लश गर्न सक्छ। र दोस्रो सेटिङ क्यास प्रयोग गर्न लाइनहरूको अधिकतम संख्या जस्तै केहि छ। यसले स्वचालित रूपमा ठूला प्रश्नहरूलाई सीमित गर्दछ ताकि तिनीहरू क्यास बाइपास गर्छन्।

म कसरी RAM मा भण्डारणको लागि store_configuration कन्फिगर गर्न सक्छु?

नयाँ क्लिकहाउस कागजातमा मैले सम्बन्धित खण्ड पढें डाटा भण्डारण संग। विवरणमा द्रुत SSD को साथ उदाहरण समावेश छ।

म आश्चर्यचकित छु कि भोल्युम हट मेमोरीको साथ कसरी समान चीज कन्फिगर गर्न सकिन्छ। र अर्को प्रश्न। यस डेटा संगठनसँग कसरी काम चयन गर्नुहोस्, यसले सम्पूर्ण सेट पढ्छ वा डिस्कमा रहेको एउटा मात्र, र के यो डाटा मेमोरीमा कम्प्रेस गरिएको छ? र कसरी prewhere खण्ड यस्तो डाटा संगठन संग काम गर्छ?

यो सेटिङले डेटा टुक्राहरूको भण्डारणलाई असर गर्छ, र तिनीहरूको ढाँचा कुनै पनि हिसाबले परिवर्तन हुँदैन।
नजिकबाट हेरौं।

तपाईं RAM मा डाटा भण्डारण कन्फिगर गर्न सक्नुहुन्छ। डिस्कको लागि कन्फिगर गरिएको सबै यसको मार्ग हो। तपाईँले tmpfs विभाजन सिर्जना गर्नुहुन्छ जुन फाइल प्रणालीमा केही मार्गमा माउन्ट गरिएको छ। तपाईंले यो मार्गलाई सबैभन्दा तातो विभाजनको लागि डाटा भण्डारण गर्ने मार्गको रूपमा निर्दिष्ट गर्नुहुन्छ, डाटाका टुक्राहरू आउन थाल्छन् र त्यहाँ लेखिनेछन्, सबै ठीक छ।

तर म कम विश्वसनीयताको कारणले यो गर्न सिफारिस गर्दिन, यद्यपि यदि तपाईंसँग विभिन्न डाटा केन्द्रहरूमा कम्तिमा तीन प्रतिकृतिहरू छन् भने, यो सम्भव छ। यदि केहि हुन्छ भने, डाटा पुनर्स्थापित हुनेछ। कल्पना गरौं कि सर्भर अचानक बन्द भयो र फेरि सक्रिय भयो। विभाजन फेरि माउन्ट गरियो, तर त्यहाँ केहि थिएन। जब क्लिकहाउस सर्भर सुरु हुन्छ, यसले देख्छ कि यसमा यी टुक्राहरू छैनन्, यद्यपि, ZooKeeper मेटाडेटा अनुसार, तिनीहरू त्यहाँ हुनुपर्दछ। उसले हेर्छ कि कुन प्रतिकृतिहरू छन्, तिनीहरूलाई अनुरोध गर्दछ र तिनीहरूलाई डाउनलोड गर्दछ। यसरी डाटा रिस्टोर हुनेछ।

यस अर्थमा, RAM मा डाटा भण्डारण डिस्कमा भण्डारण गर्नु भन्दा मौलिक रूपमा फरक छैन, किनभने जब डाटा डिस्कमा लेखिन्छ, यो पहिले पृष्ठ क्यासमा समाप्त हुन्छ र भौतिक रूपमा पछि लेखिन्छ। यो फाइल प्रणाली माउन्टिङ विकल्पमा निर्भर गर्दछ। तर केवल केसमा, म भन्छु कि क्लिकहाउस सम्मिलित गर्दा fsync हुँदैन।

यस अवस्थामा, RAM मा डाटा डिस्कमा जस्तै ठ्याक्कै एउटै ढाँचामा भण्डारण गरिएको छ। त्यसै गरी चयन क्वेरीले पढ्न आवश्यक टुक्राहरू चयन गर्दछ, टुक्राहरूमा आवश्यक डेटा दायराहरू चयन गर्दछ, र तिनीहरूलाई पढ्छ। र प्रि-कहाँ ठ्याक्कै उस्तै काम गर्दछ, चाहे डाटा RAM मा वा डिस्कमा थियो।

लो कार्डिनलिटी प्रभावकारी अद्वितीय मानहरूको कति संख्यामा हुन्छ?

कम कार्डिनलिटी चलाखीपूर्वक डिजाइन गरिएको छ। यसले डेटा शब्दकोशहरू कम्पाइल गर्दछ, तर तिनीहरू स्थानीय हुन्। पहिलो, त्यहाँ प्रत्येक टुक्राको लागि फरक शब्दकोशहरू छन्, र दोस्रो, एक टुक्रा भित्र पनि तिनीहरू प्रत्येक दायराको लागि फरक हुन सक्छन्। जब अद्वितीय मानहरूको संख्या एक थ्रेसहोल्ड नम्बरमा पुग्छ - एक मिलियन, मलाई लाग्छ - शब्दकोष सजिलै सुरक्षित गरिन्छ र नयाँ सिर्जना गरिन्छ।

जवाफ सामान्य रूपमा छ: प्रत्येक स्थानीय दायराको लागि - भन्नुहोस्, प्रत्येक दिनको लागि - कतै लाखौं अद्वितीय मानहरू कम कार्डिनलिटी प्रभावकारी हुन्छ। त्यसपछि त्यहाँ केवल एक फलब्याक हुनेछ, जसमा धेरै फरक शब्दकोषहरू प्रयोग गरिनेछन्, र एक मात्र होइन। यसले लगभग नियमित स्ट्रिङ स्तम्भ जस्तै काम गर्नेछ, सायद अलि कम कुशल, तर त्यहाँ कुनै गम्भीर प्रदर्शन गिरावट हुनेछैन।

पाँच बिलियन पङ्क्तिहरू भएको तालिकामा पूर्ण-पाठ खोज्ने उत्तम अभ्यासहरू के हुन्?

विभिन्न जवाफहरू छन्। पहिलो भनेको क्लिकहाउस पूर्ण-पाठ खोज इन्जिन होइन भनेर भन्नु हो। यसको लागि विशेष प्रणालीहरू छन्, उदाहरणका लागि, Elasticsearch и sphinx। जे होस्, म बढ्दो मानिसहरूलाई तिनीहरू Elasticsearch बाट ClickHouse मा स्विच गर्दै छन् भनी देख्छु।

यो किन हुन्छ? तिनीहरूले यो तथ्यलाई व्याख्या गर्छन् कि Elasticsearch ले अनुक्रमणिकाको निर्माणको साथ सुरू गर्दै, केही भोल्युमहरूमा लोडसँग सामना गर्न बन्द गर्दछ। अनुक्रमणिकाहरू धेरै बोझिल हुन्छन्, र यदि तपाईंले क्लिकहाउसमा डाटा स्थानान्तरण गर्नुभयो भने, यसले भोल्युमको सर्तमा धेरै गुणा बढी कुशलतापूर्वक भण्डारण गरेको छ। एकै समयमा, खोज प्रश्नहरू प्रायः यस्तो थिएनन् कि डेटाको सम्पूर्ण मात्रामा केहि वाक्यांशहरू फेला पार्न आवश्यक थियो, खाता मोर्फोलोजीलाई ध्यानमा राख्दै, तर पूर्ण रूपमा फरक। उदाहरणका लागि, पछिल्ला केही घण्टाहरूमा लगहरूमा बाइटहरूको केही अनुवर्ती फेला पार्नुहोस्।

यस अवस्थामा, तपाइँ क्लिकहाउसमा अनुक्रमणिका सिर्जना गर्नुहुन्छ, जसको पहिलो फिल्ड मिति र समय हुनेछ। र सबैभन्दा ठूलो डेटा कट-अफ मिति दायरामा आधारित हुनेछ। चयन गरिएको मिति दायरा भित्र, एक नियमको रूपमा, यो पहिले नै पूर्ण-पाठ खोजी गर्न सम्भव छ, जस्तै प्रयोग गरेर ब्रूट फोर्स विधि प्रयोग गरेर पनि। क्लिकहाउसमा लाइक अपरेटर तपाईले फेला पार्न सक्नुहुने सबैभन्दा कुशल अपरेटर हो। यदि तपाईले केहि राम्रो पाउनुभयो भने, मलाई भन्नुहोस्।

तर अझै, जस्तै पूर्ण स्क्यान हो। र पूर्ण स्क्यान केवल CPU मा, तर डिस्कमा पनि ढिलो हुन सक्छ। यदि अचानक तपाईंसँग प्रति दिन एक टेराबाइट डाटा छ, र तपाईंले दिनमा कुनै शब्द खोज्नुहुन्छ भने, तपाईंले टेराबाइट स्क्यान गर्नुपर्नेछ। र यो सम्भवतः नियमित हार्ड ड्राइभहरूमा छ, र अन्तमा तिनीहरू यसरी लोड हुनेछन् कि तपाइँ SSH मार्फत यो सर्भर पहुँच गर्न सक्षम हुनुहुने छैन।

यस अवस्थामा, म अर्को सानो चाल प्रस्ताव गर्न तयार छु। यो प्रयोगात्मक छ - यसले काम गर्न सक्छ, यो नहुन सक्छ। क्लिकहाउससँग ट्राइग्राम ब्लूम फिल्टरको रूपमा पूर्ण-पाठ अनुक्रमणिकाहरू छन्। Arenadata मा हाम्रा सहकर्मीहरूले पहिले नै यी अनुक्रमणिकाहरू प्रयास गरिसकेका छन्, र तिनीहरू प्रायः उद्देश्य अनुसार काम गर्छन्।

तिनीहरूलाई सही रूपमा प्रयोग गर्नको लागि, तपाइँसँग तिनीहरूले कसरी काम गर्छन् भन्ने राम्रोसँग बुझ्नुपर्छ: ट्राइग्राम ब्लूम फिल्टर के हो र यसको साइज कसरी छनौट गर्ने। म भन्न सक्छु कि तिनीहरूले केहि दुर्लभ वाक्यांशहरूमा प्रश्नहरूको लागि मद्दत गर्नेछन्, डेटामा विरलै पाइने सबस्ट्रिंगहरू। यस अवस्थामा, सबरेन्जहरू अनुक्रमणिकाहरूद्वारा चयन गरिनेछन् र कम डाटा पढिनेछ।

भर्खरै, क्लिकहाउसले पूर्ण-पाठ खोजको लागि अझ उन्नत प्रकार्यहरू थपेको छ। यो, सबैभन्दा पहिले, UTF-8 को लागि वा ASCII को लागि मात्र समर्थन सहित केस-संवेदनशील, केस-संवेदनशील विकल्पहरू सहित एकै पटकमा एकै पटक सबस्ट्रिङहरूको गुच्छाको खोजी हो। तपाईलाई चाहिने सबैभन्दा प्रभावकारी छनौट गर्नुहोस्।

एक पास मा धेरै नियमित अभिव्यक्ति को लागी खोज पनि देखा पर्यो। तपाईले X लाई एउटा सबस्ट्रिङ जस्तै वा X लाई अर्को सबस्ट्रिङ जस्तो लेख्नु पर्दैन। तपाईं तुरुन्तै लेख्नुहुन्छ, र सबै कुरा सकेसम्म कुशलतापूर्वक गरिन्छ।

तेस्रो, अब regexps को लागि अनुमानित खोज र substrings को लागी अनुमानित खोज छ। यदि कसैले गलत हिज्जे गरेको छ भने, यो अधिकतम मिलानको लागि खोजी गरिनेछ।

ठूलो संख्यामा प्रयोगकर्ताहरूको लागि क्लिकहाउसमा पहुँच व्यवस्थित गर्ने उत्तम तरिका के हो?

हामीलाई भन्नुहोस् कि कसरी ठूलो संख्यामा उपभोक्ता र विश्लेषकहरूको पहुँचलाई व्यवस्थित गर्ने। लाम कसरी बनाउने, अधिकतम समवर्ती प्रश्नहरूलाई प्राथमिकता दिने र कुन उपकरणहरू प्रयोग गर्ने?

यदि क्लस्टर पर्याप्त ठूलो छ भने, त्यसपछि एक राम्रो समाधान दुई थप सर्भरहरू उठाउनु हुनेछ, जुन विश्लेषकहरूको लागि प्रवेश बिन्दु हुनेछ। त्यो हो, विश्लेषकहरूलाई क्लस्टरमा विशिष्ट शार्डहरू पहुँच गर्न अनुमति नदिनुहोस्, तर केवल दुईवटा खाली सर्भरहरू सिर्जना गर्नुहोस्, डाटा बिना, र तिनीहरूमा पहुँच अधिकारहरू कन्फिगर गर्नुहोस्। यस अवस्थामा, वितरित अनुरोधहरूको लागि प्रयोगकर्ता सेटिङहरू टाढाको सर्भरहरूमा स्थानान्तरण गरिन्छ। त्यो हो, तपाईले यी दुई सर्भरहरूमा सबै कुरा कन्फिगर गर्नुहुन्छ, र सेटिङहरूले सम्पूर्ण क्लस्टरमा प्रभाव पार्छ।

सिद्धान्तमा, यी सर्भरहरूमा कुनै डाटा छैन, तर तिनीहरूमा RAM को मात्रा अनुरोधहरू कार्यान्वयन गर्न धेरै महत्त्वपूर्ण छ। यदि बाह्य एकत्रीकरण वा बाह्य क्रमबद्ध सक्षम छ भने डिस्क अस्थायी डाटाको लागि पनि प्रयोग गर्न सकिन्छ।

सबै सम्भावित सीमाहरूसँग सम्बन्धित सेटिङहरू हेर्न महत्त्वपूर्ण छ। यदि म अब एक विश्लेषकको रूपमा Yandex.Metrica क्लस्टरमा जान्छु र अनुरोध सोध्छु हिटबाट गणना चयन गर्नुहोस्, त्यसपछि मलाई तुरुन्तै अपवाद दिइनेछ कि मैले अनुरोध कार्यान्वयन गर्न सक्दिन। मलाई स्क्यान गर्न अनुमति दिइएको पङ्क्तिहरूको अधिकतम संख्या एक सय बिलियन हो, र कुलमा क्लस्टरमा एउटा तालिकामा ती मध्ये पचास ट्रिलियन छन्। यो पहिलो सीमा हो।

मानौं म पङ्क्ति सीमा हटाउँछु र फेरि क्वेरी चलाउँछु। त्यसपछि म निम्न अपवाद देख्नेछु - सेटिङ सक्षम मिति द्वारा बल सूचकांक। यदि मैले मिति दायरा निर्दिष्ट गरेको छैन भने म क्वेरी पूरा गर्न सक्दिन। तपाईंले यसलाई म्यानुअल रूपमा निर्दिष्ट गर्न विश्लेषकहरूमा भर पर्नु पर्दैन। एक सामान्य केस हो जब मिति दायरा लेखिएको हुन्छ जहाँ घटना मिति हप्ताको बीचमा हुन्छ। र त्यसपछि तिनीहरूले केवल गलत ठाउँमा कोष्ठक निर्दिष्ट गरे, र यसको सट्टा र यो वा - वा URL मेल खायो। यदि त्यहाँ कुनै सीमा छैन भने, यसले URL स्तम्भ क्रल गर्नेछ र केवल एक टन स्रोतहरू बर्बाद गर्नेछ।

थप रूपमा, ClickHouse मा दुई प्राथमिकता सेटिङहरू छन्। दुर्भाग्यवश, तिनीहरू धेरै आदिम छन्। एक मात्र भनिन्छ प्राथमिकता। यदि प्राथमिकता ≠ ०, र केही प्राथमिकताका साथ अनुरोधहरू कार्यान्वयन भइरहेका छन्, तर त्यसभन्दा कम प्राथमिकता मान भएको अनुरोध, जसको अर्थ उच्च प्राथमिकता हो, कार्यान्वयन भइरहेको छ भने, त्यसभन्दा बढीको प्राथमिकता मान भएको अनुरोध, जसको अर्थ कम प्राथमिकता , केवल निलम्बन गरिएको छ र यस समयमा काम गर्दैन।

यो एकदमै कच्चा सेटिङ हो र क्लस्टरमा निरन्तर भार रहेको अवस्थामा यो उपयुक्त छैन। तर यदि तपाईंसँग छोटो, bursty अनुरोधहरू छन् जुन महत्त्वपूर्ण छन्, र क्लस्टर प्रायः निष्क्रिय छ भने, यो सेटअप उपयुक्त छ।

अर्को प्राथमिकता सेटिङ भनिन्छ OS थ्रेड प्राथमिकता। यसले लिनक्स शेड्यूलरको लागि सबै अनुरोध कार्यान्वयन थ्रेडहरूको लागि राम्रो मान सेट गर्दछ। यो यति काम गर्दछ, तर यो अझै पनि काम गर्दछ। यदि तपाईंले न्यूनतम राम्रो मान सेट गर्नुभयो भने - यो मूल्यमा सबैभन्दा ठूलो हो, र त्यसैले सबैभन्दा कम प्राथमिकता - र उच्च प्राथमिकताका अनुरोधहरूको लागि -19 सेट गर्नुहोस्, त्यसपछि CPU ले कम प्राथमिकताका अनुरोधहरूलाई उच्च प्राथमिकताका भन्दा चार गुणा कम खपत गर्नेछ।

तपाईले अधिकतम अनुरोध कार्यान्वयन समय कन्फिगर गर्न आवश्यक छ - भन्नुहोस्, पाँच मिनेट। क्वेरी कार्यान्वयनको न्यूनतम गति सबैभन्दा राम्रो कुरा हो। यो सेटिङ लामो समयको लागि वरिपरि रहेको छ, र क्लिकहाउस ढिलो हुँदैन भनेर दाबी गर्न मात्र होइन, तर यसलाई जबरजस्ती गर्न आवश्यक छ।

कल्पना गर्नुहोस्, तपाईंले सेट अप गर्नुभयो: यदि केही क्वेरीले प्रति सेकेन्ड १० लाख पङ्क्तिहरू भन्दा कम प्रक्रियाहरू गर्छ भने, तपाईंले त्यसो गर्न सक्नुहुन्न। यसले हाम्रो राम्रो नाम, हाम्रो राम्रो डाटाबेसलाई बदनाम गर्छ। यसलाई बन्द गरौं। त्यहाँ वास्तवमा दुई सेटिङहरू छन्। एउटा भनिन्छ न्यूनतम कार्यान्वयन गति - प्रति सेकेन्ड लाइनहरूमा, र दोस्रोलाई न्यूनतम कार्यान्वयन गति जाँच गर्नु अघि टाइमआउट भनिन्छ - पूर्वनिर्धारित रूपमा पन्ध्र सेकेन्ड। त्यो हो, पन्ध्र सेकेन्ड सम्भव छ, र त्यसपछि, यदि यो ढिलो छ भने, केवल एक अपवाद फ्याँक्नुहोस् र अनुरोध रद्द गर्नुहोस्।

तपाईंले कोटाहरू पनि सेट अप गर्न आवश्यक छ। ClickHouse मा निर्मित कोटा सुविधा छ जसले संसाधन खपत गणना गर्दछ। तर, दुर्भाग्यवश, हार्डवेयर स्रोतहरू जस्तै CPU, डिस्कहरू होइन, तर तार्किकहरू - प्रशोधित अनुरोधहरूको संख्या, लाइनहरू र बाइटहरू पढ्छन्। र तपाईं कन्फिगर गर्न सक्नुहुन्छ, उदाहरणका लागि, पाँच मिनेट भित्र एक सय अनुरोधहरू र प्रति घण्टा एक हजार अनुरोधहरू।

यो किन महत्त्वपूर्ण छ? किनकी केहि एनालिटिक्स प्रश्नहरू क्लिकहाउस क्लाइन्टबाट सीधा म्यानुअल रूपमा प्रदर्शन गरिनेछ। र सबै राम्रो हुनेछ। तर यदि तपाईंसँग तपाईंको कम्पनीमा उन्नत विश्लेषकहरू छन् भने, तिनीहरूले स्क्रिप्ट लेख्नेछन्, र स्क्रिप्टमा त्रुटि हुन सक्छ। र यो त्रुटिले अनुरोधलाई अनन्त लूपमा कार्यान्वयन गराउनेछ। यसबाट हामीले आफूलाई जोगाउन आवश्यक छ।

के दस ग्राहकहरूलाई एउटा प्रश्नको नतिजा दिन सम्भव छ?

हामीसँग धेरै प्रयोगकर्ताहरू छन् जो एकै समयमा धेरै ठूला अनुरोधहरू लिएर आउन मन पराउँछन्। अनुरोध ठूलो छ र, सैद्धान्तिक रूपमा, छिट्टै कार्यान्वयन हुन्छ, तर एकै समयमा यस्ता धेरै अनुरोधहरू भएकाले यो धेरै पीडादायी हुन्छ। के यो समान अनुरोध कार्यान्वयन गर्न सम्भव छ, जुन पङ्क्तिमा दस पटक आइपुग्यो, एक पटक, र दस ग्राहकहरूलाई परिणाम दिन?

समस्या यो हो कि हामीसँग क्यास वा मध्यवर्ती डाटाको क्यासको नतिजा छैन। त्यहाँ अपरेटिङ सिस्टमको पृष्ठ क्यास छ, जसले तपाईंलाई डिस्कबाट डेटा पढ्नबाट रोक्नेछ, तर, दुर्भाग्यवश, डाटा अझै पनि डिकम्प्रेस, डिसेरियलाइज्ड र पुन: प्रशोधन गरिनेछ।

म मध्यवर्ती डाटा क्यास गरेर, वा कुनै प्रकारको लाममा समान प्रश्नहरू लाइन अप गरेर र नतिजा क्यास थपेर, कुनै न कुनै रूपमा यसबाट बच्न चाहन्छु। हामीसँग हाल विकासमा एउटा पुल अनुरोध छ जसले अनुरोध क्यास थप्छ, तर केवल इन र सामेल सेक्सनहरूमा सबक्वेरीहरूको लागि - अर्थात्, समाधान अपूर्ण छ।

तर, हामीले पनि यस्तो अवस्थाको सामना गरिरहेका छौं । विशेष गरी क्यानोनिकल उदाहरण पृष्ठनबद्ध प्रश्नहरू हो। त्यहाँ एक रिपोर्ट छ, यसमा धेरै पृष्ठहरू छन्, र सीमा 10 को लागी अनुरोध छ। त्यसपछि एउटै कुरा, तर सीमा 10,10। त्यसपछि अर्को अर्को पृष्ठ। र प्रश्न हो, हामी किन यो सबै प्रत्येक पटक गणना गर्छौं? तर अब कुनै समाधान छैन, र यसबाट बच्ने कुनै उपाय छैन।

त्यहाँ एक वैकल्पिक समाधान छ जुन क्लिकहाउसको छेउमा साइडकारको रूपमा राखिएको छ - हाउस प्रोक्सी क्लिक गर्नुहोस्.

किरिल श्वाकोभ: क्लिकहाउस प्रोक्सीमा बिल्ट-इन रेट लिमिटर र बिल्ट-इन नतिजा क्यास छ। त्यहाँ धेरै सेटिङहरू बनाइयो किनभने एक समान समस्या समाधान भइरहेको थियो। प्रोक्सीले तपाइँलाई अनुरोधहरूलाई लामबद्ध गरेर सीमित गर्न र अनुरोध क्यास कति लामो समयसम्म रहन्छ कन्फिगर गर्न अनुमति दिन्छ। यदि अनुरोधहरू वास्तवमै उस्तै थिए भने, प्रोक्सीले तिनीहरूलाई धेरै पटक पठाउनेछ, तर क्लिकहाउसमा एक पटक मात्र जान्छ।

Nginx सँग नि: शुल्क संस्करणमा क्यास पनि छ, र यसले पनि काम गर्नेछ। Nginx सँग सेटिङहरू पनि छन् कि यदि अनुरोधहरू एकै समयमा आइपुग्छन् भने, यो पूरा नभएसम्म अरूलाई ढिलो गर्नेछ। तर यो क्लिकहाउस प्रोक्सी मा छ कि सेटअप धेरै राम्रो गरिएको छ। यो विशेष गरी ClickHouse को लागी बनाइएको थियो, विशेष गरी यी अनुरोधहरु को लागी, त्यसैले यो अधिक उपयुक्त छ। खैर, यो स्थापना गर्न सजिलो छ।

एसिन्क्रोनस अपरेशनहरू र भौतिक दृश्यहरूको बारेमा के हो?

त्यहाँ एक समस्या छ कि रिप्ले इन्जिन संग कार्यहरू एसिन्क्रोनस छन् - पहिले डाटा लेखिएको छ, त्यसपछि यो पतन हुन्छ। यदि केही एग्रीगेट्स भएको भौतिक ट्याब्लेट साइन अन्तर्गत रहन्छ भने, त्यसमा नक्कलहरू लेखिनेछ। र यदि त्यहाँ कुनै जटिल तर्क छैन भने, त्यसपछि डाटा डुप्लिकेट हुनेछ। तपाईं यसको बारेमा के गर्न सक्नुहुन्छ?

त्यहाँ एक स्पष्ट समाधान छ - एक एसिन्क्रोनस पतन अपरेशन को समयमा matviews को एक निश्चित वर्ग मा ट्रिगर लागू गर्न। के त्यहाँ कुनै चाँदीको बुलेटहरू वा समान प्रकार्यता लागू गर्ने योजनाहरू छन्?

डुप्लिकेशनले कसरी काम गर्छ भन्ने कुरा बुझ्न लायक छ। म अहिले तपाईलाई के भन्छु त्यो प्रश्नसँग सान्दर्भिक छैन, तर यो याद गर्न लायकको अवस्थामा।

प्रतिकृति तालिकामा सम्मिलित गर्दा, त्यहाँ सम्पूर्ण सम्मिलित ब्लकहरूको डुप्लिकेशन हुन्छ। यदि तपाईंले एउटै क्रममा उही पङ्क्तिहरूको एउटै संख्या भएको एउटै ब्लक पुन: घुसाउनुभयो भने, त्यसपछि डाटा डुप्लिकेट हुन्छ। तपाईंले घुसाउनको लागि प्रतिक्रियामा "ठीक छ" प्राप्त गर्नुहुनेछ, तर वास्तवमा डाटाको एक प्याकेट लेखिनेछ, र यसलाई नक्कल गरिने छैन।

यो निश्चितताको लागि आवश्यक छ। यदि तपाइँ सम्मिलनको समयमा "ठीक" प्राप्त गर्नुहुन्छ भने, तपाइँको डेटा सम्मिलित गरिएको छ। यदि तपाईंले ClickHouse बाट त्रुटि प्राप्त गर्नुभयो भने, यसको मतलब तिनीहरू सम्मिलित भएनन् र तपाईंले सम्मिलन दोहोर्याउनु पर्छ। तर यदि सम्मिलनको समयमा जडान टुटेको छ भने, तपाईलाई थाहा छैन कि डाटा सम्मिलित गरिएको थियो वा थिएन। एकमात्र विकल्प पुन: सम्मिलन दोहोर्याउनु हो। यदि डाटा वास्तवमा सम्मिलित गरिएको थियो र तपाईंले यसलाई पुन: सम्मिलित गर्नुभयो भने, त्यहाँ ब्लक डुप्लिकेशन छ। यो डुप्लिकेटबाट बच्नको लागि आवश्यक छ।

र यो पनि महत्त्वपूर्ण छ कि यसले भौतिक दृश्यहरूको लागि कसरी काम गर्दछ। यदि डेटा मुख्य तालिकामा सम्मिलित गर्दा डुप्लिकेट गरिएको थियो, तब यो भौतिक दृश्यमा पनि जानेछैन।

अब प्रश्नको बारेमा। तपाइँको स्थिति अधिक जटिल छ किनभने तपाइँ व्यक्तिगत रेखाहरूको नक्कल रेकर्ड गर्दै हुनुहुन्छ। त्यो हो, यो नक्कल गरिएको सम्पूर्ण प्याक होइन, तर विशिष्ट रेखाहरू, र तिनीहरू पृष्ठभूमिमा पतन हुन्छन्। साँच्चै, डाटा मुख्य तालिकामा पतन हुनेछ, तर uncollapsed डाटा भौतिक दृश्यमा जानेछ, र मर्ज गर्दा भौतिक दृश्यहरूमा केही हुने छैन। किनभने एक भौतिक दृश्य एक सम्मिलित ट्रिगर भन्दा बढि केहि होइन। अन्य अपरेसनहरूको समयमा, यसमा थप केही हुँदैन।

र म तिमीलाई यहाँ खुशी बनाउन सक्दिन। तपाईंले मात्र यस मामलाको लागि एक विशेष समाधान खोज्न आवश्यक छ। उदाहरण को लागी, यो एक भौतिक दृश्य मा पुन: प्ले गर्न सम्भव छ, र डुप्लिकेशन विधि उही तरिकाले काम गर्न सक्छ। तर दुर्भाग्यवश, सधैं होइन। यदि यो जम्मा भयो भने, यसले काम गर्दैन।

किरिल श्वाकोभ: हामीले पनि दिनमा क्रच निर्माण गरेका थियौं। त्यहाँ एक समस्या थियो कि त्यहाँ विज्ञापन छापहरू छन्, र त्यहाँ केहि डेटा छ जुन हामीले वास्तविक समयमा देखाउन सक्छौं - यी केवल छापहरू हुन्। तिनीहरू विरलै डुप्लिकेट हुन्छन्, तर यदि यो हुन्छ भने, हामी तिनीहरूलाई पछि जसरी पनि पतन गर्नेछौं। र त्यहाँ चीजहरू थिए जुन नक्कल गर्न सकिँदैन - क्लिकहरू र यो सम्पूर्ण कथा। तर म तिनीहरूलाई तुरुन्तै देखाउन चाहन्थे।

भौतिक विचार कसरी बनाइयो? त्यहाँ दृश्यहरू थिए जहाँ यो प्रत्यक्ष रूपमा लेखिएको थियो - यो कच्चा डेटामा लेखिएको थियो, र दृश्यहरूमा लेखिएको थियो। त्यहाँ, कुनै बिन्दुमा डाटा धेरै सही छैन, यो नक्कल छ, र यस्तै। र त्यहाँ तालिकाको दोस्रो भाग हो, जहाँ तिनीहरू भौतिक दृश्यहरू जस्तै देखिन्छन्, अर्थात्, तिनीहरू संरचनामा बिल्कुल समान छन्। एक पटकमा हामी डेटा पुन: गणना गर्छौं, नक्कलहरू बिना डेटा गणना गर्छौं, ती तालिकाहरूमा लेख्नुहोस्।

हामीले API मार्फत गयौं - यसले म्यानुअल रूपमा ClickHouse मा काम गर्दैन। र एपीआई देखिन्छ: जब मसँग तालिकामा अन्तिम थपको मिति हुन्छ, जहाँ यो ग्यारेन्टी हुन्छ कि सही डाटा पहिले नै गणना गरिएको छ, र यसले एउटा तालिका र अर्को तालिकामा अनुरोध गर्दछ। एउटाबाट अनुरोधले निश्चित समयसम्म चयन गर्छ, र अर्कोबाट यो प्राप्त हुन्छ जुन अहिलेसम्म गणना गरिएको छैन। र यसले काम गर्दछ, तर क्लिकहाउस मार्फत मात्र होइन।

यदि तपाइँसँग केहि प्रकारको API छ - विश्लेषकहरूको लागि, प्रयोगकर्ताहरूको लागि - त्यसपछि, सिद्धान्तमा, यो एक विकल्प हो। तिमी सँधै गनिरहेका छौ, सधैं गणना गर्दैछौ। यो दिनमा एक पटक वा अन्य समयमा गर्न सकिन्छ। तपाईंले आफ्नो लागि एउटा दायरा रोज्नुहुन्छ जुन तपाईंलाई आवश्यक छैन र महत्त्वपूर्ण छैन।

ClickHouse मा धेरै लगहरू छन्। म कसरी सर्भरमा हुने सबै कुरा एकै नजरमा हेर्न सक्छु?

ClickHouse मा विभिन्न लगहरु को एक धेरै ठूलो संख्या छ, र यो संख्या बढ्दै छ। नयाँ संस्करणहरूमा, तिनीहरूमध्ये केही पूर्वनिर्धारित रूपमा सक्षम छन्; पुरानो संस्करणहरूमा तिनीहरू अद्यावधिक गर्दा सक्षम हुनुपर्छ। यद्यपि, तिनीहरूमध्ये धेरै र अधिक छन्। अन्ततः, म मेरो सर्भरसँग के भइरहेको छ हेर्न चाहन्छु, सायद केहि प्रकारको सारांश ड्यासबोर्डमा।

के तपाइँसँग तपाइँको ClickHouse टोलीमा, वा तपाइँका साथीहरूको टोलीमा छ, जसले यी लगहरूलाई तयार उत्पादनको रूपमा प्रदर्शन गर्ने रेडिमेड ड्यासबोर्डहरूको केही कार्यक्षमतालाई समर्थन गर्दछ? अन्ततः, क्लिकहाउसमा लगहरू हेर्दा राम्रो छ। तर यो धेरै राम्रो हुनेछ यदि यो पहिले नै ड्यासबोर्डको रूपमा तयार गरिएको थियो। म यसबाट एक किक निकाल्ने थिए।

त्यहाँ ड्यासबोर्डहरू छन्, यद्यपि तिनीहरू मानकीकृत छैनन्। हाम्रो कम्पनीमा, लगभग 60 टोलीहरूले क्लिकहाउस प्रयोग गर्छन्, र अनौठो कुरा यो हो कि तिनीहरूमध्ये धेरैसँग ड्यासबोर्डहरू छन् जुन तिनीहरूले आफ्नै लागि बनाएका छन्, र थोरै फरक। केही टोलीहरूले आन्तरिक Yandex.Cloud स्थापना प्रयोग गर्छन्। त्यहाँ केही तयार रिपोर्टहरू छन्, यद्यपि सबै आवश्यक छैनन्। अरूको आफ्नै छ।

Metrica का मेरा सहकर्मीहरूसँग Grafana मा आफ्नै ड्यासबोर्ड छ, र मसँग तिनीहरूको क्लस्टरको लागि आफ्नै छ। म सेरिफ क्यासको लागि क्यास हिट जस्ता चीजहरू हेर्दै छु। र अझ गाह्रो छ कि हामी विभिन्न उपकरणहरू प्रयोग गर्छौं। मैले Graphite-web भनिने धेरै पुरानो उपकरण प्रयोग गरेर मेरो ड्यासबोर्ड सिर्जना गरें। ऊ पूर्णतया कुरूप छ। र म अझै पनि यो तरिका प्रयोग गर्छु, यद्यपि Grafana सम्भवतः अधिक सुविधाजनक र सुन्दर हुनेछ।

ड्यासबोर्डमा आधारभूत कुरा एउटै हो। यी क्लस्टरका लागि प्रणाली मेट्रिक्स हुन्: CPU, मेमोरी, डिस्क, नेटवर्क। अन्य - एक साथ अनुरोधहरूको संख्या, एकसाथ मर्जहरूको संख्या, प्रति सेकेन्ड अनुरोधहरूको संख्या, MergeTree तालिका विभाजनहरूको लागि अधिकतम संख्या, प्रतिकृति ढिलाइ, प्रतिकृति लाम आकार, प्रति सेकेन्ड सम्मिलित पङ्क्तिहरूको संख्या, प्रति सेकेन्ड सम्मिलित ब्लकहरूको संख्या। यो सबै लगहरूबाट प्राप्त गरिएको हो, तर मेट्रिक्सबाट।

भ्लादिमिर कोलोबाएव: एलेक्सी, म यसलाई थोरै सुधार गर्न चाहन्छु। Grafana छ। Grafana सँग एक डाटा स्रोत छ, जुन क्लिकहाउस हो। त्यो हो, म Grafana बाट सिधै ClickHouse मा अनुरोध गर्न सक्छु। ClickHouse मा लगहरु संग एक तालिका छ, यो सबै को लागी समान छ। नतिजाको रूपमा, म ग्राफानामा यो लग तालिका पहुँच गर्न चाहन्छु र मेरो सर्भरले गरेको अनुरोधहरू हेर्न चाहन्छु। यस्तो ड्यासबोर्ड भएको राम्रो हुनेछ।

म आफैं साइकल चलाएँ। तर मसँग एउटा प्रश्न छ - यदि यो सबै मानकीकृत छ, र Grafana सबैद्वारा प्रयोग गरिन्छ, किन Yandex सँग त्यस्तो आधिकारिक ड्यासबोर्ड छैन?

किरिल श्वाकोभ: वास्तवमा, क्लिकहाउसमा जाने डाटा स्रोतले अब Altinity लाई समर्थन गर्दछ। र म कहाँ खन्ने र कसलाई धकेल्ने भनेर भेक्टर दिन चाहन्छु। तपाईं तिनीहरूलाई सोध्न सक्नुहुन्छ, किनभने Yandex ले अझै पनि क्लिकहाउस बनाउँछ, र यसको वरपरको कथा होइन। Altinity हाल ClickHouse को प्रचार गर्ने मुख्य कम्पनी हो। तिनीहरूले उहाँलाई त्याग्ने छैनन्, तर उहाँलाई समर्थन गर्नेछन्। किनभने, सिद्धान्तमा, Grafana वेबसाइटमा ड्यासबोर्ड अपलोड गर्न, तपाईंले मात्र दर्ता र अपलोड गर्न आवश्यक छ - त्यहाँ कुनै विशेष समस्याहरू छैनन्।

एलेक्सी मिलोविडोभ: गत वर्षमा, ClickHouse ले धेरै क्वेरी प्रोफाइलिङ क्षमताहरू थपेको छ। त्यहाँ संसाधन उपयोग मा प्रत्येक अनुरोध को लागी मेट्रिक्स छन्। र भर्खरै, हामीले एउटा तल्लो स्तरको क्वेरी प्रोफाइलर थपेका छौँ जहाँ क्वेरीले प्रत्येक मिलिसेकेन्ड खर्च गरिरहेको छ। तर यो कार्यक्षमता प्रयोग गर्न, मैले कन्सोल क्लाइन्ट खोल्नु पर्छ र अनुरोध टाइप गर्नुपर्छ, जुन म सधैं बिर्सन्छु। मैले यसलाई कतै सुरक्षित गरें र ठ्याक्कै कहाँ बिर्सिएँ।

म चाहन्छु कि त्यहाँ एउटा उपकरण हो जसले भर्खरै भन्यो, यहाँ तपाइँका भारी प्रश्नहरू छन्, क्वेरी वर्ग द्वारा समूहबद्ध। मैले एउटामा थिचेँ, र तिनीहरूले मलाई बताउनेछन् कि किन यो भारी छ। अहिले त्यस्तो उपाय छैन । र यो साँच्चै अनौठो छ कि जब मानिसहरूले मलाई सोध्छन्: "मलाई भन्नुहोस्, त्यहाँ Grafana को लागि कुनै तयार ड्यासबोर्डहरू छन्?", म भन्छु: "Grafana वेबसाइटमा जानुहोस्, त्यहाँ "ड्यासबोर्ड" समुदाय छ, र त्यहाँ ड्यासबोर्ड छ। Dimka बाट, Kostyan बाट ड्यासबोर्ड छ। मलाई थाहा छैन यो के हो, मैले यसलाई आफैं प्रयोग गरेको छैन। ”

मर्जहरूलाई कसरी प्रभाव पार्ने ताकि सर्भर OOM मा क्र्यास नहोस्?

मसँग एउटा टेबल छ, टेबलमा एउटा मात्र विभाजन छ, त्यो ReplaceingMergeTree हो। मैले चार वर्षदेखि यसमा डाटा लेखिरहेको छु। मैले यसमा परिवर्तन गर्न र केहि डाटा मेटाउन आवश्यक छ।

मैले यो गरें, र यो अनुरोधको प्रशोधनको क्रममा, क्लस्टरका सबै सर्भरहरूमा सबै मेमोरी खपत भयो, र क्लस्टरका सबै सर्भरहरू OOM मा गए। त्यसपछि तिनीहरू सबै एकैसाथ उठे, यही अपरेशन, यो डाटा ब्लक मर्ज गर्न थाले, र फेरि OOM मा परे। त्यसपछि तिनीहरू फेरि उठे र फेरि लडे। र यो कुरा रोकिएन।

त्यसपछि यो पत्ता लाग्यो कि यो वास्तवमा केटाहरूले फिक्स गरेको बग थियो। यो धेरै राम्रो छ, धेरै धेरै धन्यवाद। तर अवशेष बाँकी थियो। र अब, जब म तालिकामा कुनै प्रकारको मर्ज गर्ने बारे सोच्दछु, मसँग एउटा प्रश्न छ - म किन यी मर्जहरूलाई प्रभाव पार्न सक्दिन? उदाहरणका लागि, तिनीहरूलाई आवश्यक RAM को मात्रा द्वारा सीमित गर्नुहोस्, वा, सिद्धान्तमा, यो विशेष तालिका प्रक्रिया गर्ने रकम द्वारा।

मसँग "मेट्रिक्स" नामक तालिका छ, कृपया यसलाई मेरो लागि दुई थ्रेडहरूमा प्रशोधन गर्नुहोस्। समानान्तरमा दस वा पाँच मर्जहरू सिर्जना गर्न आवश्यक छैन, यसलाई दुईमा गर्नुहोस्। मलाई लाग्छ कि मसँग दुईको लागि पर्याप्त मेमोरी छ, तर यो दस प्रशोधन गर्न पर्याप्त नहुन सक्छ। डर किन रहन्छ? किनभने तालिका बढ्दै गइरहेको छ, र कुनै दिन म यस्तो परिस्थितिको सामना गर्नेछु जुन सिद्धान्तमा, बगको कारणले होइन, तर किनभने डाटा यति ठूलो मात्रामा परिवर्तन हुनेछ कि मसँग पर्याप्त मेमोरी हुनेछैन। सर्भर। र त्यसपछि मर्ज गर्दा सर्भर OOM मा क्र्यास हुनेछ। यसबाहेक, म उत्परिवर्तन रद्द गर्न सक्छु, तर मर्जी अब त्यहाँ छैन।

तपाईलाई थाहा छ, मर्ज गर्दा, सर्भर OOM मा पर्दैन, किनकि मर्ज गर्दा, RAM को मात्रा डाटाको एक सानो दायराको लागि मात्र प्रयोग गरिन्छ। त्यसोभए डाटाको मात्रालाई ध्यान नदिई सबै कुरा ठीक हुनेछ।

भ्लादिमिर कोलोबाएव: राम्रो। यहाँ क्षण यस्तो छ कि बग फिक्स गरिसकेपछि, मैले आफ्नै लागि नयाँ संस्करण डाउनलोड गरें, र अर्को टेबलमा, एउटा सानो, जहाँ धेरै विभाजनहरू छन्, मैले यस्तै अपरेशन गरें। र मर्जको समयमा, सर्भरमा लगभग 100 GB RAM जलेको थियो। मसँग 150 ओगटेको थियो, 100 खाइयो, र 50 GB विन्डो बाँकी थियो, त्यसैले म OOM मा परिन।

यदि यसले वास्तवमा १०० GB RAM खपत गर्छ भने OOM मा पर्नबाट मलाई हाल कुन कुराले जोगाउँछ? अचानक मर्जमा RAM सकियो भने के गर्ने?

एलेक्सी मिलोविडोभ: त्यहाँ यस्तो समस्या छ कि विशेष गरी मर्जको लागि RAM को खपत सीमित छैन। र दोस्रो समस्या यो हो कि यदि कुनै प्रकारको मर्ज तोकिएको छ भने, त्यसलाई कार्यान्वयन गर्नुपर्छ किनभने यो प्रतिकृति लगमा रेकर्ड गरिएको छ। प्रतिकृति लग एक सुसंगत अवस्थामा प्रतिकृति ल्याउन आवश्यक कार्यहरु हो। यदि तपाईंले म्यानुअल हेरफेर गर्नुभएन भने यो प्रतिकृति लग फिर्ता हुनेछ, मर्ज कुनै न कुनै तरिकाले प्रदर्शन गर्नुपर्नेछ।

अवश्य पनि, "केसमा मात्र" OOM विरुद्ध सुरक्षा गर्ने RAM सीमितता हुनु अनावश्यक हुनेछैन। यसले मर्जलाई पूरा गर्न मद्दत गर्दैन, यो फेरि सुरु हुनेछ, केही थ्रेसहोल्डमा पुग्नेछ, अपवाद फ्याँक्नुहोस्, र त्यसपछि फेरि सुरु गर्नुहोस् - यसबाट केही राम्रो आउँदैन। तर सिद्धान्तमा, यो प्रतिबन्ध परिचय गर्न उपयोगी हुनेछ।

ClickHouse को लागि Golang ड्राइभर कसरी विकसित हुनेछ?

गोलाङ चालक, जुन किरिल श्वाकोभले लेखेका थिए, अब आधिकारिक रूपमा क्लिकहाउस टोलीद्वारा समर्थित छ। उहाँले ClickHouse भण्डारमा, उहाँ अब ठूलो र वास्तविक हुनुहुन्छ।

एउटा सानो नोट। त्यहाँ अनन्त क्रम को सामान्य रूप को एक अद्भुत र प्रिय भण्डार छ - यो Vertica हो। तिनीहरूको आफ्नै आधिकारिक पाइथन ड्राइभर पनि छ, जुन Vertica विकासकर्ताहरूद्वारा समर्थित छ। र धेरै पटक यो भयो कि भण्डारण संस्करणहरू र ड्राइभर संस्करणहरू नाटकीय रूपमा भिन्न भयो, र ड्राइभरले केही बिन्दुमा काम गर्न छोड्यो। र दोस्रो बिन्दु। यो आधिकारिक ड्राइभरको लागि समर्थन, मलाई लाग्छ, "निप्पल" प्रणाली द्वारा गरिन्छ - तपाईंले तिनीहरूलाई एउटा मुद्दा लेख्नुहुन्छ, र यो सधैंभरि बन्द हुन्छ।

मसँग दुईवटा प्रश्न छन्। अब Kirill को Golang ड्राइभर Golang बाट ClickHouse सँग सञ्चार गर्ने लगभग पूर्वनिर्धारित तरिका हो। जबसम्म कसैले अझै HTTP इन्टरफेस मार्फत सञ्चार गर्दैन किनभने उसलाई त्यो तरिका मनपर्छ। यो चालकको विकास कसरी अगाडि बढ्छ? के यो रिपोजिटरीमा कुनै पनि ब्रेकिंग परिवर्तनहरूसँग सिङ्क्रोनाइज हुनेछ? र मुद्दा विचार गर्ने प्रक्रिया के हो?

किरिल श्वाकोभ: पहिलो कुरा भनेको कसरी सबै कुरा नोकरशाही रूपमा व्यवस्थित हुन्छ। यो बिन्दु छलफल गरिएको छैन, त्यसैले मसँग जवाफ दिन केहि छैन।

मुद्दाको बारेमा प्रश्नको जवाफ दिन, हामीलाई चालकको सानो इतिहास चाहिन्छ। मैले धेरै डाटा भएको कम्पनीमा काम गरें। यो एक विज्ञापन स्पिनर थियो जुन घटनाहरूको ठूलो संख्याको साथ कतै भण्डारण गर्न आवश्यक थियो। र केहि बिन्दुमा क्लिकहाउस देखा पर्‍यो। हामीले यसलाई डाटाले भर्यौं, र सुरुमा सबै ठीक थियो, तर त्यसपछि क्लिकहाउस क्र्यास भयो। त्यो क्षण हामीले निर्णय गर्यौं कि हामीलाई यसको आवश्यकता छैन।

एक वर्ष पछि, हामी क्लिकहाउस प्रयोग गर्ने विचारमा फर्कियौं, र हामीले त्यहाँ कुनै न कुनै रूपमा डेटा लेख्न आवश्यक छ। परिचयात्मक सन्देश यो थियो: हार्डवेयर धेरै कमजोर छ, त्यहाँ थोरै स्रोतहरू छन्। तर हामीले सधैं यसरी काम गरेका छौं, र त्यसैले हामीले नेटिभ प्रोटोकल तिर हेरेका छौं।

हामी गो मा काम गरिरहेको हुनाले, हामीलाई गो ड्राइभर चाहिन्छ भन्ने स्पष्ट थियो। मैले यो लगभग पूरा समय गरें - यो मेरो काम थियो। हामीले यसलाई एक निश्चित बिन्दुमा ल्यायौं, र सैद्धान्तिक रूपमा कसैले पनि हामी बाहेक अरू कसैले यसलाई प्रयोग गर्नेछ भनेर मानेन। त्यसपछि CloudFlare ठ्याक्कै उही समस्याको साथ आयो, र केहि समयको लागि हामीले तिनीहरूसँग धेरै सहज रूपमा काम गर्यौं, किनभने तिनीहरूसँग समान कार्यहरू थिए। यसबाहेक, हामीले यसलाई क्लिकहाउस आफैं र ड्राइभर दुवैमा गर्यौं।

केहि बिन्दुमा, मैले यो गर्न छोडेको छु, किनकि क्लिकहाउस र कामको सन्दर्भमा मेरो गतिविधि अलिकति परिवर्तन भयो। त्यसैले मुद्दाहरू बन्द छैनन्। आवधिक रूपमा, मानिसहरू जसलाई केहि चाहिन्छ तिनीहरू भण्डारमा प्रतिबद्ध हुन्छन्। त्यसपछि म पुल अनुरोध हेर्छु र कहिलेकाहीँ म आफैं पनि केहि सम्पादन गर्छु, तर यो विरलै हुन्छ।

म चालकलाई फर्काउन चाहन्छु। धेरै वर्ष पहिले, जब यो सम्पूर्ण कुरा सुरु भयो, क्लिकहाउस पनि फरक र फरक क्षमताहरूको साथ थियो। अब हामीले ड्राइभरलाई कसरी रिमेक गर्ने भनेर बुझेका छौं ताकि यसले राम्रोसँग काम गर्छ। यदि यो हुन्छ भने, संचित बैसाखीको कारण संस्करण 2 कुनै पनि अवस्थामा असंगत हुनेछ।

मलाई यो कुरा कसरी व्यवस्थित गर्ने थाहा छैन। मसँग धेरै समय छैन। यदि केही व्यक्तिहरूले चालकलाई समाप्त गरे भने, म तिनीहरूलाई मद्दत गर्न सक्छु र तिनीहरूलाई के गर्ने भनेर बताउन सक्छु। तर परियोजनाको विकासमा Yandex को सक्रिय सहभागिता अझै छलफल गरिएको छैन।

एलेक्सी मिलोविडोभ: वास्तवमा, यी चालकहरूको बारेमा कुनै कर्मचारीतन्त्र छैन। केवल कुरा यो हो कि तिनीहरू आधिकारिक संस्थामा पेश गरिएका छन्, त्यो हो, यो ड्राइभर Go को लागि आधिकारिक पूर्वनिर्धारित समाधानको रूपमा मान्यता प्राप्त छ। त्यहाँ अन्य चालकहरू छन्, तर तिनीहरू छुट्टै आउँछन्।

हामीसँग यी चालकहरूको लागि कुनै आन्तरिक विकास छैन। प्रश्न यो हो कि हामी एक व्यक्तिलाई भाडामा लिन सक्छौं, यो विशेष ड्राइभरको लागि होइन, तर सबै सामुदायिक चालकहरूको विकासको लागि, वा बाहिरबाट कसैलाई भेट्टाउन सक्छौं।

lazy_load सेटिङ सक्षम भएको रिबुट पछि बाह्य शब्दकोश लोड हुँदैन। के गर्ने?

हामीसँग lazy_load सेटिङ सक्षम छ, र सर्भर रिबुट भएपछि, शब्दकोश आफै लोड हुँदैन। प्रयोगकर्ताले यो शब्दकोश पहुँच गरेपछि मात्र यो उठाइएको छ। र पहिलो पटक मैले यसलाई पहुँच गरें, यसले त्रुटि दिन्छ। के यो सम्भव छ कि स्वचालित रूपमा क्लिकहाउस प्रयोग गरी शब्दकोशहरू लोड गर्न सकिन्छ, वा प्रयोगकर्ताहरूले त्रुटिहरू प्राप्त नगर्नका लागि तपाईंले सधैं तिनीहरूको तत्परतालाई नियन्त्रण गर्न आवश्यक छ?

सायद हामीसँग ClickHouse को पुरानो संस्करण छ, त्यसैले शब्दकोश स्वतः लोड भएन। यो मामला हुन सक्छ?

सर्वप्रथम, शब्दकोशहरू क्वेरी प्रयोग गरेर जबरजस्ती लोड गर्न सकिन्छ प्रणाली पुन: लोड शब्दकोश। दोस्रो, त्रुटिको सन्दर्भमा - यदि शब्दकोश पहिले नै लोड गरिएको छ भने, क्वेरीहरूले लोड गरिएको डाटामा आधारित काम गर्नेछ। यदि शब्दकोश अझै लोड गरिएको छैन भने, यो अनुरोधको समयमा सीधा लोड हुनेछ।

यो भारी शब्दकोशहरूको लागि धेरै सुविधाजनक छैन। उदाहरणका लागि, तपाईंले MySQL बाट लाखौं पङ्क्तिहरू तान्न आवश्यक छ। कसैले साधारण चयन गर्छ, तर यो चयनले समान लाख पङ्क्तिहरूको लागि पर्खनेछ। यहाँ दुई समाधानहरू छन्। पहिलो lazy_load बन्द गर्न को लागी छ। दोस्रो, सर्भर माथि हुँदा, यसमा लोड राख्नु अघि, गर्नुहोस् प्रणाली पुन: लोड शब्दकोश वा केवल एक प्रश्न गर्नुहोस् जुन एक शब्दकोश प्रयोग गर्दछ। त्यसपछि शब्दकोश लोड हुनेछ। तपाईंले lazy_load सेटिङ सक्षम गरी शब्दकोशहरूको उपलब्धता नियन्त्रण गर्न आवश्यक छ, किनभने ClickHouse ले तिनीहरूलाई स्वचालित रूपमा लोड गर्दैन।

अन्तिम प्रश्नको जवाफ या त संस्करण पुरानो छ वा यसलाई डिबग गर्न आवश्यक छ।

प्रणाली रिलोड शब्दकोशहरूले धेरै शब्दकोशहरू मध्ये कुनै पनि लोड गर्दैन यदि तिनीहरूमध्ये कम्तिमा एउटा त्रुटिको साथ क्र्यास भयो भने के गर्ने?

प्रणाली पुन: लोड शब्दकोश बारे अर्को प्रश्न छ। हामीसँग दुईवटा शब्दकोशहरू छन् - एउटा लोड गरिएको छैन, दोस्रो लोड गरिएको छ। यस अवस्थामा, प्रणाली पुन: लोड शब्दकोशले कुनै पनि शब्दकोश लोड गर्दैन, र तपाईँले प्रणाली पुन: लोड शब्दकोश प्रयोग गरेर यसको नामद्वारा बिन्दु-द्वारा-पोइन्ट लोड गर्नुपर्छ। के यो क्लिकहाउस संस्करणसँग पनि सम्बन्धित छ?

म तिमीलाई खुसी बनाउन चाहन्छु। यो व्यवहार परिवर्तन हुँदै गयो । यसको मतलब यदि तपाइँ क्लिकहाउस अपडेट गर्नुहुन्छ भने, यो पनि परिवर्तन हुनेछ। यदि तपाईं आफ्नो वर्तमान व्यवहार संग सन्तुष्ट हुनुहुन्न भने प्रणाली पुन: लोड शब्दकोश, अपडेट गर्नुहोस्, र आशा गरौं कि यो अझ राम्रोको लागि परिवर्तन हुन्छ।

क्लिकहाउस कन्फिगरमा विवरणहरू कन्फिगर गर्ने तरिका छ, तर त्रुटिहरूको अवस्थामा तिनीहरूलाई प्रदर्शन नगर्ने?

अर्को प्रश्न शब्दकोशसँग सम्बन्धित त्रुटिहरूको बारेमा हो, अर्थात् विवरणहरू। हामीले शब्दकोशको लागि ClickHouse कन्फिगरेसनमा जडान विवरणहरू निर्दिष्ट गरेका छौं, र यदि त्यहाँ त्रुटि छ भने, हामीले जवाफमा यी विवरणहरू र पासवर्ड प्राप्त गर्छौं।

हामीले ODBC ड्राइभर कन्फिगरेसनमा विवरणहरू थपेर यो त्रुटि समाधान गर्यौं। क्लिकहाउस कन्फिगरमा विवरणहरू कन्फिगर गर्ने कुनै तरिका छ, तर त्रुटिहरूको अवस्थामा यी विवरणहरू देखाउनुहुन्न?

यहाँ वास्तविक समाधान odbc.ini मा यी प्रमाणहरू निर्दिष्ट गर्नु हो, र ClickHouse मा ODBC डाटा स्रोत नाम मात्र निर्दिष्ट गर्नुहोस्। यो अन्य शब्दकोश स्रोतहरूको लागि हुने छैन - न MySQL को साथ शब्दकोशको लागि, न अरूको लागि, तपाईंले त्रुटि सन्देश प्राप्त गर्दा पासवर्ड देख्नु हुँदैन। ODBC को लागि, म पनि हेर्छु - यदि यो अवस्थित छ भने, तपाईंले यसलाई हटाउन आवश्यक छ।

बोनस: जमघटबाट जुमका लागि पृष्ठभूमि

तस्विरमा क्लिक गरेर, जमघटहरूबाट बोनस पृष्ठभूमिहरू सबैभन्दा निरन्तर पाठकहरूको लागि खुल्नेछ। हामी एभिटो टेक्नोलोजी मस्कटहरूसँग मिलेर आगो निभाउँछौं, हामी प्रणाली प्रशासकको कोठा वा पुरानो-विद्यालय कम्प्युटर क्लबका सहकर्मीहरूसँग भेट्छौं, र हामी भित्तिचित्रको पृष्ठभूमिमा पुलमुनि दैनिक बैठकहरू सञ्चालन गर्छौं।

स्रोत: www.habr.com