ClickHouse - Tabix मा नेत्रहीन छिटो र सहज डेटा विश्लेषण। इगोर स्ट्रिहार

म तपाईंलाई Igor Stryhar द्वारा 2017 रिपोर्टको ट्रान्सक्रिप्ट पढ्न सुझाव दिन्छु "क्लिकहाउस - ट्याबिक्समा दृश्यात्मक रूपमा छिटो र स्पष्ट डेटा विश्लेषण।"

Tabix परियोजनामा ​​ClickHouse को लागि वेब इन्टरफेस।
मुख्य सुविधाहरू:

• अतिरिक्त सफ्टवेयर स्थापना गर्न आवश्यकता बिना, ब्राउजरबाट सीधा ClickHouse संग काम गर्दछ;
• वाक्य रचना हाइलाइटिङ संग प्रश्न सम्पादक;
• आदेशहरूको स्वत: पूर्णता;
• क्वेरी कार्यान्वयनको ग्राफिकल विश्लेषणका लागि उपकरणहरू;
• छनौट गर्न रङ योजनाहरू।
  

म SMI2 को प्राविधिक निर्देशक हुँ। हामी एक समाचार विनिमय समाचार एग्रीगेटर हौं। हामी हाम्रा साझेदारहरूबाट प्राप्त हुने धेरै डाटा भण्डार गर्छौं र यसलाई क्लिकहाउसमा दर्ता गर्छौं - प्रति सेकेन्ड लगभग 30 अनुरोधहरू।

यो डेटा जस्तै हो:

• समाचारमा क्लिक गर्नुहोस्।
• एग्रीगेटरमा समाचार प्रदर्शित हुन्छ।
• ब्यानर हाम्रो नेटवर्कमा प्रदर्शित हुन्छ।
• र हामी घटनाहरू हाम्रो आफ्नै काउन्टरबाट दर्ता गर्छौं, जुन Yandex.Metrica सँग मिल्दोजुल्दो छ। यो हाम्रो आफ्नै सूक्ष्म विश्लेषण हो।

ClickHouse अघि हाम्रो धेरै व्यस्त जीवन थियो। हामीले यो डाटालाई कतै भण्डारण गर्ने र कुनै न कुनै रूपमा विश्लेषण गर्ने प्रयास गर्दै धेरै कष्ट भोग्यौं।

ClickHouse अघि जीवन - infiniDB

हामीसँग पहिलो कुरा infiniDB थियो। उनी हामीसँग ४ वर्षसम्म बसिन् । हामीले कठिनाईका साथ सुरु गर्यौं।

• यसले क्लस्टरिङ वा शार्डिङलाई समर्थन गर्दैन। पूर्वनिर्धारित रूपमा कुनै पनि यस्तो स्मार्ट चीजहरू बक्सबाट बाहिर आएन।
• उसलाई डाटा लोड गर्न कठिनाई छ। केवल एक विशिष्ट कन्सोल उपयोगिता जसले CSV फाइलहरू मात्र लोड गर्न सक्छ र केवल केहि धेरै अस्पष्ट तरिकामा।
• डाटाबेस एकल-थ्रेडेड छ। तपाईं लेख्न वा पढ्न सक्नुहुन्छ। तर यसले ठूलो मात्रामा डाटा प्रशोधन गर्न सम्भव बनायो।
• र उनीसँग एक रोचक बैसाखी पनि थियो। प्रत्येक रात सर्भर रिबुट गर्नुपर्थ्यो, अन्यथा यसले काम गर्दैन।

उनले हाम्रो लागि 2016 को अन्त्य सम्म काम गरिन्, जब हामीले पूर्ण रूपमा क्लिकहाउसमा स्विच गर्यौं।

क्लिकहाउस अघिको जीवन - क्यासान्ड्रा

InfiniDB एकल-थ्रेडेड भएकोले, हामीले निर्णय गर्यौं कि हामीलाई केहि प्रकारको बहु-थ्रेडेड डाटाबेस चाहिन्छ जसमा हामी एकै समयमा धेरै थ्रेडहरू लेख्न सक्छौं।

हामीले धेरै रोचक चीजहरू प्रयास गर्यौं। त्यसपछि हामीले क्यासान्ड्रा प्रयास गर्ने निर्णय गर्यौं। क्यासान्ड्रासँग सबै कुरा राम्रो थियो। प्रति बिड प्रति सेकेन्ड १०,००० अनुरोध। पढ्नको लागि कतै 10 अनुरोधहरू।

तर उनको पनि आफ्नै स्वार्थ थियो । महिनामा एक पटक वा प्रत्येक दुई महिनामा एक पटक उनले डाटाबेस डिसिंक्रोनाइजेसनको अनुभव गरिन्। र म उठेर क्यासान्ड्रालाई ठीक गर्न दौडनु पर्यो। सर्भरहरू एक एक गरेर पुन: सुरु गरियो। र सबै चिल्लो र सुन्दर भयो।

क्लिकहाउस अघिको जीवन - ड्रुइड

त्यसपछि हामीले महसुस गर्यौं कि हामीले अझ धेरै डेटा लेख्नुपर्छ। 2016 मा हामीले Druid हेर्न थाल्यौं।

Druid जाभा मा लेखिएको खुला स्रोत सफ्टवेयर हो। धेरै विशिष्ट। र यो क्लिकस्ट्रिमको लागि उपयुक्त थियो, जब हामीले घटनाहरूको कुनै प्रकारको स्ट्रिम भण्डारण गर्न आवश्यक छ र त्यसपछि तिनीहरूमा एकत्रीकरण प्रदर्शन गर्न वा विश्लेषणात्मक रिपोर्टहरू बनाउन आवश्यक छ।

Druid को संस्करण 0.9.X थियो।

डाटाबेस आफैं तैनात गर्न धेरै गाह्रो छ। यो पूर्वाधारको जटिलता हो। यसलाई प्रयोग गर्न, यो धेरै, धेरै फलाम स्थापना गर्न आवश्यक थियो। र हार्डवेयरको प्रत्येक टुक्रा आफ्नै छुट्टै भूमिकाको लागि जिम्मेवार थियो।

यसमा डाटा लोड गर्न, यो shamanism को केहि प्रकार प्रयोग गर्न आवश्यक थियो। त्यहाँ एउटा OpenSource परियोजना छ - शान्ति, जसले स्ट्रिममा हामीबाट डेटा गुमाउँदै थियो। जब हामीले यसमा डाटा लोड गर्यौं, यसले यसलाई गुमाउँछ।

तर कुनै न कुनै रूपमा कार्यान्वयन गर्न थाल्यौं। हामी, हेजहगहरू जस्तै जसले ड्रग्स लियो तर क्याक्टस खान जारी राख्यो, यसलाई परिचय गर्न थाल्यौं। त्यसका लागि सबै पूर्वाधार तयार गर्न करिब एक महिना लाग्यो । त्यो हो, सर्भरहरू अर्डर गर्नुहोस्, भूमिकाहरू कन्फिगर गर्नुहोस्, र पूर्ण रूपमा स्वचालित तैनाती गर्नुहोस्। त्यो हो, क्लस्टर विफलताको घटनामा, दोस्रो क्लस्टर स्वचालित रूपमा तैनात हुनेछ।

तर त्यसपछि एउटा चमत्कार भयो। म छुट्टीमा थिएँ र मेरा सहकर्मीहरूले मलाई एउटा लिङ्क पठाए habr, जसले भन्छ कि यान्डेक्सले क्लिकहाउस खोल्ने निर्णय गर्यो। म भन्छु प्रयास गरौं।

र शाब्दिक रूपमा २ दिनमा हामीले क्लिकहाउस परीक्षण क्लस्टर तैनात गर्यौं। हामीले यसमा डाटा लोड गर्न थाल्यौं। InfiniDB को तुलनामा, यो प्राथमिक हो; Druid को तुलनामा, यो प्राथमिक हो। क्यासान्ड्राको तुलनामा, यो पनि प्राथमिक हो। किनभने यदि तपाइँ PHP बाट क्यासान्ड्रामा डाटा लोड गर्नुहुन्छ, तब यो प्राथमिक होइन।

हामीले के पायौं? गति मा प्रदर्शन। डाटा भण्डारण मा प्रदर्शन। त्यो हो, धेरै कम डिस्क स्पेस प्रयोग गरिन्छ। ClickHouse छिटो छ, यो अन्य उत्पादनहरु को तुलना मा धेरै छिटो छ।

सुरुवातको समयमा, जब Yandex ले OpenSource मा ClickHouse प्रकाशित गर्यो, त्यहाँ कन्सोल क्लाइन्ट मात्र थियो। हामीले हाम्रो कम्पनी SMI2 मा वेबको लागि नेटिभ ग्राहक बनाउने प्रयास गर्ने निर्णय गर्‍यौं, ताकि हामीले ब्राउजरबाट पृष्ठ खोल्न, अनुरोध लेख्न र परिणाम प्राप्त गर्न सकौं, किनभने हामीले धेरै अनुरोधहरू लेख्न थाल्यौं। कन्सोलमा लेख्न गाह्रो छ। र हामीले हाम्रो पहिलो संस्करण बनायौं।

र कतै गत वर्षको जाडोको नजिक, क्लिकहाउससँग काम गर्ने तेस्रो-पक्ष उपकरणहरू देखा पर्न थाले। यी जस्तै उपकरणहरू छन्:

• Redash.IO.
• Apache Zeppelin.
• Superset Airbnb। (अहिले https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

म यी उपकरणहरू मध्ये केही हेर्नेछु, त्यो हो, ती जुन मैले काम गरेको छु।

एक राम्रो उपकरण, तर Druid को लागी। जब ड्रुइड लागू भइरहेको थियो, मैले सुपरसेटको परीक्षण गरिरहेको थिएँ। मलाई उहाँ मन पर्यो। Druid को लागि यो धेरै छिटो छ।

यो ClickHouse को लागी उपयुक्त छैन। त्यो हो, यो फिट हुन्छ, यो सुरु हुन्छ, तर केवल प्राथमिक प्रश्नहरू जस्तै: SELECT घटना, GROUP BY घटना प्रक्रिया गर्न तयार छ। यसले थप जटिल ClickHouse सिन्ट्याक्सलाई समर्थन गर्दैन।

अर्को उपकरण Apache Zeppelin हो। यो राम्रो र रोचक कुरा हो। काम गर्दछ। यसले नोटबुकहरू, ड्यासबोर्डहरू, र चरहरूलाई समर्थन गर्दछ। मलाई थाहा छ ClickHouse समुदायमा कसैले यसलाई प्रयोग गर्दछ।

तर क्लिकहाउस सिन्ट्याक्सको लागि कुनै समर्थन छैन, अर्थात् तपाईंले कन्सोलमा वा अरू कतै प्रश्नहरू लेख्नुपर्नेछ। अर्को, जाँच गर्नुहोस् कि यो सबै काम गर्दछ। यो केवल असुविधाजनक छ। तर यसमा राम्रो ड्यासबोर्ड समर्थन छ।

अर्को उपकरण Redash.IO हो। Redash इन्टरनेटमा होस्ट गरिएको छ। त्यो हो, अघिल्लो उपकरणहरूको विपरीत, यसलाई स्थापना गर्न आवश्यक छैन। र यो एक ड्यासबोर्ड हो जसमा विभिन्न डाटा स्रोतहरूबाट डाटा समेकित गर्ने क्षमता छ। त्यो हो, तपाईले ClickHouse बाट, MySQL बाट, PostgreSQL बाट र अन्य डेटाबेसबाट डाउनलोड गर्न सक्नुहुन्छ।

एक महिना अघि (मार्च 2017), समर्थन Grafana मा देखा पर्‍यो। जब तपाइँ Grafana मा रिपोर्टहरू बनाउनुहुन्छ, उदाहरणका लागि, तपाइँको हार्डवेयरको स्थिति वा केहि मेट्रिक्समा, अब तपाइँ सीधा ClickHouse बाट डाटाबाट समान ग्राफ वा कुनै प्रकारको प्यानल निर्माण गर्न सक्नुहुन्छ। यो धेरै सुविधाजनक छ, र हामी यसलाई आफै प्रयोग गर्छौं। यसले तपाईंलाई विसंगतिहरू फेला पार्न अनुमति दिन्छ। त्यो हो, यदि केहि हुन्छ र केहि हार्डवेयर झर्छ वा तनावग्रस्त हुन्छ, तब तपाईले कारण हेर्न सक्नुहुन्छ यदि यो डाटा क्लिकहाउसमा पुग्न व्यवस्थित भयो।

मलाई यी उपकरणहरूमा वा कन्सोलमा लेख्न धेरै अप्ठ्यारो लाग्यो। र मैले हाम्रो पहिलो इन्टरफेस सुधार गर्ने निर्णय गरें। र मैले EventSQL, SeperSet, Zeppelin बाट विचार पाएँ।

के चाहियो ? म ग्राफिक्स, एक सुधारिएको सम्पादक, र सङ्केत शब्दकोशहरूको लागि समर्थन लागू गर्न चाहन्छु। किनभने क्लिकहाउससँग एक उत्कृष्ट सुविधा छ - शब्दकोश। तर शब्दकोशहरूसँग काम गर्न गाह्रो छ, किनकि तपाईंले भण्डारण गरिएका मानहरूको ढाँचा याद गर्न आवश्यक छ, अर्थात् यो संख्या वा स्ट्रिङ हो, आदि। र हामीले प्रायः तिनीहरूको भिन्न भिन्नताहरूमा शब्दकोशहरू प्रयोग गर्ने भएकाले, प्रश्नहरू लेख्न निकै गाह्रो थियो।

हाम्रो पहिलो संस्करण जारी भएको 3 महिना बितिसकेको छ। मैले एक निजी शाखामा लगभग 330 कमिटहरू गरे र यो ट्याबिक्स भयो।

अघिल्लो संस्करणको विपरीत, जसलाई ClickHouse-Frontend भनिन्छ, मैले यसलाई साधारण नाममा पुन: नामाकरण गर्ने निर्णय गरें। र यो Tabix बाहिर भयो।

के देखियो ?

ग्राफहरू कोर्छ। क्लिकहाउस SQL ​​सिन्ट्याक्स समर्थन गर्दछ। कार्यहरूमा सल्लाह दिन्छ र धेरै रोचक चीजहरू गर्न सक्छ।

यो सामान्य Tabix योजना जस्तो देखिन्छ। बाँयामा रूख छ। केन्द्रमा प्रश्न सम्पादक छ। र तल यो अनुरोध को परिणाम छ।

अर्को म तपाईंलाई क्वेरी सम्पादकले कसरी काम गर्छ भनेर देखाउनेछु।

यहाँ स्वत: पूर्णताले स्वचालित रूपमा तालिकामा काम गर्दछ र प्रम्प्ट गर्दछ, तदनुसार, क्षेत्रहरूको लागि स्वत: पूर्ण। र कार्यहरूमा संकेतहरू। यदि तपाईंले ctrl इन्टर थिच्नुभयो भने, अनुरोध कार्यान्वयन हुनेछ वा त्रुटिको साथ असफल हुनेछ। सरलतम अनुरोध ट्याबिक्समा पठाइन्छ र परिणाम प्राप्त हुन्छ, अर्थात् क्लिकहाउससँग छिटो काम गर्न सक्नुहुन्छ।

शब्दकोश, मैले पहिले नै भनें, एक धेरै रोचक कुरा हो जसमा हामी धेरै काम गर्छौं। र जसले हामीलाई धेरै चीजहरू गर्न अनुमति दियो। मानौं हामी सबै शहरहरू शब्दकोशमा भण्डार गर्छौं। हामी सहर पहिचानकर्ता र सहरको नाम, यसको अक्षांश र देशान्तर भण्डार गर्छौं। र डाटाबेसमा हामी शहर पहिचानकर्ता मात्र भण्डारण गर्छौं। तदनुसार, हामी डाटालाई धेरै कडा रूपमा कम्प्रेस गर्छौं।

यो एक साधारण कुरा जस्तो देखिन्छ, तर यसले क्लिकहाउसमा धेरै रोचक तरिकामा मद्दत गर्दछ। क्लिकहाउसले नेस्टेड जोइन्टहरूलाई मात्र समर्थन गर्छ भन्ने तथ्यको कारणले, क्वेरी तल र चौडाइमा धेरै बलियो हुन्छ। र जब कोष्ठक खुल्छ र केही लामो अभिव्यक्ति आउँछ, तब क्वेरीलाई संक्षिप्त गर्ने जस्ता एकदम सरल कुराले क्वेरीसँग काम गर्न सजिलो बनाउँछ। किनभने जब क्वेरी 200-300 लाइनहरू लामो र चौडाइमा धेरै ठूलो हुन्छ, यो क्वेरीलाई संक्षिप्त गर्न र त्यसपछि कुनै ठाउँ फेला पार्न वा यसलाई स्थानीयकरण गर्न धेरै उपयोगी हुन्छ।

वस्तु रूख, मल्टिक्वेरी र ट्याबहरू (भिडियो 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

अर्को म तपाईंलाई रूख र ट्याबहरूको बारेमा देखाउनेछु। बाँयामा रूख छ; माथि तपाईं धेरै ट्याबहरू सिर्जना गर्न सक्नुहुन्छ। ट्याबहरू कार्यस्थान जस्तै छन्। तपाईं धेरै ट्याबहरू सिर्जना गर्न सक्नुहुन्छ र प्रत्येकलाई फरक नाम दिन सक्नुहुन्छ। यो एक रिपोर्ट निर्माण को लागी एक मिनी-प्रणाली जस्तै छ।

ट्याबहरू स्वचालित रूपमा बचत हुन्छन्। यदि तपाइँ तपाइँको ब्राउजर पुन: सुरु गर्नुहुन्छ वा Tabix बन्द वा खोल्नुहोस्, यो सबै बचत हुनेछ।

हटकी - सुविधाजनक (भिडियो 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

त्यहाँ हटकीहरू छन् र तिनीहरूमध्ये धेरै छन्। तीमध्ये केहीलाई मैले यहाँ उदाहरणको रूपमा निकालेको छु। यो ट्याबहरू स्विच गर्दै, अनुरोध कार्यान्वयन वा धेरै अनुरोधहरू कार्यान्वयन गर्दैछ।

म तपाईंलाई नतिजाको साथ कसरी काम गर्ने भनेर देखाउनेछु। हामी अनुरोध पठाउँछौं। यहाँ म sin, cos र tg कोर्दै छु। तपाईं परिणाम हाइलाइट गर्न सक्नुहुन्छ, अर्थात् स्तम्भको लागि सामान्य नक्सा कोर्नुहोस्। तपाईं सकारात्मक वा नकारात्मक मानहरू हाइलाइट गर्न सक्नुहुन्छ। वा केवल एक विशिष्ट तालिका तत्व रंग। यो सुविधाजनक छ जब तालिका ठूलो छ र तपाईंले आफ्नो आँखा संग केहि विसंगति खोज्न आवश्यक छ। जब म विसंगतिहरू खोज्दै थिएँ, मैले केही रेखाहरू हाइलाइट गरें, केही तत्वहरू हरियो वा रातोमा।

त्यहाँ धेरै रोचक चीजहरू छन्। उदाहरण को लागी, कसरी Redmine Markdown मा प्रतिलिपि गर्ने। यदि तपाइँ कतै नतिजा प्रतिलिपि गर्न आवश्यक छ भने, यो धेरै सुविधाजनक छ। तपाईं केवल एउटा क्षेत्र चयन गर्न सक्नुहुन्छ, "रेडमाइनमा प्रतिलिपि गर्नुहोस्" भन्नुहोस् र यसले रेडमाइन मार्कडाउनमा प्रतिलिपि गर्नेछ वा जहाँ क्वेरी सिर्जना गर्नेछ।

अर्को क्वेरी अप्टिमाइजेसन हो। मैले एक पटक "मिति" फिल्ड निर्दिष्ट गर्न बिर्सें। र ClickHouse मा मेरो अनुरोध धेरै, धेरै छिटो, तर छिटो, अर्थात् एक सेकेन्ड भन्दा कम प्रशोधन गरिएको थिएन। जब मैले उसले कति लाइनहरू पार गरेको देखे, म डराए। हामी एक दिनमा यस तालिकामा धेरै पङ्क्तिहरू लेख्दैनौं। मैले अनुरोधको विश्लेषण गर्न थालेँ र मैले एक ठाउँमा मिति छुटेको देखेँ। त्यो हो, मैले यो संकेत गर्न बिर्सें कि मलाई सम्पूर्ण तालिकाको लागि डेटा चाहिँदैन, तर एक विशिष्ट अवधिको लागि।

Tabix सँग "आंकडा" ट्याब छ, जसले पठाइएका अनुरोधहरूको सम्पूर्ण इतिहास भण्डारण गर्छ, अर्थात् त्यहाँ तपाईंले यो अनुरोधले कति लाइनहरू पढेका थिए र कार्यान्वयन गर्न कति समय लाग्यो भनेर हेर्न सक्नुहुन्छ। यसले अनुकूलनलाई अनुमति दिन्छ।

तपाईंले क्वेरी परिणाममा पिभोट तालिका बनाउन सक्नुहुन्छ। तपाईंले क्लिकहाउसमा अनुरोध पठाउनुभयो र केही डाटा प्राप्त गर्नुभयो। र त्यसपछि तपाइँ यो डाटालाई तपाइँको माउसले सार्न सक्नुहुन्छ र केहि प्रकारको पिभोट तालिका बनाउन सक्नुहुन्छ।

अर्को रोचक कुरा षड्यन्त्र हो। मानौं हामीसँग निम्न अनुरोध छ: sin, cos 0 देखि 299 सम्म। र यसलाई कोर्नको लागि, तपाईंले "ड्र" ट्याब चयन गर्न आवश्यक छ र तपाईंले आफ्नो sin र cos सहितको ग्राफ प्राप्त गर्नुहुनेछ।

तपाईंले यसलाई विभिन्न अक्षहरूमा विभाजन गर्न सक्नुहुन्छ, अर्थात् तपाईं एकैचोटि दुईवटा ग्राफहरू एकैसाथ कोर्न सक्नुहुन्छ। एउटा आदेश र दोस्रो आदेश लेख्नुहोस्।

तपाईं हिस्टोग्राम कोर्न सक्नुहुन्छ।

तपाईले यसलाई ग्राफको म्याट्रिक्समा तोड्न सक्नुहुन्छ।

तपाईं गर्मी नक्सा बनाउन सक्नुहुन्छ।

तपाईं थर्मल क्यालेन्डर निर्माण गर्न सक्नुहुन्छ। वैसे, यो एक धेरै सुविधाजनक कुरा हो जब तपाइँ एक वर्ष मा विसंगतिहरु को विश्लेषण गर्न को लागी आवश्यक छ, अर्थात्, या त स्पाइक्स वा ड्रपहरू फेला पार्नुहोस्। यो डाटा भिजुअलाइजेशनले मलाई यसमा मद्दत गर्‍यो।

अर्को Treemap हो।

Sankeys एक रोचक चार्ट हो। ऊ या त स्ट्रिमग्राप्स वा नदी हो। तर म यसलाई नदी भन्छु। यसले तपाईंलाई कुनै पनि विसंगतिहरू खोज्न अनुमति दिन्छ। यो धेरै सहज छ। म यसलाई खोजी गर्न प्रयोग गर्न सिफारिस गर्दछु।

अर्को रोचक कुरा एक गतिशील नक्सा कोर्न हो। यदि तपाइँ तपाइँको डाटाबेसमा अक्षांश, देशान्तर भण्डार गर्नुहुन्छ र, भन्नुहोस्, गन्तव्य भण्डार गर्नुहोस्, यदि तपाइँ, उदाहरणका लागि, ट्रक वा हवाइजहाज उडान गर्दै हुनुहुन्छ भने, तपाइँ गन्तव्य मार्गहरू कोर्न सक्नुहुन्छ। साथै त्यहाँ तपाईंले यी वस्तुहरूको गति र आकार सेट गर्न सक्नुहुन्छ जसमा तिनीहरू उड्छन्।

तर यो नक्साको समस्या यो हो कि यसले विश्वको नक्सा मात्र कोर्छ, कुनै विवरण छैन।

पछि मैले गुगल नक्सा थपे। यदि तपाइँ अक्षांश, देशान्तर भण्डार गर्नुहुन्छ भने, तपाइँ Google नक्सामा परिणाम कोर्न सक्नुहुन्छ, तर हवाइजहाज समर्थन बिना।

हामीले Tabix मा परिणाम र प्रश्नहरु संग काम को मुख्य कार्यहरु छलफल गर्यौं।

अर्को तपाईको क्लिकहाउस सर्भरको विश्लेषण हो। त्यहाँ छुट्टै "मेट्रिक्स" ट्याब छ, जहाँ तपाइँ प्रत्येक स्तम्भको लागि भण्डारण गरिएको डेटाको आकार देख्न सक्नुहुन्छ। स्क्रिनसटले देखाउँछ कि यो "रेफरर" फिल्डले लगभग 730 Gb लिन्छ। यदि हामीले यो क्षेत्र त्याग्यौं भने, हामी प्रत्येक 700 GB को तीन शार्डहरू बचत गर्नेछौं, अर्थात् लगभग 2 TB जुन हामीलाई आवश्यक छैन।

हामीसँग "request_id" फिल्ड पनि छ जुन हामीले स्ट्रिङमा भण्डार गर्छौं। तर यदि हामीले यसलाई संख्यात्मक रूपमा भण्डारण गर्न थाल्यौं भने, यो क्षेत्र धेरै संकुचित हुनेछ।

यसले सर्भर कन्फिगरेसन र तपाईंको क्लस्टरमा नोडहरूको सूची पनि देखाउँछ।

अर्को ट्याब मेट्रिक्स हो। तिनीहरू क्लिकहाउसको साथ वास्तविक समयमा जान्छन् र तपाइँलाई सर्भरको अवस्था विश्लेषण गर्न र यसलाई के भइरहेको छ भनेर बुझ्न अनुमति दिन्छ। यो पूर्ण Grafana को लागि प्रतिस्थापन होइन। यो द्रुत विश्लेषणको लागि आवश्यक छ।

अर्को ट्याब प्रक्रिया हो। तिनीहरूबाट तपाईले सर्भरमा के भइरहेको छ भनेर बुझ्न सक्नुहुन्छ। त्यहाँ के भइरहेको छ बुझ्नुहोस्। मसँग एउटा अनुरोध थियो जुन प्रत्येक पटक 200 GB पढ्ने खपत हुन्छ। मैले यो इन्टरफेसलाई धन्यवाद देखेको छु। मैले उसलाई समातेर सच्याएँ। र यो लगभग 30 GB हुन पुग्यो, अर्थात् कहिलेकाहीँ प्रदर्शन।

धन्यवाद! र यो OpenSource मा छ

मैले सके। र वैसे, यो OpenSource हो, यो नि: शुल्क छ र तपाइँ यसलाई डाउनलोड गर्न पनि आवश्यक छैन। यसलाई ब्राउजरमा खोल्नुहोस् र सबै काम हुनेछ।

तपाईंका प्रश्नहरू

इगोर, अब के छ? तपाइँ यो उपकरण कहाँ विकास गर्नुहुन्छ?

अर्को, ड्यासबोर्डहरू देखा पर्नेछ, अर्थात्, सायद ड्यासबोर्डहरू देखा पर्नेछ। अन्य डेटाबेस संग एकीकरण। मैले यो गरें, तर अझै यसलाई OpenSource मा प्रकाशित गरेको छैन। यो MySQL र सम्भवतः PostgreSQL हो। त्यो हो, Tabix बाट अनुरोधहरू क्लिकहाउसमा मात्र होइन, अन्य उपकरणहरूमा पनि पठाउन सम्भव हुनेछ।

ठूलो परिमाणमा काम भएको प्रष्ट हुन्छ । यो एकदम पूर्ण विचार भएको थियो। यो ब्राउजरमा गरिएको थियो, स्पष्ट रूपमा, सबै प्रकारका अक्षहरूमा बैसाखी हटाउन र तुरुन्तै सबै चीजहरू सँगै फाल्न। मैले सुनेको छु कि तपाईं मा हुनुहुन्छ PHP काम गर्नुहोस्, त्यसैले सबैभन्दा सजिलो तरिका ब्राउजरमा टाइप गर्नु हो र यसले जताततै काम गर्नेछ। यस बारे कुनै प्रश्नहरू छैनन्। प्रश्न यो हो। त्यहाँ साँच्चै धेरै काम गरिएको छ। यसमा कति जनाले काम गरे ? र यो सबै कति समय लाग्यो? किनभने अनुकूलन उपकरणहरूमा सामान्यतया त्यति कार्यक्षमता हुँदैन।

हाम्रो टोलीका एकजनाले गर्मीदेखि शरदसम्म काम गरे। यो पहिलो संस्करण थियो। त्यसपछि मैले एक्लै 330 कमिटहरू गरें। तपाईले के देख्नुभयो, मेरो सहकर्मी र मैले यसलाई आधामा गरे। ३ महिनामा, पहिलो संस्करणदेखि अन्तिमसम्म, मैले प्रायः एक्लै गरें। तर मलाई जाभास्क्रिप्ट राम्ररी थाहा छैन। यो मेरो मात्र थियो र, मलाई आशा छ, मेरो अन्तिम जाभास्क्रिप्ट परियोजना जुन मैले काम गरें। मैले बुझें, मैले हेरें - ओह, डरलाग्दो। तर म वास्तवमै उत्पादन समाप्त गर्न चाहन्थें र यो के भयो।

रिपोर्ट को लागी धेरै धेरै धन्यवाद! यो एक महान उपकरण हो। साथ तालिका तुलना गर्नुभयो ?

धन्यवाद। त्यसैले मैले यसलाई Tabix नाम दिए, किनभने पहिलो अक्षरहरू समान छन्।

किनकी तपाइँ प्रतिस्पर्धा गर्नुहुन्छ?

धेरै लगानी हुनेछ, प्रतिस्पर्धा गर्नेछौं ।

तपाईं कसरी आन्तरिक विश्लेषकहरूलाई बेच्न प्रस्ताव गर्न सक्नुहुन्छ कि यो उपकरण पूर्ण रूपमा प्रतिस्थापन हुनेछ *झाली*? तर्कहरु के होलान् ?

ClickHouse संग नेटिभ काम गर्दछ। मैले Tableau को प्रयास गरें, तर तपाईले शब्दकोष र त्यहाँ जस्तै समर्थन लेख्न सक्नुहुन्न। मलाई थाहा छ मानिसहरू कसरी Tabix सँग काम गर्छन्। तिनीहरूले एउटा प्रश्न लेख्छन्, यसलाई CSV मा अपलोड गर्नुहोस् र BI मा अपलोड गर्नुहोस्। र तिनीहरू पहिले नै त्यहाँ केहि गर्दै छन्। तर तिनीहरूले यो कसरी गर्छन् भन्ने कल्पना गर्न मलाई गाह्रो छ, किनभने यो ग्राफिकल उपकरण हो। यसले 5 पङ्क्तिहरू, अधिकतम 000 पङ्क्तिहरू अनलोड गर्न सक्छ, तर थप होइन, अन्यथा ब्राउजरले सामना गर्नेछैन।

त्यो हो, डाटाको मात्रामा केही गम्भीर सीमाहरू छन्, हैन?

हो। म कल्पना गर्न सक्दिन कि तपाइँ तपाइँको ब्राउजर स्क्रिनमा तपाइँको तालिकामा 10 पङ्क्तिहरू अपलोड गर्न चाहानुहुन्छ। के को लागि?

के यो चाँडै डाटा हेर्नको लागि एक इन्टरफेस हो भन्ने हो? यसलाई अलिकति ट्विस्ट गर्नुहोस्, यसलाई घुमाउनुहोस्?

हो, यसले कसरी काम गर्छ छिट्टै हेर्नुहोस् र केवल सारांश ग्राफ बनाउनुहोस्। अनि कतै दिनुहोस्। हामीसँग हाम्रो आफ्नै रिपोर्टिङ प्रणाली छ, जहाँबाट म यो अनुरोध मात्र लिन्छु। म Tabix मा कोरेर हाम्रो रिपोर्टिङमा पठाउँछु।

र अर्को प्रश्न। कोहोर्ट विश्लेषण?

यदि कुनै अनुरोधहरू छन् भने, हामी यसलाई थप्नेछौं।

तपाईंले भर्खरै कहिले प्रयोग गर्न थाल्नुभयो? ClickHouse, कार्यान्वयनमा कति समय लाग्यो? क्लिकहाउस र ल्याउन उत्पादन राज्य?

मैले भनेझैं हामीले धेरै छोटो समयमा परीक्षण क्लस्टर लागू गर्यौं। हामीले दुई दिनभित्रै ल्यायौँ । र हामीले यसलाई थप दुई हप्ताको लागि परीक्षण गर्यौं। र हामी ३ महिनामा उत्पादनमा पुग्यौं। तर हामीसँग हाम्रो आफ्नै ETL थियो, अर्थात् डाटा रेकर्ड गर्ने उपकरण। र उनले आफूले सक्ने सबै कुरा लेखे। उसले MongoDB, Cassandra, MySQL मा लेख्न सक्छ। क्लिकहाउसमा कसरी लेख्ने भनेर सिकाउन सजिलो थियो। हामीसँग द्रुत कार्यान्वयनको लागि पूर्वाधार तयार थियो। 3 महिना भित्र हामीले पहिलो कम्पोनेन्ट बाहिर फाल्न थाल्यौं। ६ महिनामा हामीले अरू सबै कुरा पूरै त्याग्यौं। हामीसँग एउटा क्लिकहाउस मात्र बाँकी छ।

इगोर, रिपोर्ट को लागी धेरै धेरै धन्यवाद। मलाई नक्सा प्रयोग गरेर मार्ग निर्माण गर्ने कार्यक्षमता साँच्चै मन पर्यो। के त्यहाँ Yandex.Maps र विशेष गरी अनुकूलन Yandex.Maps सँग एकीकरणको लागि योजनाहरू छन्?

मैले Google नक्साको सट्टा एकीकृत गर्ने प्रयास गरें, तर मैले Yandex.Maps मा गाढा विषयवस्तु फेला पारेन। मैले तिमीलाई एक टुक्रा भनेकी छैन। म थप्न रिवाइन्ड गर्छु।

स्लाइड - गुगल नक्शा। त्यहाँ "DRAW_GMAPS" आदेश छ, जसले नक्सा कोर्छ। त्यहाँ "DRAW_YMAPS" आदेश छ, अर्थात् यसले Yandex.Map कोर्न सक्छ। तर वास्तवमा, यो आदेश अन्तर्गत जाभास्क्रिप्ट छ, अर्थात् क्लिकहाउसबाट तपाईंले प्राप्त गर्नुभएको डाटा जाभास्क्रिप्टमा स्थानान्तरण गर्न सकिन्छ, जुन तपाईंले यहाँ लेख्नुहुन्छ। र तपाईंसँग एउटा आउटपुट क्षेत्र छ जहाँ यसलाई कोर्नु पर्छ। तपाईं कुनै पनि ग्राफ, अर्थात् कुनै पनि ग्राफ, नक्सा कोर्न सक्नुहुन्छ, तपाईं आफ्नो घटक कोर्न सक्नुहुन्छ। यस अघि, मसँग ग्राफहरू आफैं कोर्ने अर्को पुस्तकालय थियो।

त्यो हो, प्रदर्शन कार्यक्षमता अनुकूलन गर्न को लागी एक उपकरण छ?

कुनै पनि। तपाईंले यी थोप्लाहरू लिन र पुन: रंग गर्न सक्नुहुन्छ, तिनीहरूलाई रातो होइन, तर नीलो, हरियो बनाउन।

रिपोर्ट को लागी धन्यवाद! तपाईंसँग वैकल्पिक क्वेरी उपकरणहरू प्रस्तुत गर्ने स्लाइड थियो क्लिकहाउस ड्यासबोर्डहरू र विश्लेषणात्मक रिपोर्टहरू निर्माण गर्न। तपाईंले काम गर्न थाल्नुभएको क्षणमा मैले बुझें ClickHouse, यी उपकरणहरूको लागि कुनै एडेप्टर लेखिएको छैन। र म अचम्ममा छु किन तपाईंले केही तयार उपकरणको लागि एडेप्टर लेख्नुको सट्टा आफ्नै उपकरण बनाउने निर्णय गर्नुभयो? मलाई लाग्छ कि परीक्षण सम्पादक ट्वीक छिटो छ। किन यति धेरै काम गर्ने निर्णय गर्नुभयो?

यहाँ एउटा रोचक बिन्दु छ - तथ्य यो हो कि म एक प्राविधिक निर्देशक हुँ, डाटा वैज्ञानिक होइन। हामीले Druid लागू गर्न थालेपछि, मेरो रोडम्यापमा लगभग 50% कार्यहरू थिए - यसलाई गणना गरौं, वा यसलाई गणना गरौं, वा यसको विश्लेषण गरौं। र यो बाहिर भयो कि हामीले क्लिकहाउस लागू गर्यौं। र उसले तुरुन्तै सबै चीजहरू निर्माण गर्न थाल्यो, गणना, र चाँडै आफ्नो रोडम्याप बन्द गर्यो। र त्यसबेलासम्म मैले डेटा विज्ञान र डेटा भिजुअलाइजेशनमा ज्ञानको कमी भएको महसुस गरें। Tabix डाटा भिजुअलाइजेशन सिक्नको लागि मेरो गृहकार्य हो। म Zeppelin को पूरक कसरी गर्ने भनेर हेर्दै थिएँ। मलाई उसको प्रोग्रामिङप्रति अलिकति मन नपरेको छ। Redash मैले यसलाई कसरी थप्ने भनेर हेरे, तर एक सामान्य सम्पादक मेरो लागि पर्याप्त थियो। र सुपरसेट पनि मलाई मन नपर्ने भाषामा लेखिएको छ। र त्यसैले मैले साइकल गर्ने निर्णय गरें, र यो के भयो।

इगोर, के तपाइँ पुल अनुरोधहरू स्वीकार गर्नुहुन्छ?

हो।

रिपोर्ट को लागी धेरै धेरै धन्यवाद! र दुई प्रश्न। पहिलो, तपाईं धेरै चापलुसी बोल्नुहुन्न जाभास्क्रिप्ट। के तपाईंले खाली जाभास्क्रिप्टमा लेख्नुभयो वा यो कुनै प्रकारको फ्रेमवर्क हो?*

बेयर जाभास्क्रिप्टमा राम्रो।

त्यसोभए के फ्रेमवर्क?

कोणीय।

यो स्पष्ट छ। र दोस्रो प्रश्न। विचार गर्नुभएको छ R и *चम्किलो**?*

मानेको छ । खेलेको।

तपाईले एडप्टर पनि लेख्न सक्नुहुन्छ।

उहाँ हुनुहुन्छ। यो समुदायले बनाएको जस्तो देखिन्छ, तर, मैले अघिल्लो प्रश्नको जवाफ दिएझैं, म आफैंले यसलाई प्रयास गर्न चाहन्छु।

*होइन, भिजुअलाइजेशनको सन्दर्भमा, यो त्यहाँ पनि छ।

तपाईं भन्नुहुन्छ कि त्यहाँ यस्तो चीज छ र यसले तपाईंलाई ग्राफ कोर्नेछ। मैले डाटा भिजुअलाइजेशनमा एउटा किताब खोलेँ। र मैले सोचे: "मलाई यो डेटा कल्पना गर्ने प्रयास गरौं। म उसलाई लेख्छु ताकि उसले डाटा पुन: निर्माण गर्न सकोस्।" र मैले डाटा आपूर्ति प्रविधिलाई अझ राम्रोसँग बुझ्न थालें। र यदि मैले रेडिमेड कम्पोनेन्ट लिएको भए, मैले व्यक्तिगत रूपमा यसलाई कसरी प्रयोग गर्ने भनेर अझ नराम्रो सिकेको थिएँ, त्यो हो, दृश्य। तर हो, मलाई R मन पर्यो, तर मैले "R for Dummies" किताब पढेको छैन।

धन्यवाद!

सरल प्रश्न। त्यहाँ द्रुत रूपमा साइन वा तालिका अपलोड गर्ने कुनै तरिकाहरू छन्?

CSV वा Excel मा अपलोड गर्न सकिन्छ।

डाटा होइन, तर रेडिमेड प्लेट, रेडिमेड ग्राफ? उदाहरणका लागि, मालिक देखाउन।

त्यहाँ एक बटन "अपलोड" छ र त्यहाँ एक बटन छ "png मा ग्राफ अपलोड गर्नुहोस्, jpg मा"।

धन्यवाद!

ट्याबिक्स स्थापना गर्नका लागि PS मिनी-निर्देशहरू

• डाउनलोड गर्नुहोस् पछिल्लो रिलीज
• अनप्याक गर्नुहोस्, निर्देशिका प्रतिलिपि गर्नुहोस् build nginx root_path मा
• nginx कन्फिगर गर्नुहोस्

स्रोत: www.habr.com