क्लिकहाऊस - टॅबिक्समध्ये दृष्यदृष्ट्या वेगवान आणि अंतर्ज्ञानी डेटा विश्लेषण. इगोर स्ट्रायहार

मी सुचवितो की तुम्ही इगोर स्ट्रायहारच्या 2017 च्या अहवालाचा उतारा वाचा "क्लिकहाऊस - टॅबिक्समध्ये दृश्यमानपणे वेगवान आणि स्पष्ट डेटा विश्लेषण."

Tabix प्रकल्पातील ClickHouse साठी वेब इंटरफेस.
महत्वाची वैशिष्टे:

• अतिरिक्त सॉफ्टवेअर स्थापित न करता थेट ब्राउझरवरून क्लिकहाऊससह कार्य करते;
• वाक्यरचना हायलाइटिंगसह क्वेरी संपादक;
• आदेशांची स्वयंपूर्णता;
• क्वेरी अंमलबजावणीच्या ग्राफिकल विश्लेषणासाठी साधने;
• निवडण्यासाठी रंग योजना.
  

मी SMI2 चा तांत्रिक संचालक आहे. आम्ही न्यूज एक्सचेंज न्यूज एग्रीगेटर आहोत. आम्ही आमच्या भागीदारांकडून प्राप्त केलेला भरपूर डेटा संग्रहित करतो आणि क्लिकहाऊसमध्ये नोंदणी करतो - प्रति सेकंद सुमारे 30 विनंत्या.

हा डेटा आहे जसे की:

• बातम्यांवर क्लिक करतो.
• एग्रीगेटरमध्ये बातम्या प्रदर्शित होतात.
• आमच्या नेटवर्कवर बॅनर प्रदर्शित होतो.
• आणि आम्ही आमच्या स्वतःच्या काउंटरवरून इव्हेंट्सची नोंदणी करतो, जे Yandex.Metrica सारखे आहे. हे आमचे स्वतःचे सूक्ष्म विश्लेषण आहे.

क्लिकहाऊसपूर्वी आमचे खूप व्यस्त जीवन होते. आम्हाला खूप त्रास सहन करावा लागला, हा डेटा कुठेतरी संग्रहित करण्याचा आणि कसा तरी त्याचे विश्लेषण करण्याचा प्रयत्न केला.

क्लिकहाऊसच्या आधीचे जीवन – infiniDB

आमच्याकडे पहिली गोष्ट होती infiniDB. ती 4 वर्षे आमच्यासोबत राहिली. आम्ही ते मोठ्या कष्टाने सुरू केले.

• हे क्लस्टरिंग किंवा शार्डिंगला समर्थन देत नाही. डिफॉल्टनुसार अशा कोणत्याही स्मार्ट गोष्टी बॉक्समधून बाहेर आल्या नाहीत.
• तिला डेटा लोड करण्यात अडचण येत आहे. केवळ एक विशिष्ट कन्सोल उपयुक्तता जी केवळ CSV फाइल लोड करू शकते आणि केवळ काही अगदी अस्पष्ट मार्गाने.
• डेटाबेस सिंगल-थ्रेडेड आहे. आपण एकतर लिहू किंवा वाचू शकता. परंतु त्यामुळे मोठ्या प्रमाणावर डेटावर प्रक्रिया करणे शक्य झाले.
• आणि तिच्याकडे एक मनोरंजक क्रॅच देखील होती. दररोज रात्री सर्व्हर रीबूट करावा लागतो, अन्यथा ते काम करत नव्हते.

तिने 2016 च्या शेवटपर्यंत आमच्यासाठी काम केले, जेव्हा आम्ही पूर्णपणे क्लिकहाऊसवर स्विच केले.

क्लिकहाऊसच्या आधीचे जीवन - कॅसॅंड्रा

infiniDB सिंगल-थ्रेडेड असल्याने, आम्ही ठरवले की आम्हाला एका प्रकारच्या मल्टी-थ्रेडेड डेटाबेसची आवश्यकता आहे ज्यामध्ये आम्ही एकाच वेळी अनेक थ्रेड्स लिहू शकतो.

आम्ही बर्‍याच मनोरंजक गोष्टींचा प्रयत्न केला. मग आम्ही कॅसॅन्ड्राचा प्रयत्न करण्याचा निर्णय घेतला. कॅसांड्राबरोबर सर्व काही छान होते. 10 विनंत्या प्रति सेकंद प्रति बोली. कुठेतरी वाचण्यासाठी 000 विनंत्या.

पण तिचीही स्वतःची आवड होती. महिन्यातून एकदा किंवा दर दोन महिन्यांनी एकदा तिला डेटाबेस डिसिंक्रोनायझेशनचा अनुभव आला. आणि मला उठून कॅसॅन्ड्राला ठीक करण्यासाठी पळावे लागले. सर्व्हर एकामागून एक रीस्टार्ट झाले. आणि सर्व काही गुळगुळीत आणि सुंदर झाले.

क्लिकहाऊसच्या आधीचे जीवन - ड्रुइड

मग आम्हाला समजले की आम्हाला आणखी डेटा लिहिण्याची गरज आहे. 2016 मध्ये आम्ही Druid पाहण्यास सुरुवात केली.

ड्रुइड हे जावामध्ये लिहिलेले ओपन सोर्स सॉफ्टवेअर आहे. अगदी विशिष्ट. आणि ते क्लिकस्ट्रीमसाठी योग्य होते, जेव्हा आम्हाला इव्हेंटचा काही प्रकार संग्रहित करायचा असतो आणि नंतर त्यावर एकत्रीकरण करणे किंवा विश्लेषणात्मक अहवाल तयार करणे आवश्यक असते.

Druid ची आवृत्ती 0.9.X होती.

डेटाबेस स्वतः तैनात करणे खूप कठीण आहे. ही पायाभूत सुविधांची गुंतागुंत आहे. ते उपयोजित करण्यासाठी, भरपूर, भरपूर लोह स्थापित करणे आवश्यक होते. आणि हार्डवेअरचा प्रत्येक तुकडा त्याच्या स्वतंत्र भूमिकेसाठी जबाबदार होता.

त्यात डेटा लोड करण्यासाठी, काही प्रकारचे शमनवाद वापरणे आवश्यक होते. एक ओपनसोर्स प्रकल्प आहे - शांतता, जो प्रवाहात आमच्याकडील डेटा गमावत होता. आम्ही त्यात डेटा लोड केल्यावर, तो गमावला.

पण कशीतरी आम्ही त्याची अंमलबजावणी सुरू केली. आम्ही, हेजहॉग्ज प्रमाणे ज्यांनी औषधे घेतली परंतु कॅक्टस खाणे चालू ठेवले, ते ओळखण्यास सुरुवात केली. त्यासाठी सर्व पायाभूत सुविधा तयार करण्यासाठी आम्हाला सुमारे एक महिना लागला. म्हणजेच, सर्व्हर ऑर्डर करा, भूमिका कॉन्फिगर करा आणि तैनाती पूर्णपणे स्वयंचलित करा. म्हणजेच, क्लस्टर अयशस्वी झाल्यास, दुसरा क्लस्टर आपोआप तैनात केला जाईल.

पण नंतर एक चमत्कार घडला. मी सुट्टीवर होतो आणि माझ्या सहकाऱ्यांनी मला एक लिंक पाठवली habr, जे म्हणते की Yandex ने ClickHouse उघडण्याचा निर्णय घेतला. मी म्हणतो चला प्रयत्न करूया.

आणि अक्षरशः 2 दिवसात आम्ही क्लिकहाऊस चाचणी क्लस्टर तैनात केले. आम्ही त्यात डेटा लोड करण्यास सुरुवात केली. infiniDB च्या तुलनेत, हे प्राथमिक आहे; Druid च्या तुलनेत, हे प्राथमिक आहे. कॅसॅन्ड्राच्या तुलनेत, ते देखील प्राथमिक आहे. कारण जर तुम्ही PHP वरून Cassandra मध्ये डेटा लोड केला तर हे प्राथमिक नाही.

आम्हाला काय मिळाले? गती मध्ये कामगिरी. डेटा स्टोरेज मध्ये कामगिरी. म्हणजेच डिस्क स्पेस खूपच कमी वापरली जाते. क्लिकहाऊस वेगवान आहे, इतर उत्पादनांच्या तुलनेत ते खूप वेगवान आहे.

लॉन्चच्या वेळी, जेव्हा Yandex ने OpenSource मध्ये ClickHouse प्रकाशित केले, तेव्हा फक्त एक कन्सोल क्लायंट होता. आम्ही आमच्या कंपनी SMI2 मध्ये वेबसाठी मूळ क्लायंट बनवण्याचा प्रयत्न करण्याचा निर्णय घेतला, जेणेकरून आम्ही ब्राउझरवरून एक पृष्ठ उघडू शकू, विनंती लिहू शकू आणि परिणाम मिळवू शकू, कारण आम्ही खूप विनंत्या लिहायला सुरुवात केली. कन्सोलमध्ये लिहिणे कठीण आहे. आणि आम्ही आमची पहिली आवृत्ती तयार केली.

आणि गेल्या वर्षीच्या हिवाळ्याच्या जवळ कुठेतरी, क्लिकहाऊससह कार्य करण्यासाठी तृतीय-पक्ष साधने दिसू लागली. ही साधने आहेत जसे की:

• Redash.IO.
• अपाचे झेपेलिन.
• सुपरसेट एअरबीएनबी. (आता https://github.com/apache/incubator-superset)
• जेटब्रेन्स IDE.
• Vertamedia/clickhouse-grafana.

मी यापैकी काही साधने पाहीन, म्हणजे, ज्यांच्यावर मी काम केले आहे.

एक चांगले साधन, पण Druid साठी. जेव्हा ड्र्यूड लागू केले जात होते, तेव्हा मी सुपरसेटची चाचणी घेत होतो. मला तो आवडला. Druid साठी ते खूप वेगवान आहे.

हे क्लिकहाऊससाठी योग्य नाही. म्हणजेच, ते बसते, ते सुरू होते, परंतु केवळ प्राथमिक प्रश्नांवर प्रक्रिया करण्यासाठी तयार आहे जसे की: इव्हेंट SELECT, GROUP BY इव्हेंट. हे अधिक क्लिष्ट क्लिकहाऊस सिंटॅक्सला समर्थन देत नाही.

पुढील साधन अपाचे झेपेलिन आहे. ही एक चांगली आणि मनोरंजक गोष्ट आहे. कार्य करते. हे नोटबुक, डॅशबोर्ड आणि व्हेरिएबल्सचे समर्थन करते. मला माहित आहे की क्लिकहाऊस समुदायातील कोणीतरी ते वापरते.

परंतु क्लिकहाऊस सिंटॅक्ससाठी कोणतेही समर्थन नाही, म्हणजे तुम्हाला कन्सोलमध्ये किंवा इतरत्र कुठेतरी प्रश्न लिहावे लागतील. पुढे, हे सर्व कार्य करते का ते तपासा. हे फक्त गैरसोयीचे आहे. पण यात चांगला डॅशबोर्ड सपोर्ट आहे.

पुढील साधन Redash.IO आहे. Redash इंटरनेटवर होस्ट केले आहे. म्हणजेच, मागील साधनांच्या विपरीत, ते स्थापित करणे आवश्यक नाही. आणि हा एक डॅशबोर्ड आहे ज्यामध्ये विविध डेटासोर्सेसमधील डेटा एकत्रित करण्याची क्षमता आहे. म्हणजेच, तुम्ही ClickHouse वरून, MySQL वरून, PostgreSQL वरून आणि इतर डेटाबेसमधून डाउनलोड करू शकता.

फक्त एक महिन्यापूर्वी (मार्च 2017), ग्राफना मध्ये समर्थन दिसले. जेव्हा तुम्ही Grafana मध्ये अहवाल तयार करता, उदाहरणार्थ, तुमच्या हार्डवेअरच्या स्थितीवर किंवा काही मेट्रिक्सवर, आता तुम्ही थेट ClickHouse मधील डेटावरून समान आलेख किंवा काही प्रकारचे पॅनेल तयार करू शकता. हे खूप सोयीस्कर आहे आणि आम्ही ते स्वतः वापरतो. हे आपल्याला विसंगती शोधण्याची परवानगी देते. म्हणजेच, जर काही घडले आणि काही हार्डवेअर पडले किंवा ताणले गेले, तर हा डेटा क्लिकहाऊसमध्ये येण्यास व्यवस्थापित केले असल्यास आपण त्याचे कारण पाहू शकता.

मला या टूल्समध्ये किंवा कन्सोलमध्ये लिहिणे खूप त्रासदायक वाटले. आणि मी आमचा पहिला इंटरफेस सुधारण्याचा निर्णय घेतला. आणि मला EventSQL, SeperSet, Zeppelin कडून कल्पना मिळाली.

तुला काय हवे होते? मला ग्राफिक्स, एक सुधारित संपादक आणि हिंट डिक्शनरीसाठी समर्थन लागू करायचे होते. कारण क्लिकहाऊसमध्ये एक उत्तम वैशिष्ट्य आहे - शब्दकोश. परंतु शब्दकोषांसह कार्य करणे कठिण आहे, कारण आपल्याला संग्रहित मूल्यांचे स्वरूप लक्षात ठेवणे आवश्यक आहे, म्हणजे संख्या किंवा स्ट्रिंग इत्यादी. आणि आम्ही बर्‍याचदा त्यांच्या भिन्न भिन्नतेमध्ये शब्दकोष वापरत असल्याने, क्वेरी लिहिणे खूप कठीण होते.

आमची पहिली आवृत्ती रिलीज होऊन 3 महिने उलटले आहेत. मी एका खाजगी शाखेत सुमारे 330 कमिट केले आणि ते टॅबिक्स असल्याचे निष्पन्न झाले.

मागील आवृत्तीच्या विपरीत, ज्याला क्लिकहाऊस-फ्रंटेंड म्हणतात, मी त्याचे नाव बदलून साध्या नावावर ठेवण्याचा निर्णय घेतला. आणि ते Tabix बाहेर वळले.

काय दिसू लागले?

आलेख काढतो. क्लिकहाऊस एसक्यूएल सिंटॅक्सचे समर्थन करते. फंक्शन्सवर सल्ला देते आणि बर्याच मनोरंजक गोष्टी करू शकतात.

सामान्य टॅबिक्स योजना असे दिसते. डावीकडे एक झाड आहे. मध्यभागी क्वेरी संपादक आहे. आणि खाली या विनंतीचा परिणाम आहे.

पुढे मी तुम्हाला क्वेरी एडिटर कसे काम करतो ते दाखवतो.

येथे स्वयंपूर्ण हे टेबलवर आपोआप कार्य करते आणि त्यानुसार फील्डसाठी स्वयंपूर्ण करण्यासाठी प्रॉम्प्ट करते. आणि फंक्शन्सवर इशारे. तुम्ही ctrl एंटर दाबल्यास, विनंती कार्यान्वित होईल किंवा त्रुटीसह अयशस्वी होईल. सर्वात सोपी विनंती टॅबिक्सला पाठविली जाते आणि परिणाम प्राप्त होतो, म्हणजे आपण क्लिकहाऊससह द्रुतपणे कार्य करू शकता.

शब्दकोष, जसे मी आधीच सांगितले आहे, ही एक अतिशय मनोरंजक गोष्ट आहे ज्यावर आपण खूप काम करतो. आणि ज्यामुळे आम्हाला अनेक गोष्टी करता आल्या. समजा आम्ही सर्व शहरे शब्दकोषांमध्ये संग्रहित करतो. आम्ही शहर ओळखकर्ता आणि शहराचे नाव, त्याचे अक्षांश आणि रेखांश संग्रहित करतो. आणि डेटाबेसमध्ये आम्ही फक्त शहर ओळखकर्ता संग्रहित करतो. त्यानुसार, आम्ही डेटा अतिशय मजबूतपणे संकुचित करतो.

ही एक साधी गोष्ट आहे असे दिसते, परंतु ते क्लिकहाऊसमध्ये अतिशय मनोरंजक मार्गाने मदत करते. क्लिकहाऊस केवळ नेस्टेड जॉइन्सला समर्थन देते या वस्तुस्थितीमुळे, क्वेरी खाली आणि पुरेशी विस्तृत होते. आणि जेव्हा ब्रॅकेट उघडतो आणि काही लांबलचक अभिव्यक्ती येतात, तेव्हा क्वेरी कोलॅप्स करण्याइतके सोपे काहीतरी क्वेरीसह कार्य करणे सोपे करते. कारण जेव्हा क्वेरी 200-300 ओळी लांब आणि रुंदीमध्ये खूप मोठी असते, तेव्हा क्वेरी कोलॅप्स करणे आणि नंतर काही ठिकाण शोधणे किंवा कसे तरी स्थानिकीकरण करणे खूप उपयुक्त आहे.

ऑब्जेक्ट ट्री, मल्टीक्वेरीज आणि टॅब (व्हिडिओ 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

पुढे मी तुम्हाला झाड आणि टॅबबद्दल दाखवतो. डावीकडे एक झाड आहे; वर तुम्ही अनेक टॅब तयार करू शकता. टॅब कार्यक्षेत्रासारखे आहेत. तुम्ही अनेक टॅब तयार करू शकता आणि प्रत्येकाला वेगळे नाव देऊ शकता. अहवाल तयार करण्यासाठी हे एक मिनी-सिस्टमसारखे आहे.

टॅब आपोआप जतन केले जातात. तुम्ही तुमचा ब्राउझर रीस्टार्ट केल्यास किंवा Tabix बंद केल्यास किंवा उघडल्यास, हे सर्व सेव्ह केले जाईल.

हॉटकी - सोयीस्कर (व्हिडिओ 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

तेथे हॉटकीज आहेत आणि त्यापैकी बरेच आहेत. त्यातील काही उदाहरण म्हणून मी येथे काढले आहेत. हे टॅब स्विच करणे, विनंती कार्यान्वित करणे किंवा अनेक विनंत्या कार्यान्वित करणे आहे.

परिणामासह कसे कार्य करावे ते मी तुम्हाला दाखवतो. आम्ही विनंती पाठवतो. येथे मी sin, cos आणि tg काढत आहे. तुम्ही परिणाम हायलाइट करू शकता, म्हणजे स्तंभासाठी ठराविक नकाशा काढा. तुम्ही सकारात्मक किंवा नकारात्मक मूल्ये हायलाइट करू शकता. किंवा फक्त विशिष्ट टेबल घटक रंगवा. जेव्हा टेबल प्रचंड असेल तेव्हा हे सोयीस्कर आहे आणि आपल्याला आपल्या डोळ्यांसह काही विसंगती शोधण्याची आवश्यकता आहे. मी विसंगती शोधत असताना, मी काही ओळी, काही घटक हिरव्या किंवा लाल रंगात हायलाइट केले.

तेथे खूप मनोरंजक गोष्टी आहेत. उदाहरणार्थ, रेडमाइन मार्कडाउनमध्ये कॉपी कशी करावी. आपल्याला कुठेतरी निकाल कॉपी करण्याची आवश्यकता असल्यास, हे खूप सोयीचे आहे. तुम्ही फक्त एखादे क्षेत्र निवडू शकता, “Copy to Redmine” म्हणा आणि ते Redmine Markdown मध्ये कॉपी करेल किंवा व्हेअर क्वेरी तयार करेल.

पुढे क्वेरी ऑप्टिमायझेशन आहे. मी एकदा "तारीख" फील्ड निर्दिष्ट करण्यास विसरलो. आणि ClickHouse मधील माझ्या विनंतीवर फार लवकर, त्वरीत प्रक्रिया केली गेली नाही, म्हणजे एका सेकंदापेक्षा कमी. तो किती ओळींमधून धावतोय ते पाहून मी घाबरलो. आम्ही एका दिवसात या टेबलवर इतक्या ओळी लिहित नाही. मी विनंतीचे विश्लेषण करण्यास सुरुवात केली आणि पाहिले की मी एका ठिकाणी एक तारीख चुकली आहे. म्हणजेच, मी हे सूचित करण्यास विसरलो की मला संपूर्ण सारणीसाठी डेटा आवश्यक नाही, परंतु विशिष्ट कालावधीसाठी.

टॅबिक्समध्ये एक "आकडेवारी" टॅब आहे, जो पाठवलेल्या विनंत्यांचा संपूर्ण इतिहास संग्रहित करतो, म्हणजे या विनंतीद्वारे किती ओळी वाचल्या गेल्या आणि ते कार्यान्वित करण्यासाठी किती वेळ लागला हे तुम्ही तेथे पाहू शकता. हे ऑप्टिमायझेशनला अनुमती देते.

तुम्ही क्वेरी निकालावर मुख्य सारणी तयार करू शकता. तुम्ही क्लिकहाऊसला विनंती पाठवली आणि काही डेटा प्राप्त झाला. आणि मग तुम्ही हा डेटा तुमच्या माउसने हलवू शकता आणि काही प्रकारचे पिव्होट टेबल तयार करू शकता.

पुढील मनोरंजक गोष्ट म्हणजे प्लॉटिंग. समजा आमच्याकडे खालील विनंती आहे: sin साठी, cos 0 ते 299 पर्यंत. आणि ते काढण्यासाठी, तुम्हाला "ड्रॉ" टॅब निवडणे आवश्यक आहे आणि तुम्हाला तुमच्या sin आणि cos सह आलेख मिळेल.

तुम्ही हे वेगवेगळ्या अक्षांमध्ये विभाजित करू शकता, म्हणजे तुम्ही एकाच वेळी दोन आलेख शेजारी काढू शकता. एक कमांड आणि दुसरी कमांड लिहा.

तुम्ही हिस्टोग्राम काढू शकता.

तुम्ही हे आलेखांच्या मॅट्रिक्समध्ये मोडू शकता.

आपण उष्णता नकाशा तयार करू शकता.

आपण थर्मल कॅलेंडर तयार करू शकता. तसे, ही एक अतिशय सोयीची गोष्ट आहे जेव्हा आपल्याला एका वर्षात विसंगतींचे विश्लेषण करण्याची आवश्यकता असते, म्हणजे, स्पाइक किंवा थेंब शोधा. या डेटा व्हिज्युअलायझेशनने मला यात मदत केली.

पुढे ट्रीमॅप आहे.

Sankeys एक मनोरंजक चार्ट आहे. तो एकतर स्ट्रीमग्राप्स किंवा नदी आहे. पण मी तिला नदी म्हणतो. हे तुम्हाला कोणत्याही विसंगती शोधण्याची परवानगी देते. हे खूप आरामदायक आहे. मी ते शोधण्यासाठी वापरण्याची शिफारस करतो.

पुढील मनोरंजक गोष्ट म्हणजे डायनॅमिक नकाशा काढणे. जर तुम्ही तुमच्या डेटाबेसमध्ये अक्षांश, रेखांश संग्रहित केले आणि म्हणा, गंतव्यस्थान संग्रहित केले तर, उदाहरणार्थ, तुम्ही ट्रकिंग किंवा विमाने उडत असल्यास, तुम्ही गंतव्य मार्ग काढू शकता. तसेच तेथे तुम्ही या वस्तूंचा वेग आणि आकार सेट करू शकता ज्यामध्ये ते उडतात.

पण या नकाशाची अडचण अशी आहे की तो फक्त जगाचा नकाशा काढतो, तपशील नाही.

नंतर मी गुगल मॅप जोडला. तुम्ही अक्षांश, रेखांश संचयित केल्यास, तुम्ही Google नकाशावर निकाल काढू शकता, परंतु विमानाच्या समर्थनाशिवाय.

आम्ही Tabix मध्ये परिणाम आणि प्रश्नांसह कार्य करण्याच्या मुख्य कार्यांवर चर्चा केली आहे.

पुढील तुमच्या क्लिकहाऊस सर्व्हरचे विश्लेषण आहे. एक स्वतंत्र "मेट्रिक्स" टॅब आहे, जिथे तुम्ही प्रत्येक स्तंभासाठी संग्रहित डेटाचा आकार पाहू शकता. स्क्रीनशॉट दर्शवितो की हे "रेफरर" फील्ड सुमारे 730 Gb घेते. आम्ही हे फील्ड सोडल्यास, आम्ही प्रत्येकी 700 GB चे तीन शार्ड्स वाचवू, म्हणजे सुमारे 2 TB ज्याची आम्हाला गरज नाही.

आमच्याकडे "request_id" फील्ड देखील आहे जे आम्ही स्ट्रिंगमध्ये संग्रहित करतो. पण जर आपण ते संख्यात्मक स्वरूपात साठवायला सुरुवात केली तर हे क्षेत्र मोठ्या प्रमाणात आकुंचन पावेल.

हे सर्व्हर कॉन्फिगरेशन आणि तुमच्या क्लस्टरमधील नोड्सची सूची देखील दाखवते.

पुढील टॅब मेट्रिक्स आहे. ते ClickHouse सह रिअलटाइममध्ये प्रवेश करतात आणि तुम्हाला सर्व्हरच्या स्थितीचे विश्लेषण करण्याची आणि त्याचे काय होत आहे ते समजून घेण्याची परवानगी देतात. हे संपूर्ण ग्राफनाची बदली नाही. द्रुत विश्लेषणासाठी हे आवश्यक आहे.

पुढील टॅब प्रक्रिया आहे. त्यांच्याकडून आपण सर्व्हरवर काय चालले आहे ते समजू शकता. तिथे काय चालले आहे ते समजून घ्या. माझी विनंती होती की प्रत्येक वेळी 200 GB वाचन होते. या इंटरफेसमुळे मी हे पाहिले. मी त्याला पकडून सुधारले. आणि ते सुमारे 30 GB होते, म्हणजे काही वेळा कामगिरी.

धन्यवाद! आणि ते OpenSource मध्ये आहे

मी पूर्ण केले. आणि तसे, हे ओपनसोर्स आहे, ते विनामूल्य आहे आणि तुम्हाला ते डाउनलोड करण्याची देखील आवश्यकता नाही. ब्राउझरमध्ये उघडा आणि सर्वकाही कार्य करेल.

प्रश्न

इगोर, पुढे काय? आपण हे साधन कोठे विकसित कराल?

पुढे, डॅशबोर्ड दिसतील, म्हणजे, कदाचित डॅशबोर्ड दिसतील. इतर डेटाबेससह एकत्रीकरण. मी हे केले, परंतु अद्याप ते OpenSource मध्ये प्रकाशित केलेले नाही. हे MySQL आणि शक्यतो PostgreSQL आहे. म्हणजेच, टॅबिक्सकडून केवळ क्लिकहाऊसलाच नव्हे तर इतर साधनांवरही विनंत्या पाठवणे शक्य होईल.

मोठ्या प्रमाणात काम झाल्याचे स्पष्ट झाले आहे. तो एक बऱ्यापैकी पूर्ण कल्पना असल्याचे बाहेर वळले. हे ब्राउझरमध्ये केले गेले होते, वरवर पाहता, सर्व प्रकारच्या अक्षांवर क्रॅच काढून टाकण्यासाठी आणि त्वरीत संपूर्ण गोष्ट एकत्र फेकण्यासाठी. मी ऐकले की तू चालू आहेस php कार्य करा, त्यामुळे ब्राउझरमध्ये टाइप करणे हा सर्वात सोपा मार्ग आहे आणि तो सर्वत्र कार्य करेल. याबद्दल कोणतेही प्रश्न नाहीत. हा प्रश्न आहे. तेथे खरोखर बरेच काही केले गेले आहे. यावर किती लोकांनी काम केले? आणि या सगळ्याला किती वेळ लागला? कारण सानुकूल साधनांमध्ये सहसा इतकी कार्यक्षमता नसते.

आमच्या टीममधील एका व्यक्तीने उन्हाळ्यापासून शरद ऋतूपर्यंत काम केले. ही पहिली आवृत्ती होती. मग मी एकट्याने ३३० कमिट केले. तुम्ही काय पाहता, माझे सहकारी आणि मी ते अर्धे केले. 330 महिन्यांत, अगदी पहिल्या आवृत्तीपासून शेवटच्या आवृत्तीपर्यंत, मी बहुतेक ते एकट्याने केले. पण मला जावास्क्रिप्ट फारशी माहीत नाही. हा माझा एकमेव आणि, मला आशा आहे, माझा शेवटचा Javascript प्रकल्प होता ज्यामध्ये मी काम केले. मला समजले, मी पाहिले - अरे, भयपट. पण मला खरोखर उत्पादन पूर्ण करायचे होते आणि हेच घडले.

अहवालाबद्दल खूप खूप धन्यवाद! हे एक उत्तम साधन आहे. सह टेबल तुम्ही तुलना केली आहे का?

धन्यवाद. म्हणूनच मी त्याचे नाव टॅबिक्स ठेवले आहे, कारण पहिली अक्षरे समान आहेत.

कारण तुम्ही स्पर्धा करता?

भरपूर गुंतवणूक होईल, आम्ही स्पर्धा करू.

आपण अंतर्गत विश्लेषकांना विक्री करण्याची ऑफर कशी देऊ शकता जे हे साधन पूर्णपणे पुनर्स्थित करेल *चित्रपट*? युक्तिवाद काय असतील?

क्लिकहाऊससह मूळपणे कार्य करते. मी टॅब्यूचा प्रयत्न केला, परंतु तुम्ही शब्दकोष आणि सारख्यासाठी समर्थन लिहू शकत नाही. मला माहित आहे की लोक Tabix सोबत कसे काम करतात. ते एक क्वेरी लिहितात, ती CSV वर अपलोड करतात आणि BI वर अपलोड करतात. आणि ते तिथे आधीच काहीतरी करत आहेत. परंतु ते हे कसे करतात याची कल्पना करणे मला कठीण आहे, कारण ते एक ग्राफिकल साधन आहे. ते 5 पंक्ती, कमाल 000 पंक्ती अनलोड करू शकते, परंतु अधिक नाही, अन्यथा ब्राउझर सामना करणार नाही.

म्हणजेच, डेटाच्या प्रमाणात काही गंभीर मर्यादा आहेत, बरोबर?

होय. मी कल्पना करू शकत नाही की तुम्हाला तुमच्या टेबलमध्ये 10 पंक्ती तुमच्या ब्राउझर स्क्रीनवर अपलोड करायच्या आहेत. कशासाठी?

याचा अर्थ हा डेटा पटकन पाहण्याचा इंटरफेस आहे का? थोडं वळवावं, वळवावं?

होय, ते कसे कार्य करते ते पटकन पहा आणि फक्त सारांश आलेख तयार करा. आणि मग कुठेतरी द्या. आमच्याकडे आमची स्वतःची रिपोर्टिंग सिस्टम आहे, जिथून मी फक्त ही विनंती घेतो. मी Tabix मध्ये काढतो आणि आमच्या रिपोर्टिंगला पाठवतो.

आणि दुसरा प्रश्न. समूह विश्लेषण?

काही विनंत्या असतील तर आम्ही त्या जोडू.

तुम्ही ते कधी वापरायला सुरुवात केली? क्लिकहाऊस, अंमलबजावणीला किती वेळ लागला? क्लिकहाऊस आणि आणत आहे उत्पादन राज्य?

मी म्हटल्याप्रमाणे, आम्ही खूप कमी वेळात चाचणी क्लस्टर लागू केले. आम्ही दोन दिवसात ते तैनात केले. आणि आम्ही आणखी काही आठवडे त्याची चाचणी घेतली. आणि आम्ही 3 महिन्यांत उत्पादन गाठले. परंतु आमच्याकडे आमचे स्वतःचे ETL होते, म्हणजेच डेटा रेकॉर्ड करण्याचे साधन. आणि त्याने शक्य तितके लिहिले. तो MongoDB, Cassandra, MySQL मध्ये लिहू शकतो. क्लिकहाऊसमध्ये कसे लिहायचे ते शिकवणे सोपे होते. जलद अंमलबजावणीसाठी आमच्याकडे तयार पायाभूत सुविधा होत्या. 3 महिन्यांत आम्ही पहिला घटक बाहेर टाकण्यास सुरुवात केली. 6 महिन्यांत आम्ही इतर सर्व गोष्टी पूर्णपणे सोडून दिल्या. आमच्याकडे फक्त एक क्लिकहाऊस शिल्लक आहे.

इगोर, अहवालासाठी खूप खूप धन्यवाद. मला नकाशे वापरून मार्ग तयार करण्याची कार्यक्षमता खूप आवडली. Yandex.Maps आणि विशेषतः सानुकूल Yandex.Maps सह एकत्रीकरणासाठी काही योजना आहेत का?

मी Google नकाशाऐवजी समाकलित करण्याचा प्रयत्न केला, परंतु मला Yandex.Maps वर गडद थीम सापडली नाही. मी तुला एक तुकडा सांगितले नाही. मी जोडण्यासाठी रिवाइंड करेन.

स्लाइड - Google नकाशा. तेथे "DRAW_GMAPS" कमांड आहे, जी नकाशा काढते. "DRAW_YMAPS" कमांड आहे, म्हणजे ती Yandex.Map काढू शकते. पण खरं तर, या कमांडखाली जावास्क्रिप्ट आहे, म्हणजे क्लिकहाऊस वरून तुम्हाला मिळणारा डेटा जावास्क्रिप्टमध्ये ट्रान्सफर केला जाऊ शकतो, जो तुम्ही इथे लिहू शकता. आणि आपल्याकडे एक आउटपुट क्षेत्र आहे जिथे ते काढले पाहिजे. तुम्ही कोणताही आलेख काढू शकता, म्हणजे कोणताही आलेख, नकाशा, तुम्ही तुमचा स्वतःचा घटक काढू शकता. याआधी माझ्याकडे स्वतः आलेख काढण्यासाठी दुसरी लायब्ररी होती.

म्हणजेच, प्रदर्शन कार्यक्षमता सानुकूलित करण्यासाठी एक साधन आहे का?

कोणतीही. तुम्ही हे ठिपके घेऊ शकता आणि पुन्हा रंगवू शकता, ते लाल नाही तर निळे, हिरवे बनवू शकता.

अहवालाबद्दल धन्यवाद! तुमच्याकडे पर्यायी क्वेरी टूल्स सादर करणारी स्लाइड होती क्लिकहाऊस डॅशबोर्ड आणि विश्लेषणात्मक अहवाल तयार करण्यासाठी. तू काम करायला सुरुवात केलीस त्या क्षणी मला समजते क्लिकहाऊस, या साधनांसाठी कोणतेही अडॅप्टर लिहिलेले नाहीत. आणि मी आश्चर्यचकित आहे की काही तयार साधनासाठी अॅडॉप्टर लिहिण्याऐवजी तुम्ही स्वतःचे साधन बनवण्याचा निर्णय का घेतला? मला वाटते की चाचणी संपादकाला चिमटा काढणे जलद आहे. एवढं काम करायचं का ठरवलं?

येथे एक मनोरंजक मुद्दा आहे - वस्तुस्थिती अशी आहे की मी एक तांत्रिक संचालक आहे, डेटा वैज्ञानिक नाही. आम्ही ड्रुइडची अंमलबजावणी सुरू केल्यावर, माझ्या रोडमॅपमध्ये सुमारे 50% कार्ये होती - चला याची गणना करूया, किंवा याची गणना करूया किंवा याचे विश्लेषण करूया. आणि असे दिसून आले की आम्ही क्लिकहाऊस लागू केले. आणि त्याने त्वरीत सर्वकाही तयार करण्यास, मोजण्यास सुरुवात केली आणि त्वरीत त्याचा रोडमॅप बंद केला. आणि तोपर्यंत माझ्या लक्षात आले की माझ्याकडे डेटा सायन्स आणि डेटा व्हिज्युअलायझेशनचे ज्ञान नाही. डेटा व्हिज्युअलायझेशन शिकण्यासाठी Tabix हा माझा एक प्रकारचा गृहपाठ आहे. झेपेलिनला कसं पूरक करायचं ते मी बघत होतो. मला त्याच्या प्रोग्रामिंगबद्दल थोडासा नापसंती आहे. Redash मी ते कसे जोडायचे ते पाहिले, परंतु माझ्यासाठी एक सामान्य संपादक पुरेसा होता. आणि सुपरसेट देखील मला आवडत नसलेल्या भाषेत लिहिलेला आहे. आणि म्हणून मी सायकल चालवण्याचा निर्णय घेतला आणि हे घडले.

इगोर, तुम्ही पुल विनंत्या स्वीकारता का?

होय

अहवालाबद्दल खूप खूप धन्यवाद! आणि दोन प्रश्न. प्रथम, आपण याबद्दल फार चापलूसीपणे बोलत नाही जावास्क्रिप्ट. तुम्ही बेअर जावास्क्रिप्टमध्ये लिहीले आहे की हे काही प्रकारचे फ्रेमवर्क आहे?*

बेअर Javascript मध्ये उत्तम.

मग काय फ्रेमवर्क?

टोकदार.

हे स्पष्ट आहे. आणि दुसरा प्रश्न. आपण विचार केला आहे R и *चमकदार**?*

त्याचा विचार केला. खेळले.

आपण फक्त एक अडॅप्टर देखील लिहू शकता.

तो आहे. असे दिसते की समुदायाने ते बनवले आहे, परंतु, मी मागील प्रश्नाचे उत्तर दिल्याप्रमाणे, मला ते स्वतः करून पहायचे होते.

*नाही, व्हिज्युअलायझेशनच्या बाबतीत, ते तिथेही आहे.

तुम्ही म्हणाल की अशी गोष्ट आहे आणि ती तुमचा आलेख काढेल. मी डेटा व्हिज्युअलायझेशन वर एक पुस्तक उघडले. आणि मी विचार केला: “मला हा डेटा व्हिज्युअलायझ करण्याचा प्रयत्न करूया. मी त्याला लिहीन जेणेकरून तो डेटा पुन्हा तयार करू शकेल. ” आणि मला डेटा फीड तंत्रज्ञान अधिक चांगल्या प्रकारे समजू लागले. आणि जर मी तयार केलेला घटक घेतला असता, तर मी वैयक्तिकरित्या ते कसे वापरायचे ते अधिक वाईट शिकले असते, म्हणजेच व्हिज्युअलायझेशन. पण हो, मला R आवडला, पण मी अजून "R for Dummies" हे पुस्तक वाचलेले नाही.

धन्यवाद!

साधा प्रश्न. चिन्ह किंवा वेळापत्रक द्रुतपणे अपलोड करण्याचे काही मार्ग आहेत का?

CSV किंवा Excel वर अपलोड केले जाऊ शकते.

डेटा नाही, पण एक तयार प्लेट, एक तयार आलेख? उदाहरणार्थ, बॉसला दाखवण्यासाठी.

तेथे एक बटण आहे “अपलोड” आणि एक बटण आहे “अपलोड आलेख png मध्ये, jpg मध्ये”.

धन्यवाद!

टॅबिक्स स्थापित करण्यासाठी पीएस मिनी-सूचना

• डाउनलोड करा नवीनतम प्रकाशन
• अनपॅक करा, निर्देशिका कॉपी करा build nginx root_path मध्ये
• nginx कॉन्फिगर करा

स्त्रोत: www.habr.com