ClickHouse - Tabix இல் பார்வைக்கு வேகமான மற்றும் உள்ளுணர்வு தரவு பகுப்பாய்வு. இகோர் ஸ்ட்ரைஹர்

Igor Stryhar "ClickHouse - Tabix இல் பார்வைக்கு விரைவான மற்றும் தெளிவான தரவு பகுப்பாய்வு" 2017 அறிக்கையின் படியெடுத்தலைப் படிக்க பரிந்துரைக்கிறேன்.

Tabix திட்டத்தில் ClickHouse க்கான இணைய இடைமுகம்.
முக்கிய அம்சங்கள்:

• கூடுதல் மென்பொருளை நிறுவ வேண்டிய அவசியம் இல்லாமல், உலாவியில் இருந்து நேரடியாக ClickHouse உடன் வேலை செய்கிறது;
• தொடரியல் சிறப்பம்சத்துடன் வினவல் எடிட்டர்;
• கட்டளைகளை தானாக நிறைவு செய்தல்;
• வினவல் செயலாக்கத்தின் வரைகலை பகுப்பாய்வுக்கான கருவிகள்;
• தேர்வு செய்ய வண்ண திட்டங்கள்.
  

நான் SMI2 தொழில்நுட்ப இயக்குனர். நாங்கள் செய்தி பரிமாற்ற செய்தி சேகரிப்பாளர். எங்கள் கூட்டாளர்களிடமிருந்து நாங்கள் பெறும் பல தரவை நாங்கள் சேமித்து, கிளிக்ஹவுஸில் பதிவு செய்கிறோம் - வினாடிக்கு சுமார் 30 கோரிக்கைகள்.

இது போன்ற தரவு:

• செய்திகளில் கிளிக் செய்யவும்.
• திரட்டியில் செய்திகள் காட்டப்படும்.
• எங்கள் நெட்வொர்க்கில் பேனர் காட்சிகள்.
• Yandex.Metrica போன்ற எங்கள் சொந்த கவுண்டரில் இருந்து நிகழ்வுகளை பதிவு செய்கிறோம். இது நமது சொந்த நுண் பகுப்பாய்வு ஆகும்.

கிளிக்ஹவுஸுக்கு முன்பு நாங்கள் மிகவும் பரபரப்பான வாழ்க்கையைக் கொண்டிருந்தோம். நாங்கள் மிகவும் கஷ்டப்பட்டோம், இந்தத் தரவை எங்காவது சேமித்து எப்படியாவது பகுப்பாய்வு செய்ய முயற்சிக்கிறோம்.

ClickHouse-க்கு முன் வாழ்க்கை - infiniDB

எங்களிடம் இருந்த முதல் விஷயம் infiniDB. அவர் எங்களுடன் 4 ஆண்டுகள் வாழ்ந்தார். நாங்கள் அதை சிரமத்துடன் தொடங்கினோம்.

• இது கிளஸ்டரிங் அல்லது ஷார்டிங்கை ஆதரிக்காது. இயல்பாக, இதுபோன்ற ஸ்மார்ட் விஷயங்கள் எதுவும் பெட்டியிலிருந்து வெளிவரவில்லை.
• தரவை ஏற்றுவதில் அவளுக்கு சிரமம் உள்ளது. ஒரு குறிப்பிட்ட கன்சோல் பயன்பாடு மட்டுமே CSV கோப்புகளை ஏற்ற முடியும் மற்றும் சில தெளிவற்ற வழியில் மட்டுமே.
• தரவுத்தளமானது ஒற்றை-திரிக்கப்பட்டதாகும். நீங்கள் எழுதலாம் அல்லது படிக்கலாம். ஆனால் இது ஒரு பெரிய அளவிலான தரவை செயலாக்குவதை சாத்தியமாக்கியது.
• மேலும் அவளிடம் ஒரு சுவாரஸ்யமான ஊன்றுகோலும் இருந்தது. ஒவ்வொரு இரவும் சேவையகத்தை மறுதொடக்கம் செய்ய வேண்டும், இல்லையெனில் அது வேலை செய்யாது.

நாங்கள் கிளிக்ஹவுஸுக்கு முற்றிலும் மாறிய 2016 இறுதி வரை அவள் எங்களுக்காக வேலை செய்தாள்.

கிளிக்ஹவுஸுக்கு முன் வாழ்க்கை - கசாண்ட்ரா

infiniDB சிங்கிள்-த்ரெட் செய்யப்பட்டதால், ஒரே நேரத்தில் பல நூல்களை எழுதக்கூடிய பல-திரிக்கப்பட்ட தரவுத்தளம் எங்களுக்குத் தேவை என்று முடிவு செய்தோம்.

நாங்கள் நிறைய சுவாரஸ்யமான விஷயங்களை முயற்சித்தோம். பின்னர் நாங்கள் கசாண்ட்ராவை முயற்சிக்க முடிவு செய்தோம். கசாண்ட்ராவுடன் எல்லாம் நன்றாக இருந்தது. ஒரு ஏலத்திற்கு வினாடிக்கு 10 கோரிக்கைகள். படிக்க எங்கோ 000 கோரிக்கைகள்.

ஆனால் அவளுக்கு அவளுடைய சொந்த நலன்களும் இருந்தன. ஒரு மாதத்திற்கு ஒருமுறை அல்லது இரண்டு மாதங்களுக்கு ஒருமுறை அவள் ஒரு தரவுத்தள ஒத்திசைவை அனுபவித்தாள். கசாண்ட்ராவை சரிசெய்ய நான் எழுந்து ஓட வேண்டியிருந்தது. சேவையகங்கள் ஒவ்வொன்றாக மறுதொடக்கம் செய்யப்பட்டன. மேலும் எல்லாம் மென்மையாகவும் அழகாகவும் மாறியது.

ClickHouse - Druid முன் வாழ்க்கை

இன்னும் அதிகமான தரவுகளை எழுத வேண்டும் என்பதை அப்போது உணர்ந்தோம். 2016 இல் நாங்கள் ட்ரூயிடைப் பார்க்க ஆரம்பித்தோம்.

ட்ரூயிட் என்பது ஜாவாவில் எழுதப்பட்ட ஒரு திறந்த மூல மென்பொருள். மிகவும் குறிப்பிட்டது. சில வகையான நிகழ்வுகளின் ஸ்ட்ரீம்களை சேமித்து, பின்னர் அவற்றை ஒருங்கிணைக்க அல்லது பகுப்பாய்வு அறிக்கைகளை செய்ய வேண்டியிருக்கும் போது, ​​கிளிக்ஸ்ட்ரீமுக்கு ஏற்றது.

ட்ரூயிட் பதிப்பு 0.9.X ஐக் கொண்டிருந்தது.

தரவுத்தளத்தை வரிசைப்படுத்துவது மிகவும் கடினம். இது உள்கட்டமைப்பின் சிக்கலானது. அதை வரிசைப்படுத்த, நிறைய, இரும்பு நிறைய நிறுவ வேண்டியிருந்தது. ஒவ்வொரு வன்பொருளும் அதன் சொந்த தனிப் பாத்திரத்திற்கு பொறுப்பாக இருந்தது.

அதில் தரவை ஏற்ற, ஒருவித ஷாமனிசத்தைப் பயன்படுத்துவது அவசியம். ஓப்பன்சோர்ஸ் திட்டம் உள்ளது - டிரான்குலிட்டி, இது ஸ்ட்ரீமில் எங்களிடமிருந்து தரவை இழக்கிறது. நாங்கள் அதில் தரவை ஏற்றியபோது, ​​​​அது அதை இழந்துவிட்டது.

ஆனால் எப்படியோ அதை செயல்படுத்த ஆரம்பித்தோம். நாங்கள், போதைப்பொருள் உட்கொண்ட முள்ளம்பன்றிகளைப் போல, கற்றாழையைத் தொடர்ந்து சாப்பிட்டோம், அதை அறிமுகப்படுத்த ஆரம்பித்தோம். அதற்கான அனைத்து உள்கட்டமைப்புகளையும் தயார் செய்ய சுமார் ஒரு மாதம் ஆனது. அதாவது, சேவையகங்களை ஆர்டர் செய்தல், பாத்திரங்களை உள்ளமைத்தல் மற்றும் வரிசைப்படுத்தலை முழுமையாக தானியங்குபடுத்துதல். அதாவது, ஒரு கிளஸ்டர் தோல்வி ஏற்பட்டால், இரண்டாவது கிளஸ்டர் தானாகவே பயன்படுத்தப்படும்.

ஆனால் அப்போது ஒரு அதிசயம் நடந்தது. நான் விடுமுறையில் இருந்தேன், எனது சகாக்கள் எனக்கு ஒரு இணைப்பை அனுப்பியுள்ளனர் habr, யாண்டெக்ஸ் கிளிக்ஹவுஸைத் திறக்க முடிவு செய்ததாகக் கூறுகிறது. முயற்சி செய்யலாம் என்று சொல்கிறேன்.

மேலும் 2 நாட்களில் நாங்கள் கிளிக்ஹவுஸ் சோதனைக் கிளஸ்டரைப் பயன்படுத்தினோம். அதில் டேட்டாவை ஏற்ற ஆரம்பித்தோம். infiniDB உடன் ஒப்பிடும்போது, ​​இது அடிப்படையானது; Druid உடன் ஒப்பிடும்போது, ​​இது அடிப்படையானது. கசாண்ட்ராவுடன் ஒப்பிடும்போது, ​​இதுவும் ஆரம்பமானது. ஏனெனில் நீங்கள் PHP இலிருந்து கசாண்ட்ராவில் தரவை ஏற்றினால், இது அடிப்படையானது அல்ல.

நமக்கு என்ன கிடைத்தது? வேகத்தில் செயல்திறன். தரவு சேமிப்பகத்தில் செயல்திறன். அதாவது, மிகவும் குறைவான வட்டு இடம் பயன்படுத்தப்படுகிறது. ClickHouse வேகமானது, மற்ற தயாரிப்புகளுடன் ஒப்பிடும்போது இது மிக வேகமாக உள்ளது.

தொடங்கப்பட்ட நேரத்தில், யாண்டெக்ஸ் கிளிக்ஹவுஸை OpenSource இல் வெளியிட்டபோது, ​​கன்சோல் கிளையன்ட் மட்டுமே இருந்தது. எங்கள் நிறுவனமான SMI2 இல், இணையத்திற்கான சொந்த கிளையண்டை உருவாக்க முயற்சிக்க முடிவு செய்தோம், இதன் மூலம் உலாவியில் இருந்து ஒரு பக்கத்தைத் திறக்கலாம், கோரிக்கையை எழுதலாம் மற்றும் முடிவைப் பெறலாம், ஏனெனில் நாங்கள் நிறைய கோரிக்கைகளை எழுதத் தொடங்கினோம். கன்சோலில் எழுதுவது கடினம். நாங்கள் எங்கள் முதல் பதிப்பை உருவாக்கினோம்.

கடந்த ஆண்டு குளிர்காலத்திற்கு எங்கோ நெருக்கமாக, கிளிக்ஹவுஸுடன் பணிபுரியும் மூன்றாம் தரப்பு கருவிகள் தோன்றத் தொடங்கின. இவை போன்ற கருவிகள்:

• Redash.IO.
• அப்பாச்சி செப்பெலின்.
• சூப்பர்செட் Airbnb. (இப்போது https://github.com/apache/incubator-superset)
• ஜெட்பிரைன்ஸ் ஐடிஇ.
• வெர்டமீடியா/கிளிக்ஹவுஸ்-கிராஃபனா.

இந்த கருவிகளில் சிலவற்றை நான் பார்ப்பேன், அதாவது நான் வேலை செய்தவை.

ஒரு நல்ல கருவி, ஆனால் ட்ரூயிட். ட்ரூயிட் செயல்படுத்தப்படும் போது, ​​நான் SuperSet ஐ சோதனை செய்து கொண்டிருந்தேன். நான் அவரை விரும்பினேன். ட்ரூயிடைப் பொறுத்தவரை இது மிக வேகமாக உள்ளது.

இது ClickHouse க்கு ஏற்றது அல்ல. அதாவது, இது பொருந்தும், அது தொடங்குகிறது, ஆனால் இது போன்ற அடிப்படை வினவல்களை மட்டுமே செயலாக்க தயாராக உள்ளது: நிகழ்வைத் தேர்ந்தெடு, நிகழ்வின் அடிப்படையில் குழு. இது மிகவும் சிக்கலான ClickHouse தொடரியல் ஆதரிக்காது.

அடுத்த கருவி Apache Zeppelin ஆகும். இது ஒரு நல்ல மற்றும் சுவாரஸ்யமான விஷயம். வேலை செய்கிறது. இது குறிப்பேடுகள், டாஷ்போர்டுகள் மற்றும் மாறிகளை ஆதரிக்கிறது. ClickHouse சமூகத்தில் உள்ள ஒருவர் இதைப் பயன்படுத்துகிறார் என்பது எனக்குத் தெரியும்.

ஆனால் ClickHouse தொடரியல் ஆதரவு இல்லை, அதாவது நீங்கள் கன்சோலில் அல்லது வேறு எங்காவது வினவல்களை எழுத வேண்டும். அடுத்து, அனைத்தும் செயல்படுகிறதா என்று சரிபார்க்கவும். இது சிரமமாகத்தான் இருக்கிறது. ஆனால் நல்ல டேஷ்போர்டு ஆதரவு உள்ளது.

அடுத்த கருவி Redash.IO ஆகும். Redash இணையத்தில் வழங்கப்படுகிறது. அதாவது, முந்தைய கருவிகளைப் போலல்லாமல், அதை நிறுவ வேண்டிய அவசியமில்லை. மேலும் இது பல்வேறு தரவு மூலங்களிலிருந்து தரவை ஒருங்கிணைக்கும் திறன் கொண்ட டாஷ்போர்டு ஆகும். அதாவது, கிளிக்ஹவுஸ், MySQL, PostgreSQL மற்றும் பிற தரவுத்தளங்களிலிருந்து பதிவிறக்கம் செய்யலாம்.

ஒரு மாதத்திற்கு முன்பு (மார்ச் 2017), கிராஃபானாவில் ஆதரவு தோன்றியது. நீங்கள் Grafana இல் அறிக்கைகளை உருவாக்கும்போது, ​​எடுத்துக்காட்டாக, உங்கள் வன்பொருளின் நிலை அல்லது சில அளவீடுகளில், இப்போது நீங்கள் ClickHouse இலிருந்து நேரடியாக அதே வரைபடத்தை அல்லது ஒருவித பேனலை உருவாக்கலாம். இது மிகவும் வசதியானது, அதை நாமே பயன்படுத்துகிறோம். இது முரண்பாடுகளைக் கண்டறிய உங்களை அனுமதிக்கிறது. அதாவது, ஏதாவது நடந்தால் மற்றும் சில வன்பொருள் விழுந்தால் அல்லது சிரமப்பட்டால், இந்தத் தரவு ClickHouse இல் செல்ல முடிந்ததா என்பதை நீங்கள் பார்க்கலாம்.

இந்தக் கருவிகளில் அல்லது கன்சோலில் எழுதுவது எனக்கு மிகவும் அருவருப்பாக இருந்தது. எங்கள் முதல் இடைமுகத்தை மேம்படுத்த முடிவு செய்தேன். EventSQL, SeperSet, Zeppelin இலிருந்து எனக்கு யோசனை கிடைத்தது.

உனக்கு என்ன வேண்டும்? கிராபிக்ஸ், மேம்படுத்தப்பட்ட எடிட்டரைப் பெறவும், குறிப்பு அகராதிகளுக்கான ஆதரவைச் செயல்படுத்தவும் விரும்பினேன். ஏனெனில் ClickHouse ஒரு சிறந்த அம்சத்தைக் கொண்டுள்ளது - அகராதிகள். ஆனால் அகராதிகளுடன் பணிபுரிவது கடினம், ஏனென்றால் சேமிக்கப்பட்ட மதிப்புகளின் வடிவமைப்பை நீங்கள் நினைவில் கொள்ள வேண்டும், அதாவது இது ஒரு எண் அல்லது சரம் போன்றவை. மேலும் அகராதிகளை அவற்றின் வெவ்வேறு மாறுபாடுகளில் அடிக்கடி பயன்படுத்துவதால், வினவல்களை எழுதுவது மிகவும் கடினமாக இருந்தது.

எங்கள் முதல் பதிப்பு வெளியாகி 3 மாதங்கள் கடந்துவிட்டன. நான் ஒரு தனியார் கிளையில் சுமார் 330 கமிட்களை செய்தேன், அது Tabix ஆக மாறியது.

ClickHouse-Frontend என அழைக்கப்படும் முந்தைய பதிப்பைப் போலல்லாமல், அதை ஒரு எளிய பெயருக்கு மறுபெயரிட முடிவு செய்தேன். அது Tabix மாறியது.

என்ன தோன்றியது?

வரைபடங்களை வரைகிறது. ClickHouse SQL தொடரியல் ஆதரிக்கிறது. செயல்பாடுகள் பற்றிய ஆலோசனைகளை வழங்குகிறது மற்றும் நிறைய சுவாரஸ்யமான விஷயங்களைச் செய்ய முடியும்.

பொது டேபிக்ஸ் திட்டம் இப்படித்தான் இருக்கும். இடதுபுறம் ஒரு மரம். மையத்தில் வினவல் எடிட்டர் உள்ளது. இந்த கோரிக்கையின் முடிவு கீழே உள்ளது.

வினவல் எடிட்டர் எவ்வாறு செயல்படுகிறது என்பதை அடுத்து நான் உங்களுக்குக் காண்பிப்பேன்.

இங்கே தானியங்குநிரப்புதல் தானாக மேசையில் வேலை செய்து, அதற்கேற்ப, புலங்களுக்கான தானியங்குநிரப்புதலைத் தூண்டுகிறது. மற்றும் செயல்பாடுகள் பற்றிய குறிப்புகள். நீங்கள் ctrl enter ஐ அழுத்தினால், கோரிக்கை செயல்படுத்தப்படும் அல்லது பிழையுடன் தோல்வியடையும். எளிமையான கோரிக்கை Tabix க்கு அனுப்பப்பட்டு முடிவு பெறப்படுகிறது, அதாவது நீங்கள் ClickHouse உடன் விரைவாக வேலை செய்யலாம்.

அகராதிகள், நான் ஏற்கனவே கூறியது போல், நாங்கள் நிறைய வேலை செய்யும் ஒரு சுவாரஸ்யமான விஷயம். மேலும் இது பல விஷயங்களைச் செய்ய எங்களை அனுமதித்தது. எல்லா நகரங்களையும் அகராதிகளில் சேமித்து வைக்கிறோம் என்று வைத்துக்கொள்வோம். நகர அடையாளங்காட்டி மற்றும் நகரத்தின் பெயர், அதன் அட்சரேகை மற்றும் தீர்க்கரேகை ஆகியவற்றை நாங்கள் சேமிக்கிறோம். தரவுத்தளத்தில் நகர அடையாளங்காட்டியை மட்டுமே சேமித்து வைக்கிறோம். அதன்படி, நாங்கள் தரவை மிகவும் வலுவாக சுருக்குகிறோம்.

இது ஒரு எளிய விஷயமாகத் தெரிகிறது, ஆனால் இது கிளிக்ஹவுஸில் மிகவும் சுவாரஸ்யமான முறையில் உதவுகிறது. கிளிக்ஹவுஸ் உள்ளமைக்கப்பட்ட இணைப்புகளை மட்டுமே ஆதரிக்கிறது என்ற உண்மையின் காரணமாக, வினவல் கீழ்நோக்கி மற்றும் அகலத்தில் மிகவும் வலுவாக வளர்கிறது. அடைப்புக்குறி திறக்கப்பட்டு, சில நீண்ட வெளிப்பாடுகள் வரும்போது, ​​வினவலைச் சுருக்குவது போன்ற மிகவும் எளிமையான விஷயம், வினவலுடன் வேலை செய்வதை எளிதாக்குகிறது. ஏனெனில் வினவல் 200-300 கோடுகள் நீளமாகவும் அகலத்தில் மிகப் பெரியதாகவும் இருக்கும் போது, ​​வினவலைச் சுருக்கி, சில இடத்தைக் கண்டுபிடித்து அல்லது எப்படியாவது உள்ளூர்மயமாக்குவது மிகவும் உதவியாக இருக்கும்.

ஆப்ஜெக்ட் ட்ரீ, மல்டிவியூரிஸ் மற்றும் டேப்கள் (வீடியோ 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

அடுத்து மரம் மற்றும் தாவல்களைப் பற்றி நான் உங்களுக்குக் காண்பிப்பேன். இடதுபுறத்தில் ஒரு மரம் உள்ளது; மேலே நீங்கள் பல தாவல்களை உருவாக்கலாம். தாவல்கள் பணியிடம் போன்றவை. நீங்கள் பல தாவல்களை உருவாக்கலாம் மற்றும் ஒவ்வொன்றிற்கும் வித்தியாசமாக பெயரிடலாம். இது ஒரு அறிக்கையை உருவாக்குவதற்கான ஒரு சிறிய அமைப்பு போன்றது.

தாவல்கள் தானாகவே சேமிக்கப்படும். உங்கள் உலாவியை மறுதொடக்கம் செய்தால் அல்லது Tabix ஐ மூடினால் அல்லது திறந்தால், இவை அனைத்தும் சேமிக்கப்படும்.

ஹாட்கி - வசதியானது (வீடியோ 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

ஹாட்ஸ்கிகள் உள்ளன மற்றும் அவற்றில் நிறைய உள்ளன. அவற்றுள் சிலவற்றை இங்கு எடுத்துக்காட்டாகப் பிரித்துள்ளேன். இது தாவல்களை மாற்றுதல், கோரிக்கையை செயல்படுத்துதல் அல்லது பல கோரிக்கைகளை செயல்படுத்துதல்.

முடிவுடன் எவ்வாறு செயல்படுவது என்பதை நான் உங்களுக்குக் காண்பிப்பேன். நாங்கள் ஒரு கோரிக்கையை அனுப்புகிறோம். இங்கே நான் sin, cos மற்றும் tg வரைகிறேன். முடிவை நீங்கள் முன்னிலைப்படுத்தலாம், அதாவது ஒரு நெடுவரிசைக்கான பொதுவான வரைபடத்தை வரையவும். நீங்கள் நேர்மறை அல்லது எதிர்மறை மதிப்புகளை முன்னிலைப்படுத்தலாம். அல்லது ஒரு குறிப்பிட்ட அட்டவணை உறுப்புக்கு வண்ணம் தீட்டவும். அட்டவணை பெரியதாக இருக்கும்போது இது வசதியானது மற்றும் நீங்கள் சில ஒழுங்கின்மையைத் தேட வேண்டும். நான் முரண்பாடுகளைத் தேடும்போது, ​​​​சில வரிகளை, சில கூறுகளை பச்சை அல்லது சிவப்பு நிறத்தில் முன்னிலைப்படுத்தினேன்.

அங்கே நிறைய சுவாரஸ்யமான விஷயங்கள் உள்ளன. எடுத்துக்காட்டாக, Redmine Markdown இல் நகலெடுப்பது எப்படி. நீங்கள் எங்காவது முடிவை நகலெடுக்க வேண்டும் என்றால், இது மிகவும் வசதியானது. நீங்கள் ஒரு பகுதியைத் தேர்ந்தெடுக்கலாம், “ரெட்மைனுக்கு நகலெடு” என்று சொல்லுங்கள், அது ரெட்மைன் மார்க் டவுனில் நகலெடுக்கப்படும் அல்லது எங்கே வினவலை உருவாக்கும்.

அடுத்தது வினவல் தேர்வுமுறை. நான் ஒருமுறை "தேதி" புலத்தை குறிப்பிட மறந்துவிட்டேன். கிளிக்ஹவுஸில் எனது கோரிக்கை மிக மிக விரைவாக செயலாக்கப்படவில்லை, ஆனால் விரைவாக, அதாவது ஒரு வினாடிக்கும் குறைவாக. அவர் எத்தனை வரிகளில் ஓடினார் என்பதைப் பார்த்ததும், நான் பயந்தேன். இந்த அட்டவணையில் ஒரு நாளில் இவ்வளவு வரிசைகளை நாம் எழுதுவதில்லை. நான் கோரிக்கையை பகுப்பாய்வு செய்ய ஆரம்பித்தேன், ஒரே இடத்தில் ஒரு தேதியை தவறவிட்டதைக் கண்டேன். அதாவது, முழு அட்டவணைக்கும் எனக்கு தரவு தேவையில்லை, ஆனால் ஒரு குறிப்பிட்ட காலத்திற்கு என்று குறிப்பிட மறந்துவிட்டேன்.

Tabix இல் "புள்ளிவிவரங்கள்" தாவல் உள்ளது, இது அனுப்பப்பட்ட கோரிக்கைகளின் முழு வரலாற்றையும் சேமிக்கிறது, அதாவது இந்த கோரிக்கையால் எத்தனை வரிகள் படிக்கப்பட்டன மற்றும் அதைச் செயல்படுத்த எவ்வளவு நேரம் ஆனது என்பதை நீங்கள் பார்க்கலாம். இது தேர்வுமுறையை அனுமதிக்கிறது.

வினவல் முடிவின் மீது பைவட் அட்டவணையை உருவாக்கலாம். நீங்கள் ClickHouse க்கு ஒரு கோரிக்கையை அனுப்பி சில தரவைப் பெற்றுள்ளீர்கள். பின்னர் இந்தத் தரவை உங்கள் மவுஸ் மூலம் நகர்த்தி சில வகையான பிவோட் டேபிளை உருவாக்கலாம்.

அடுத்த சுவாரஸ்யமான விஷயம் சதி. எங்களிடம் பின்வரும் கோரிக்கை உள்ளது என்று வைத்துக்கொள்வோம்: பாவத்திற்கு, 0 முதல் 299 வரை. மேலும் அதை வரைய, நீங்கள் "டிரா" தாவலைத் தேர்ந்தெடுக்க வேண்டும், உங்கள் பாவம் மற்றும் காஸ் உடன் ஒரு வரைபடத்தைப் பெறுவீர்கள்.

இதை நீங்கள் வெவ்வேறு அச்சுகளாகப் பிரிக்கலாம், அதாவது ஒரே நேரத்தில் இரண்டு வரைபடங்களை அருகருகே வரையலாம். ஒரு கட்டளையையும் இரண்டாவது கட்டளையையும் எழுதுங்கள்.

நீங்கள் ஹிஸ்டோகிராம்களை வரையலாம்.

இதை வரைபடங்களின் மேட்ரிக்ஸாகப் பிரிக்கலாம்.

நீங்கள் வெப்ப வரைபடத்தை உருவாக்கலாம்.

நீங்கள் ஒரு வெப்ப காலெண்டரை உருவாக்கலாம். மூலம், நீங்கள் ஒரு வருடத்தில் முரண்பாடுகளை பகுப்பாய்வு செய்ய வேண்டியிருக்கும் போது இது மிகவும் வசதியான விஷயம், அதாவது, கூர்முனை அல்லது சொட்டுகளைக் கண்டறியவும். இந்த தரவு காட்சிப்படுத்தல் இதற்கு எனக்கு உதவியது.

அடுத்தது ட்ரீமேப்.

Sankeys ஒரு சுவாரஸ்யமான விளக்கப்படம். அவர் ஸ்ட்ரீம்கிராப்ஸ் அல்லது நதி. ஆனால் நான் அதை நதி என்று அழைக்கிறேன். இது எந்த முரண்பாடுகளையும் பார்க்க உங்களை அனுமதிக்கிறது. இது மிகவும் வசதியானது. தேடுவதற்கு அதைப் பயன்படுத்த பரிந்துரைக்கிறேன்.

அடுத்த சுவாரஸ்யமான விஷயம் டைனமிக் வரைபடத்தை வரைவது. உங்கள் தரவுத்தளத்தில் அட்சரேகை, தீர்க்கரேகை ஆகியவற்றைச் சேமித்து, ஒரு இலக்கை சேமித்து வைத்தால், உதாரணமாக, உங்களிடம் டிரக்கிங் அல்லது விமானங்கள் இருந்தால், நீங்கள் இலக்கு பாதைகளை வரையலாம். அவை பறக்கும் இந்த பொருட்களின் வேகத்தையும் அளவையும் அங்கு நீங்கள் அமைக்கலாம்.

ஆனால் இந்த வரைபடத்தில் உள்ள சிக்கல் என்னவென்றால், இது உலக வரைபடத்தை மட்டுமே வரைகிறது, எந்த விவரமும் இல்லை.

பிறகு கூகுள் மேப் சேர்த்தேன். நீங்கள் அட்சரேகை, தீர்க்கரேகை ஆகியவற்றைச் சேமித்தால், நீங்கள் கூகிள் வரைபடத்தில் முடிவை வரையலாம், ஆனால் விமான ஆதரவு இல்லாமல்.

Tabix இல் முடிவுகள் மற்றும் வினவல்களுடன் பணிபுரிவதன் முக்கிய செயல்பாடுகளை நாங்கள் விவாதித்தோம்.

அடுத்தது உங்கள் ClickHouse சர்வரின் பகுப்பாய்வு. தனித்தனியான "மெட்ரிக்ஸ்" தாவல் உள்ளது, அங்கு ஒவ்வொரு நெடுவரிசைக்கும் சேமிக்கப்பட்ட தரவின் அளவைக் காணலாம். இந்த "பரிந்துரையாளர்" புலம் சுமார் 730 ஜிபி எடுக்கும் என்பதை ஸ்கிரீன்ஷாட் காட்டுகிறது. இந்தத் துறையை நாம் கைவிட்டால், ஒவ்வொன்றும் 700 ஜிபி மூன்று துண்டுகள், அதாவது நமக்குத் தேவையில்லாத சுமார் 2 டிபி சேமிப்போம்.

எங்களிடம் "request_id" புலமும் உள்ளது, அதை நாங்கள் ஒரு சரத்தில் சேமித்து வைக்கிறோம். ஆனால் நாம் அதை எண் வடிவத்தில் சேமிக்கத் தொடங்கினால், இந்த புலம் மிகப்பெரிய அளவில் சுருங்கிவிடும்.

இது சர்வர் உள்ளமைவையும் உங்கள் கிளஸ்டரில் உள்ள முனைகளின் பட்டியலையும் காட்டுகிறது.

அடுத்த தாவல் அளவீடுகள். அவர்கள் ClickHouse மூலம் நிகழ்நேரத்தில் நுழைந்து, சேவையகத்தின் நிலையை ஆய்வு செய்து, அதில் என்ன நடக்கிறது என்பதைப் புரிந்துகொள்ள உங்களை அனுமதிக்கிறார்கள். இது முழு கிராஃபனாவிற்கு மாற்றாக இல்லை. விரைவான பகுப்பாய்வுக்கு இது அவசியம்.

அடுத்த தாவல் செயல்முறைகள். அவர்களிடமிருந்து சர்வரில் என்ன நடக்கிறது என்பதை நீங்கள் புரிந்து கொள்ளலாம். அங்கு என்ன நடக்கிறது என்பதைப் புரிந்து கொள்ளுங்கள். ஒவ்வொரு முறையும் 200 ஜிபி படிக்கும் கோரிக்கை எனக்கு இருந்தது. இந்த இடைமுகத்திற்கு நன்றி என்று நான் இதைப் பார்த்தேன். அவனைப் பிடித்து திருத்தினேன். மேலும் இது சுமார் 30 ஜிபி ஆக மாறியது, அதாவது சில நேரங்களில் செயல்திறன்.

நன்றி! இது OpenSource இல் உள்ளது

முடித்துவிட்டேன். மேலும், இது ஓபன் சோர்ஸ், இது இலவசம் மற்றும் நீங்கள் அதை பதிவிறக்கம் செய்ய தேவையில்லை. உலாவியில் திறக்கவும், எல்லாம் வேலை செய்யும்.

உங்கள் கேள்விகள்

இகோர், அடுத்து என்ன? இந்தக் கருவியை எங்கு உருவாக்குவீர்கள்?

அடுத்து, டாஷ்போர்டுகள் தோன்றும், அதாவது, ஒருவேளை டாஷ்போர்டுகள் தோன்றும். பிற தரவுத்தளங்களுடன் ஒருங்கிணைப்பு. நான் இதைச் செய்தேன், ஆனால் அதை இன்னும் OpenSource இல் வெளியிடவில்லை. இது MySQL மற்றும் PostgreSQL ஆக இருக்கலாம். அதாவது, Tabix இலிருந்து கோரிக்கைகளை ClickHouse க்கு மட்டுமல்ல, பிற கருவிகளுக்கும் அனுப்ப முடியும்.

பெரிய அளவில் வேலை செய்யப்பட்டுள்ளது என்பது தெளிவாகிறது. இது ஒரு முழுமையான யோசனையாக மாறியது. இது உலாவியில் செய்யப்பட்டது, வெளிப்படையாக, அனைத்து வகையான அச்சுகளிலும் ஊன்றுகோல்களை அகற்றி, விரைவாக முழு விஷயத்தையும் ஒன்றாக தூக்கி எறிய வேண்டும். நீங்கள் இருக்கிறீர்கள் என்று கேள்விப்பட்டேன் PHP வேலை, எனவே உலாவியில் தட்டச்சு செய்வது எளிதான வழி, அது எல்லா இடங்களிலும் வேலை செய்யும். இதைப் பற்றி எந்த கேள்வியும் இல்லை. கேள்வி இதுதான். உண்மையில் அங்கு நிறைய செய்யப்பட்டுள்ளது. இதில் எத்தனை பேர் வேலை பார்த்தார்கள்? மற்றும் எவ்வளவு நேரம் எடுத்தது? ஏனெனில் தனிப்பயன் கருவிகள் பொதுவாக அதிக செயல்பாடுகளைக் கொண்டிருக்கவில்லை.

எங்கள் குழுவிலிருந்து ஒருவர் கோடையில் இருந்து இலையுதிர் காலம் வரை பணியாற்றினார். இதுவே முதல் பதிப்பு. பிறகு தனியாக 330 கமிட் செய்தேன். நீங்கள் என்ன பார்க்கிறீர்கள், நானும் எனது சக ஊழியரும் பாதியில் செய்தோம். 3 மாதங்களில், முதல் பதிப்பு முதல் கடைசி வரை, நான் தனியாக செய்தேன். ஆனால் எனக்கு ஜாவாஸ்கிரிப்ட் நன்றாகத் தெரியாது. இது எனது ஒரே மற்றும், நான் பணிபுரிந்த எனது கடைசி ஜாவாஸ்கிரிப்ட் திட்டமாகும். எனக்கு கிடைத்தது, நான் பார்த்தேன் - ஓ, திகில். ஆனால் நான் உண்மையில் தயாரிப்பை முடிக்க விரும்பினேன், இதுதான் நடந்தது.

அறிக்கைக்கு மிக்க நன்றி! இது ஒரு சிறந்த கருவி. உடன் அட்டவணை நீங்கள் ஒப்பிட்டுப் பார்த்தீர்களா?

நன்றி. அதனால்தான் முதல் எழுத்துக்கள் ஒரே மாதிரியாக இருப்பதால் அதற்கு Tabix என்று பெயரிட்டேன்.

நீங்கள் போட்டியிடுவதால்?

நிறைய முதலீடு இருக்கும், நாங்கள் போட்டியிடுவோம்.

இந்த கருவி முற்றிலும் மாற்றியமைக்கப்படும் என்பதை உள் ஆய்வாளர்களுக்கு எவ்வாறு விற்கலாம் *அட்டவணை*? வாதங்கள் என்னவாக இருக்கும்?

ClickHouse உடன் சொந்தமாக வேலை செய்கிறது. நான் Tableau ஐ முயற்சித்தேன், ஆனால் நீங்கள் அகராதிகளுக்கு ஆதரவை எழுத முடியாது. Tabix உடன் மக்கள் எவ்வாறு செயல்படுகிறார்கள் என்பது எனக்குத் தெரியும். அவர்கள் ஒரு வினவல் எழுதி, அதை CSV இல் பதிவேற்றி BI க்கு பதிவேற்றுகிறார்கள். அவர்கள் ஏற்கனவே அங்கு ஏதாவது செய்து கொண்டிருக்கிறார்கள். ஆனால் அவர்கள் இதை எப்படி செய்கிறார்கள் என்று கற்பனை செய்வது எனக்கு கடினமாக உள்ளது, ஏனெனில் இது ஒரு வரைகலை கருவி. இது 5 வரிசைகளை இறக்கலாம், அதிகபட்சம் 000 வரிசைகள், ஆனால் இனி இல்லை, இல்லையெனில் உலாவி சமாளிக்காது.

அதாவது, தரவு அளவு மீது சில தீவிர வரம்புகள் உள்ளன, இல்லையா?

ஆம். உங்கள் உலாவித் திரையில் 10 வரிசைகளை உங்கள் அட்டவணையில் பதிவேற்ற விரும்புவீர்கள் என்று என்னால் கற்பனை செய்து பார்க்க முடியவில்லை. எதற்காக?

இது தரவை விரைவாகப் பார்ப்பதற்கான இடைமுகம் என்று அர்த்தமா? கொஞ்சம் முறுக்குவா, முறுக்குவா?

ஆம், இது எவ்வாறு செயல்படுகிறது என்பதை விரைவாகப் பார்த்து, சுருக்க வரைபடத்தை உருவாக்கவும். பின்னர் எங்காவது கொடுங்கள். எங்களிடம் எங்கள் சொந்த அறிக்கையிடல் அமைப்பு உள்ளது, இந்த கோரிக்கையை நான் ஏற்றுக்கொள்கிறேன். நான் Tabix இல் வரைந்து அதை எங்கள் அறிக்கையிடலுக்கு அனுப்புகிறேன்.

மற்றும் மற்றொரு கேள்வி. கூட்டு பகுப்பாய்வு?

ஏதேனும் கோரிக்கைகள் இருந்தால், அதைச் சேர்ப்போம்.

நீங்கள் எப்போது பயன்படுத்த ஆரம்பித்தீர்கள்? கிளிக்ஹவுஸ், செயல்படுத்த எவ்வளவு நேரம் ஆனது? கிளிக்ஹவுஸ் மற்றும் கொண்டு வரும் உற்பத்தி நிலை?

நான் சொன்னது போல், நாங்கள் ஒரு சோதனை கிளஸ்டரை மிகக் குறுகிய காலத்தில் செயல்படுத்தினோம். இரண்டு நாட்களில் அதை நாங்கள் பயன்படுத்தினோம். மேலும் இரண்டு வாரங்களுக்கு நாங்கள் அதை சோதித்தோம். நாங்கள் 3 மாதங்களில் உற்பத்தியை அடைந்தோம். ஆனால் எங்களிடம் எங்களுடைய சொந்த ETL இருந்தது, அதாவது தரவைப் பதிவு செய்வதற்கான ஒரு கருவி. மேலும் அவர் தன்னால் முடிந்த அனைத்தையும் எழுதினார். அவர் MongoDB, Cassandra, MySQL இல் எழுதலாம். கிளிக்ஹவுஸில் எப்படி எழுதுவது என்று அவருக்குக் கற்றுக்கொடுப்பது எளிதாக இருந்தது. விரைவான செயல்படுத்தலுக்கான ஆயத்த உள்கட்டமைப்பு எங்களிடம் இருந்தது. 3 மாதங்களுக்குள் நாங்கள் முதல் பாகத்தை தூக்கி எறிய ஆரம்பித்தோம். 6 மாதங்களில் நாங்கள் எல்லாவற்றையும் முற்றிலும் கைவிட்டோம். எங்களிடம் ஒரு கிளிக்ஹவுஸ் மட்டுமே உள்ளது.

இகோர், அறிக்கைக்கு மிக்க நன்றி. வரைபடங்களைப் பயன்படுத்தி பாதைகளை உருவாக்கும் செயல்பாடு எனக்கு மிகவும் பிடித்திருந்தது. Yandex.Maps மற்றும் குறிப்பாக தனிப்பயன் Yandex.Maps உடன் ஒருங்கிணைப்பதற்கான திட்டங்கள் ஏதேனும் உள்ளதா?

நான் Google வரைபடத்திற்குப் பதிலாக ஒருங்கிணைக்க முயற்சித்தேன், ஆனால் Yandex.Maps இல் இருண்ட தீம் கிடைக்கவில்லை. நான் ஒரு துளியும் சொல்லவில்லை. நான் சேர்ப்பதற்கு ரீவைண்ட் செய்கிறேன்.

ஸ்லைடு - கூகுள் மேப். "DRAW_GMAPS" கட்டளை உள்ளது, இது ஒரு வரைபடத்தை வரைகிறது. "DRAW_YMAPS" கட்டளை உள்ளது, அதாவது இது ஒரு Yandex.Map ஐ வரையலாம். ஆனால் உண்மையில், இந்த கட்டளையின் கீழ் ஜாவாஸ்கிரிப்ட் உள்ளது, அதாவது கிளிக்ஹவுஸிலிருந்து நீங்கள் பெறும் தரவை நீங்கள் இங்கு எழுதும் ஜாவாஸ்கிரிப்ட்டுக்கு மாற்றலாம். அது வரையப்பட வேண்டிய ஒரு வெளியீட்டுப் பகுதி உங்களிடம் உள்ளது. நீங்கள் எந்த வரைபடத்தையும் வரையலாம், அதாவது எந்த வரைபடம், வரைபடம், உங்கள் சொந்த கூறுகளை வரையலாம். இதற்கு முன், வரைபடங்களை தாங்களாகவே வரைவதற்கு என்னிடம் மற்றொரு நூலகம் இருந்தது.

அதாவது, காட்சி செயல்பாட்டைத் தனிப்பயனாக்க ஒரு கருவி உள்ளதா?

ஏதேனும். இந்த புள்ளிகளை நீங்கள் எடுத்து மீண்டும் வண்ணமயமாக்கலாம், அவற்றை சிவப்பு அல்ல, ஆனால் நீலம், பச்சை.

அறிக்கைக்கு நன்றி! மாற்று வினவல் கருவிகளை வழங்கும் ஸ்லைடு உங்களிடம் உள்ளது கிளிக்ஹவுஸ் டாஷ்போர்டுகள் மற்றும் பகுப்பாய்வு அறிக்கைகளை உருவாக்குவதற்கு. நீங்கள் வேலை செய்யத் தொடங்கிய தருணத்தில் நான் அதை புரிந்துகொள்கிறேன் ClickHouse, இந்தக் கருவிகளுக்கு எந்த அடாப்டர்களும் எழுதப்படவில்லை. சில ஆயத்த கருவிகளுக்கு அடாப்டரை எழுதுவதற்குப் பதிலாக உங்கள் சொந்த கருவியை ஏன் உருவாக்க முடிவு செய்தீர்கள் என்று நான் ஆச்சரியப்படுகிறேன்? சோதனை எடிட்டரை மாற்றுவது விரைவானது என்று நான் நினைக்கிறேன். நீங்கள் ஏன் இவ்வளவு வேலை செய்ய முடிவு செய்தீர்கள்?

இங்கே ஒரு சுவாரஸ்யமான விஷயம் உள்ளது - உண்மை என்னவென்றால் நான் ஒரு தொழில்நுட்ப இயக்குனர், தரவு விஞ்ஞானி அல்ல. நாங்கள் ட்ரூயிடைச் செயல்படுத்தத் தொடங்கிய நேரத்தில், எனது சாலை வரைபடத்தில் சுமார் 50% பணிகள் இருந்தன - இதைக் கணக்கிடலாம் அல்லது இதைக் கணக்கிடலாம் அல்லது பகுப்பாய்வு செய்யலாம். நாங்கள் கிளிக்ஹவுஸை செயல்படுத்தினோம் என்று மாறியது. அவர் எல்லாவற்றையும் விரைவாக உருவாக்கத் தொடங்கினார், எண்ணி, விரைவாக தனது வரைபடத்தை மூடினார். அந்த நேரத்தில் தரவு அறிவியல் மற்றும் தரவு காட்சிப்படுத்தலில் எனக்கு அறிவு இல்லை என்பதை உணர்ந்தேன். டேபிக்ஸ் என்பது தரவு காட்சிப்படுத்தலைக் கற்றுக்கொள்வதற்கான எனது வீட்டுப்பாடம். செப்பெலினை எப்படி நிரப்புவது என்று பார்த்துக் கொண்டிருந்தேன். அவருடைய ப்ரோகிராமிங் மீது எனக்கு ஒரு சிறு வெறுப்பு உண்டு. Redash எப்படி சேர்ப்பது என்று பார்த்தேன், ஆனால் எனக்கு ஒரு சாதாரண எடிட்டர் போதும். மேலும் SuperSet எனக்குப் பிடிக்காத மொழியிலும் எழுதப்பட்டுள்ளது. அதனால் நான் சைக்கிள் ஓட்ட முடிவு செய்தேன், இதுதான் நடந்தது.

இகோர், இழுக்கும் கோரிக்கைகளை ஏற்கிறீர்களா?

ஆமாம்.

அறிக்கைக்கு மிக்க நன்றி! மற்றும் இரண்டு கேள்விகள். முதலில், நீங்கள் மிகவும் முகஸ்துதியாக பேசவில்லை ஜாவாஸ்கிரிப்ட். நீங்கள் வெறும் ஜாவாஸ்கிரிப்டில் எழுதினீர்களா அல்லது இது ஒருவித கட்டமைப்பா?*

வெறும் ஜாவாஸ்கிரிப்டில் சிறந்தது.

எனவே என்ன கட்டமைப்பு?

கோணல்.

தெளிவாக உள்ளது. மற்றும் இரண்டாவது கேள்வி. சிந்தித்துப் பார்த்தீர்களா R и *பளபளக்கும்**?*

கருதியது. உடன்.

நீங்கள் ஒரு அடாப்டரை எழுதலாம்.

அவன் ஒரு. சமூகம் அதை உருவாக்கியது போல் தெரிகிறது, ஆனால், முந்தைய கேள்விக்கு நான் பதிலளித்ததால், அதை நானே முயற்சிக்க விரும்பினேன்.

*இல்லை, காட்சிப்படுத்தல் குறித்து, அதுவும் இருக்கிறது.

அப்படி ஒன்று இருப்பதாகச் சொல்கிறீர்கள் அது உங்களுக்கு ஒரு வரைபடத்தை வரைந்துவிடும். தரவு காட்சிப்படுத்தல் பற்றிய புத்தகத்தைத் திறந்தேன். நான் நினைத்தேன்: “இந்தத் தரவைக் காட்சிப்படுத்த முயற்சிக்கிறேன். நான் அவருக்கு எழுதுகிறேன், அதனால் அவர் தரவை மீண்டும் உருவாக்க முடியும். தரவு ஊட்ட தொழில்நுட்பத்தை நான் நன்கு புரிந்துகொள்ள ஆரம்பித்தேன். நான் ஒரு ஆயத்த கூறுகளை எடுத்திருந்தால், அதை எவ்வாறு பயன்படுத்துவது என்பதை நான் தனிப்பட்ட முறையில் மோசமாகக் கற்றுக்கொண்டேன், அதாவது காட்சிப்படுத்தல். ஆனால் ஆம், நான் R ஐ விரும்பினேன், ஆனால் "R for Dummies" புத்தகத்தை நான் இன்னும் படிக்கவில்லை.

நன்றி!

எளிய கேள்வி. அடையாளம் அல்லது அட்டவணையை விரைவாகப் பதிவேற்ற ஏதேனும் வழிகள் உள்ளதா?

CSV அல்லது Excel இல் பதிவேற்றலாம்.

தரவு அல்ல, ஆனால் ஒரு ஆயத்த தட்டு, ஒரு ஆயத்த வரைபடமா? உதாரணமாக, முதலாளியைக் காட்ட.

"பதிவேற்றம்" என்ற பொத்தான் உள்ளது மற்றும் "png, jpg இல் வரைபடத்தைப் பதிவேற்று" என்ற பொத்தான் உள்ளது.

நன்றி!

PS Mini-tabix ஐ நிறுவுவதற்கான வழிமுறைகள்

• பதிவிறக்கம் சமீபத்திய வெளியீடு
• அன்பேக், கோப்பகத்தை நகலெடுக்கவும் build nginx ரூட்_பாத்தில்
• nginx ஐ கட்டமைக்கவும்

ஆதாரம்: www.habr.com