Ви предлагам да го прочитате преписот од извештајот за 2017 година на Игор Стрихар „ClickHouse - визуелно брза и јасна анализа на податоци во Tabix“.
Веб интерфејс за ClickHouse во проектот Tabix.
Главни карактеристики:
- Работи со ClickHouse директно од прелистувачот, без потреба од инсталирање дополнителен софтвер;
- Уредувач на прашања со истакнување на синтаксата;
- Автоматско комплетирање на команди;
- Алатки за графичка анализа на извршување на барањето;
- Шеми на бои за избор.
Јас сум технички директор на СМИ2. Ние сме агрегатор на вести за размена на вести. Ние складираме многу податоци што ги добиваме од нашите партнери и ги регистрираме во ClickHouse - околу 30 барања во секунда.
Ова се податоци како што се:
- Кликнете на вести.
- Вестите се прикажуваат во агрегаторот.
- Банерите се прикажуваат на нашата мрежа.
- И ние регистрираме настани од нашиот сопствен бројач, кој е сличен на Yandex.Metrica. Ова е нашата сопствена микроаналитика.
Имавме многу бурен живот пред ClickHouse. Многу страдавме, обидувајќи се да ги складираме овие податоци некаде и некако да ги анализираме.
Животот пред ClickHouse – infiniDB
Првото нешто што го имавме беше infiniDB. Таа живееше со нас 4 години. Го лансиравме со тешкотии.
- Не поддржува групирање или делење. Ниту една таква паметна работа не излезе стандардно од кутијата.
- Таа има потешкотии со вчитување податоци. Само специфична алатка за конзола која може да вчита само CSV-датотеки и тоа само на некој многу нејасен начин.
- Базата на податоци е со една нишка. Можете да пишувате или да читате. Но, тоа овозможи да се обработи голема количина на податоци.
- А таа имаше и интересна патерица. Секоја вечер серверот мораше да се рестартира, инаку нема да работи.
Таа работеше кај нас до крајот на 2016 година, кога целосно се префрливме на ClickHouse.
Животот пред ClickHouse – Касандра
Бидејќи infiniDB беше со една нишка, решивме дека ни треба некаква база на податоци со повеќе нишки во која можеме да напишеме многу нишки во исто време.
Пробавме многу интересни работи. Потоа решивме да ја пробаме Касандра. Се беше одлично со Касандра. 10 барања во секунда по понуда. 000 барања некаде за читање.
Но, таа имаше и свои интереси. Еднаш месечно или еднаш на секои два месеци доживеала десинхронизација на базата на податоци. И морав да се разбудам и да трчам да ја поправам Касандра. Серверите се рестартираа еден по еден. И сè стана мазно и убаво.
Животот пред ClickHouse – Друид
Тогаш сфативме дека треба да напишеме уште повеќе податоци. Во 2016 година почнавме да го гледаме Друид.
Druid е софтвер со отворен код напишан во Java. Многу специфично. И беше погоден за clickstream, кога треба да складираме некаков тек на настани и потоа да извршиме агрегација на нив или да правиме аналитички извештаи.
Друид имаше верзија 0.9.X.
Самата база на податоци е многу тешко да се распореди. Ова е сложеноста на инфраструктурата. За да се распореди, беше неопходно да се инсталира многу, многу железо. И секое парче хардвер беше одговорно за својата посебна улога.
За да се вчитаат податоци во него, неопходно беше да се користи некој вид шаманизам. Постои проект на OpenSource - Tranquility, кој губеше податоци од нас во стрим. Кога вчитавме податоци во него, тие ги изгубија.
Но, некако почнавме да го спроведуваме. Ние, како ежовите кои земаа дрога, но продолжија да јадат кактус, почнавме да го воведуваме. Ни требаше околу еден месец да ја подготвиме целата инфраструктура за тоа. Односно, нарачајте сервери, конфигурирајте улоги и целосно автоматизирајте го распоредувањето. Односно, во случај на дефект на кластерот, вториот кластер автоматски ќе се распореди.
Но, тогаш се случи чудо. Бев на одмор и колегите ми испратија линк до , што вели дека Yandex одлучил да го отвори ClickHouse. Велам да пробаме.
И буквално за 2 дена распоредивме тест кластер на ClickHouse. Почнавме да вчитуваме податоци во него. Во споредба со infiniDB, ова е елементарно; во споредба со Друид, ова е елементарно. Во споредба со Касандра, тоа е исто така елементарно. Затоа што ако вчитате податоци од PHP во Касандра, тогаш ова не е елементарно.
Што добивме? Перформанси во брзина. Перформанси во складирање податоци. Тоа е, се користи многу помалку простор на дискот. ClickHouse е брз, тој е многу брз во споредба со другите производи.
Во времето на лансирањето, кога Yandex го објави ClickHouse во OpenSource, имаше само клиент за конзола. Ние во нашата компанија SMI2 решивме да се обидеме да направиме мајчин клиент за веб, за да можеме да отвориме страница од прелистувач, да напишеме барање и да го добиеме резултатот, бидејќи почнавме да пишуваме многу барања. Пишувањето во конзолата е тешко. И ја направивме нашата прва верзија.
И некаде поблиску до зимата минатата година, почнаа да се појавуваат алатки од трети страни за работа со ClickHouse. Ова се алатки како што се:
- .
- .
- . (Сега )
- .
- .
Ќе погледнам некои од овие алатки, односно оние со кои сум работел.
Добра алатка, но за друид. Кога Druid беше имплементиран, го тестирав SuperSet. ми се допадна. За Друид тоа е многу брзо.
Не е погоден за ClickHouse. Односно, одговара, започнува, но е подготвена да обработува само елементарни прашања како: ИЗБЕРИ настан, ГРУПА ПО настан. Не ја поддржува покомплексната синтакса на ClickHouse.
Следната алатка е Apache Zeppelin. Ова е добра и интересна работа. Работи. Поддржува тетратки, контролни табли и поддржува променливи. Знам дека некој во заедницата ClickHouse го користи.
Но, нема поддршка за синтаксата на ClickHouse, т.е. ќе треба да пишувате прашања или во конзолата или на друго место. Следно, проверете дали сето тоа функционира. Тоа е само незгодно. Но, има добра поддршка за контролната табла.
Следната алатка е Redash.IO. Редаш е хостиран на Интернет. Тоа е, за разлика од претходните алатки, не треба да се инсталира. И ова е контролна табла со можност за консолидирање на податоци од различни извори на податоци. Односно, можете да преземете од ClickHouse, од MySQL, од PostgreSQL и од други бази на податоци.
Пред само еден месец (март 2017) се појави поддршка во Графана. Кога создавате извештаи во Grafana, на пример, за состојбата на вашиот хардвер или за некои метрики, сега можете директно да го изградите истиот графикон или некој вид панел од податоците од ClickHouse. Ова е многу погодно, а ние самите го користиме. Ова ви овозможува да најдете аномалии. Односно, ако нешто се случи и некој хардвер падне или се напрега, тогаш можете да ја погледнете причината дали овие податоци успеале да влезат во ClickHouse.
Ми беше многу незгодно да пишувам во овие алатки или во конзолата. И решив да го подобрам нашиот прв интерфејс. И ја добив идејата од EventSQL, SeperSet, Zeppelin.
Што сакаше? Сакав да добијам графика, подобрен уредувач и да имплементирам поддршка за речници со совети. Бидејќи ClickHouse има одлична карактеристика - речници. Но, тешко е да се работи со речници, бидејќи треба да се запамети форматот на зачуваните вредности, односно дали е број или низа итн. И бидејќи често користиме речници во нивните различни варијации, беше доста тешко да се пишуваат прашања.
Поминаа 3 месеци од објавувањето на нашата прва верзија. Направив околу 330 обврски во приватна филијала и испадна дека е Табикс.
За разлика од претходната верзија, која се викаше ClickHouse-Frontend, решив да ја преименувам во едноставно име. И испадна Табикс.
Што се појави?
Црта графикони. Поддржува ClickHouse SQL синтакса. Дава совети за функции и може да направи многу интересни работи.
Вака изгледа општата шема Tabix. Лево е дрво. Во центарот е уредникот за прашања. А подолу е резултатот од ова барање.
Следно ќе ви покажам како работи уредникот за прашања.
Овде автоматското комплетирање автоматски работи на табелата и бара, соодветно, автоматско комплетирање за полињата. И совети за функциите. Ако притиснете ctrl enter, барањето ќе се изврши или ќе пропадне со грешка. Наједноставното барање се испраќа до Tabix и се добива резултатот, односно можете брзо да работите со ClickHouse.
Речниците, како што веќе реков, се многу интересна работа со која многу работиме. И што ни овозможи да направиме многу работи. Да речеме дека ги чуваме сите градови во речници. Ги чуваме идентификаторот на градот и името на градот, неговата географска ширина и должина. И во базата на податоци го складираме само идентификаторот на градот. Според тоа, многу силно ги компресираме податоците.
Се чини дека ова е едноставна работа, но помага во ClickHouse на многу интересен начин. Поради фактот што ClickHouse поддржува само вгнездени спојувања, барањето расте надолу и доволно широко. И кога ќе се отвори заградата и ќе дојде некој долг израз, тогаш нешто едноставно како што е колапсирање на барањето ја олеснува работата со самото барање. Бидејќи кога барањето е долго 200-300 линии и многу огромно во ширина, многу е корисно да се склопи барањето и потоа да се најде некое место или некако да се локализира.
Дрво на објекти, повеќе прашања и јазичиња (Видео 13:46 )
Следно ќе ви покажам за дрвото и јазичињата. Лево е дрво; на врвот можете да креирате неколку јазичиња. Табовите се како работен простор. Можете да креирате неколку јазичиња и да ги именувате поинаку. Тоа е како мини-систем за градење извештај.
Картичките автоматски се зачувуваат. Ако го рестартирате прелистувачот или го затворите или отворите Tabix, сето ова ќе се зачува.
Топ копче - погодно (Видео 14:39 )
Има брзи копчиња и ги има доста. Некои од нив ги извадив овде како пример. Ова е префрлување јазичиња, извршување барање или извршување на неколку барања.
Ќе ви покажам како да работите со резултатот. Испраќаме барање. Еве цртам грев, кос и тг. Можете да го означите резултатот, односно да нацртате типична карта за колона. Можете да истакнете позитивни или негативни вредности. Или едноставно обојте специфичен елемент на табелата. Ова е погодно кога масата е огромна и треба да најдете некоја аномалија со очите. Кога барав аномалии, истакнав некои линии, некои елементи со зелена или црвена боја.
Има многу интересни работи таму. На пример, како да копирате во Redmine Markdown. Ако треба да го копирате резултатот некаде, ова е многу погодно. Можете едноставно да изберете област, да кажете „Copy to Redmine“ и таа ќе се копира во Redmine Markdown или ќе создаде барање Where.
Следно е оптимизација на барањето. Еднаш заборавив да го наведам полето „датум“. И моето барање во ClickHouse не беше обработено многу, многу брзо, туку брзо, т.е. помалку од секунда. Кога видов низ колку редови претрча, се исплашив. Не пишуваме толку многу редови на оваа табела во еден ден. Почнав да го анализирам барањето и видов дека пропуштив состанок на едно место. Односно, заборавив да наведам дека не ми требаат податоци за целата табела, туку за одреден период.
Tabix има таб „Статистика“, која ја чува целата историја на испратени барања, односно таму може да видите колку линии биле прочитани од ова барање и колку време било потребно за да се изврши. Ова овозможува оптимизација.
Може да изградите стожерна табела над резултатот од барањето. Испративте барање до ClickHouse и добивте некои податоци. И тогаш можете да ги преместите овие податоци со глувчето и да изградите некаква стожерна табела.
Следната интересна работа е заговорот. Да речеме дека го имаме следново барање: за sin, cos од 0 до 299. А за да го нацртате, треба да го изберете табот „Draw“ и ќе добиете график со вашиот sin и cos.
Можете да го поделите ова на различни оски, т.е. можете да нацртате два графика еден до друг одеднаш. Напишете една команда и втора команда.
Можете да цртате хистограми.
Можете да го разложите ова во матрица од графикони.
Можете да изградите топлинска мапа.
Можете да изградите термички календар. Патем, ова е многу погодна работа кога треба да анализирате аномалии во текот на една година, односно да пронајдете шила или капки. Оваа визуелизација на податоци ми помогна со ова.
Следно е Treemap.
Sankeys е интересна табела. Тој е или Стримграхпс или Ривер. Но, јас го нарекувам Река. Исто така ви овозможува да барате какви било аномалии. Многу е удобно. Препорачувам да го користите за пребарување.
Следната интересна работа е цртање динамична карта. Ако складирате географска ширина, должина во вашата база на податоци и, да речеме, складирате дестинација, ако, на пример, имате камиони или авиони што летаат, тогаш можете да нацртате дестинации патеки. Исто така, таму можете да ја поставите брзината и големината на овие објекти во кои летаат.
Но, проблемот со оваа мапа е што црта само карта на светот, нема детали.
Подоцна додадов мапа на Google. Ако складирате географска ширина, должина, тогаш можете да го нацртате резултатот на мапата на Google, но без поддршка од авион.
Разговаравме за главните функции на работа со резултати и прашања во Tabix.
Следниот е анализа на вашиот ClickHouse сервер. Има посебен таб „Метрика“, каде што можете да ја видите големината на зачуваните податоци за секоја колона. Сликата од екранот покажува дека ова поле „реферер“ зафаќа околу 730 Gb. Ако го напуштиме ова поле, ќе заштедиме три парчиња од 700 GB, односно околу 2 ТБ, кои не ни се потребни.
Имаме и поле „request_id“ кое го складираме во низа. Но, ако почнеме да го складираме во нумеричка форма, ова поле енормно ќе се намали.
Исто така, ја прикажува конфигурацијата на серверот и листа на јазли во вашиот кластер.
Следното јазиче е метрика. Тие влегуваат во реално време со ClickHouse и едноставно ви дозволуваат да ја анализирате состојбата на серверот и да разберете што се случува со него. Ова не е замена за целосна Графана. Ова е неопходно за брза анализа.
Следното јазиче е процеси. Од нив можете да разберете што се случува на серверот. Разберете што се случува таму. Имав барање кое трошеше 200 GB читање секој пат. Го видов ова благодарение на овој интерфејс. Го фатив и го исправив. И испадна дека е околу 30 GB, т.е на моменти изведба.
Ви благодарам! И ова е во OpenSource
Завршив. Патем, тоа е OpenSource, бесплатен е и не треба ни да го преземате. Отворете го во прелистувач и сè ќе работи.
прашања
Игор, што е следно? Каде ќе ја развиете оваа алатка?
Следно, ќе се појават контролни табли, т.е. можеби ќе се појават контролни табли. Интеграција со други бази на податоци. Го направив ова, но сè уште не сум го објавил во OpenSource. Ова е MySQL и можеби PostgreSQL. Тоа е, ќе биде можно да се испраќаат барања од Tabix не само до ClickHouse, туку и до други алатки.
Јасно е дека е направена огромна работа. Се покажа дека е прилично комплетна идеја. Ова беше направено во прелистувачот, очигледно, со цел да се елиминираат патериците на сите видови оски и брзо да се фрли целата работа заедно. Слушнав дека си на PHP работи, па најлесно е да го напишеш во прелистувачот и ќе работи секаде. Нема прашања за ова. Прашањето е ова. Таму навистина е направено многу. Колку луѓе работеа на ова? И колку време траеше сето тоа? Бидејќи сопствените алатки обично немаат толку многу функционалност.
Едно лице од нашиот тим работеше од лето до есен. Ова беше првата верзија. Потоа направив 330 обврски сам. Тоа што го гледате, јас и мојот колега го направивме на половина. За 3 месеци, од првата верзија до последната, најмногу го правев сам. Но, јас не го знам Javascript многу добро. Ова беше мојот единствен и, се надевам, мојот последен Javascript проект со кој работев. Добив, погледнав - ох, ужас. Но, навистина сакав да го завршам производот и вака се случи.
Ви благодариме многу за извештајот! Ова е одлична алатка. СО маса Дали споредивте?
Ви благодарам. Затоа и го нареков Табикс, бидејќи првите букви се исти.
Затоа што се натпреварувате?
Ќе има многу инвестиции, ќе се натпреваруваме.
Како можете да понудите да го продадете на внатрешни аналитичари што оваа алатка целосно ќе ја замени *Табела*? Кои ќе бидат аргументите?
Работи природно со ClickHouse. Пробав со Tableau, но таму не можеш да пишуваш поддршка за речници и слично. Знам како луѓето работат со Табикс. Тие пишуваат барање, го поставуваат на CSV и го поставуваат на BI. И тие веќе прават нешто таму. Но, тешко ми е да замислам како го прават ова, бидејќи тоа е графичка алатка. Може да растовари 5 редови, максимум 000 редови, но не повеќе, инаку прелистувачот нема да се справи.
Односно, има некои сериозни ограничувања за количината на податоци, нели?
Да. Не можам да замислам дека би сакале да испратите 10 редови во вашата табела на екранот на вашиот прелистувач. За што?
Дали ова значи дека ова е интерфејс за брзо гледање податоци? Завртете го малку, извртете го?
Да, брзо видете како функционира и само изградете резиме график. И потоа дајте го некаде. Имаме сопствен систем за известување, од каде едноставно го земам ова барање. Јас цртам во Tabix и го испраќам до нашето известување.
И уште едно прашање. Кохортна анализа?
Ако има какви било барања, ќе го додадеме.
Кога само што почнавте да го користите? ClickHouse, колку време траеше имплементацијата? Кликни куќа и доведување до производствена состојба?
Како што реков, имплементиравме тест кластер за многу кратко време. Го распоредивме за два дена. И го тестиравме уште неколку недели. И стигнавме до производство за 3 месеци, но имавме свој ETL, односно алатка за снимање податоци. И пишуваше во се што можеше. Може да пишува во MongoDB, Cassandra, MySQL. Беше лесно да се научи како да пишува во ClickHouse. Имавме готова инфраструктура за брза имплементација. За 3 месеци почнавме да ја исфрламе првата компонента. За 6 месеци целосно оставивме се останато. Ни останува само еден ClickHouse.
Игор, многу ти благодарам за извештајот. Навистина ми се допадна функционалноста за градење патеки со помош на мапи. Дали има планови за интеграција со Yandex.Maps и особено со приспособените Yandex.Maps?
Се обидов да се интегрирам наместо Google map, но не најдов темна тема на Yandex.Maps. Не ти кажав едно парче. Ќе премотам назад за да додадам.
Слајд – мапа на Google. Постои команда „DRAW_GMAPS“, која црта мапа. Постои команда „DRAW_YMAPS“, односно може да нацрта Yandex.Map. Но, всушност, под оваа команда има Javascript, односно податоците што ги добивате од ClickHouse може да се пренесат на Javascript, што го пишувате овде. И имате излезна област каде што треба да се нацрта. Можете да нацртате кој било график, т.е. кој било график, мапа, можете да нацртате своја сопствена компонента. Пред ова имав друга библиотека за цртање на самите графикони.
Односно, дали има алатка за прилагодување на функционалноста на екранот?
Било кој. Можете да ги земете и обоите овие точки, правејќи ги не црвени, туку сини, зелени.
Ви благодариме за извештајот! Имавте слајд што ги презентираше алтернативните алатки за пребарување Кликни куќа за градење контролни табли и аналитички извештаи. Тоа го разбирам во моментот кога почнавте да работите со ClickHouse, не се напишани адаптери за овие алатки. И се прашувам зошто решивте да направите ваша алатка, наместо да напишете адаптер за некоја готова алатка? Мислам дека дотерувањето на тест-уредникот е брзо. Зошто решивте да работите толку многу?
Тука има една интересна точка - факт е дека јас сум технички директор, а не научник за податоци. До моментот кога почнавме да го имплементираме Druid, мојот патоказ имаше околу 50% од задачите - ајде да го пресметаме ова, или да го пресметаме ова или да го анализираме ова. И се покажа дека го имплементиравме ClickHouse. И тој почна брзо да гради сè, да брои и брзо да го затвори својот патоказ. И дотогаш сфатив дека ми недостига знаење во Data Science и визуелизација на податоци. Табикс е моја домашна задача за учење визуелизација на податоци. Гледав како да го надополнам Цепелин. Имам мало несакање за неговото програмирање. Редаш погледнав како да го додадам, но доволен ми беше нормален едитор. И SuperSet е исто така напишан на јазик што навистина не ми се допаѓа. И така решив да возам велосипед, и еве што се случи.
Игор, дали ги прифаќаш барањата за Pull?
Да.
Ви благодариме многу за извештајот! И две прашања. Прво, не зборувате многу ласкаво Javascript. Дали пишувавте со гол Javascript или тоа е некој вид рамка?*
Подобро во гол Javascript.
Па, каква рамка?
Аголна.
Тоа е јасно. И второто прашање. Дали сте размислувале R и *Сјајна**?*
Сметаше. Одиграно.
Можете исто така да напишете адаптер.
Тој е. Се чини дека заедницата успеа, но, како што одговорив на претходното прашање, сакав сам да го пробам.
*Не, што се однесува до визуелизацијата, и таа е таму.
Велиш дека има такво нешто и ќе ти нацрта графикон. Отворив книга за визуелизација на податоци. И си помислив: „Да се обидам да ги визуелизирам овие податоци. Ќе му пишам за да може повторно да ги изгради податоците“. И почнав подобро да ја разбирам технологијата за снабдување со податоци. И да земев готова компонента, лично полошо ќе научев како да ја користам, односно визуелизација. Но, да, ми се допадна R, но сè уште не сум ја прочитал книгата „R for Dummies“.
Ви благодариме!
Едноставно прашање. Дали има начини за брзо поставување знак или распоред?
Може да се постави на CSV или Excel.
Не податоци, туку готова плоча, готов график? На пример, да се покаже на шефот.
Има копче „Подигни“ и има копче „Подигни график во png, во jpg“.
Ви благодариме!
PS Мини-инструкции за инсталирање табикс
- Превземи
- Отпакувајте, копирајте директориум
buildво nginx root_path - Конфигурирајте го nginx
Извор: www.habr.com