🥇ClickHouse – analiză vizuală rapidă și intuitivă a datelor în Tabix. Igor Strykhar

Vă propun să luați cunoștință de transcrierea raportului din 2017 de Igor Strîhar „ClickHouse – analiză de date vizual rapidă și clară în Tabix”.

Interfață web pentru ClickHouse în proiectul Tabix.
Funcționalități principale:

Funcționează cu ClickHouse direct din browser, fără a necesita instalarea de software suplimentar;
Editor de interogări cu evidențierea sintaxei;
Autocompletare a comenzilor;
Instrumente pentru analiza grafică a execuției interogărilor;
Scheme de culori la alegere.

Sunt directorul tehnic al СМИ2. Suntem un agregator de știri. Păstrăm multe date pe care le primim de la partenerii noștri și le înregistrăm în ClickHouse – aproximativ 30 000 de interogări pe secundă.

Acestea sunt date precum:

Clicuri pe știri.
Afișări de știri în agregator.
Afișări de bannere în rețeaua noastră.
Și înregistrăm evenimente din contorul nostru propriu, similar cu Yandex.Metrica. Aceasta este propria noastră microanalitică.

Am avut o viață foarte tumultoasă înainte de ClickHouse. Ne-am străduit mult încercând să stocăm aceste date undeva și să le analizăm cumva.

Viața înainte de ClickHouse – infiniDB

Primul nostru sistem a fost infiniDB. A rămas cu noi timp de 4 ani. Am lansat-o cu dificultate.

Nu suportă clusterizare sau sharding. Nimic din aceste lucruri inteligente nu s-a activat din cutie, în mod implicit.
A avut dificultăți cu încărcarea datelor. Doar un utilitar de linie specific, care putea încărca doar fișiere CSV și doar într-un mod foarte neclar.
Baza de date este unică în fir. Puteai fie să scrii, fie să citești. Dar permitea procesarea unui volum mare de date.
Și avea un truc interesant. Fiecare noapte serverul trebuia repornit, altfel nu funcționa.

A funcționat până la sfârșitul anului 2016, când ne-am mutat complet pe ClickHouse.

Viața înainte de ClickHouse – Cassandra

Din moment ce infiniDB era unică în fir, am decis că avem nevoie de o bază de date multi-fir, în care putem scrie foarte multe fire simultan.

Am încercat multe lucruri interesante. Apoi am decis să încercăm Cassandra. Cu Cassandra totul a fost minunat. 10 000 de interogări pe secundă la scriere. 2 000 de interogări aproximativ la citire.

Dar a avut și ea propriile sale particularități. Odată la lună sau de două ori pe lună, se întâmpla desincronizarea bazei de date. Și trebuia să ne trezim și să mergem să reparăm Cassandra. Restartați serverele pe rând. Și totul devenea lin și frumos.

Viața înainte de ClickHouse – Druid

Apoi am realizat că trebuie să scriem și mai multe date. În 2016, am început să ne uităm la Druid.

Druid este o bază de date open-source, scrisă în Java. Foarte specifică. Și se potrivea pentru clickstream, când trebuia să stocăm un flux de evenimente și apoi să facem agregări sau să realizăm rapoarte analitice.

Druid avea versiunea 0.9.X.

Baza de date se desfășura foarte dificil. Aceasta era complexitatea infrastructurii. Pentru a o desfășura, era nevoie să se instaleze o mulțime de echipamente. Și fiecare echipament era responsabil de un rol distinct.

Pentru a încărca date în ea, trebuia să aplicăm oarecare magie. Există un proiect OpenSource – Tranquility, care ne pierdea datele în flux. Atunci când încărcam date în el, le pierdeam.

Dar, cumva, am început să-l implementăm. Noi, ca arici, care ne înțepăm, dar continuăm să mâncăm cactusul, am început să-l implementăm. Ne-a trebuit cam o lună pentru a pregăti întreaga infrastructură pentru el. Adică, să comandăm servere, să configurăm rolurile, să realizăm o automatizare completă a desfășurării. Adică, în cazul unei căderi a clusterului, să se desfășoare automat un al doilea cluster.

Dar atunci s-a întâmplat o minune. Eram în concediu și colegii mei îmi trimit un link la habr, care vorbește despre faptul că Yandex a decis să deschidă ClickHouse. Le-am spus să încercăm.

Și, la doar 2 zile, am desfășurat un cluster de test ClickHouse. Am început să încărcăm date în el. Comparativ cu infiniDB – este elementar, comparativ cu Druid – este elementar. Comparativ cu Cassandra este, de asemenea, elementar. Pentru că dacă încarci date în Cassandra din php, nu este elementar.

Ce am obținut? Performanță în viteză. Performanță în stocarea datelor. Adică, se utilizează mult mai puțin spațiu pe disc. ClickHouse este rapid, este foarte rapid în comparație cu alte produse.

La momentul lansării, când Yandex a publicat ClickHouse în OpenSource, exista doar un client pe linia de comandă. Am decis în compania noastră, СМИ2, să încercăm să realizăm un client nativ pentru web, astfel încât să putem deschide pagina din browser, să scriem interogări și să primim rezultatul, deoarece am început să scriem multe interogări. Să scrii în consolă este greu. Și am realizat prima noastră versiune.

Și undeva spre iarna anului trecut, au început să apară instrumente externe pentru a lucra cu ClickHouse. Acestea sunt instrumente precum:

Voi analiza unele dintre aceste instrumente, adică cele cu care am lucrat.

Un instrument bun, dar pentru Druid. Când am implementat Druid, am experimentat cu SuperSet. Mi-a plăcut. Funcționează foarte repede pentru Druid.

Nu este potrivit pentru ClickHouse. Adică, se potrivește, funcționează, dar este pregătit să trateze doar interogări elementare de tipul: SELECT event, GROUP BY event. Nu suportă sintaxă mai complexă ClickHouse.

Următorul instrument este Apache Zeppelin. Este o unealtă bună și interesantă. Funcționează. Suportă notițe, tablouri de bord, suportă variabile. Știu că cineva din comunitatea ClickHouse îl folosește.

Dar nu suportă sintaxa ClickHouse, adică va trebui să scrieți interogările fie în consolă, fie în altă parte. Apoi să verificați dacă totul funcționează. Este pur și simplu incomod. Dar suportul pentru tablouri de bord este bun.

Următorul instrument este Redash.IO. Redash este găzduit pe internet. Adică, spre deosebire de instrumentele anterioare, nu trebuie instalat. Este un tablou de bord cu posibilitatea de a consolida date din diferite surse de date. Adică, puteți extrage din ClickHouse, din MySQL, din PostgreSQL și din alte baze de date.

Aproape acum o lună (în martie 2017), a apărut suport în Grafana. Când construiți rapoarte în Grafana, de exemplu, pentru starea hardware-ului dumneavoastră sau pentru anumite metrici, acum puteți construi același grafic sau un panou din datele din ClickHouse direct. Este foarte convenabil și folosim asta la noi. Permite identificarea anomaliilor. Adică, dacă se întâmplă ceva și un hardware pice sau se suprasolicită, se poate verifica cauza, dacă aceste date au ajuns în ClickHouse.

Mi-a fost foarte incomod să scriu în aceste instrumente sau în consolă. Așa că am decis să îmbunătățesc prima noastră interfață. Și am luat ideea de la EventSQL, SeperSet, Zeppelin.

Ce mi-aș fi dorit? Mi-aș fi dorit să obțin grafice, un editor îmbunătățit, să implementez suport pentru dicționare de sugestii. Deoarece ClickHouse are o funcție excelentă – dicționarele. Dar este greu de lucrat cu dicționarele, deoarece trebuie să memorezi formatul valorilor stocate, adică este un număr sau un șir etc. Și deoarece folosim adesea dicționarele în diversele lor variații, a fost destul de greu să scriem interogări.

Au trecut 3 luni de la lansarea primei noastre versiuni. Am făcut aproximativ 330 de commit-uri în ramura închisă și a ieșit Tabix.

Spre deosebire de versiunea anterioară, care se numea ClickHouse-Frontend, am decis să îi schimb numele într-unul simplu. Așa a apărut Tabix.

Ce este nou?

Desenează grafice. Suportă sintaxa SQL a ClickHouse. Oferă sugestii pentru funcții și multe altele interesante.

Așa arată schema generală a Tabix. În stânga este prezentat copacul. În centru – editorul de interogare. Iar în partea de jos – rezultatul acestei interogări.

Următoarea va fi o demonstrație a modului în care funcționează editorul de interogare.

Aici autocompletarea s-a activat automat pentru tabel și oferă, prin urmare, sugestii și pentru câmpuri. Și sugestii pentru funcții. Dacă apăsați ctrl + enter, interogarea va fi executată sau va eșua cu o eroare. Cea mai simplă interogare este trimisă în Tabix și se obține rezultatul, adică se poate lucra rapid cu ClickHouse.

Dicționarele, așa cum am spus, sunt foarte interesante și cu care lucrăm foarte mult. Ele ne-au permis să realizăm multe lucruri. De exemplu, în dicționare stocăm toate orașele. Stocăm identificatorul orașului și numele orașului, latitudinea și longitudinea acestuia. Iar în bază stocăm doar identificatorul orașului. Astfel, comprimăm datele într-o mare măsură.

Aceasta, aparent o chestiune simplă, dar în ClickHouse ajută foarte mult. Deoarece ClickHouse suportă doar join-uri imbricate, interogarea crește în adâncime și lățime considerabil. Când o paranteză se deschide și urmează o expresie lungă, o chestiune relativ simplă, cum ar fi minimizarea interogării, ajută la lucrul mai ușor cu interogarea în sine. Pentru că atunci când interogarea are 200-300 de linii și este foarte lată, minimizarea interogării devine esențială pentru a găsi un loc sau a-l localiza cumva.

Arbore de obiecte, interogări multiple și tab-uri (Video 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

Următoarele vor fi despre arbore, tab-uri. În stânga – este arborele, sus puteți crea mai multe tab-uri. Tab-urile sunt ca un spațiu de lucru. Puteți crea mai multe tab-uri și să le numiți cum doriți. Este ca un mini-sistem pentru generarea rapoartelor.

Tab-urile se salvează automat. Dacă reîncărcați browserul sau închideți sau deschideți Tabix, toate acestea se vor salva.

Taste rapide – convenabil (Video 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

Există taste rapide și sunt destul de multe. Am extras câteva dintre ele aici ca exemplu. Acestea sunt pentru schimbarea tab-ului, executarea unei interogări sau executarea mai multor interogări.

Voi arăta cum să lucrăm cu rezultatul. Trimitem o solicitare. Aici desenez sin, cos și tg. Putem ilumina rezultatul, adică putem crea o hartă tipică pentru coloană. Putem evidenția valorile pozitive sau negative. Sau putem colora un anumit element din tabel. Este convenabil atunci când tabelul este imens și trebuie să căutăm vizual o anomalie. Când căutam anomalii, evidențiam câteva rânduri sau elemente cu verde sau roșu.

Există multe lucruri interesante acolo. De exemplu, cum să copiezi în Redmine Markdown. Dacă trebuie să copiezi undeva rezultatul, este foarte convenabil. Poți să selectezi o zonă, să spui „Copiază în Redmine” și va copia în Redmine Markdown sau va crea o solicitare Where.

Următoarea este optimizarea solicitărilor. Odată am uitat să specific câmpul „date”. Și solicitarea mea în ClickHouse a fost procesată nu foarte, foarte repede, dar repede, adică în mai puțin de o secundă. Când am văzut câte rânduri procesează, mi-a fost frică. Noi nu scriem atât de multe rânduri în această tabelă într-o zi. Am început să analizez solicitarea și am văzut că am omis data într-un loc. Asta înseamnă că am uitat să specific că am nevoie de date nu din întreaga tabelă, ci pe o anumită perioadă.

În Tabix există un tab „Stats”, în care este stocată întreaga istorie a solicitărilor trimise, adică acolo poți vedea câte rânduri au fost citite de această solicitare și cât timp a durat. Acest lucru permite optimizarea.

Poți construi un tabel sumar pe baza rezultatului unei solicitări. Ai trimis o solicitare în ClickHouse, ai obținut anumite date. Iar aceste date pot fi manipulate cu mouse-ul și poți construi un tabel sumar.

Următorul lucru interesant este construirea graficelor. Presupunem că avem o astfel de solicitare: pentru sin, cos de la 0 la 299. Și pentru a-l desena trebuie să selectezi tab-ul „Draw” și vei obține graficul cu sinul și cosinul tău.

Poți să le împarți pe diferite axe, adică poți desena simultan două grafice unul lângă altul. Scrii o comandă și a doua comandă.

Poți desena histograme.

Poți împărți asta într-o matrice de grafice.

Poți construi o hartă de căldură.

Poți construi un calendar de căldură. Apropo, este o unealtă foarte convenabilă atunci când trebuie să analizezi anomaliile pe parcursul anului, adică să găsești fie vârfuri, fie scăderi. Această vizualizare a datelor m-a ajutat în acest sens.

Următorul este Treemap.

Sankeys – un grafic interesant. Este fie Streamgraphs, fie River. Dar eu îl numesc River. De asemenea, permite căutarea unor anomalii. Este foarte convenabil. Îl recomand pentru căutare.

Următorul lucru interesant este redarea unei hărți dinamice. Dacă în baza dvs. de date aveți stocate latitudine, longitudine și, să zicem, destinația, dacă aveți, de exemplu, transporturi auto sau avioane care zboară, atunci puteți reda traseele destinațiilor. Puteți de asemenea să setați viteza, dimensiunea acestor obiecte în care acestea ajung.

Dar problema cu această hartă este că ea desenează doar harta lumii, fără detalii.

Ulterior, am adăugat Google Map. Dacă stocați latitudine și longitudine, puteți reda rezultatul pe Google Map, dar fără suport pentru micile avioane.

Am discutat funcțiile principale pentru lucrul cu rezultatul, cu solicitarea în Tabix.

Următorul – este analiza serverului dvs. ClickHouse. Există un tab separat "Metrici", unde puteți vedea dimensiunea datelor stocate pentru fiecare coloană. În screenshot este arătat că acest câmp "referrer" ocupă cam 730 Gb. Dacă renunțăm la acest câmp, vom economisi trei sharde de 700 GB, adică aproximativ 2 TB, de care nu avem nevoie.

De asemenea, avem câmpul "request_id", pe care îl stocăm sub formă de șir. Dar dacă începeți să-l stocați sub formă numerică, atunci acest câmp se va comprima enorm.

De asemenea, aici este arătată configurația serverului și lista nodurilor din clusterul dvs.

Următorul tab – este metricile. Acestea sunt preluate în timp real din ClickHouse și permit doar analiza stării serverului și înțelegerea a ceea ce se întâmplă. Nu este un înlocuitor pentru o Grafana completă. Acest lucru este necesar pentru a efectua rapid o analiză.

Următorul tab – sunt procesele. Acestea pot ajuta la înțelegerea a ceea ce se întâmplă pe server. Într-un anumit moment, am avut o solicitare care consuma 200 GB la citire de fiecare dată. Am observat acest lucru datorită acestei interfețe. L-am prins și l-am ajustat. Și a rezultat în aproximativ 30 GB, adică performanța s-a îmbunătățit de mai multe ori.

Mulțumesc! Și este în OpenSource

Am terminat. Și, de fapt, este în OpenSource, este gratuit și nici măcar nu trebuie să descărcați. Deschideți în browser și va funcționa totul.

Întrebări

Igor, ce urmează? În ce direcție vei dezvolta acest instrument?

Apoi va apărea un tablou de bord, adică, posibil, va apărea un tablou de bord. Integrarea cu alte baze de date. Am făcut asta, dar încă nu am publicat-o în OpenSource. Este MySQL și, posibil, PostgreSQL. Adică, va fi posibil să trimitem interogări din Tabix nu doar către ClickHouse, ci și către alte instrumente.

Este evident că a fost realizată o muncă uriașă. A ieșit o idee suficient de bine conturată. În browser a fost realizat, se pare, pentru a exclude soluțiile improvizate pe diferite osii și a aduna rapid toate acestea. Am auzit că lucrați la asta, așa că este mai simplu să faceți totul în browser și va funcționa peste tot. Nu sunt întrebări despre asta. Întrebarea este: cât de mult s-a realizat acolo? Câți oameni au lucrat la asta? Și cât timp a durat totul? Deoarece instrumentele personalizate de obicei nu au un astfel de funcționalitate extinsă. php Din vară până toamnă a lucrat o persoană din echipa noastră. Aceasta a fost prima versiune. Apoi am făcut 330 de commituri eu singur. Ceea ce vedeți, eu și colegul meu am realizat în comun. În 3 luni, de la prima versiune până la ultima, eu am realizat majoritatea. Dar nu cunosc prea bine JavaScript. Acesta a fost singurul și, sper, ultimul meu proiect pe JavaScript la care am lucrat. Mi-a fost încredințat, m-am uitat și am zis – oh, groază. Dar mi-a plăcut foarte mult să finalizez produsul și iată ce a ieșit.

Vă mulțumesc foarte mult pentru prezentare! Este un instrument excelent. Ați comparat?

Mulțumesc. De aceea l-am numit Tabix, pentru că primele litere coincid. Tableau Pentru că concurați?

Vor fi multe investiții, vom concura.

Cum le propuneți intern analistilor că acest instrument va înlocui complet *Tableau*?

Funcționează nativ cu ClickHouse. Am încercat Tableau, dar acolo nu poți scrie suport pentru dicționare și alte lucruri de genul acesta.

Știu cum lucrează oamenii cu Tabix. Ei scriu interogări, le exportă în CSV și le încarcă în BI. Și acolo deja fac ceva. Dar mi-e greu să-mi imaginez cum o fac, pentru că este un instrument grafic. Poate exporta 5.000 de rânduri, maxim 6.000 de rânduri, dar nu mai mult, altfel browserul nu va rezista.? Какие будут аргументы?

Adică, există niște limitări serioase de volum de date, nu? Da. Nu mi-aș imagina că veți dori să expediați 10.000 de rânduri pe ecranul browserului. De ce? Se presupune că acesta este un interfață pentru o vizualizare rapidă a datelor? Să le răsfoiești puțin, să le rotești?

Este de înțeles că acesta este un interfață pentru o vizualizare rapidă a datelor? Să le răsfoiești puțin, să le rotești?

Se presupune că acesta este un interfață pentru o vizualizare rapidă a datelor? Să le răsfoiești puțin, să le rotești?

Se presupune că acesta este un interfață pentru o vizualizare rapidă a datelor? Să le răsfoiești puțin, să le rotești?

Da, este ușor să vezi cum funcționează și pur și simplu să construiești un grafic de sinteză. Apoi, să-l trimitem undeva. Avem un sistem propriu de raportare, de unde iau această interogare. O desenez în Tabix și o trimit în raportarea noastră.

Și încă o întrebare. Analiză cohortă?

Dacă vor fi sugestii, le vom adăuga.

Când am început să folosim ClickHouse, cât timp a durat implementarea ClickHouse și atingerea stării de production?

Așa cum am spus, am implementat un cluster de testare într-un timp foarte scurt. L-am desfășurat în două zile. Încă câteva săptămâni l-am testat. Și am ajuns la production după aproximativ 3 luni. Dar aveam propriul nostru ETL, adică un instrument pentru înregistrarea datelor. Acesta scria în tot ce era posibil. Poate scrie în MongoDB, Cassandra, MySQL. A fost ușor să-l învățăm să scrie în ClickHouse. Aveam o infrastructură gata pentru implementare rapidă. După aproximativ 3 luni, am început să eliminăm primul component. În termen de 6 luni, am renunțat complet la tot ce era altceva. Ne-a rămas doar ClickHouse.

Igor, îți mulțumesc mult pentru prezentare. Mi-a plăcut foarte mult funcționalitatea de construire a căilor pe hărți. Este prevăzută integrarea cu Yandex.Maps și în special cu hărțile personalizate Yandex?

Am încercat să mă integrez în loc de Google Maps, dar nu am găsit tema întunecată pe Yandex.Maps. Am uitat să menționez un aspect. Mă voi întoarce pentru a completa.

Slide-ul – Google Maps. Acolo există comanda «DRAW_GMAPS», care desenează harta. Există comanda «DRAW_YMAPS», adică poate desena harta Yandex. De fapt, sub această comandă se află Javascript, adică datele pe care le obțineți din ClickHouse pot fi transmise în Javascript pe care îl scrieți aici. Și la ieșire aveți o zonă în care trebuie să fie desenată. Puteți desena orice grafic, adică orice grafic, hartă, puteți desena componenta proprie. Înainte aveam o altă bibliotecă pentru desenarea graficelor.

Adică, există un instrument pentru personalizarea funcționalității de afișare?

Orice. Puteți lua și să repaintați aceste puncte, făcându-le nu roșii, ci albastre, verzi.

Mulțumesc pentru prezentare! Ați avut un slide în care au fost prezentate instrumente alternative pentru interogări ClickHouse pentru construirea de dashboard-uri, rapoarte analitice. Am înțeles că în momentul în care ați început să lucrați cu ClickHouse, pentru aceste instrumente nu au fost scrise adaptoare. Și m-ar interesa de ce ai decis să creezi propriul instrument, în loc să scrii un adaptor pentru un instrument existent? Cred că ajustarea editorului de teste este rapidă. De ce ai decis să faci atât de multă muncă?

Aici este un aspect interesant – este vorba despre faptul că eu sunt director tehnic, nu data scientist. Până în momentul în care am început să implementăm Druid, aveam în roadmap cam 50% din sarcini – să calculăm asta sau să analizăm asta. Și s-a întâmplat că am implementat ClickHouse. Și am început să construiesc rapid, să calculez, și am încheiat rapid roadmap-ul meu. La acel moment m-am dat seama că îmi lipsesc cunoștințe în Data Science, în vizualizarea datelor. Tabix este un fel de temă de acasă pentru învățarea vizualizării datelor. M-am uitat cum să completez Zeppelin. Am o mică aversiune față de programarea lui. Am analizat Redash pentru completare, dar îmi lipsea un editor decent. Și SuperSet este scris în acel limbaj pe care nu-l iubesc prea mult. De aceea, am decis să creez ceva de la zero și iată ce a ieșit.

Igor, accepți pull request-uri?

Da.

Mulțumesc mult pentru prezentare! Și două întrebări. Prima – nu vorbești foarte pozitiv despre Javascript. Ai scris în Javascript pur sau totuși este vorba despre un framework?*

Mai bine în Javascript pur.

Deci, ce framework?

Angular.

Înțeleg. Și a doua întrebare. Ai luat în considerare R și *Shiny**?*

L-am luat în considerare. M-am jucat cu el.

Putea fi de asemenea pur și simplu scris un adaptor.

Există unul. Se pare că comunitatea l-a făcut, dar așa cum am răspuns la întrebarea anterioară, am dorit să experimentez eu singur.

*Nu, în ceea ce privește vizualizarea, există.

Spui că există un astfel de instrument și te va ajuta să desenezi un grafic. Am deschis o carte despre vizualizarea datelor. Și m-am gândit: „Hai să încerc să vizualizez aceste date. Voi scrie eu, astfel încât să le configureze”. Și am început să înțeleg mai bine tehnologia de livrare a datelor. Dacă aș fi folosit un component existent, personal aș fi învățat mai rău să-l folosesc, adică să învăț vizualizarea. Dar așa – da, mi-a plăcut R, dar încă nu am citit cartea „R pentru începători”.

Mulțumesc!

O întrebare simplă. Există vreo posibilitate de a exporta rapid un tabel, un grafic?

Se poate exporta în CSV, în Excel.

Nu datele, ci un tabel gata, un grafic gata? De exemplu, pentru a arăta șefilor.

Există un buton „Descărcați” și există un buton „Descărcați graficul în png, jpg”.

Mulțumesc!

P.S. Mini-instrucțiuni pentru instalarea tabix