Vă sugerez să citiți transcrierea raportului din 2017 de Igor Stryhar „ClickHouse - analiză vizuală rapidă și clară a datelor în Tabix”.
Interfață web pentru ClickHouse în proiectul Tabix.
Caracteristici principale:
- Funcționează cu ClickHouse direct din browser, fără a fi nevoie să instalați software suplimentar;
- Editor de interogări cu evidențiere de sintaxă;
- Completarea automată a comenzilor;
- Instrumente pentru analiza grafică a executării interogărilor;
- Scheme de culori din care să alegeți.
Sunt directorul tehnic al SMI2. Suntem un agregator de știri pentru schimbul de știri. Stocăm o mulțime de date pe care le primim de la partenerii noștri și le înregistrăm în ClickHouse - aproximativ 30 de solicitări pe secundă.
Acestea sunt date precum:
- Click pe știri.
- Afișează știri în agregator.
- Bannerul este afișat în rețeaua noastră.
- Și înregistrăm evenimente de la propriul nostru ghișeu, care este similar cu Yandex.Metrica. Aceasta este propria noastră micro-analitică.
Am avut o viață foarte agitată înainte de ClickHouse. Am suferit mult, încercând să stocăm undeva aceste date și să le analizăm cumva.
Viața înainte de ClickHouse – infiniDB
Primul lucru pe care l-am avut a fost infinitDB. Ea a locuit cu noi timp de 4 ani. L-am lansat cu greu.
- Nu acceptă clustering sau sharding. Nu au ieșit astfel de lucruri inteligente din cutie în mod implicit.
- Are dificultăți la încărcarea datelor. Doar un utilitar specific de consolă care ar putea încărca numai fișiere CSV și doar într-un mod foarte neclar.
- Baza de date este cu un singur thread. Ai putea fie să scrii, fie să citești. Dar a făcut posibilă procesarea unei cantități mari de date.
- Și avea și o cârjă interesantă. În fiecare seară serverul trebuia repornit, altfel nu mergea.
Ea a lucrat pentru noi până la sfârșitul anului 2016, când am trecut complet la ClickHouse.
Viața înainte de ClickHouse – Cassandra
Deoarece infiniDB era cu un singur thread, am decis că avem nevoie de un fel de bază de date cu mai multe fire în care să putem scrie mai multe fire în același timp.
Am încercat o mulțime de lucruri interesante. Apoi ne-am hotărât să o încercăm pe Cassandra. Totul a fost grozav cu Cassandra. 10 de cereri pe secundă pe ofertă. 000 de cereri undeva de citit.
Dar avea și propriile ei interese. O dată pe lună sau o dată la două luni a experimentat o desincronizare a bazei de date. Și a trebuit să mă trezesc și să fug să o repar pe Cassandra. Serverele au fost repornite unul câte unul. Și totul a devenit neted și frumos.
Viața înainte de ClickHouse – Druid
Apoi ne-am dat seama că trebuie să scriem și mai multe date. În 2016 am început să ne uităm la Druid.
Druid este un software open source scris în Java. Foarte specific. Și a fost potrivit pentru fluxul de clic, atunci când trebuie să stocăm un fel de flux de evenimente și apoi să le facem agregare sau să facem rapoarte analitice.
Druid avea versiunea 0.9.X.
Baza de date în sine este foarte dificil de implementat. Aceasta este complexitatea infrastructurii. Pentru a-l desfășura, a fost necesar să instalezi mult, mult fier. Și fiecare piesă hardware era responsabilă pentru propriul rol separat.
Pentru a încărca date în el, a fost necesar să folosiți un fel de șamanism. Există un proiect OpenSource - Tranquility, care pierdea date de la noi într-un flux. Când am încărcat date în el, le-a pierdut.
Dar cumva am început să-l punem în aplicare. Noi, ca aricii care se drogau dar continuau să mănânce cactus, am început să-l introducem. Ne-a luat aproximativ o lună să pregătim toată infrastructura pentru asta. Adică, comandați servere, configurați roluri și automatizați complet implementarea. Adică, în cazul unei eșecuri de cluster, al doilea cluster va fi implementat automat.
Dar apoi s-a întâmplat un miracol. Eram în vacanță și colegii mi-au trimis un link către , care spune că Yandex a decis să deschidă ClickHouse. Eu zic să încercăm.
Și literalmente în 2 zile am implementat un cluster de testare ClickHouse. Am început să încărcăm date în el. În comparație cu infiniDB, acesta este elementar; în comparație cu Druid, acesta este elementar. În comparație cu Cassandra, este și elementar. Pentru că dacă încărcați date din PHP în Cassandra, atunci acest lucru nu este elementar.
Ce am primit? Performanță în viteză. Performanță în stocarea datelor. Adică, este utilizat mult mai puțin spațiu pe disc. ClickHouse este rapid, este foarte rapid în comparație cu alte produse.
La momentul lansării, când Yandex a publicat ClickHouse în OpenSource, exista doar un client de consolă. Noi cei de la compania noastră SMI2 am decis să încercăm să facem un client nativ pentru web, astfel încât să putem deschide o pagină dintr-un browser, să scriem o cerere și să obținem rezultatul, pentru că am început să scriem o mulțime de solicitări. Scrierea în consolă este dificilă. Și am făcut prima noastră versiune.
Și undeva mai aproape de iarna anului trecut, au început să apară instrumente terțe pentru lucrul cu ClickHouse. Acestea sunt instrumente precum:
- .
- .
- . (Acum )
- .
- .
Mă voi uita la unele dintre aceste instrumente, adică la cele cu care am lucrat.
Un instrument bun, dar pentru Druid. Când Druid a fost implementat, testam SuperSet. L-am plăcut. Pentru Druid este foarte rapid.
Nu este potrivit pentru ClickHouse. Adică se potrivește, pornește, dar este gata să proceseze doar interogări elementare precum: eveniment SELECT, eveniment GROUP BY. Nu acceptă sintaxa ClickHouse mai complexă.
Următorul instrument este Apache Zeppelin. Acesta este un lucru bun și interesant. Lucrări. Acceptă notebook-uri, tablouri de bord și acceptă variabile. Știu că cineva din comunitatea ClickHouse îl folosește.
Dar nu există suport pentru sintaxa ClickHouse, adică va trebui să scrieți interogări fie în consolă, fie în altă parte. Apoi, verificați dacă totul funcționează. Este doar incomod. Dar are suport bun pentru tabloul de bord.
Următorul instrument este Redash.IO. Redash este găzduit pe Internet. Adică, spre deosebire de instrumentele anterioare, nu trebuie instalat. Și acesta este un tablou de bord cu capacitatea de a consolida date din diferite surse de date. Adică puteți descărca din ClickHouse, din MySQL, din PostgreSQL și din alte baze de date.
În urmă cu doar o lună (martie 2017), a apărut suport în Grafana. Când creați rapoarte în Grafana, de exemplu, despre starea hardware-ului dvs. sau pe anumite valori, acum puteți crea același grafic sau un fel de panou din datele din ClickHouse direct. Acest lucru este foarte convenabil și îl folosim singuri. Acest lucru vă permite să găsiți anomalii. Adică, dacă se întâmplă ceva și un hardware cade sau devine încordat, atunci poți să te uiți la motivul în care aceste date au reușit să intre în ClickHouse.
Mi s-a părut foarte incomod să scriu în aceste instrumente sau în consolă. Și am decis să îmbunătățim prima noastră interfață. Și am primit ideea de la EventSQL, SeperSet, Zeppelin.
Ce ai vrut? Am vrut să obțin grafică, un editor îmbunătățit și să implementez suport pentru dicționarele de indicii. Pentru că ClickHouse are o caracteristică grozavă - dicționare. Dar este greu să lucrați cu dicționare, deoarece trebuie să vă amintiți formatul valorilor stocate, adică este un număr sau un șir etc. Și, deoarece folosim adesea dicționare în diferitele lor variante, a fost destul de dificil să scrieți interogări.
Au trecut 3 luni de la lansarea primei noastre versiuni. Am făcut aproximativ 330 de commit-uri la o sucursală privată și s-a dovedit a fi Tabix.
Spre deosebire de versiunea anterioară, care se numea ClickHouse-Frontend, am decis să o redenumesc cu un nume simplu. Și sa dovedit Tabix.
Ce a apărut?
Desenează grafice. Suportă sintaxa ClickHouse SQL. Oferă sfaturi cu privire la funcții și poate face o mulțime de lucruri interesante.
Așa arată schema generală Tabix. În stânga este un copac. În centru este editorul de interogări. Iar mai jos este rezultatul acestei cereri.
În continuare, vă voi arăta cum funcționează editorul de interogări.
Aici autocompletarea funcționează automat pe tabel și solicită, în consecință, completarea automată pentru câmpuri. Și sugestii despre funcții. Dacă apăsați ctrl enter, cererea va fi executată sau va eșua cu o eroare. Cea mai simplă solicitare este trimisă către Tabix și se obține rezultatul, adică poți lucra rapid cu ClickHouse.
Dicționarele, așa cum am spus deja, sunt un lucru foarte interesant cu care lucrăm foarte mult. Și care ne-a permis să facem multe lucruri. Să presupunem că stocăm toate orașele în dicționare. Stocăm identificatorul orașului și numele orașului, latitudinea și longitudinea acestuia. Și în baza de date stocăm doar identificatorul orașului. În consecință, comprimăm datele foarte puternic.
Acesta pare a fi un lucru simplu, dar ajută în ClickHouse într-un mod foarte interesant. Datorită faptului că ClickHouse acceptă numai îmbinări imbricate, interogarea crește în jos și suficient de largă. Și când paranteza se deschide și apare o expresie lungă, atunci ceva la fel de simplu precum restrângerea interogării facilitează lucrul cu interogarea în sine. Pentru că atunci când interogarea are 200-300 de linii lungime și foarte mare în lățime, este foarte util să restrângeți interogarea și apoi să găsiți un loc sau să o localizați cumva.
Arborele de obiecte, interogări multiple și file (Video 13:46 )
În continuare, vă voi arăta despre arbore și file. În stânga este un copac; în partea de sus puteți crea mai multe file. Filele sunt ca un spațiu de lucru. Puteți crea mai multe file și puteți numi fiecare diferit. Este ca un mini-sistem pentru construirea unui raport.
Filele sunt salvate automat. Dacă reporniți browserul sau închideți sau deschideți Tabix, toate acestea vor fi salvate.
Hotkey - convenabil (Video 14:39 )
Există taste rapide și sunt destul de multe. Am extras câteva dintre ele aici ca exemplu. Aceasta înseamnă schimbarea filelor, executarea unei cereri sau executarea mai multor solicitări.
Vă voi arăta cum să lucrați cu rezultatul. Trimitem o cerere. Aici desenez sin, cos și tg. Puteți evidenția rezultatul, adică să desenați o hartă tipică pentru o coloană. Puteți evidenția valori pozitive sau negative. Sau pur și simplu colorați un anumit element de tabel. Acest lucru este convenabil atunci când masa este imensă și trebuie să găsiți o anomalie cu ochii. Când căutam anomalii, am evidențiat niște linii, câteva elemente în verde sau roșu.
Sunt o mulțime de lucruri interesante acolo. De exemplu, cum să copiați în Redmine Markdown. Dacă trebuie să copiați rezultatul undeva, acest lucru este foarte convenabil. Puteți selecta pur și simplu o zonă, spuneți „Copiați în Redmine” și se va copia în Redmine Markdown sau va crea o interogare Unde.
Urmează optimizarea interogărilor. Odată am uitat să precizez câmpul „data”. Și cererea mea în ClickHouse nu a fost procesată foarte, foarte repede, ci rapid, adică mai puțin de o secundă. Când am văzut prin câte rânduri a trecut, m-am speriat. Nu scriem atât de multe rânduri pe acest tabel într-o zi. Am început să analizez cererea și am văzut că ratasem o întâlnire într-un singur loc. Adică am uitat să spun că nu am nevoie de date pentru întregul tabel, ci pentru o anumită perioadă.
Tabix are o filă „Statistici”, care stochează întregul istoric al solicitărilor trimise, adică acolo puteți vedea câte linii au fost citite de această solicitare și cât timp a durat să fie executată. Acest lucru permite optimizarea.
Puteți crea un tabel pivot peste rezultatul interogării. Ați trimis o solicitare către ClickHouse și ați primit câteva date. Și apoi puteți muta aceste date cu mouse-ul și puteți construi un fel de tabel pivot.
Următorul lucru interesant este complotul. Să presupunem că avem următoarea solicitare: pentru sin, cos de la 0 la 299. Și pentru a o desena, trebuie să selectați fila „Desenare” și veți obține un grafic cu sin și cos.
Puteți împărți acest lucru în diferite axe, adică puteți desena două grafice unul lângă altul simultan. Scrieți o comandă și o a doua comandă.
Puteți desena histograme.
Puteți descompune acest lucru într-o matrice de grafice.
Puteți construi o hartă termică.
Puteți construi un calendar termic. Apropo, acesta este un lucru foarte convenabil atunci când trebuie să analizați anomaliile pe parcursul unui an, adică să găsiți fie vârfuri, fie picături. Această vizualizare a datelor m-a ajutat în acest sens.
Urmează Harta arborelui.
Sankeys este o diagramă interesantă. El este fie Streamgrahps, fie River. Dar eu îl numesc River. De asemenea, vă permite să căutați orice anomalie. Este foarte confortabil. Recomand să-l folosiți pentru căutare.
Următorul lucru interesant este desenarea unei hărți dinamice. Dacă stocați latitudinea, longitudinea în baza de date și, să zicem, stocați o destinație, dacă, de exemplu, aveți camioane sau avioane care zboară, atunci puteți desena trasee de destinație. Tot acolo puteți seta viteza și dimensiunea acestor obiecte în care zboară.
Dar problema cu această hartă este că desenează doar o hartă a lumii, nu există niciun detaliu.
Mai târziu am adăugat Google map. Dacă stocați latitudinea, longitudinea, atunci puteți desena rezultatul pe harta Google, dar fără suport de avion.
Am discutat despre principalele funcții de lucru cu rezultate și interogări în Tabix.
Următorul este o analiză a serverului dvs. ClickHouse. Există o filă separată „Metrici”, unde puteți vedea dimensiunea datelor stocate pentru fiecare coloană. Captura de ecran arată că acest câmp „referitor” ocupă aproximativ 730 Gb. Dacă abandonăm acest câmp, vom salva trei cioburi de 700 GB fiecare, adică aproximativ 2 TB de care nu avem nevoie.
Avem, de asemenea, un câmp „request_id” pe care îl stocăm într-un șir. Dar dacă începem să-l stocăm în formă numerică, acest câmp se va micșora enorm.
De asemenea, arată configurația serverului și o listă de noduri din clusterul dvs.
Următoarea filă este valorile. Acestea intră în timp real cu ClickHouse și vă permit pur și simplu să analizați starea serverului și să înțelegeți ce se întâmplă cu acesta. Acesta nu este un înlocuitor pentru Grafana completă. Acest lucru este necesar pentru o analiză rapidă.
Următoarea filă este procesele. De la ei puteți înțelege ce se întâmplă pe server. Înțelegeți ce se întâmplă acolo. Am avut o solicitare care consuma 200 GB de citire de fiecare dată. Am văzut asta datorită acestei interfețe. L-am prins și l-am corectat. Și s-a dovedit a fi aproximativ 30 GB, adică o performanță uneori.
Mulțumesc! Și este în OpenSource
Am terminat. Și apropo, este OpenSource, este gratuit și nici nu trebuie să îl descărcați. Deschideți-l într-un browser și totul va funcționa.
întrebări
Igor, ce urmează? Unde vei dezvolta acest instrument?
În continuare, vor apărea tablouri de bord, adică poate că vor apărea tablouri de bord. Integrare cu alte baze de date. Am făcut asta, dar încă nu l-am publicat în OpenSource. Acesta este MySQL și, eventual, PostgreSQL. Adică, va fi posibil să trimiteți cereri de la Tabix nu numai către ClickHouse, ci și către alte instrumente.
Este clar că s-a făcut o cantitate imensă de muncă. S-a dovedit a fi o idee destul de completă. Acest lucru a fost făcut în browser, aparent, pentru a elimina cârjele de pe tot felul de axe și a arunca rapid totul împreună. Am auzit că ești pe php funcționează, deci cel mai simplu mod este să-l tastați în browser și va funcționa peste tot. Nu există întrebări despre asta. Întrebarea este aceasta. Chiar s-au făcut multe acolo. Câți oameni au lucrat la asta? Și cât timp a durat totul? Deoarece instrumentele personalizate de obicei nu au atât de multe funcționalități.
O persoană din echipa noastră a lucrat din vară până în toamnă. Aceasta a fost prima versiune. Apoi am făcut doar 330 de comite. Ce vezi, eu și colegul am făcut-o pe jumătate. În 3 luni, de la prima versiune până la ultima, cel mai mult am făcut-o singur. Dar nu cunosc prea bine Javascript. Acesta a fost singurul meu și, sper, ultimul meu proiect Javascript cu care am lucrat. Am înțeles, m-am uitat - oh, groază. Dar îmi doream foarte mult să termin produsul și asta s-a întâmplat.
Vă mulțumesc foarte mult pentru raport! Acesta este un instrument grozav. CU Tablou Ai comparat?
Mulțumesc. De aceea l-am numit Tabix, pentru că primele litere sunt aceleași.
Pentru că concurezi?
Vor fi multe investiții, vom concura.
Cum vă puteți oferi să vindeți analiștilor interni pe care acest instrument îl va înlocui complet *Tablou*? Care vor fi argumentele?
Funcționează nativ cu ClickHouse. Am încercat Tableau, dar nu puteți scrie suport pentru dicționare și altele asemenea acolo. Știu cum lucrează oamenii cu Tabix. Ei scriu o interogare, o încarcă în CSV și o încarcă în BI. Și deja fac ceva acolo. Dar îmi este greu să-mi imaginez cum fac asta, pentru că este un instrument grafic. Poate descărca 5 de rânduri, maxim 000 de rânduri, dar nu mai mult, altfel browserul nu va face față.
Adică, există unele limitări serioase ale cantității de date, nu?
Da. Nu îmi pot imagina că ați dori să încărcați 10 de rânduri în tabelul dvs. pe ecranul browserului. Pentru ce?
Înseamnă asta că aceasta este o interfață pentru vizualizarea rapidă a datelor? Răsuciți-l puțin, răsuciți-l?
Da, vezi rapid cum funcționează și doar construiește un grafic rezumat. Și apoi dă-l undeva. Avem propriul nostru sistem de raportare, de unde pur și simplu preiau această solicitare. Desenez în Tabix și îl trimit la raportarea noastră.
Si inca o intrebare. Analiza de cohortă?
Dacă există solicitări, o vom adăuga.
Când ai început să-l folosești? ClickHouse, cât a durat implementarea? Faceți clic pe Casă şi aducând la starea de producție?
După cum am spus, am implementat un cluster de testare într-un timp foarte scurt. L-am desfășurat în două zile. Și l-am testat încă câteva săptămâni. Și am ajuns la producție în 3 luni, dar aveam propriul nostru ETL, adică un instrument pentru înregistrarea datelor. Și a scris în tot ce a putut. Poate scrie în MongoDB, Cassandra, MySQL. A fost ușor să-l înveți cum să scrie în ClickHouse. Aveam o infrastructură pregătită pentru implementare rapidă. În 3 luni am început să aruncăm prima componentă. În 6 luni am abandonat complet orice altceva. Mai avem un singur ClickHouse.
Igor, mulțumesc foarte mult pentru raport. Mi-a plăcut foarte mult funcționalitatea de a construi căi folosind hărți. Există planuri de integrare cu Yandex.Maps și în special cu Yandex.Maps personalizate?
Am încercat să integrez în loc de harta Google, dar nu am găsit o temă întunecată pe Yandex.Maps. Nu ți-am spus o bucată. Voi derula înapoi pentru a adăuga.
Slide – Harta Google. Există o comandă „DRAW_GMAPS”, care desenează o hartă. Există o comandă „DRAW_YMAPS”, adică poate desena o hartă Yandex. Dar, de fapt, sub această comandă există Javascript, adică datele pe care le primiți de la ClickHouse pot fi transferate în Javascript, pe care îl scrieți aici. Și aveți o zonă de ieșire în care ar trebui să fie desenată. Puteți desena orice grafic, adică orice grafic, hartă, vă puteți desena propria componentă. Înainte de aceasta, aveam o altă bibliotecă pentru desenarea graficelor în sine.
Adică, există un instrument pentru personalizarea funcționalității afișajului?
Orice. Puteți lua și recolora aceste puncte, făcându-le nu roșii, ci albastre, verzi.
Multumesc pentru raport! Ai avut un slide care a prezentat instrumente alternative de interogare Faceți clic pe Casă pentru construirea de tablouri de bord și rapoarte analitice. Înțeleg asta în momentul în care ai început să lucrezi cu ClickHouse, nu au fost scrise adaptoare pentru aceste instrumente. Și mă întreb de ce ai decis să-ți faci propriul instrument, în loc să scrii un adaptor pentru un instrument gata făcut? Cred că modificarea editorului de teste este rapidă. De ce ai decis să faci atât de multă muncă?
Există un punct interesant aici - adevărul este că sunt director tehnic, nu cercetător al datelor. Când am început să implementăm Druid, foaia mea de parcurs avea aproximativ 50% din sarcini - să calculăm asta, sau să calculăm asta, sau să analizăm asta. Și s-a dovedit că am implementat ClickHouse. Și a început să construiască repede totul, să numere și și-a închis rapid foaia de parcurs. Și până atunci mi-am dat seama că îmi lipsesc cunoștințele în știința datelor și vizualizarea datelor. Tabix este un fel de tema mea pentru a învăța vizualizarea datelor. Mă uitam la cum să completez Zeppelin. Am o ușoară antipatie pentru programarea lui. Redash M-am uitat la cum să-l adaug, dar un editor normal a fost suficient pentru mine. Și SuperSet este, de asemenea, scris într-o limbă care nu prea îmi place. Și așa am decis să merg pe bicicletă și asta s-a întâmplat.
Igor, accepti cererile Pull?
Da.
Vă mulțumesc foarte mult pentru raport! Și două întrebări. În primul rând, nu vorbești prea măgulitor despre Javascript. Ai scris în Javascript simplu sau este un fel de framework?*
Mai bine în Javascript simplu.
Deci ce cadru?
unghiular.
Este clar. Și a doua întrebare. Te-ai gândit R и *Lucios**?*
Considerat-o. Jucat.
De asemenea, puteți scrie doar un adaptor.
El este. Se pare că comunitatea a făcut-o, dar, deoarece am răspuns la întrebarea anterioară, am vrut să încerc și eu.
*Nu, în ceea ce privește vizualizarea, este și acolo.
Spui că există așa ceva și îți va face un grafic. Am deschis o carte despre vizualizarea datelor. Și m-am gândit: „Să încerc să vizualizez aceste date. Îi voi scrie ca să poată reconstrui datele.” Și am început să înțeleg mai bine tehnologia fluxului de date. Și dacă aș fi luat o componentă gata făcută, personal aș fi învățat mai rău cum să o folosesc, adică vizualizarea. Dar da, mi-a plăcut R, dar încă nu am citit cartea „R for Dummies”.
Vă mulțumim!
Intrebare simpla. Există modalități de a încărca rapid un semn sau un program?
Poate fi încărcat în CSV sau Excel.
Nu date, ci o placă gata făcută, un grafic gata făcut? De exemplu, pentru a arăta șefului.
Există un buton „Încărcare” și un buton „Încărcare grafic în png, în jpg”.
Vă mulțumim!
PS Mini-instrucțiuni pentru instalarea tabix
- Descarca
- Despachetați, copiați directorul
buildîn nginx root_path - Configurați nginx
Sursa: www.habr.com