Us suggereixo que llegiu la transcripció de l'informe de 2017 d'Igor Stryhar "ClickHouse: anàlisi de dades visualment ràpida i clara a Tabix".
Interfície web per a ClickHouse al projecte Tabix.
Característiques clau:
- Funciona amb ClickHouse directament des del navegador, sense necessitat d'instal·lar programari addicional;
- Editor de consultes amb ressaltat de sintaxi;
- Autocompleció d'ordres;
- Eines per a l'anàlisi gràfic de l'execució de consultes;
- Esquemes de colors per triar.
Sóc el director tècnic de SMI2. Som un agregador de notícies d'intercanvi de notícies. Emmagatzemem moltes dades que rebem dels nostres socis i les registrem a ClickHouse: unes 30 sol·licituds per segon.
Aquestes són dades com ara:
- Clics a la notícia.
- Es mostren notícies a l'agregador.
- Es mostra el bàner a la nostra xarxa.
- I registrem esdeveniments des del nostre propi taulell, que és similar a Yandex.Metrica. Aquesta és la nostra pròpia microanàlisi.
Vam tenir una vida molt agitada abans de ClickHouse. Vam patir molt, intentant emmagatzemar aquestes dades en algun lloc i analitzar-les d'alguna manera.
La vida abans de ClickHouse – infiniDB
El primer que vam tenir va ser infiniDB. Va viure amb nosaltres durant 4 anys. Ho vam posar en marxa amb dificultat.
- No admet agrupació ni fragmentació. No hi ha coses tan intel·ligents que van sortir de la caixa per defecte.
- Té dificultats per carregar les dades. Només una utilitat de consola específica que només podria carregar fitxers CSV i només d'una manera molt poc clara.
- La base de dades és d'un sol fil. Podries escriure o llegir. Però va permetre processar una gran quantitat de dades.
- I també tenia una crossa interessant. Cada nit s'havia de reiniciar el servidor, en cas contrari no funcionaria.
Va treballar per a nosaltres fins a finals del 2016, quan vam canviar completament a ClickHouse.
La vida abans de ClickHouse - Cassandra
Com que infiniDB era d'un sol fil, vam decidir que necessitàvem algun tipus de base de dades multifils en la qual poguéssim escriure molts fils al mateix temps.
Hem provat moltes coses interessants. Llavors vam decidir provar la Cassandra. Tot va anar genial amb Cassandra. 10 sol·licituds per segon per oferta. 000 peticions en algun lloc per llegir.
Però també tenia els seus propis interessos. Un cop al mes o una vegada cada dos mesos va experimentar una desincronització de la base de dades. I em vaig haver de despertar i córrer per arreglar la Cassandra. Els servidors es van reiniciar un a un. I tot es va tornar suau i bonic.
La vida abans de ClickHouse - Druid
Aleshores ens vam adonar que necessitàvem escriure encara més dades. L'any 2016 vam començar a veure Druid.
Druid és un programari de codi obert escrit en Java. Molt concret. I era adequat per al flux de clics, quan necessitem emmagatzemar algun tipus de flux d'esdeveniments i després realitzar-ne l'agregació o fer informes analítics.
Druid tenia la versió 0.9.X.
La base de dades en si és molt difícil de desplegar. Aquesta és la complexitat de la infraestructura. Per desplegar-lo, calia instal·lar-hi molt, molt de ferro. I cada peça de maquinari era responsable del seu propi paper.
Per carregar-hi dades, calia utilitzar algun tipus de xamanisme. Hi ha un projecte OpenSource: Tranquility, que perdia dades de nosaltres en un flux. Quan hi vam carregar dades, les va perdre.
Però d'alguna manera vam començar a implementar-ho. Nosaltres, com els eriçons que es drogaven però seguien menjant cactus, vam començar a introduir-lo. Vam trigar aproximadament un mes a preparar-hi tota la infraestructura. És a dir, ordenar servidors, configurar rols i automatitzar completament el desplegament. És a dir, en cas d'error del clúster, el segon clúster es desplegarà automàticament.
Però aleshores va passar un miracle. Estava de vacances i els meus companys m'han enviat un enllaç , que diu que Yandex va decidir obrir ClickHouse. Jo dic que ho provem.
I literalment en 2 dies vam desplegar un clúster de prova ClickHouse. Vam començar a carregar-hi dades. En comparació amb infiniDB, això és elemental; en comparació amb Druid, això és elemental. En comparació amb Cassandra, també és elemental. Perquè si carregueu dades de PHP a Cassandra, això no és elemental.
Què hem aconseguit? Rendiment en velocitat. Rendiment en l'emmagatzematge de dades. És a dir, s'utilitza molt menys espai al disc. ClickHouse és ràpid, és molt ràpid en comparació amb altres productes.
En el moment del llançament, quan Yandex va publicar ClickHouse a OpenSource, només hi havia un client de consola. Des de la nostra empresa SMI2 vam decidir intentar fer un client natiu per a la web, per poder obrir una pàgina des d'un navegador, escriure una sol·licitud i obtenir el resultat, perquè vam començar a escriure moltes peticions. Escriure a la consola és difícil. I vam fer la nostra primera versió.
I en algun lloc més a prop de l'hivern de l'any passat, van començar a aparèixer eines de tercers per treballar amb ClickHouse. Aquestes són eines com ara:
- .
- .
- . (Ara )
- .
- .
Miraré algunes d'aquestes eines, és a dir, amb les que he treballat.
Una bona eina, però per a Druid. Quan s'estava implementant Druid, estava provant SuperSet. Em va agradar. Per a Druid és molt ràpid.
No és adequat per a ClickHouse. És a dir, s'adapta, s'inicia, però està preparat per processar només consultes elementals com: esdeveniment SELECT, esdeveniment GROUP BY. No admet la sintaxi ClickHouse més complexa.
La següent eina és Apache Zeppelin. Això és una cosa bona i interessant. Obres. Admet quaderns, taulers de comandament i admet variables. Sé que algú de la comunitat ClickHouse l'utilitza.
Però no hi ha suport per a la sintaxi de ClickHouse, és a dir, haureu d'escriure consultes a la consola o en un altre lloc. A continuació, comproveu que tot funciona. Simplement és incòmode. Però té un bon suport de tauler.
La següent eina és Redash.IO. Redash està allotjat a Internet. És a dir, a diferència de les eines anteriors, no cal instal·lar-lo. I aquest és un tauler amb la capacitat de consolidar dades de diferents fonts de dades. És a dir, pots descarregar-te des de ClickHouse, des de MySQL, des de PostgreSQL i d'altres bases de dades.
Fa tot just un mes (març de 2017), el suport va aparèixer a Grafana. Quan creeu informes a Grafana, per exemple, sobre l'estat del vostre maquinari o sobre algunes mètriques, ara podeu crear el mateix gràfic o algun tipus de panell a partir de dades de ClickHouse directament. Això és molt convenient, i nosaltres mateixos l'utilitzem. Això permet trobar anomalies. És a dir, si passa alguna cosa i algun maquinari cau o es fa tensió, podeu veure el motiu si aquestes dades van aconseguir entrar a ClickHouse.
Em va semblar molt incòmode escriure en aquestes eines o a la consola. I vaig decidir millorar la nostra primera interfície. I vaig tenir la idea d'EventSQL, SeperSet, Zeppelin.
Què volies? Volia obtenir gràfics, un editor millorat i implementar suport per als diccionaris de pistes. Perquè ClickHouse té una gran característica: els diccionaris. Però és difícil treballar amb diccionaris, perquè cal recordar el format dels valors emmagatzemats, és a dir, és un número o una cadena, etc. I com que sovint fem servir els diccionaris en les seves diferents variacions, era bastant difícil escriure consultes.
Han passat 3 mesos des del llançament de la nostra primera versió. Vaig fer uns 330 compromesos en una sucursal privada i va resultar que era Tabix.
A diferència de la versió anterior, que es deia ClickHouse-Frontend, vaig decidir canviar-li el nom a un nom senzill. I va resultar Tabix.
Què va aparèixer?
Dibuixa gràfics. Admet la sintaxi SQL de ClickHouse. Ofereix consells sobre funcions i pot fer moltes coses interessants.
Així és l'esquema general de Tabix. A l'esquerra hi ha un arbre. Al centre hi ha l'editor de consultes. I a continuació el resultat d'aquesta petició.
A continuació, us mostraré com funciona l'editor de consultes.
Aquí l'emplenament automàtic funciona automàticament a la taula i sol·licita, en conseqüència, l'emplenament automàtic dels camps. I consells sobre funcions. Si premeu Ctrl Intro, la sol·licitud s'executarà o fallarà amb un error. La sol·licitud més senzilla s'envia a Tabix i s'obté el resultat, és a dir, podeu treballar ràpidament amb ClickHouse.
Els diccionaris, com ja he dit, són una cosa molt interessant amb la qual treballem molt. I que ens va permetre fer moltes coses. Suposem que emmagatzemem totes les ciutats als diccionaris. Emmagatzemem l'identificador de la ciutat i el nom de la ciutat, la seva latitud i longitud. I a la base de dades només emmagatzemem l'identificador de la ciutat. En conseqüència, comprimim les dades amb molta força.
Això sembla ser una cosa senzilla, però ajuda a ClickHouse d'una manera molt interessant. A causa del fet que ClickHouse només admet les unions imbricades, la consulta creix cap avall i en amplada amb força. I quan s'obre el parèntesi i apareix una expressió llarga, una cosa bastant senzilla com col·lapsar la consulta fa que sigui més fàcil treballar amb la consulta en si. Perquè quan la consulta té una llargada de 200-300 línies i una amplada molt gran, és molt útil col·lapsar la consulta i després trobar un lloc o localitzar-la d'alguna manera.
Arbre d'objectes, múltiples consultes i pestanyes (Vídeo 13:46 )
A continuació us mostraré l'arbre i les pestanyes. A l'esquerra hi ha un arbre; a la part superior podeu crear diverses pestanyes. Les pestanyes són com un espai de treball. Podeu crear diverses pestanyes i anomenar cadascuna de manera diferent. És com un minisistema per crear un informe.
Les pestanyes es desen automàticament. Si reinicieu el navegador o tanqueu o obriu Tabix, tot això es desarà.
Tecla d'accés ràpid: convenient (vídeo 14:39 )
Hi ha tecles d'accés ràpid i n'hi ha bastants. Aquí n'he extret alguns com a exemple. Això és canviar de pestanya, executar una sol·licitud o executar diverses peticions.
Us mostraré com treballar amb el resultat. Enviem una petició. Aquí estic dibuixant sin, cos i tg. Podeu ressaltar el resultat, és a dir, dibuixar un mapa típic per a una columna. Podeu destacar valors positius o negatius. O simplement acoloreix un element de taula específic. Això és convenient quan la taula és enorme i cal trobar alguna anomalia amb els ulls. Quan buscava anomalies, vaig destacar algunes línies, alguns elements en verd o vermell.
Allà hi ha moltes coses interessants. Per exemple, com copiar a Redmine Markdown. Si necessiteu copiar el resultat en algun lloc, això és molt convenient. Només podeu seleccionar una àrea, dir "Copia a Redmine" i es copiarà a Redmine Markdown o crearà una consulta On.
El següent és l'optimització de consultes. Una vegada em vaig oblidar d'especificar el camp "data". I la meva sol·licitud a ClickHouse no es va processar molt, molt ràpidament, sinó ràpidament, és a dir, menys d'un segon. Quan vaig veure per quantes línies passava, em vaig espantar. No escrivim tantes files en aquesta taula en un dia. Vaig començar a analitzar la sol·licitud i vaig veure que m'havia perdut una cita en un sol lloc. És a dir, he oblidat indicar que no necessito dades per a tota la taula, sinó per a un període concret.
Tabix té una pestanya "Estadístiques", que emmagatzema tot l'historial de sol·licituds enviades, és a dir, allà podeu veure quantes línies es van llegir per aquesta sol·licitud i quant de temps va trigar a executar-se. Això permet l'optimització.
Podeu crear una taula dinàmica sobre el resultat de la consulta. Has enviat una sol·licitud a ClickHouse i has rebut algunes dades. I després podeu moure aquestes dades amb el ratolí i crear algun tipus de taula dinàmica.
La següent cosa interessant és tramar. Suposem que tenim la següent sol·licitud: per sin, cos de 0 a 299. I per dibuixar-lo, cal que seleccioneu la pestanya "Dibuixa" i obtindreu un gràfic amb el vostre sin i cos.
Podeu dividir-ho en diferents eixos, és a dir, podeu dibuixar dos gràfics un al costat de l'altre alhora. Escriu una ordre i una segona.
Podeu dibuixar histogrames.
Podeu desglossar-ho en una matriu de gràfics.
Podeu crear un mapa de calor.
Podeu crear un calendari tèrmic. Per cert, això és molt convenient quan necessiteu analitzar anomalies durant un any, és a dir, trobar pics o gotes. Aquesta visualització de dades em va ajudar amb això.
El següent és Treemap.
Sankeys és un gràfic interessant. Ell és Streamgrahps o River. Però jo li dic riu. També permet buscar qualsevol anomalia. És molt còmode. Recomano utilitzar-lo per cercar.
El següent interessant és dibuixar un mapa dinàmic. Si emmagatzemeu la latitud, la longitud a la vostra base de dades i, per exemple, emmagatzemeu una destinació, si, per exemple, teniu camions o avions volant, podeu dibuixar rutes de destinació. També allà podeu establir la velocitat i la mida d'aquests objectes als quals volen.
Però el problema d'aquest mapa és que només dibuixa un mapa del món, no hi ha cap detall.
Més tard vaig afegir el mapa de Google. Si emmagatzemeu la latitud i la longitud, podeu dibuixar el resultat al mapa de Google, però sense suport d'avió.
Hem comentat les principals funcions de treballar amb resultats i consultes a Tabix.
El següent és una anàlisi del vostre servidor ClickHouse. Hi ha una pestanya "Mètriques" independent, on podeu veure la mida de les dades emmagatzemades per a cada columna. La captura de pantalla mostra que aquest camp "referent" ocupa uns 730 Gb. Si abandonem aquest camp, estalviarem tres fragments de 700 GB cadascun, és a dir, uns 2 TB que no necessitem.
També tenim un camp "request_id" que emmagatzemem en una cadena. Però si comencem a emmagatzemar-lo en forma numèrica, aquest camp es reduirà enormement.
També mostra la configuració del servidor i una llista de nodes del vostre clúster.
La següent pestanya són mètriques. Entren en temps real amb ClickHouse i simplement us permeten analitzar l'estat del servidor i entendre què li passa. Això no és un reemplaçament de Grafana complet. Això és necessari per a una anàlisi ràpida.
La següent pestanya és processos. D'ells podeu entendre què està passant al servidor. Entendre què hi passa. Vaig tenir una sol·licitud que consumia 200 GB de lectura cada vegada. Ho vaig veure gràcies a aquesta interfície. El vaig agafar i el vaig corregir. I va resultar ser uns 30 GB, és a dir, una actuació de vegades.
Gràcies! I és a OpenSource
He acabat. I per cert, és OpenSource, és gratuït i no cal ni descarregar-lo. Obriu-lo en un navegador i tot funcionarà.
Les vostres preguntes
Igor, què passa? On desenvolupareu aquesta eina?
A continuació, apareixeran taulers, és a dir, potser apareixeran taulers. Integració amb altres bases de dades. Ho vaig fer, però encara no l'he publicat a OpenSource. Això és MySQL i possiblement PostgreSQL. És a dir, es podran enviar peticions des de Tabix no només a ClickHouse, sinó també a altres eines.
Està clar que s'ha fet una gran quantitat de treball. Va resultar ser una idea bastant completa. Això es va fer al navegador, pel que sembla, per tal d'eliminar les crosses de tot tipus d'eixos i ajuntar-ho ràpidament. He sentit que estàs activat php funcioni, de manera que la manera més senzilla és escriure'l al navegador i funcionarà a tot arreu. No hi ha preguntes sobre això. La pregunta és aquesta. Realment s'hi han fet moltes coses. Quanta gent va treballar en això? I quant de temps va trigar tot? Perquè les eines personalitzades normalment no tenen tanta funcionalitat.
Una persona del nostre equip va treballar des de l'estiu fins a la tardor. Aquesta va ser la primera versió. Aleshores només vaig fer 330 commits. El que veus, el meu company i jo ho vam fer per la meitat. En 3 mesos, des de la primera versió fins a l'última, sobretot ho vaig fer sol. Però no conec molt bé Javascript. Aquest va ser el meu únic i, espero, el meu últim projecte Javascript amb el qual vaig treballar. Ho vaig entendre, vaig mirar... oh, horror. Però tenia moltes ganes d'acabar el producte i això és el que va passar.
Moltes gràcies pel reportatge! Aquesta és una gran eina. AMB Taula Has comparat?
Gràcies. Per això li vaig posar el nom de Tabix, perquè les primeres lletres són les mateixes.
Perquè competeixes?
Hi haurà molta inversió, competirem.
Com podeu oferir vendre als analistes interns que aquesta eina substituirà completament *taula*? Quins seran els arguments?
Funciona de manera nativa amb ClickHouse. He provat Tableau, però allà no podeu escriure suport per a diccionaris i similars. Sé com la gent treballa amb Tabix. Escriuen una consulta, la pengen a CSV i la pengen a BI. I ja estan fent alguna cosa allà. Però em costa imaginar com ho fan, perquè és una eina gràfica. Pot descarregar 5 files, un màxim de 000 files, però no més, en cas contrari el navegador no ho farà.
És a dir, hi ha algunes limitacions serioses en la quantitat de dades, oi?
Sí. No puc imaginar que voldríeu carregar 10 files a la vostra taula a la pantalla del vostre navegador. Per a què?
Vol dir això que es tracta d'una interfície per visualitzar dades ràpidament? Girar-lo una mica, retorçar-lo?
Sí, mireu ràpidament com funciona i només creeu un gràfic de resum. I després dóna-ho a algun lloc. Tenim el nostre propi sistema d'informes, des d'on simplement prenc aquesta sol·licitud. Dibuixo a Tabix i l'envio al nostre informe.
I una altra pregunta. Anàlisi de cohorts?
Si hi ha alguna petició, l'afegirem.
Quan vas començar a utilitzar-lo? ClickHouse, quant de temps va trigar la implementació? Feu clic a Casa i portant a estat de producció?
Com he dit, vam implementar un clúster de prova en molt poc temps. El vam desplegar en dos dies. I el vam provar un parell de setmanes més. I vam arribar a la producció en 3 mesos, però teníem el nostre propi ETL, és a dir, una eina per registrar dades. I va escriure en tot el que va poder. Pot escriure en MongoDB, Cassandra, MySQL. Va ser fàcil ensenyar-li a escriure a ClickHouse. Teníem una infraestructura preparada per a una implementació ràpida. Al cap de 3 mesos vam començar a llençar el primer component. En 6 mesos vam abandonar completament tota la resta. Només ens queda un ClickHouse.
Igor, moltes gràcies per l'informe. Em va agradar molt la funcionalitat de construir camins amb mapes. Hi ha plans per a la integració amb Yandex.Maps i, en particular, amb Yandex.Maps personalitzats?
Vaig intentar integrar-me en lloc del mapa de Google, però no vaig trobar cap tema fosc a Yandex.Maps. No t'he dit ni una peça. Rebobinaré per afegir.
Slide - Mapa de Google. Hi ha una comanda "DRAW_GMAPS", que dibuixa un mapa. Hi ha una comanda "DRAW_YMAPS", és a dir, pot dibuixar un Yandex.Map. Però de fet, sota aquesta comanda hi ha Javascript, és a dir, les dades que rebeu de ClickHouse es poden transferir a Javascript, que escriviu aquí. I teniu una àrea de sortida on s'hauria de dibuixar. Podeu dibuixar qualsevol gràfic, és a dir, qualsevol gràfic, mapa, podeu dibuixar el vostre propi component. Abans d'això, tenia una altra biblioteca per dibuixar els mateixos gràfics.
És a dir, hi ha una eina per personalitzar la funcionalitat de visualització?
Cap. Podeu agafar i recolorir aquests punts, fent-los no vermells, sinó blaus, verds.
Gràcies pel reportatge! Teniu una diapositiva que presentava eines de consulta alternatives Feu clic a Casa per crear taulers de control i informes analítics. Ho entenc en el moment en què vas començar a treballar ClickHouse, no s'ha escrit cap adaptador per a aquestes eines. I em pregunto per què vas decidir fer la teva pròpia eina, en lloc d'escriure un adaptador per a alguna eina ja feta? Crec que ajustar l'editor de proves és ràpid. Per què vas decidir fer tanta feina?
Hi ha un punt interessant aquí: el fet és que sóc un director tècnic, no un científic de dades. Quan vam començar a implementar Druid, el meu full de ruta tenia al voltant del 50% de les tasques: calculem-ho, o calculem-ho, o analitzem-ho. I va resultar que vam implementar ClickHouse. I va començar a construir-ho tot ràpidament, a comptar, i ràpidament va tancar el seu full de ruta. I en aquell moment em vaig adonar que no tenia coneixements en ciència de dades i visualització de dades. Tabix és una mena de la meva tasca per aprendre a visualitzar dades. Estava mirant com complementar Zeppelin. No m'agrada una mica la seva programació. Redash Vaig mirar com afegir-lo, però un editor normal em va ser suficient. I SuperSet també està escrit en un llenguatge que no m'agrada gaire. Així que vaig decidir anar en bicicleta, i això va passar.
Igor, acceptes les sol·licituds d'extracció?
Sí
Moltes gràcies pel reportatge! I dues preguntes. Primer, no en parles gaire adulador Javascript. Has escrit en Javascript nu o és una mena de marc?*
Millor en Javascript nu.
Aleshores, quin marc?
Angular.
Està clar. I la segona pregunta. Has pensat R и *Brillant**?*
Considerat-ho. Jugat.
També podeu escriure un adaptador.
Ell és. Sembla que la comunitat ho va fer, però, com vaig respondre a la pregunta anterior, vaig voler provar-ho jo mateix.
*No, pel que fa a la visualització, també hi és.
Dius que hi ha una cosa així i et dibuixarà un gràfic. Vaig obrir un llibre sobre visualització de dades. I vaig pensar: “Deixa’m intentar visualitzar aquestes dades. Li escriuré perquè pugui reconstruir les dades". I vaig començar a entendre millor la tecnologia de subministrament de dades. I si hagués agafat un component ja fet, personalment hauria après pitjor com utilitzar-lo, és a dir, la visualització. Però sí, m'agradava R, però encara no he llegit el llibre "R for Dummies".
Gràcies!
Pregunta senzilla. Hi ha alguna manera de pujar ràpidament un rètol o una programació?
Es pot carregar a CSV o Excel.
No dades, sinó un plat ja fet, un gràfic ja fet? Per exemple, per mostrar el cap.
Hi ha un botó "Pujar" i un botó "Pujar gràfic en png, en jpg".
Gràcies!
PS Mini-instruccions per instal·lar tabix
- Descarregar
- Descomprimir, copiar el directori
builda nginx root_path - Configura nginx
Font: www.habr.com