Le sugiero que lea la transcripción del informe de 2017 de Igor Stryhar "ClickHouse: análisis de datos visualmente rápido y claro en Tabix".
Interfaz web para ClickHouse en el proyecto Tabix.
Características principales:
- Funciona con ClickHouse directamente desde el navegador, sin necesidad de instalar software adicional;
- Editor de consultas con resaltado de sintaxis;
- Autocompletado de comandos;
- Herramientas para análisis gráfico de ejecución de consultas;
- Esquemas de colores para elegir.
Soy el director técnico de SMI2. Somos un agregador de noticias de intercambio de noticias. Almacenamos una gran cantidad de datos que recibimos de nuestros socios y los registramos en ClickHouse: alrededor de 30 solicitudes por segundo.
Se trata de datos como:
- Clics en noticias.
- Las noticias se muestran en el agregador.
- Anuncios publicitarios en nuestra red.
- Y registramos eventos desde nuestro propio contador, que es similar a Yandex.Metrica. Este es nuestro propio microanálisis.
Teníamos una vida muy agitada antes de ClickHouse. Sufrimos mucho al intentar almacenar estos datos en algún lugar y analizarlos de alguna manera.
La vida antes de ClickHouse – infiniDB
Lo primero que tuvimos fue infiniDB. Vivió con nosotros durante 4 años. Lo lanzamos con dificultad.
- No admite agrupación ni fragmentación. No hay cosas tan inteligentes que salgan de la caja de forma predeterminada.
- Tiene dificultades para cargar datos. Sólo una utilidad de consola específica que sólo podía cargar archivos CSV y sólo de una manera muy poco clara.
- La base de datos es de un solo subproceso. Podías escribir o leer. Pero hizo posible procesar una gran cantidad de datos.
- Y ella también tenía una muleta interesante. Cada noche había que reiniciar el servidor, de lo contrario no funcionaría.
Trabajó para nosotros hasta finales de 2016, cuando nos cambiamos por completo a ClickHouse.
La vida antes de ClickHouse – Cassandra
Dado que infiniDB tenía un solo subproceso, decidimos que necesitábamos algún tipo de base de datos de múltiples subprocesos en la que pudiéramos escribir muchos subprocesos al mismo tiempo.
Probamos muchas cosas interesantes. Entonces decidimos probar con Cassandra. Todo fue genial con Cassandra. 10 solicitudes por segundo por oferta. 000 solicitudes de lectura en algún lugar.
Pero ella también tenía sus propios intereses. Una vez al mes o una vez cada dos meses experimentó una desincronización de la base de datos. Y tuve que despertarme y correr para arreglar a Cassandra. Los servidores se reiniciaron uno por uno. Y todo se volvió suave y hermoso.
La vida antes de ClickHouse – Druida
Luego nos dimos cuenta de que necesitábamos escribir aún más datos. En 2016 empezamos a ver Druida.
Druid es un software de código abierto escrito en Java. Muy especifico. Y era adecuado para el flujo de clics, cuando necesitamos almacenar algún tipo de flujo de eventos y luego realizar una agregación de ellos o generar informes analíticos.
Druida tenía la versión 0.9.X.
La base de datos en sí es muy difícil de implementar. Ésta es la complejidad de la infraestructura. Para desplegarlo fue necesario instalar mucho, mucho hierro. Y cada pieza de hardware era responsable de su propia función.
Para cargar datos en él, era necesario utilizar algún tipo de chamanismo. Hay un proyecto OpenSource, Tranquility, que estaba perdiendo datos nuestros en una secuencia. Cuando cargamos datos en él, los perdió.
Pero de alguna manera empezamos a implementarlo. Nosotros, como los erizos que se drogaban pero seguían comiendo cactus, empezamos a introducirlo. Nos llevó alrededor de un mes preparar toda la infraestructura para ello. Es decir, ordenar servidores, configurar roles y automatizar completamente la implementación. Es decir, en caso de falla del clúster, el segundo clúster se implementará automáticamente.
Pero entonces ocurrió un milagro. Estaba de vacaciones y mis compañeros me enviaron un enlace a , que dice que Yandex decidió abrir ClickHouse. Yo digo que lo intentemos.
Y, literalmente, en 2 días implementamos un clúster de prueba de ClickHouse. Comenzamos a cargar datos en él. Comparado con infiniDB, esto es elemental; comparado con Druid, esto es elemental. Comparado con Cassandra, también es elemental. Porque si cargas datos desde PHP en Cassandra, entonces esto no es elemental.
¿Qué obtuvimos? Rendimiento en velocidad. Rendimiento en el almacenamiento de datos. Es decir, se utiliza mucho menos espacio en disco. ClickHouse es rápido, es muy rápido comparado con otros productos.
En el momento del lanzamiento, cuando Yandex publicó ClickHouse en OpenSource, solo había un cliente de consola. Nosotros, en nuestra empresa SMI2, decidimos intentar crear un cliente nativo para la web, de modo que pudiéramos abrir una página desde un navegador, escribir una solicitud y obtener el resultado, porque comenzamos a escribir muchas solicitudes. Escribir en la consola es difícil. Y hicimos nuestra primera versión.
Y en algún momento más cerca del invierno del año pasado, comenzaron a aparecer herramientas de terceros para trabajar con ClickHouse. Se trata de herramientas como:
- .
- .
- . (Ahora )
- .
- .
Miraré algunas de estas herramientas, es decir, aquellas con las que he trabajado.
Una buena herramienta, pero para Druida. Cuando se implementó Druid, estaba probando SuperSet. Me gustó. Para Druid es muy rápido.
No es adecuado para ClickHouse. Es decir, encaja, se inicia, pero está listo para procesar solo consultas elementales como: evento SELECT, evento GROUP BY. No es compatible con la sintaxis más compleja de ClickHouse.
La siguiente herramienta es Apache Zeppelin. Esto es algo bueno e interesante. Obras. Admite cuadernos, paneles y admite variables. Sé que alguien de la comunidad ClickHouse lo usa.
Pero no hay soporte para la sintaxis de ClickHouse, es decir, tendrás que escribir consultas en la consola o en otro lugar. A continuación, comprueba que todo funciona. Es simplemente un inconveniente. Pero tiene un buen soporte para el tablero.
La siguiente herramienta es Redash.IO. Redash está alojado en Internet. Es decir, a diferencia de las herramientas anteriores, no es necesario instalarlo. Y este es un panel con la capacidad de consolidar datos de diferentes fuentes de datos. Es decir, puedes descargar desde ClickHouse, desde MySQL, desde PostgreSQL y desde otras bases de datos.
Hace apenas un mes (marzo de 2017), apareció soporte en Grafana. Cuando crea informes en Grafana, por ejemplo, sobre el estado de su hardware o sobre algunas métricas, ahora puede crear el mismo gráfico o algún tipo de panel a partir de datos de ClickHouse directamente. Esto es muy conveniente y lo usamos nosotros mismos. Esto le permite encontrar anomalías. Es decir, si sucede algo y algún hardware se cae o se sobrecarga, entonces puede ver el motivo por el cual estos datos lograron ingresar a ClickHouse.
Me resultó muy incómodo escribir en estas herramientas o en la consola. Y decidí mejorar nuestra primera interfaz. Y saqué la idea de EventSQL, SeperSet, Zeppelin.
¿Qué querías? Quería obtener gráficos, un editor mejorado e implementar soporte para diccionarios de sugerencias. Porque ClickHouse tiene una gran característica: los diccionarios. Pero es difícil trabajar con diccionarios, porque es necesario recordar el formato de los valores almacenados, es decir, si es un número o una cadena, etc. Y como a menudo utilizamos diccionarios en sus diferentes variantes, era bastante difícil escribir consultas.
Han pasado 3 meses desde el lanzamiento de nuestra primera versión. Hice alrededor de 330 confirmaciones en una sucursal privada y resultó ser Tabix.
A diferencia de la versión anterior, que se llamaba ClickHouse-Frontend, decidí cambiarle el nombre por un nombre simple. Y resultó Tabix.
¿Qué apareció?
Dibuja gráficos. Admite la sintaxis SQL de ClickHouse. Da consejos sobre funciones y puede hacer muchas cosas interesantes.
Así es como se ve el esquema general de Tabix. A la izquierda hay un árbol. En el centro está el editor de consultas. Y a continuación se muestra el resultado de esta solicitud.
A continuación te mostraré cómo funciona el editor de consultas.
Aquí, el autocompletado funciona automáticamente en la tabla y solicita, en consecuencia, el autocompletado de los campos. Y sugerencias sobre funciones. Si presiona Ctrl Enter, la solicitud se ejecutará o fallará con un error. La solicitud más simple se envía a Tabix y se obtiene el resultado, es decir, puede trabajar rápidamente con ClickHouse.
Los diccionarios, como ya dije, son algo muy interesante con lo que trabajamos mucho. Y lo que nos permitió hacer muchas cosas. Digamos que almacenamos todas las ciudades en diccionarios. Almacenamos el identificador de la ciudad y el nombre de la ciudad, su latitud y longitud. Y en la base de datos almacenamos solo el identificador de la ciudad. En consecuencia, comprimimos los datos con mucha fuerza.
Esto parece algo simple, pero ayuda en ClickHouse de una manera muy interesante. Debido al hecho de que ClickHouse solo admite uniones anidadas, la consulta crece hacia abajo y es lo suficientemente amplia. Y cuando se abre el corchete y aparece alguna expresión larga, algo tan simple como contraer la consulta hace que sea más fácil trabajar con la consulta misma. Porque cuando la consulta tiene entre 200 y 300 líneas de largo y un ancho muy grande, es muy útil contraer la consulta y luego encontrar algún lugar o localizarla de alguna manera.
Árbol de objetos, multiconsultas y pestañas (Video 13:46 )
A continuación les mostraré el árbol y las pestañas. A la izquierda hay un árbol, arriba puedes crear varias pestañas. Las pestañas son como un espacio de trabajo. Puedes crear varias pestañas y nombrar cada una de forma diferente. Es como un minisistema para crear un informe.
Las pestañas se guardan automáticamente. Si reinicia su navegador o cierra o abre Tabix, todo esto se guardará.
Tecla de acceso rápido: conveniente (Video 14:39 )
Hay teclas de acceso rápido y hay bastantes. He extraído algunos de ellos aquí como ejemplo. Se trata de cambiar de pestaña, ejecutar una solicitud o ejecutar varias solicitudes.
Te mostraré cómo trabajar con el resultado. Enviamos una solicitud. Aquí estoy dibujando pecado, cos y tg. Puede resaltar el resultado, es decir, dibujar un mapa típico para una columna. Puedes resaltar valores positivos o negativos. O simplemente colorea un elemento específico de la mesa. Esto es conveniente cuando la mesa es enorme y necesitas encontrar alguna anomalía con la vista. Cuando buscaba anomalías, resalté algunas líneas, algunos elementos en verde o rojo.
Hay muchas cosas interesantes allí. Por ejemplo, cómo copiar en Redmine Markdown. Si necesita copiar el resultado en algún lugar, esto es muy conveniente. Simplemente puede seleccionar un área, decir "Copiar a Redmine" y se copiará en Redmine Markdown o creará una consulta Dónde.
Lo siguiente es la optimización de consultas. Una vez olvidé especificar el campo "fecha". Y mi solicitud en ClickHouse no se procesó muy, muy rápido, sino rápidamente, es decir, en menos de un segundo. Cuando vi cuántas líneas recorrió, me asusté. No escribimos tantas filas en esta tabla en un día. Comencé a analizar la solicitud y vi que me había perdido una cita en un lugar. Es decir, se me olvidó indicar que no necesito datos de toda la tabla, sino de un periodo concreto.
Tabix tiene una pestaña "Estadísticas", que almacena el historial completo de solicitudes enviadas, es decir, allí puede ver cuántas líneas leyó esta solicitud y cuánto tiempo tardó en ejecutarse. Esto permite la optimización.
Puede crear una tabla dinámica sobre el resultado de la consulta. Envió una solicitud a ClickHouse y recibió algunos datos. Y luego puedes mover estos datos con el mouse y crear algún tipo de tabla dinámica.
Lo siguiente interesante es la trama. Digamos que tenemos la siguiente solicitud: para sin, cos de 0 a 299. Y para dibujarlo, debes seleccionar la pestaña "Dibujar" y obtendrás un gráfico con tu pecado y cos.
Puedes dividir esto en diferentes ejes, es decir, puedes dibujar dos gráficos uno al lado del otro a la vez. Escribe un comando y un segundo comando.
Puedes dibujar histogramas.
Puedes dividir esto en una matriz de gráficos.
Puedes construir un mapa de calor.
Puedes construir un calendario térmico. Por cierto, esto es muy conveniente cuando es necesario analizar anomalías durante un año, es decir, encontrar picos o caídas. Esta visualización de datos me ayudó con esto.
El siguiente es el mapa de árboles.
Sankeys es un gráfico interesante. Es Streamgrahps o River. Pero yo lo llamo River. También le permite buscar cualquier anomalía. Es muy comodo. Recomiendo usarlo para buscar.
Lo siguiente interesante es dibujar un mapa dinámico. Si almacena la latitud, la longitud en su base de datos y, por ejemplo, almacena un destino, si, por ejemplo, tiene camiones o aviones volando, entonces puede dibujar rutas de destino. También allí puedes establecer la velocidad y el tamaño de estos objetos hacia los que vuelan.
Pero el problema de este mapa es que sólo dibuja un mapa del mundo, no hay ningún detalle.
Más tarde agregué el mapa de Google. Si almacena la latitud y la longitud, podrá dibujar el resultado en el mapa de Google, pero sin soporte para aviones.
Hemos discutido las funciones principales de trabajar con resultados y consultas en Tabix.
El siguiente es un análisis de su servidor ClickHouse. Hay una pestaña "Métricas" separada, donde puede ver el tamaño de los datos almacenados para cada columna. La captura de pantalla muestra que este campo de "referencia" ocupa aproximadamente 730 Gb. Si abandonamos este campo nos ahorraremos tres shards de 700 GB cada uno, es decir, unos 2 TB que no necesitamos.
También tenemos un campo "request_id" que almacenamos en una cadena. Pero si empezamos a almacenarlo en forma numérica, este campo se reducirá enormemente.
También muestra la configuración del servidor y una lista de nodos en su clúster.
La siguiente pestaña es métricas. Entran en tiempo real con ClickHouse y simplemente le permiten analizar el estado del servidor y comprender qué le está sucediendo. Esto no reemplaza a Grafana completo. Esto es necesario para un análisis rápido.
La siguiente pestaña es procesos. A partir de ellos puedes entender lo que está sucediendo en el servidor. Entiende lo que está pasando allí. Tuve una solicitud que consumía 200 GB de lectura cada vez. Vi esto gracias a esta interfaz. Lo atrapé y lo corregí. Y resultaron ser unos 30 GB, es decir, un rendimiento a veces.
¡Gracias! Y esto es en OpenSource.
Terminé. Y por cierto, es OpenSource, es gratis y ni siquiera necesitas descargarlo. Ábrelo en un navegador y todo funcionará.
preguntas
Ígor, ¿qué sigue? ¿Dónde desarrollarás esta herramienta?
A continuación, aparecerán paneles, es decir, quizás aparecerán paneles. Integración con otras bases de datos. Hice esto, pero aún no lo he publicado en OpenSource. Este es MySQL y posiblemente PostgreSQL. Es decir, será posible enviar solicitudes desde Tabix no sólo a ClickHouse, sino también a otras herramientas.
Está claro que se ha realizado una enorme cantidad de trabajo. Resultó ser una idea bastante completa. Esto se hizo en el navegador, aparentemente, para eliminar las muletas en todo tipo de ejes y armar todo rápidamente. Escuché que estás en php funciona, por lo que la forma más sencilla es escribirlo en el navegador y funcionará en todas partes. No hay preguntas sobre esto. La pregunta es esta. Realmente se ha hecho mucho allí. ¿Cuántas personas trabajaron en esto? ¿Y cuánto tiempo duró todo? Porque las herramientas personalizadas normalmente no tienen tanta funcionalidad.
Una persona de nuestro equipo trabajó desde el verano hasta el otoño. Esta fue la primera versión. Luego hice 330 confirmaciones solo. Lo que ves, mi colega y yo lo hicimos por la mitad. En 3 meses, desde la primera versión hasta la última, casi lo hice solo. Pero no conozco muy bien Javascript. Este fue mi único y, espero, mi último proyecto de Javascript con el que trabajé. Lo entendí, miré... oh, horror. Pero tenía muchas ganas de terminar el producto y esto es lo que pasó.
¡Muchas gracias por el informe! Esta es una gran herramienta. CON Cuadro ¿Has comparado?
Gracias. Por eso lo llamé Tabix, porque las primeras letras son iguales.
¿Porque compites?
Habrá mucha inversión, competiremos.
¿Cómo puede ofrecer vender a los analistas internos que esta herramienta reemplazará por completo? *Cuadro*? ¿Cuáles serán los argumentos?
Funciona de forma nativa con ClickHouse. Probé Tableau, pero allí no se puede escribir soporte para diccionarios y similares. Sé cómo trabaja la gente con Tabix. Escriben una consulta, la cargan en CSV y la cargan en BI. Y ya están haciendo algo allí. Pero me cuesta imaginar cómo lo hacen, porque es una herramienta gráfica. Puede descargar 5 filas, un máximo de 000 filas, pero no más, de lo contrario el navegador no podrá hacerlo.
Es decir, existen algunas limitaciones importantes en la cantidad de datos, ¿verdad?
Sí. No puedo imaginar que quieras cargar 10 filas en tu tabla en la pantalla de tu navegador. ¿Para qué?
¿Significa esto que se trata de una interfaz para ver datos rápidamente? ¿Gíralo un poco, gíralo?
Sí, vea rápidamente cómo funciona y simplemente cree un gráfico resumido. Y luego dáselo a alguna parte. Tenemos nuestro propio sistema de informes, desde donde simplemente tomo esta solicitud. Dibujo en Tabix y lo envío a nuestros informes.
Y otra pregunta. ¿Análisis de cohorte?
Si hay alguna solicitud, la agregaremos.
¿Cuándo empezaste a usarlo? ClickHouse, ¿cuánto tiempo llevó la implementación? casa de clics y trayendo a estado de producción?
Como dije, implementamos un grupo de prueba en muy poco tiempo. Lo implementamos en dos días. Y lo probamos durante un par de semanas más. Y llegamos a la producción en 3 meses, pero teníamos nuestro propio ETL, es decir, una herramienta para registrar datos. Y escribió en todo lo que pudo. Puede escribir en MongoDB, Cassandra, MySQL. Fue fácil enseñarle a escribir en ClickHouse. Teníamos una infraestructura preparada para una implementación rápida. Al cabo de 3 meses empezamos a tirar el primer componente. En 6 meses abandonamos por completo todo lo demás. Sólo nos queda un ClickHouse.
Igor, muchas gracias por el informe. Realmente me gustó la funcionalidad de construir caminos usando mapas. ¿Existen planes para la integración con Yandex.Maps y, en particular, con Yandex.Maps personalizados?
Intenté integrar el mapa en lugar de Google, pero no encontré un tema oscuro en Yandex.Maps. No te dije ni una sola pieza. Rebobinaré para agregar.
Diapositiva – mapa de Google. Allí hay un comando "DRAW_GMAPS", que dibuja un mapa. Hay un comando "DRAW_YMAPS", es decir, puede dibujar un Yandex.Map. Pero, de hecho, bajo este comando está Javascript, es decir, los datos que recibe de ClickHouse se pueden transferir a Javascript, que escribe aquí. Y tienes un área de salida donde debería dibujarse. Puedes dibujar cualquier gráfico, es decir, cualquier gráfico, mapa, puedes dibujar tu propio componente. Antes de esto, tenía otra biblioteca para dibujar los propios gráficos.
Es decir, ¿existe una herramienta para personalizar la funcionalidad de visualización?
Cualquier. Puedes tomar y recolorear estos puntos, haciéndolos no rojos, sino azules y verdes.
¡Gracias por el informe! Tenías una diapositiva que presentaba herramientas de consulta alternativas. casa de clics para crear paneles e informes analíticos. Entiendo que en el momento en que empezaste a trabajar con ClickHouse, no se han escrito adaptadores para estas herramientas. Y me pregunto por qué decidiste crear tu propia herramienta, en lugar de escribir un adaptador para alguna herramienta ya preparada. Creo que modificar el editor de pruebas es rápido. ¿Por qué decidiste trabajar tanto?
Aquí hay un punto interesante: el hecho es que soy director técnico, no científico de datos. Cuando comenzamos a implementar Druid, mi hoja de ruta tenía aproximadamente el 50% de las tareas: calculemos esto, calculemos esto o analicemos esto. Y resultó que implementamos ClickHouse. Y rápidamente comenzó a construir todo, a contar y rápidamente cerró su hoja de ruta. Y en ese momento me di cuenta de que me faltaban conocimientos en ciencia de datos y visualización de datos. Tabix es una especie de tarea para aprender a visualizar datos. Estaba buscando cómo complementar a Zeppelin. Siento una ligera aversión por su programación. Redash Miré cómo agregarlo, pero un editor normal fue suficiente para mí. Y SuperSet también está escrito en un idioma que no me gusta mucho. Entonces decidí montar en bicicleta y esto es lo que pasó.
Igor, ¿aceptas solicitudes de extracción?
Sí.
¡Muchas gracias por el informe! Y dos preguntas. Primero, no hablas muy halagadoramente JavaScript. ¿Escribiste en Javascript básico o es algún tipo de marco?*
Mejor en Javascript simple.
Entonces, ¿qué marco?
Angular.
Está vacío. Y la segunda pregunta. Ha considerado R и *Brillante**?*
Lo consideré. Jugó.
También puedes simplemente escribir un adaptador.
Él es. Parece que la comunidad lo hizo, pero, como respondí la pregunta anterior, quería probarlo yo mismo.
*No, en cuanto a la visualización, también está ahí.
Dices que existe tal cosa y te dibujará un gráfico. Abrí un libro sobre visualización de datos. Y pensé: “Déjame intentar visualizar estos datos. Le escribiré para que pueda reconstruir los datos”. Y comencé a comprender mejor la tecnología de suministro de datos. Y si hubiera tomado un componente ya preparado, personalmente habría aprendido peor a usarlo, es decir, la visualización. Pero sí, me gustó R, pero aún no he leído el libro “R for Dummies”.
Gracias!
Pregunta simple. ¿Existe alguna forma de cargar rápidamente un cartel o un horario?
Se puede cargar en CSV o Excel.
¿No son datos, sino una placa ya hecha, un gráfico ya hecho? Por ejemplo, para mostrárselo al jefe.
Hay un botón “Subir” y hay un botón “Subir gráfico en png, en jpg”.
Gracias!
PS Mini-instrucciones para instalar tabix
- descargar
- Desempaquetar, copiar directorio
builden nginx ruta_raíz - Configurar nginx
Fuente: habr.com