{"id":32322,"date":"2019-10-31T21:46:21","date_gmt":"2019-10-31T18:46:21","guid":{"rendered":"https:\/\/prohoster.info\/blog\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk\/"},"modified":"2019-10-31T21:46:21","modified_gmt":"2019-10-31T18:46:21","slug":"kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk","title":{"rendered":"C\u00f3mo construimos el monitoreo en Prometheus, Clickhouse y ELK","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Me llamo Anton Baderin. Trabajo en el Centro de Altas Tecnolog\u00edas y me dedico a la administraci\u00f3n de sistemas. Hace un mes, concluy\u00f3 nuestra conferencia corporativa, donde compartimos nuestra experiencia acumulada con la comunidad IT de nuestra ciudad. Habl\u00e9 sobre la monitorizaci\u00f3n de aplicaciones web. El material estaba destinado a niveles junior o medio, quienes no han desarrollado este proceso desde cero.<\/p>\n

<\/p>\n

\"C\u00f3mo<\/p>\n

<\/p>\n

La piedra angular de cualquier sistema de monitorizaci\u00f3n es la resoluci\u00f3n de problemas de negocio. La monitorizaci\u00f3n por la monitorizaci\u00f3n no interesa a nadie. \u00bfQu\u00e9 quiere el negocio? Que todo funcione r\u00e1pido y sin errores. El negocio desea proactividad, para que identifiquemos problemas en el servicio y los resolvamos lo m\u00e1s r\u00e1pido posible. Esa, en esencia, es la tarea que he estado resolviendo durante todo el a\u00f1o pasado en el proyecto de uno de nuestros clientes.<\/p>\n

<\/a><\/noindex><\/p>\n

Sobre el proyecto<\/h2>\n

<\/p>\n

El proyecto es uno de los programas de fidelizaci\u00f3n m\u00e1s grandes del pa\u00eds. Ayudamos a las cadenas minoristas a aumentar la frecuencia de ventas mediante diversas herramientas de marketing como las tarjetas de bonificaci\u00f3n. En total, el proyecto incluye 14 aplicaciones que operan en diez servidores.<\/p>\n

<\/p>\n

Durante las entrevistas, he notado repetidamente que los administradores no siempre abordan correctamente la monitorizaci\u00f3n de aplicaciones web: muchos todav\u00eda se detienen en las m\u00e9tricas del sistema operativo y ocasionalmente monitorizan los servicios.<\/p>\n

<\/p>\n

En mi caso, antes el sistema de monitorizaci\u00f3n del cliente estaba basado en Icinga. Este no resolv\u00eda las tareas mencionadas anteriormente. A menudo, el cliente nos notificaba sobre problemas y no menos veces nos faltaban datos para llegar a la ra\u00edz del problema.<\/p>\n

<\/p>\n

Adem\u00e1s, hab\u00eda una clara comprensi\u00f3n de la falta de perspectivas para su desarrollo futuro. Creo que quienes conocen Icinga me entender\u00e1n. As\u00ed que decidimos rehacer completamente el sistema de monitorizaci\u00f3n de aplicaciones web en el proyecto.<\/p>\n

<\/p>\n

Prometheus<\/h2>\n

<\/p>\n

Elegimos Prometheus, bas\u00e1ndonos en tres indicadores clave:<\/p>\n

<\/p>\n

    \n
  1. Una enorme cantidad de m\u00e9tricas disponibles. En nuestro caso, son 60 mil. Por supuesto, hay que destacar que la gran mayor\u00eda de ellas no las usamos (probablemente alrededor del 95%). Sin embargo, todas son relativamente baratas. Para nosotros, esta es la otra extrema, en comparaci\u00f3n con Icinga que us\u00e1bamos anteriormente. En ella, agregar m\u00e9tricas era especialmente doloroso: las existentes eran costosas (basta con mirar el c\u00f3digo fuente de cualquier complemento). Cualquier complemento era un script en Bash o Python, cuya ejecuci\u00f3n no es barata en t\u00e9rminos de recursos consumidos.<\/li>\n
  2. Este sistema consume relativamente pocos recursos. Para todas nuestras m\u00e9tricas, son suficientes 600 MB de memoria RAM, el 15% de un n\u00facleo y un par de docenas de IOPS. Por supuesto, hay que ejecutar los exportadores de m\u00e9tricas, pero todos est\u00e1n escritos en Go y tampoco son muy exigentes. No creo que esto sea un problema en las realidades modernas. <\/li>\n
  3. Permite la migraci\u00f3n a Kubernetes. Dado los planes del cliente, la elecci\u00f3n es obvia. <\/li>\n<\/ol>\n

    <\/p>\n

    ELK<\/h2>\n

    <\/p>\n

    Antes no recolect\u00e1bamos ni proces\u00e1bamos logs. Las desventajas son evidentes para todos. Elegimos ELK, ya que ten\u00edamos experiencia previa con este sistema. All\u00ed almacenamos solo los logs de las aplicaciones. Los principales criterios de selecci\u00f3n fueron la b\u00fasqueda de texto completo y su velocidad.<\/p>\n

    <\/p>\n

    Clickhouse<\/h2>\n

    <\/p>\n

    Inicialmente, la elecci\u00f3n recay\u00f3 en InfluxDB. \u00c9ramos conscientes de la necesidad de recolectar logs de Nginx, estad\u00edsticas de pg_stat_statements, y almacenar datos hist\u00f3ricos de Prometheus. No nos gust\u00f3 Influx, ya que, de vez en cuando, comenzaba a consumir mucha memoria y fallaba. Adem\u00e1s, quer\u00edamos agrupar solicitudes por remote_addr, y la agrupaci\u00f3n en esta base de datos solo es posible por etiquetas. Las etiquetas son caras (en t\u00e9rminos de memoria), y su n\u00famero est\u00e1 limitadamente restringido.<\/p>\n

    <\/p>\n

    Comenzamos la b\u00fasqueda de nuevo. Necesit\u00e1bamos una base anal\u00edtica con un m\u00ednimo consumo de recursos, preferiblemente con compresi\u00f3n de datos en disco.<\/p>\n

    <\/p>\n

    Clickhouse cumple con todos estos criterios, y no nos hemos arrepentido de la elecci\u00f3n ni una vez. No escribimos vol\u00famenes notables de datos en \u00e9l (el n\u00famero de inserciones es de aproximadamente cinco mil por minuto).<\/p>\n

    <\/p>\n

    NewRelic<\/h2>\n

    <\/p>\n

    NewRelic ha estado con nosotros hist\u00f3ricamente, ya que fue la elecci\u00f3n del cliente. Lo usamos como APM.<\/p>\n

    <\/p>\n

    Zabbix<\/h2>\n

    <\/p>\n

    Usamos Zabbix exclusivamente para el monitoreo de Black Box de diversas API.<\/p>\n

    <\/p>\n

    Definici\u00f3n del enfoque para el monitoreo<\/h2>\n

    <\/p>\n

    Quer\u00edamos descomponer la tarea y, as\u00ed, sistematizar el enfoque al monitoreo.<\/p>\n

    <\/p>\n

    He dividido nuestro sistema en los siguientes niveles:<\/p>\n

    <\/p>\n