{"id":92508,"date":"2020-08-28T07:42:10","date_gmt":"2020-08-28T05:42:10","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/kak-my-organizovali-vysokoeffektivnoe-i-nedorogoe-datalake-i-pochemu-imenno-tak"},"modified":"2020-08-28T07:42:10","modified_gmt":"2020-08-28T05:42:10","slug":"kak-my-organizovali-vysokoeffektivnoe-i-nedorogoe-datalake-i-pochemu-imenno-tak","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/administrirovanie\/kak-my-organizovali-vysokoeffektivnoe-i-nedorogoe-datalake-i-pochemu-imenno-tak","title":{"rendered":"C\u00f3mo organizamos un DataLake altamente eficiente y de bajo costo y por qu\u00e9 de esta manera.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Vivimos en un tiempo sorprendente, donde es posible conectar r\u00e1pidamente y f\u00e1cilmente varias herramientas de c\u00f3digo abierto, configurarlas con un \u00abcerebro desconectado\u00bb siguiendo los consejos de stackoverflow, sin profundizar en \u00abpalabras complicadas\u00bb, y ponerlas en funcionamiento comercial. Y cuando sea necesario actualizarse\/ampliarse o alguien reinicie accidentalmente un par de m\u00e1quinas, uno se da cuenta de que ha comenzado una pesadilla molesta en la vida real, todo se complic\u00f3 dr\u00e1sticamente, no hay vuelta atr\u00e1s, el futuro es incierto y m\u00e1s seguro, en lugar de programar, criar abejas y hacer queso.<\/p>\n

No es de extra\u00f1ar que los colegas m\u00e1s experimentados, con cabezas canosas llenas de bugs, observando el incre\u00edblemente r\u00e1pido despliegue de montones de \u00abcontenedores\u00bb en \u00abcubos\u00bb en decenas de servidores en \u00ablenguajes de moda\u00bb con soporte incorporado para entrada\/salida as\u00edncrona y no bloqueante, sonr\u00eden modestamente. Y silenciosamente contin\u00faan releyendo \u00abman ps\u00bb, profundizando hasta que les sangran los ojos en el c\u00f3digo fuente de \u00abnginx\u00bb y escribiendo-escribiendo-escribiendo pruebas unitarias. Los colegas saben que lo m\u00e1s interesante est\u00e1 por venir, cuando \u00abtodo esto\u00bb un d\u00eda se convierta en un dolor de cabeza bajo el \u00e1rbol de Navidad. Y solo un profundo entendimiento de la naturaleza de unix, la tabla de estados de TCP\/IP y los algoritmos b\u00e1sicos de ordenamiento-b\u00fasqueda les ayudar\u00e1 a devolver el sistema a la vida con el sonido de las campanas.
\n<\/a><\/noindex>
\nAh, s\u00ed, me he desviado un poco, pero espero haber transmitido el estado de anticipaci\u00f3n.
\nHoy quiero compartir nuestra experiencia en el despliegue de una pila conveniente y econ\u00f3mica para DataLake, que resuelve la mayor\u00eda de las tareas anal\u00edticas de la empresa para diferentes departamentos.<\/p>\n

Hace alg\u00fan tiempo, llegamos a la conclusi\u00f3n de que las empresas necesitan cada vez m\u00e1s los frutos tanto de la anal\u00edtica de productos como de la t\u00e9cnica (sin mencionar las cerezas en el pastel como el machine learning) y para entender las tendencias y riesgos, es necesario recolectar y analizar cada vez m\u00e1s m\u00e9tricas.<\/p>\n

Anal\u00edtica t\u00e9cnica b\u00e1sica en \u00abBitrix24\u00bb<\/h3>\n

\nHace varios a\u00f1os, al mismo tiempo que lanzamos el servicio 'Bitrix24', invertimos activamente tiempo y recursos en crear una plataforma anal\u00edtica simple y confiable que ayudara a identificar r\u00e1pidamente problemas en la infraestructura y planificar el pr\u00f3ximo paso. Por supuesto, era deseable utilizar herramientas que fueran listas, simples y comprensibles. Como resultado, se eligi\u00f3 Nagios para la supervisi\u00f3n y Munin para el an\u00e1lisis y la visualizaci\u00f3n. Ahora tenemos miles de verificaciones en Nagios, cientos de gr\u00e1ficos en Munin y los colegas los utilizan diariamente con \u00e9xito. Las m\u00e9tricas son claras, los gr\u00e1ficos son comprensibles, el sistema ha funcionado de manera confiable durante varios a\u00f1os y se a\u00f1aden regularmente nuevas pruebas y gr\u00e1ficos: cuando introducimos un nuevo servicio en operaci\u00f3n, agregamos varias pruebas y gr\u00e1ficos. Buen camino.<\/p>\n

Manos al pulso \u2014 an\u00e1lisis t\u00e9cnico avanzado<\/h3>\n

\nEl deseo de recibir informaci\u00f3n sobre problemas 'lo m\u00e1s r\u00e1pido posible' nos llev\u00f3 a experimentar activamente con herramientas simples y comprensibles \u2014 Pinba y XHProf.<\/p>\n

Pinba nos enviaba en paquetes UDP estad\u00edsticas sobre la velocidad de funcionamiento de las partes de las p\u00e1ginas web en PHP y se pod\u00eda ver en tiempo real en el almacenamiento MySQL (Pinba tiene su propio motor MySQL para un an\u00e1lisis r\u00e1pido de eventos) una lista corta de problemas y reaccionar a ellos. Y XHProf, de forma autom\u00e1tica, permit\u00eda recopilar gr\u00e1ficos de ejecuci\u00f3n de las p\u00e1ginas PHP m\u00e1s lentas de los clientes y analizar qu\u00e9 pudo llevar a ello \u2014 tranquilamente, sirviendo t\u00e9 o algo m\u00e1s fuerte.<\/p>\n

Hace un tiempo, el conjunto de herramientas se ampli\u00f3 con otro motor bastante simple y comprensible basado en un algoritmo de \u00edndice inverso, implementado a la perfecci\u00f3n en la legendaria biblioteca Lucene \u2014 Elastic\/Kibana. La simple idea de almacenar documentos multihilo en el \u00edndice inverso de Lucene a partir de eventos en logs y una b\u00fasqueda r\u00e1pida a trav\u00e9s de ellos utilizando divisi\u00f3n de facetas result\u00f3 ser verdaderamente \u00fatil.<\/p>\n

A pesar del aspecto t\u00e9cnico bastante de las visualizaciones en Kibana con conceptos de bajo nivel como 'bucket' y un lenguaje de \u00e1lgebra relacional reinventado, el instrumento nos ha ayudado mucho en las siguientes tareas:<\/p>\n