{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"El sistema de computaci\u00f3n distribuida Apache Storm 2.0 est\u00e1 disponible","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ha visto la luz<\/a><\/noindex> una versi\u00f3n significativa del sistema de procesamiento distribuido de eventos Apache Storm 2.0<\/a><\/noindex>, destac\u00e1ndose por la transici\u00f3n a una nueva arquitectura implementada en Java, en lugar del lenguaje Clojure usado anteriormente. <\/p>\n

El proyecto permite organizar el procesamiento garantizado de diversos eventos en tiempo real. Por ejemplo, Storm se puede utilizar para analizar flujos de datos en tiempo real, realizar tareas de aprendizaje autom\u00e1tico, organizar c\u00e1lculos continuos, implementar RPC, ETL, entre otros. El sistema soporta clustering, creaci\u00f3n de configuraciones redundantes, modo de procesamiento de datos garantizado y tiene un alto rendimiento, suficiente para procesar m\u00e1s de un mill\u00f3n de solicitudes por segundo en un nodo de cl\u00faster. <\/p>\n

Se soporta la integraci\u00f3n con varios sistemas de procesamiento de colas y tecnolog\u00edas de bases de datos. La arquitectura de Storm implica la recepci\u00f3n y procesamiento de flujos de datos no estructurados que se actualizan constantemente mediante el uso de procesadores complejos arbitrarios con la posibilidad de particionar entre diferentes etapas de los c\u00e1lculos. El proyecto fue transferido a la comunidad Apache tras la adquisici\u00f3n de Twitter de la empresa BackType, que originalmente desarroll\u00f3 el framework. En la pr\u00e1ctica, Storm se utiliz\u00f3 en BackType para analizar la representaci\u00f3n de eventos en microblogs, emparejando en tiempo real nuevos tweets con los enlaces que conten\u00edan (por ejemplo, se evalu\u00f3 c\u00f3mo los enlaces externos o los anuncios publicados en Twitter son retransmitidos por otros participantes). <\/p>\n

La funcionalidad de Storm se compara con la plataforma Hadoop, siendo la principal diferencia que los datos no se almacenan en un repositorio, sino que llegan desde el exterior y se procesan en tiempo real. Storm no cuenta con una capa integrada para organizar el almacenamiento y la consulta anal\u00edtica comienza a aplicarse a los datos que llegan hasta que se cancela (mientras que en Hadoop se utilizan trabajos de MapReduce que consumen un tiempo fijo, en Storm se aplica la idea de \"topolog\u00edas\" que se ejecutan continuamente). La ejecuci\u00f3n de los procesadores puede estar distribuida en varios servidores: Storm paraleliza autom\u00e1ticamente el trabajo con flujos en diferentes nodos del cl\u00faster. <\/p>\n

El sistema fue inicialmente escrito en el lenguaje Clojure y se ejecuta dentro de la m\u00e1quina virtual JVM. La fundaci\u00f3n Apache inici\u00f3 la iniciativa de traducir Storm a un nuevo n\u00facleo, escrito en Java, cuyos resultados se presentaron en la versi\u00f3n Apache Storm 2.0. Todos los componentes b\u00e1sicos de la plataforma han sido reescritos en Java. Se ha mantenido el soporte para escribir controladores en Clojure, pero ahora se ofrece en forma de enlaces. Para utilizar Storm 2.0.0, se requiere Java 8. Se ha redise\u00f1ado completamente el modelo de procesamiento multihilo, lo que ha permitido lograr<\/a><\/noindex> un aumento significativo en el rendimiento (para algunas topolog\u00edas, las latencias se redujeron entre un 50% y un 80%).<\/p>\n

\"El<\/a><\/noindex><\/center><\/p>\n

En la nueva versi\u00f3n, tambi\u00e9n se ha introducido una nueva API tipada de Streams, que permite definir controladores utilizando operaciones en estilo de programaci\u00f3n funcional. La nueva API se implementa sobre la API base est\u00e1ndar y soporta la combinaci\u00f3n autom\u00e1tica de operaciones para optimizar su procesamiento. En la API de Windowing para operaciones con ventanas, se ha a\u00f1adido soporte para el almacenamiento y recuperaci\u00f3n del estado en el backend. <\/p>\n

Se ha a\u00f1adido al planificador de ejecuci\u00f3n de controladores soporte para tener en cuenta recursos adicionales al tomar decisiones, que no se limitan a
\n CPU y memoria, tales como par\u00e1metros de red y GPU. Se han realizado numerosas mejoras relacionadas con la integraci\u00f3n con la plataforma Kafka<\/a><\/noindex>. Se ha ampliado el sistema de control de acceso, que ahora permite la creaci\u00f3n de grupos de administradores y la delegaci\u00f3n de tokens. Se han a\u00f1adido mejoras relacionadas con el soporte de SQL y m\u00e9tricas. En la interfaz de administrador, se han presentado nuevos comandos para la depuraci\u00f3n del estado del cl\u00faster.<\/p>\n

\u00c1reas de aplicaci\u00f3n de Storm:\n<\/p>\n