{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"O sistema de computa\u00e7\u00e3o distribu\u00edda Apache Storm 2.0 est\u00e1 dispon\u00edvel","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Viu a luz<\/a><\/noindex> um lan\u00e7amento significativo do sistema de processamento de eventos distribu\u00eddos Apache Storm 2.0<\/a><\/noindex>, destacando-se pela transi\u00e7\u00e3o para uma nova arquitetura implementada na linguagem Java, em vez da linguagem Clojure anteriormente utilizada. <\/p>\n

O projeto permite a organiza\u00e7\u00e3o de processamento garantido de diversos eventos em tempo real. Por exemplo, o Storm pode ser utilizado para analisar fluxos de dados em tempo real, executar tarefas de aprendizado de m\u00e1quina, organizar c\u00e1lculos cont\u00ednuos, implementar RPC, ETL, etc. O sistema suporta a cria\u00e7\u00e3o de clusters, configura\u00e7\u00e3o de alta disponibilidade, modo de processamento garantido de dados e possui um desempenho elevado, suficiente para processar mais de um milh\u00e3o de solicita\u00e7\u00f5es por segundo em um \u00fanico n\u00f3 do cluster. <\/p>\n

Suporta integra\u00e7\u00e3o com diversos sistemas de processamento de filas e tecnologias de bancos de dados. A arquitetura do Storm prev\u00ea a recep\u00e7\u00e3o e processamento de fluxos de dados n\u00e3o estruturados e constantemente atualizados, utilizando manipuladores complexos arbitr\u00e1rios com a possibilidade de particionamento entre diferentes est\u00e1gios de computa\u00e7\u00e3o. O projeto foi transferido para a comunidade Apache ap\u00f3s a aquisi\u00e7\u00e3o da BackType pelo Twitter, que originalmente desenvolveu o framework. Na pr\u00e1tica, o Storm foi utilizado na BackType para analisar a reflex\u00e3o de eventos em microblogs, por meio da correspond\u00eancia em tempo real de novos tweets e os links utilizados neles (por exemplo, realizava-se a avalia\u00e7\u00e3o de como links externos ou an\u00fancios publicados no Twitter eram retransmitidos por outros participantes). <\/p>\n

A funcionalidade do Storm \u00e9 comparada \u00e0 plataforma Hadoop, sendo a principal diferen\u00e7a que os dados n\u00e3o s\u00e3o armazenados, mas sim recebidos externamente e processados em tempo real. O Storm n\u00e3o possui uma camada embutida para organizar armazenamento, e a consulta anal\u00edtica come\u00e7a a ser aplicada aos dados recebidos at\u00e9 que seja cancelada (enquanto em Hadoop s\u00e3o utilizados trabalhos MapReduce que consomem tempo final, no Storm \u00e9 aplicada a ideia de 'topologias' que s\u00e3o executadas continuamente). A execu\u00e7\u00e3o dos manipuladores pode ser distribu\u00edda em v\u00e1rios servidores - o Storm divide automaticamente o trabalho com fluxos em diferentes n\u00f3s do cluster. <\/p>\n

Inicialmente, o sistema foi escrito na linguagem Clojure e \u00e9 executado dentro da m\u00e1quina virtual JVM. No Apache, foi lan\u00e7ada uma iniciativa para portar o Storm para um novo n\u00facleo escrito em Java, cujos resultados foram apresentados na vers\u00e3o Apache Storm 2.0. Todos os componentes base da plataforma foram reescritos em Java. O suporte para escrever manipuladores em Clojure foi mantido, mas agora \u00e9 oferecido na forma de bindings. Para rodar o Storm 2.0.0, \u00e9 necess\u00e1rio ter o Java 8. O modelo de processamento multithread foi totalmente reestruturado, permitindo alcan\u00e7ar<\/a><\/noindex> um aumento significativo de desempenho (para algumas topologias, as lat\u00eancias foram reduzidas em 50-80%).<\/p>\n

\"O<\/a><\/noindex><\/center><\/p>\n

Na nova vers\u00e3o, tamb\u00e9m foi introduzido um novo API tipado de Streams, que permite definir manipuladores utilizando opera\u00e7\u00f5es no estilo da programa\u00e7\u00e3o funcional. A nova API \u00e9 implementada sobre a API base padr\u00e3o e suporta a fus\u00e3o autom\u00e1tica de opera\u00e7\u00f5es para otimizar seu processamento. Na API Windowing, para opera\u00e7\u00f5es de janelamento, foi adicionado suporte para salvar e restaurar o estado no backend. <\/p>\n

No planejador de execu\u00e7\u00e3o de manipuladores, foi adicionada a capacidade de contabilizar recursos adicionais na tomada de decis\u00f5es, n\u00e3o se limitando
\n \u00e0 CPU e mem\u00f3ria, mas incluindo par\u00e2metros de rede e GPU. Foram feitas in\u00fameras melhorias para garantir a integra\u00e7\u00e3o com a plataforma Kafka<\/a><\/noindex>. O sistema de controle de acesso foi expandido, permitindo a cria\u00e7\u00e3o de grupos de administradores e delega\u00e7\u00e3o de tokens. Melhorias relacionadas ao suporte a SQL e m\u00e9tricas foram adicionadas. No painel de administra\u00e7\u00e3o, novos comandos para depurar o estado do cluster foram implementados.<\/p>\n

\u00c1reas de aplica\u00e7\u00e3o do Storm:\n<\/p>\n