{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"\u00c8 disponibile il sistema di computing distribuito Apache Storm 2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c8 stato introdotto<\/a><\/noindex> significativa release del sistema di elaborazione degli eventi distribuiti Apache Storm 2.0<\/a><\/noindex>, un notevole passaggio a una nuova architettura, realizzata in Java, invece del precedente linguaggio Clojure. <\/p>\n

Il progetto consente di organizzare un'elaborazione garantita di vari eventi in tempo reale. Ad esempio, Storm pu\u00f2 essere utilizzato per l'analisi di flussi di dati in tempo reale, per l'esecuzione di task di machine learning, per l'organizzazione di calcoli continui, per implementare RPC, ETL, ecc. Il sistema supporta il clustering, la creazione di configurazioni ad alta disponibilit\u00e0, una modalit\u00e0 di elaborazione dati garantita e offre elevate prestazioni, sufficienti per gestire oltre un milione di richieste al secondo su un singolo nodo del cluster. <\/p>\n

\u00c8 supportata l'integrazione con vari sistemi di gestione delle code e tecnologie di database. L'architettura di Storm \u00e8 progettata per ricevere e elaborare flussi di dati non strutturati costantemente aggiornati, utilizzando complessi elaboratori adattabili con capacit\u00e0 di partizionamento tra diverse fasi di calcolo. Il progetto \u00e8 stato trasferito alla comunit\u00e0 Apache dopo l'acquisizione della societ\u00e0 BackType da parte di Twitter, che aveva originariamente sviluppato il framework. In pratica, Storm \u00e8 stato utilizzato in BackType per analizzare le reazioni agli eventi nei microblog, confrontando in tempo reale i nuovi tweet e i link utilizzati in essi (ad esempio, si valutava come i link esterni o gli annunci pubblicati su Twitter venissero ritrasmessi da altri partecipanti). <\/p>\n

La funzionalit\u00e0 di Storm \u00e8 paragonabile a quella della piattaforma Hadoop, con l'importante differenza che i dati non sono memorizzati, ma arrivano da fonti esterne e vengono elaborati in tempo reale. In Storm non esiste un livello integrato per la gestione della memorizzazione e la query analitica viene applicata ai dati in arrivo finch\u00e9 non viene annullata (mentre in Hadoop si utilizzano operazioni MapReduce che richiedono tempo, in Storm si applica l'idea di 'topologie' che vengono eseguite continuamente). L'esecuzione dei gestori pu\u00f2 essere distribuita su pi\u00f9 server: Storm suddivide automaticamente il lavoro con i flussi su nodi diversi del cluster. <\/p>\n

Inizialmente, il sistema era scritto in Clojure e viene eseguito all'interno della Java Virtual Machine (JVM). Il progetto Apache ha avviato un'iniziativa per portare Storm su un nuovo nucleo, scritto in Java, i cui risultati sono stati presentati nel rilascio di Apache Storm 2.0. Tutti i componenti fondamentali della piattaforma sono stati riscritti in Java. \u00c8 mantenuto il supporto per la scrittura di gestori in Clojure, ma ora \u00e8 offerto sotto forma di binding. Per eseguire Storm 2.0.0 \u00e8 necessaria Java 8. \u00c8 stata completamente riprogettata la modalit\u00e0 di elaborazione multi-thread, il che ha consentito anche con l'attributo packed. Considerando che contribuisce anche a ottimizzare lo spazio occupato dalla struttura, questo metodo mi sembra preferibile, anche se<\/a><\/noindex> un significativo aumento delle prestazioni (per alcune topologie, le latenze sono diminuite del 50-80%).<\/p>\n

\"\u00c8<\/a><\/noindex><\/center><\/p>\n

Nella nuova versione \u00e8 stato anche proposto un nuovo API tipizzato chiamato Streams, che consente di definire gestori utilizzando operazioni nello stile della programmazione funzionale. La nuova API \u00e8 implementata sopra l'API di base standard e supporta la fusione automatica delle operazioni per ottimizzarne l'elaborazione. Nell'API Windowing per le operazioni a finestra \u00e8 stata aggiunta la funzionalit\u00e0 di salvataggio e recupero dello stato nel backend. <\/p>\n

Nel pianificatore di avvio dei gestori \u00e8 stata aggiunta la supporto per la considerazione di risorse aggiuntive nei processi decisionali, non limitandosi a
\n CPU e memoria, ma includendo anche parametri di rete e GPU. Sono stati apportati numerosi miglioramenti per garantire l'integrazione con la piattaforma Kafka<\/a><\/noindex>. \u00c8 stato ampliato il sistema di controllo degli accessi, che ora consente la creazione di gruppi di amministratori e la delega di token. Sono stati aggiunti miglioramenti relativi al supporto SQL e alle metriche. Nell'interfaccia dell'amministratore sono stati introdotti nuovi comandi per il debug dello stato del cluster.<\/p>\n

Ambiti di applicazione di Storm:\n<\/p>\n