{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Disponibile il sistema di calcolo distribuito Apache Storm 2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\u00c8 stato pubblicato<\/a><\/noindex> importante rilascio del sistema di elaborazione distribuita degli eventi Apache Storm 2.0<\/a><\/noindex>, caratterizzato da una transizione verso una nuova architettura realizzata in Java, invece del precedente linguaggio Clojure. <\/p>\n

Il progetto consente di organizzare un'elaborazione garantita di vari eventi in tempo reale. Ad esempio, Storm pu\u00f2 essere utilizzato per analizzare flussi di dati in tempo reale, eseguire compiti di machine learning, organizzare calcoli continui, implementare RPC, ETL, ecc. Il sistema supporta la clustering, la creazione di configurazioni a prova di guasto, la modalit\u00e0 di elaborazione garantita dei dati e offre alte prestazioni, sufficienti a gestire oltre un milione di richieste al secondo su un singolo nodo del cluster. <\/p>\n

\u00c8 supportata l'integrazione con vari sistemi di elaborazione delle code e tecnologie di database. L'architettura di Storm prevede l'accettazione e l'elaborazione di flussi di dati non strutturati, continuamente aggiornati, utilizzando complessi elaboratori arbitrari con capacit\u00e0 di partizionamento tra le diverse fasi di calcolo. Il progetto \u00e8 stato trasferito alla comunit\u00e0 Apache dopo l'acquisizione di Twitter di BackType, l'azienda che originariamente ha sviluppato il framework. Nella pratica, Storm \u00e8 stato utilizzato in BackType per analizzare il riflesso degli eventi nei microblog, confrontando al volo nuovi tweet e i link utilizzati in essi (ad esempio, veniva valutato come i link esterni o gli annunci pubblicati su Twitter venivano ripubblicati da altri partecipanti). <\/p>\n

La funzionalit\u00e0 di Storm \u00e8 paragonabile a quella della piattaforma Hadoop, con la chiara differenza che i dati non sono memorizzati in un archivio, ma arrivano da fonti esterne e vengono elaborati in tempo reale. In Storm non esiste uno strato integrato per l'organizzazione dell'archiviazione e le query analitiche vengono applicate ai dati in arrivo fino a quando non vengono annullate (mentre in Hadoop si utilizzano lavori MapReduce che impiegano tempo definito, in Storm si applica l'idea di 'topologie' continuamente eseguite). L'esecuzione dei processori pu\u00f2 essere distribuita su pi\u00f9 server; Storm parallelizza automaticamente il lavoro sui flussi su diversi nodi del cluster. <\/p>\n

Inizialmente, il sistema era scritto in Clojure e viene eseguito all'interno della macchina virtuale JVM. Nel fondo Apache \u00e8 stata avviata un'iniziativa per portare Storm su un nuovo nucleo, scritto in Java, i cui risultati sono presentati nella versione Apache Storm 2.0. Tutti i componenti di base della piattaforma sono stati riscritti in Java. Il supporto per la scrittura di gestori in Clojure \u00e8 rimasto, ma ora \u00e8 proposto sotto forma di binding. Per utilizzare Storm 2.0.0 \u00e8 necessaria Java 8. \u00c8 stata completamente ripensata la modellazione del trattamento multithreading, il che ha permesso anche attraverso l'attributo packed. Considerando che contribuisce anche all'ottimizzazione dello spazio occupato dalla struttura, questo metodo mi sembra preferibile, anche se<\/a><\/noindex> un notevole incremento delle prestazioni (per alcune topologie, i ritardi sono stati ridotti del 50-80%).<\/p>\n

\"Disponibile<\/a><\/noindex><\/center><\/p>\n

Nella nuova versione \u00e8 stato anche proposto un API Streams tipizzata, che consente di definire gestori utilizzando operazioni in stile programmazione funzionale. Il nuovo API \u00e8 implementato sopra l'API di base standard ed \u00e8 dotato di un raggruppamento automatico delle operazioni per ottimizzarne l'elaborazione. Nell'API Windowing per le operazioni a finestre \u00e8 stata aggiunta la possibilit\u00e0 di salvare e ripristinare lo stato nel backend. <\/p>\n

Nel pianificatore di avvio dei gestori \u00e8 stato aggiunto il supporto per il conteggio di risorse aggiuntive nelle decisioni, non limitandosi
\n a CPU e memoria, ma comprendendo anche parametri di rete e GPU. Sono state apportate numerose migliorie relative all'integrazione con la piattaforma Kafka<\/a><\/noindex>. \u00c8 stato ampliato il sistema di controllo degli accessi, nel quale \u00e8 stata introdotta la possibilit\u00e0 di creare gruppi di amministratori e delegare token. Sono stati aggiunti miglioramenti relativi al supporto per SQL e metriche. Nell'interfaccia dell'amministratore sono comparse nuove comandi per il debug dello stato del cluster.<\/p>\n

Ambiti di applicazione di Storm:\n<\/p>\n