{"id":34891,"date":"2019-10-31T22:01:07","date_gmt":"2019-10-31T19:01:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0\/"},"modified":"2019-10-31T22:01:07","modified_gmt":"2019-10-31T19:01:07","slug":"dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/news\/dostupna-sistema-raspredelyonnyh-vychislenij-apache-storm-2-0","title":{"rendered":"Le syst\u00e8me de calcul distribu\u00e9 Apache Storm 2.0 est disponible","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

A vu le jour<\/a><\/noindex> publication significative du syst\u00e8me de traitement d'\u00e9v\u00e9nements r\u00e9partis Apache Storm 2.0<\/a><\/noindex>, marqu\u00e9 par le passage \u00e0 une nouvelle architecture, r\u00e9alis\u00e9e en Java, au lieu de l'ancien langage Clojure. <\/p>\n

Le projet permet d'organiser un traitement garanti de divers \u00e9v\u00e9nements en temps r\u00e9el. Par exemple, Storm peut \u00eatre utilis\u00e9 pour l'analyse de flux de donn\u00e9es en temps r\u00e9el, l'ex\u00e9cution de t\u00e2ches d'apprentissage automatique, l'organisation de calculs continus, la mise en \u0153uvre de RPC, ETL, etc. Le syst\u00e8me prend en charge la mise en cluster, la cr\u00e9ation de configurations \u00e0 tol\u00e9rance de panne, le mode de traitement garanti des donn\u00e9es et offre des performances \u00e9lev\u00e9es, suffisantes pour traiter plus d'un million de requ\u00eates par seconde sur un seul n\u0153ud de cluster. <\/p>\n

L'int\u00e9gration avec divers syst\u00e8mes de traitement de files d'attente et technologies de bases de donn\u00e9es est prise en charge. L'architecture de Storm envisage la r\u00e9ception et le traitement de flux de donn\u00e9es non structur\u00e9es constamment mis \u00e0 jour en utilisant des gestionnaires complexes avec possibilit\u00e9 de partitionnement entre diff\u00e9rentes \u00e9tapes de calcul. Le projet a \u00e9t\u00e9 remis \u00e0 la communaut\u00e9 Apache apr\u00e8s l'acquisition de BackType par Twitter, qui a initialement d\u00e9velopp\u00e9 le framework. Dans la pratique, Storm a \u00e9t\u00e9 utilis\u00e9 chez BackType pour analyser le reflet des \u00e9v\u00e9nements dans les microblogs, en faisant correspondre en temps r\u00e9el les nouveaux tweets et les liens qu'ils contiennent (par exemple, l'\u00e9valuation de la fa\u00e7on dont les liens externes ou les annonces publi\u00e9es sur Twitter sont relay\u00e9s par d'autres participants). <\/p>\n

La fonctionnalit\u00e9 de Storm est comparable \u00e0 celle de la plateforme Hadoop, avec la principale diff\u00e9rence que les donn\u00e9es ne sont pas stock\u00e9es mais arrivent de l'ext\u00e9rieur et sont trait\u00e9es en temps r\u00e9el. Storm n'a pas de couche int\u00e9gr\u00e9e pour l'organisation du stockage, et la requ\u00eate analytique s'applique aux donn\u00e9es entrantes tant qu'elle n'est pas annul\u00e9e (alors que Hadoop utilise des t\u00e2ches MapReduce qui prennent un temps fixe, Storm utilise le concept de \u00ab topologies \u00bb qui s'ex\u00e9cutent en continu). L'ex\u00e9cution des gestionnaires peut \u00eatre r\u00e9partie sur plusieurs serveurs - Storm parall\u00e9lise automatiquement le travail avec les flux sur diff\u00e9rents n\u0153uds du cluster. <\/p>\n

Au d\u00e9part, le syst\u00e8me \u00e9tait \u00e9crit en Clojure et s'ex\u00e9cutait \u00e0 l'int\u00e9rieur d'une machine virtuelle JVM. Une initiative a \u00e9t\u00e9 lanc\u00e9e au sein de la fondation Apache pour porter Storm sur un nouveau noyau \u00e9crit en Java, dont les r\u00e9sultats sont propos\u00e9s dans la version Apache Storm 2.0. Tous les composants de base de la plateforme ont \u00e9t\u00e9 r\u00e9\u00e9crits en Java. Le support de l'\u00e9criture de gestionnaires en Clojure a \u00e9t\u00e9 maintenu, mais d\u00e9sormais propos\u00e9 sous forme de liaisons. Storm 2.0.0 n\u00e9cessite Java 8. Le mod\u00e8le de traitement multithread a \u00e9t\u00e9 compl\u00e8tement repens\u00e9, permettant d'atteindre<\/a><\/noindex> une augmentation significative des performances (pour certaines topologies, les latences ont \u00e9t\u00e9 r\u00e9duites de 50 \u00e0 80 %).<\/p>\n

\"Le<\/a><\/noindex><\/center><\/p>\n

La nouvelle version propose \u00e9galement un nouvel API typ\u00e9 pour les flux, permettant de d\u00e9finir des gestionnaires utilisant des op\u00e9rations de style programmation fonctionnelle. La nouvelle API est impl\u00e9ment\u00e9e au-dessus de l'API de base standard et prend en charge la fusion automatique des op\u00e9rations pour optimiser leur traitement. Dans l'API Windowing pour les op\u00e9rations de fen\u00eatres, un support de la sauvegarde et de la restauration d'\u00e9tat a \u00e9t\u00e9 ajout\u00e9 en backend. <\/p>\n

Le planificateur de lancement des gestionnaires a ajout\u00e9 un support pour tenir compte de ressources suppl\u00e9mentaires lors de la prise de d\u00e9cisions, ne se limitant pas
\n au CPU et \u00e0 la m\u00e9moire, mais aussi aux param\u00e8tres r\u00e9seau et GPU. Un grand nombre d'am\u00e9liorations li\u00e9es \u00e0 l'int\u00e9gration avec la plateforme a \u00e9t\u00e9 apport\u00e9. Kafka<\/a><\/noindex>. Le syst\u00e8me de contr\u00f4le d'acc\u00e8s a \u00e9t\u00e9 \u00e9tendu, permettant la cr\u00e9ation de groupes d'administrateurs et la d\u00e9l\u00e9gation de tokens. Des am\u00e9liorations concernant la prise en charge de SQL et des m\u00e9triques ont \u00e9t\u00e9 ajout\u00e9es. De nouvelles commandes pour le d\u00e9bogage de l'\u00e9tat du cluster sont d\u00e9sormais disponibles dans l'interface d'administration.<\/p>\n

Domaines d'application de Storm :\n<\/p>\n