{"id":90548,"date":"2020-08-02T13:42:53","date_gmt":"2020-08-02T11:42:53","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3"},"modified":"2020-08-02T13:42:53","modified_gmt":"2020-08-02T11:42:53","slug":"reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","status":"publish","type":"post","link":"https:\/\/prohoster.info\/es\/blog\/news\/reliz-platformy-dlya-raspredelyonnoj-obrabotki-dannyh-apache-hadoop-3-3","title":{"rendered":"Lanzamiento de la plataforma para procesamiento distribuido de datos Apache Hadoop 3.3","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Despu\u00e9s de un a\u00f1o y medio de desarrollo, la organizaci\u00f3n Apache Software Foundation ha publicado<\/a><\/noindex> lanzamiento Apache Hadoop 3.3.0<\/a><\/noindex>, una plataforma libre para la organizaci\u00f3n del procesamiento distribuido de grandes cantidades de datos utilizando la par\u00e1bola map\/reduce<\/a><\/noindex>, donde la tarea se divide en numerosos fragmentos m\u00e1s peque\u00f1os, cada uno de los cuales puede ser ejecutado en un nodo separado del cl\u00faster. El almacenamiento basado en Hadoop puede abarcar miles de nodos y contener exabytes de datos.<\/p>\n

Hadoop incluye la implementaci\u00f3n de un sistema de archivos distribuido, Hadoop Distributed Filesystem (HDFS), que proporciona autom\u00e1ticamente la redundancia de datos y est\u00e1 optimizado para aplicaciones MapReduce. Para simplificar el acceso a los datos en el almacenamiento Hadoop, se desarroll\u00f3 la base de datos HBase y un lenguaje similar a SQL llamado Pig, que es una especie de SQL para MapReduce, cuyas consultas pueden ser paralelizadas y procesadas por varias plataformas Hadoop. El proyecto se considera completamente estable y listo para explotaci\u00f3n industrial. Hadoop se utiliza activamente en grandes proyectos industriales, proporcionando capacidades similares a la plataforma de Google Bigtable\/GFS\/MapReduce, y la empresa Google ha delegado<\/a><\/noindex> a Hadoop y otros proyectos de Apache el derecho a utilizar tecnolog\u00edas cubiertas por patentes relacionadas con el m\u00e9todo MapReduce. <\/p>\n

Hadoop ocupa el primer lugar entre los repositorios de Apache por el n\u00famero de cambios realizados y el quinto lugar por el tama\u00f1o de su base de c\u00f3digo (aproximadamente 4 millones de l\u00edneas de c\u00f3digo). Entre las implementaciones importantes de Hadoop se encuentran los almacenes de Netflix (que almacenan m\u00e1s de 500 mil millones de eventos al d\u00eda), Twitter (un cl\u00faster de 10,000 nodos en tiempo real que almacena m\u00e1s de un zetabyte de datos y procesa m\u00e1s de 5 mil millones de sesiones al d\u00eda) y Facebook (un cl\u00faster de 4,000 nodos que almacena m\u00e1s de 300 petabytes y aumenta diariamente en 4 PB).<\/p>\n

Principales cambios<\/a><\/noindex> en Apache Hadoop 3.3:<\/p>\n