Após um ano e meio de desenvolvimento, a organização Apache Software Foundation lançamento , uma plataforma livre para organizar o processamento distribuído de grandes volumes de dados utilizando a paradigmática , onde a tarefa é dividida em muitos fragmentos menores e independentes, cada um dos quais pode ser executado em um nó separado do cluster. O armazenamento baseado em Hadoop pode abranger milhares de nós e conter exabytes de dados.
O Hadoop inclui a implementação do sistema de arquivos distribuído Hadoop Distributed Filesystem (HDFS), que garante automaticamente a replicação de dados e é otimizado para aplicativos MapReduce. Para facilitar o acesso aos dados no armazenamento Hadoop, foi desenvolvida a base de dados HBase e uma linguagem SQL-like chamada Pig, que é uma espécie de SQL para MapReduce, cujas consultas podem ser paralelizadas e processadas em várias plataformas Hadoop. O projeto é considerado completamente estável e pronto para uso industrial. O Hadoop é amplamente utilizado em grandes projetos industriais, proporcionando funcionalidades semelhantes à plataforma Google Bigtable/GFS/MapReduce, enquanto a Google oficialmente ao Hadoop e a outros projetos da Apache o direito de usar as tecnologias cobertas por patentes relacionadas ao método MapReduce.
O Hadoop ocupa o primeiro lugar entre os repositórios da Apache em número de alterações feitas e o quinto lugar em tamanho de base de código (cerca de 4 milhões de linhas de código). Entre as grandes implementações do Hadoop, destacam-se os armazenamentos da Netflix (que armazena mais de 500 bilhões de eventos por dia), Twitter (um cluster de 10 mil nós em tempo real armazena mais de um zettabyte de dados e processa mais de 5 bilhões de sessões por dia) e Facebook (um cluster de 4 mil nós armazena mais de 300 petabytes e aumenta em 4 TB diariamente).
Principais no Apache Hadoop 3.3:
- Foi adicionada a suporte a plataformas baseadas na arquitetura ARM.
- A implementação do formato (Protocol buffers), utilizado para serializar dados estruturados, foi atualizado para a versão 3.7.1 devido ao término do ciclo de vida da ramificação protobuf-2.5.0.
- As funcionalidades do conector S3A foram ampliadas: foi adicionada suporte à autenticação com tokens (), melhorou-se o suporte ao cache de respostas com código 404, aumentou-se a performance do S3guard e a confiabilidade do trabalho.
- No sistema de arquivos ABFS, foram resolvidos problemas com a otimização automática.
- Suporte integrado adicionado para o sistema de arquivos Tencent Cloud COS para acesso ao armazenamento de objetos COS.
- Suporte total para Java 11 adicionado.
- A implementação do HDFS RBF (Router-based Federation) foi estabilizada. Ferramentas de gerenciamento de segurança foram adicionadas ao HDFS Router.
- Adicionado o serviço de Resolução DNS para permitir que o cliente identifique servidores via DNS pelo nome dos nós, permitindo evitar a lista de todos os hosts nas configurações.
- Adicionado suporte para agendar inicializações através do gerenciador de recursos centralizado (ResourceManager), incluindo a capacidade de distribuir containers considerando a carga de cada nó.
- Adicionado um diretório de aplicativos YARN (Yet Another Resource Negotiator) com funcionalidade de busca.
Fonte: opennet.ru
