Efter halvandet års udvikling af Apache Software Foundation udgivelse , en gratis platform til organisering af distribueret behandling af store datamængder ved hjælp af paradigmet , hvor opgaven opdeles i mange mindre, uafhængige fragmenter, der hver især kan køres på en separat node i klyngen. Lagring baseret på Hadoop kan strække sig over tusindvis af noder og indeholde eksabyte data.
Hadoop inkluderer implementeringen af det distribuerede filsystem Hadoop Distributed Filesystem (HDFS), som automatisk sikrer datasikkerhed og er optimeret til MapReduce-applikationer. For at forenkle adgangen til data i Hadoop-lageret er der udviklet en database kaldet HBase og et SQL-lignende sprog, Pig, der fungerer som en form for SQL for MapReduce, hvis forespørgsler kan paralleliseres og behandles af flere Hadoop-platforme. Projektet vurderes som helt stabilt og klar til industriel drift. Hadoop anvendes aktivt i store industrielle projekter og tilbyder funktionaliteter svarende til Googles Bigtable/GFS/MapReduce, og Google har officielt Hadoop og andre Apache projekter retten til at anvende teknologier, der er omfattet af patenter relateret til MapReduce-metoden.
Hadoop rangerer som det første blandt Apache-repositorierne med hensyn til antallet af ændringer og femte med hensyn til kodebasisens størrelse (omkring 4 millioner linjer). Store implementeringer af Hadoop omfatter Netflix-lagring (som gemmer over 500 milliarder hændelser dagligt), Twitter (en klynge på 10.000 noder i realtid, der gemmer over et zettabyte data og håndterer mere end 5 milliarder sessioner dagligt), Facebook (en klynge på 4.000 noder, der gemmer over 300 petabyte og vokser med 4 PB dagligt).
Vigtige i Apache Hadoop 3.3:
- Understøttelse af platforme baseret på ARM-arkitektur er tilføjet.
- Implementeringen af formatet (Protokolbufre), der bruges til serialisering af strukturerede data, er blevet opdateret til version 3.7.1 i forbindelse med slutningen af livscyklussen for protobuf-2.5.0.
- S3A-connectorens funktioner er udvidet: understøttelse af autentificering ved hjælp af tokens er tilføjet (), forbedret cache-støtte til svar med statuskode 404, forbedret ydelse af S3guard, øget driftsikkerhed.
- I ABFS-filsystemet er problemerne med automatisk tuning løst.
- Indbygget understøttelse af Tencent Cloud COS-filsystemet til adgang til objektlagring COS er tilføjet.
- Fuld støtte til Java 11 er tilføjet.
- Implementeringen af HDFS RBF (Router-baseret Federation) er stabiliseret. Administrationsværktøjer til sikkerhed er tilføjet i HDFS Router.
- DNS Resolution-service er tilføjet for at identificere servere via DNS baseret på node navne, hvilket gør det muligt at undgå at skulle opregne alle værter i konfigurationerne.
- Støtte til planlægning af opstart er tilføjet. gennem en centraliseret ressourceadministrator (ResourceManager), herunder mulighed for at fordele containere baseret på belastningen for hver node.
- YARN (Yet Another Resource Negotiator) applikationskatalog er tilføjet med søgefunktionalitet.
Kilde: opennet.ru
