Utgåvan av plattformen för distribuerad databehandling Apache Hadoop 3.3

Efter ett och ett halvt års utveckling av Apache Software Foundation publicerade utgivning Apache Hadoop 3.3.0, en öppen plattform för att organisera distribuerad behandling av stora datamängder med hjälp av paradigmet map/reduce, där uppgiften delas upp i många mindre, separata fragment, var och en av vilka kan köras på en separat nod i klustret. Lagringen baserad på Hadoop kan omfatta tusentals noder och innehålla exabyte data.

Hadoop innehåller en implementation av den distribuerade filsystemet Hadoop Distributed Filesystem (HDFS), som automatiskt säkerställer datareservering och är optimerad för att fungera med MapReduce-applikationer. För att förenkla åtkomsten till data i Hadoop-lagringen har en databas utvecklats, HBase, och ett SQL-liknande språk, Pig, som fungerar som en typ av SQL för MapReduce, vars frågor kan parallelliseras och behandlas av flera Hadoop-plattformar. Projektet bedöms som helt stabilt och redo för industriellt bruk. Hadoop används aktivt i stora industriella projekt och erbjuder funktioner som liknar Google Bigtable/GFS/MapReduce-plattformen, samtidigt som Google officiellt har delegerat Hadoop och andra Apache-projekt rätten att använda teknologier som omfattas av patent relaterade till metoden MapReduce.

Hadoop ligger i topp bland Apache-repositorierna när det gäller antal ändringar och på femte plats i storlek av kodbasen (ungefär 4 miljoner rader kod). Bland stora implementationer av Hadoop nämns lagringslösningar för Netflix (spara över 500 miljarder händelser per dag), Twitter (ett kluster med 10 000 noder i realtid lagrar mer än ett zettabyte data och hanterar över 5 miljarder sessioner per dag) och Facebook (ett kluster med 4 000 noder lagrar över 300 petabyte och ökar med 4 PB per dag).

Huvud för i Apache Hadoop 3.3:

• Stöd för plattformar baserade på ARM-arkitektur har lagts till.
• Implementeringen av formatet Protobuf (Protocol buffers), som används för serialisering av strukturerade data, har uppdaterats till version 3.7.1 på grund av att livscykeln för protobuf-2.5.0 har nått sitt slut.
• Möjligheterna för S3A-connectorn har utökats: stöd för autentisering med tokens har lagts till (Delegation Token), förbättrad hantering av cachade svar med kod 404, ökad prestanda för S3guard, och förbättrad driftsäkerhet.
• I filsystemet ABFS har problem med automatisk finjustering lösts.
• Inbyggt stöd för Tencent Cloud COS-filsystemet har lagts till för åtkomst till objektlagring COS.
• Fullt stöd för Java 11 har lagts till.
• Implementeringen av HDFS RBF (Router-based Federation) har stabiliserats. Säkerhetshantering har lagts till i HDFS Router.
• Tjänsten DNS Resolution har lagts till för att bestämma servrar via DNS med hjälp av nodnamn, vilket gör att man kan undvika att lista alla värdar i inställningarna.
• Stöd för schemaläggning av uppstart har lagts till opportunistiska containrar genom en centraliserad resurshanterare (ResourceManager), inklusive möjligheten att fördela containrar med hänsyn till belastningen hos varje nod.
• En YARN (Yet Another Resource Negotiator) applikationskatalog har lagts till med sökfunktion.

Källa: opennet.ru