Po více než roce a půl vývoje organizace Apache Software Foundation vydání , svobodné platformy pro organizaci distribuovaného zpracování velkých objemů dat s využitím paradigmy , při které je úloha rozdělena na množství menších izolovaných fragmentů, z nichž každý může být spuštěn na samostatném uzlu clustera. Úložiště založené na Hadoopu může pokrývat tisíce uzlů a obsahovat exabajty dat.
Součástí Hadoopu je implementace distribuovaného souborového systému Hadoop Distributed Filesystem (HDFS), který automaticky zajišťuje zálohování dat a je optimalizován pro práci s aplikacemi MapReduce. Pro zjednodušení přístupu k datům v úložišti Hadoop byla vyvinuta databáze HBase a jazyk podobný SQL Pig, což je něco jako SQL pro MapReduce, jehož dotazy mohou být paralelizovány a zpracovány několika Hadoop platformami. Projekt je hodnocen jako zcela stabilní a připravený pro průmyslové nasazení. Hadoop je aktivně používán ve velkých průmyslových projektech, poskytující možnosti, které jsou podobné platformě Google Bigtable/GFS/MapReduce, přičemž společnost Google oficiálně Hadoopu a dalším projektům Apache právo používat technologie, na které se vztahují patenty související s metodou MapReduce.
Hadoop zaujímá první místo mezi repozitáři Apache z hlediska počtu provedených změn a páté místo podle velikosti kódové základny (asi 4 milióny řádků kódu). Mezi významná nasazení Hadoopu patří úložiště Netflix (uchovává více než 500 miliard událostí denně), Twitter (cluster se 10 tisíci uzly v reálném čase uchovává více než zettabajt dat a zpracovává více než 5 miliard sezení denně), Facebook (cluster se 4 tisíci uzly uchovává více než 300 petabajtů a každý den se zvyšuje o 4 PB).
Hlavní v Apache Hadoop 3.3:
- Byla přidána podpora platforem založených na architektuře ARM.
- Implementace formátu (Protocol buffers), používaného pro serializaci strukturovaných dat, byla aktualizována na vydání 3.7.1 v souvislosti s ukončením životního cyklu větve protobuf-2.5.0.
- Byly rozšířeny možnosti konektoru S3A: byla přidána podpora autentizace pomocí tokenů (), byla vylepšena podpora mezipaměti odpovědí s kódem 404, zvýšena výkonnost S3guard a zlepšena spolehlivost provozu.
- V souborovém systému ABFS byly vyřešeny problémy s automatickým laděním.
- Byla přidána integrovaná podpora souborového systému Tencent Cloud COS pro přístup k objektovému úložišti COS.
- Byla přidána plná podpora Java 11.
- Byla stabilizována implementace HDFS RBF (Federace založená na Routeru). Do HDFS Routeru byly přidány nástroje pro správu zabezpečení.
- Byla přidána služba DNS Resolution pro určení serverů klientem přes DNS podle názvů uzlů, která umožňuje obejít se bez výčtu všech hostitelů v nastavení.
- Byla přidána podpora plánování spuštění přes centralizovaný správce zdrojů (ResourceManager), včetně možnosti rozdělování kontejnerů s ohledem na zatížení každého uzlu.
- Byl přidán katalog aplikací YARN (Yet Another Resource Negotiator) s možností vyhledávání.
Zdroj: opennet.ru
