Po viac ako roku a pol vývoja organizácia Apache Software Foundation uvoľnenie , voľná platforma pre organizáciu distribuovaného spracovania veľkých objemov údajov pomocou paradigmy , pri ktorej sa úloha delí na množstvo menších oddelených fragmentov, z ktorých každý môže byť spustený na samostatnom uzle klastera. Úložisko na báze Hadoop môže pokrývať tisíce uzlov a obsahovať exabajty údajov.
Súčasťou Hadoop je implementácia distribuovanej súborovej systému Hadoop Distributed Filesystem (HDFS), ktorá automaticky poskytuje zálohovanie údajov a je optimalizovaná pre MapReduce aplikácie. Pre zjednodušenie prístupu k údajom v Hadoop úložisku bola vyvinutá DB HBase a SQL-podobný jazyk Pig, ktorý je akýmsi SQL pre MapReduce, pričom jeho dotazy môžu byť paralelizované a spracované viacerými Hadoop platformami. Projekt je hodnotený ako úplne stabilný a pripravený na priemyselnú prevádzku. Hadoop sa aktívne využíva vo veľkých priemyselných projektoch, poskytujúc možnosti, ktoré sú podobné platforme Google Bigtable/GFS/MapReduce, pričom spoločnosť Google oficiálne Hadoop a ďalším projektom Apache právo na používanie technológií, na ktoré sa vzťahujú patenty týkajúce sa metódy MapReduce.
Hadoop je na prvom mieste medzi repozitármi Apache podľa počtu vykonaných zmien a na piatom mieste podľa veľkosti kódovej základne (asi 4 milióny riadkov kódu). Medzi veľké implementácie Hadoop patrí úložisko Netflix (uchováva viac ako 500 miliárd udalostí denne), Twitter (klaster z 10 tisíc uzlov v reálnom čase uchováva viac ako zettabyte údajov a spracováva viac ako 5 miliárd relácií denne), Facebook (klaster z 4 tisíc uzlov uchováva viac ako 300 petabajtov a denne sa zvyšuje o 4 PB).
Hlavné v Apache Hadoop 3.3:
- Pridaná podpora platforiem na báze architektúry ARM.
- Implementácia formátu (Protocol buffers), ktorý sa používa na serializáciu štruktúrovaných údajov, bola aktualizovaná na verziu 3.7.1 v súvislosti s koncom životného cyklu vetvy protobuf-2.5.0.
- Rozšírené možnosti konektora S3A: pridaná podpora autentifikácie pomocou tokenov (), vylepšená podpora vyrovnávania chybných odpovedí s kódom 404, zvýšený výkon S3guard, zvýšená spoľahlivosť prevádzky.
- V súborovom systéme ABFS sú vyriešené problémy s automatickým ladením.
- Pridaná vstavaná podpora súborového systému Tencent Cloud COS na prístup k objektovému úložisku COS.
- Pridaná plná podpora Java 11.
- Stabilizovaná implementácia HDFS RBF (Federácia založená na routeri). Do HDFS Routera boli pridané prostriedky na správu bezpečnosti.
- Pridaná služba DNS Resolution na určovanie serverov klientom cez DNS podľa názvov uzlov, čo umožňuje obísť potrebu vypisovania všetkých hostiteľov v nastaveniach.
- Pridaná podpora plánovania spustenia cez centralizovaný správca zdrojov (ResourceManager), vrátane možnosti rozdelenia kontajnerov s ohľadom na zaťaženie každého uzla.
- Pridaný adresár aplikácií YARN (Yet Another Resource Negotiator) s možnosťou vyhľadávania.
Zdroj: opennet.ru
