Másfél év fejlesztés után az Apache Software Foundation kiadás , egy szabad platform, amely lehetővé teszi a nagy mennyiségű adat elosztott feldolgozását a paradigmájának segítségével, amelyben a feladat számos kisebb, elkülönült részre oszlik, mindegyik külön klasztercsomóponton futtatható. A Hadoop-alapú tároló ezer csomópontot is lefedhet és exabájt adatmennyiséget tartalmazhat.
A Hadoop része a Hadoop elosztott fájlrendszer (HDFS) megvalósítása, amely automatikusan biztosítja az adatok másolatát, és optimalizált a MapReduce alkalmazásokhoz. Az adatokhoz való egyszerűbb hozzáférés érdekében a Hadoop tárolóban kifejlesztették az HBase adatbázist és a SQL-szerű Pig nyelvet, amely egyfajta SQL a MapReduce számára, és amelynek lekérdezései párhuzamosan futtathatók és több Hadoop-platformon feldolgozhatók. A projektet teljes mértékben stabilnak és ipari használatra alkalmasnak értékelik. A Hadoopot aktívan használják nagy ipari projektekben, hasonló lehetőségeket kínálva, mint a Google Bigtable/GFS/MapReduce platformja, miközben a Google hivatalosan a Hadoopnak és más Apache projekteknek a MapReduce módszerhez kapcsolódó szabadalmak által védett technológiák használati jogát.
A Hadoop az Apache tárolók közül az elvégzett változtatások számában első, a kódalap méretét tekintve pedig ötödik helyen áll (kb. 4 millió kódsor). A Hadoop nagyobb bevezetései közé tartozik a Netflix tárhelye (napi több mint 500 milliárd eseményt tárol), a Twitter (10 ezer csomópontos klaszter valós időben több mint zettabájt adatot tárol, és napi több mint 5 milliárd munkamenetet dolgoz fel), a Facebook (4 ezer csomópontos klaszter több mint 300 petabájt adatot tárol, naponta pedig 4 petabájttal növekszik).
Fő az Apache Hadoop 3.3-ban:
- Hozzáadva az ARM architektúrára alapozott platformok támogatása.
- A formátum megvalósítása (Protokollpufferek), amely a strukturált adatok sorosítására szolgál, frissítve lett a 3.7.1 kiadásra, tekintettel a protobuf-2.5.0 ágon a támogatás megszűnésére.
- Bővült az S3A csatlakozó lehetőségei: hozzáadva a tokenekkel történő hitelesítés támogatása (), javult a 404-es kódú válaszok cache-elésének támogatása, növekedett az S3guard teljesítménye és megbízhatósága.
- Az ABFS fájlrendszer automatikus hangolásával kapcsolatos problémák megoldódtak.
- Beépített támogatás került hozzáadásra a Tencent Cloud COS fájlrendszerhez a COS objektumtárolóhoz való hozzáféréshez.
- Teljes körű támogatás került hozzáadásra a Java 11-hez.
- Stabilizálva lett a HDFS RBF (Router-alapú Féderáció) megvalósítás. Az HDFS Routerhez biztonsági kezelési eszközök kerültek hozzáadásra.
- DNS Feloldás szolgáltatás került hozzáadásra, amely lehetővé teszi a kliensek számára a szerverek DNS-en keresztüli név alapján történő azonosítását, elkerülve a hosztok listázását a beállításokban.
- Hozzáadva a futás ütemezésének támogatása centralizált erőforráskezelőn (ResourceManager) keresztül, beleértve a konténerek terhelés alapú elosztását minden egyes csomóponton.
- YARN (Yet Another Resource Negotiator) alkalmazáskatalógus került hozzáadásra, amely keresési lehetőségeket kínál.
Forrás: opennet.ru
