Po več kot letu in pol razvoja je organizacija Apache Software Foundation izdanje , prosta platforma za organizacijo porazdeljenega obdelovanja velikih količin podatkov z uporabo paradigme , pri kateri se naloga razdeli na številne manjše, ločene dele, ki jih je mogoče izvajati na posameznih vozliščih v grozdu. Shrambi, temelji na Hadoopu, lahko obsegajo tisoče vozlišč in vsebujejo eksabajte podatkov.
Hadoop vključuje implementacijo porazdeljenega datotečnega sistema Hadoop Distributed Filesystem (HDFS), ki samodejno zagotavlja rezerviranje podatkov in je optimiziran za delovanje MapReduce aplikacij. Za poenostavitev dostopa do podatkov v Hadoop shrambi je bila razvita baza podatkov HBase in SQL-podobni jezik Pig, ki je nekakšen SQL za MapReduce, katerih poizvedbe se lahko paralelizirajo in obdelujejo na več Hadoop platformah. Projekt je ocenjen kot popolnoma stabilen in pripravljen za industrijsko uporabo. Hadoop se aktivno uporablja v velikih industrijskih projektih in nudi zmogljivosti, primerljive s platformo Google Bigtable/GFS/MapReduce, pri čemer je podjetje Google uradno Hadoop in drugim projektem Apache pravico do uporabe tehnologij, ki jih pokrivajo patenti v zvezi z metodo MapReduce.
Hadoop zaseda prvo mesto med repozitoriji Apache po številu vloženih sprememb in peto mesto po velikosti kode (približno 4 milijone vrstic kode). Med velikimi implementacijami Hadoop so izpostavljeni skladiščni sistemi Netflix (shranjuje več kot 500 milijard dogodkov na dan), Twitter (grozd s 10.000 vozlišči v realnem času hrani več kot zetabajt podatkov in obdela več kot 5 milijard sej na dan), Facebook (grozd s 4.000 vozlišči hrani več kot 300 petabajtov in se vsak dan povečuje za 4 PB na dan).
Glavne v Apache Hadoop 3.3:
- Dodana podpora za platforme, ki temeljijo na arhitekturi ARM.
- Izvedba formata (Protocol buffers), ki se uporablja za serializacijo strukturiranih podatkov, je bila posodobljena na izdajo 3.7.1 zaradi konca življenjskega cikla veje protobuf-2.5.0.
- Razširjene so možnosti povezovalnika S3A: dodana je bila podpora za avtentikacijo s pomočjo žetonov (), izboljšana podpora za predpomnjenje odgovorov s kodo 404, povečana zmogljivost S3guard, izboljšana zanesljivost delovanja.
- V datotečnem sistemu ABFS so bili rešeni problemi z avtomatskim prilagajanjem.
- Dodana je vgrajena podpora za datotečni sistem Tencent Cloud COS za dostop do objektskega skladišča COS.
- Dodana je popolna podpora za Java 11.
- Stabilizirana je implementacija HDFS RBF (Federacija, zgrajena na usmerjevalniku). V HDFS usmerjevalnik so dodana orodja za upravljanje varnosti.
- Dodana je storitev DNS Resolution za določitev strežnikov s strani strank preko DNS z uporabo imen vozlišč, kar omogoča, da se izognemo naštevanju vseh gostiteljev v nastavitvah.
- Dodana je podpora za načrtovanje zagonov prek centraliziranega upravljavca virov (ResourceManager), vključno z možnostjo razporejanja kontejnerjev ob upoštevanju obremenitve vsakega vozlišča.
- Dodana je aplikacijska mapa YARN (Yet Another Resource Negotiator) z možnostjo iskanja.
Izvor: opennet.ru
