Pärast poolteist aastat kestnud arendustegevust Apache Software Foundation vabastama , tasuta platvorm suurte andmemahtude hajutatud töötlemise korraldamiseks paradigma abil , milles ülesanne on jagatud paljudeks väiksemateks eraldi fragmentideks, millest igaüks saab käivitada eraldi klastri sõlmes. Hadoopi-põhine salvestusruum võib hõlmata tuhandeid sõlme ja sisaldada eksabaite andmeid.
Hadoop sisaldab Hadoopi hajutatud failisüsteemi (HDFS) juurutamist, mis varustab automaatselt andmeid ja on optimeeritud MapReduce'i rakenduste jaoks. Hadoopi salvestusruumi andmetele juurdepääsu lihtsustamiseks on välja töötatud andmebaas HBase ja SQL-i sarnane keel Pig, mis on MapReduce'i jaoks omamoodi SQL, mille päringuid saab paralleelstada ja töödelda mitme Hadoopi platvormiga. Projekt on hinnatud täiesti stabiilseks ja tööstuslikuks kasutamiseks valmis. Hadoopi kasutatakse aktiivselt suurtes tööstusprojektides, pakkudes Google Bigtable/GFS/MapReduce platvormile sarnaseid võimalusi, samas kui Google on ametlikult Hadoopil ja teistel Apache projektidel on õigus kasutada MapReduce meetodiga seotud patentidega kaetud tehnoloogiaid.
Hadoop on Apache'i hoidlate seas tehtud muudatuste arvu poolest esikohal ja koodibaasi suuruse poolest viiendal kohal (umbes 4 miljonit koodirida). Peamiste Hadoopi rakenduste hulka kuuluvad Netflix (üle 500 miljardi sündmuse päevas salvestatakse), Twitter (10 tuhandest sõlmest koosnev klaster salvestab reaalajas rohkem kui zettabaidi andmeid ja töötleb rohkem kui 5 miljardit seanssi päevas), Facebook (klaster 4 tuhandest sõlmest salvestab rohkem kui 300 petabaiti ja see suureneb iga päev 4 PB võrra päevas).
Kõik Apache Hadoop 3.3-s:
- Lisatud tugi ARM-i arhitektuuril põhinevatele platvormidele.
- Formaadi rakendamine (Protokollipuhvrid), mida kasutatakse struktureeritud andmete jadamiseks, on protobuf-3.7.1 haru elutsükli lõppemise tõttu värskendatud versioonile 2.5.0.
- S3A konnektori võimalusi on laiendatud: lisatud on žetoonide abil autentimise tugi (), parem tugi vastuste vahemällu salvestamiseks koodiga 404, suurenenud S3guardi jõudlus ja töökindlus.
- Probleemid automaatse häälestamisega on ABFS-failisüsteemis lahendatud.
- Lisatud natiivne tugi Tencent Cloud COS-failisüsteemile, et pääseda juurde COS-objektide salvestusruumile.
- Lisatud Java 11 täielik tugi.
- HDFS RBF (ruuteripõhise föderatsiooni) rakendamine on stabiliseerunud. HDFS-ruuterile on lisatud turvakontrollid.
- Lisati DNS-i eraldusvõime teenus, et klient saaks DNS-i kaudu servereid hostinimede järgi määrata, võimaldades teil teha ilma kõiki hoste seadetes loetlemata.
- Lisatud käivitamise ajastamise tugi tsentraliseeritud ressursihalduri (ResourceManager) kaudu, sealhulgas võimalus jaotada konteinereid, võttes arvesse iga sõlme koormust.
- Lisatud otsitav YARN (Yet Another Resource Negotiator) rakenduste kataloog.
Allikas: opennet.ru