Apache Hadoop 3.3 andmete jaotamise platvormi väljaanne

Pärast poolteist aastat arendustööde tegemist organisatsiooni Apache Software Foundation avalikustas vabastus Apache Hadoop 3.3.0, avatud platvorm andmete jaotatud töötlemise korraldamiseks suurte andmehulkade kasutamise kaudu map/reduce, mille käigus jagatakse ülesanne arvukateks väiksemateks eraldiseisvateks fragmentideks, millest igaüht saab käitada klastris eraldi sõlmel. Hadoopi talletamine võib hõlmata tuhandeid sõlmi ja sisaldada eksabaitide andmeid.

Hadoopi koosseisu kuulub jaotatud failisüsteemi Hadoop Distributed Filesystem (HDFS) teostus, mis tagab automaatse andmete varundamise ning on optimeeritud MapReduce rakenduste jaoks. Andmete hõlbustatud juurdepääsu nimel Hadoopi salvestusse on välja töötatud andmebaas HBase ja SQL-sarnane keel Pig, mis on midagi nagu SQL MapReduce jaoks, mille päringud saab paralleelselt töötleda mitme Hadoopi platvormiga. Projekt on hinnatud täiesti stabiilseks ja tööstuslikuks kasutamiseks valmis. Hadoopit kasutatakse aktiivselt suurtes tööstusprojektides, pakkudes võimalusi, mis sarnanevad Google'i Bigtable/GFS/MapReduce platvormile, samas kui Google on ametlikult delegeerinud Hadoopile ja teistele Apache projektidele õiguse kasutada tehnoloogiaid, millele kehtivad patendid, mis on seotud MapReduce meetodiga.

Hadoop on Apache'i hoidlate seas muudatuste arvu poolest esikohal ja koodibaasi suuruse poolest viiendal kohal (umbes 4 miljonit koodirida). Suurtest Hadoopi rakendustest on märgitud Netflixi salvestus (kus säilitab üle 500 miljardi sündmuse päevas), Twitter (10 000 sõlme reaalajas klastri, mis säilitab üle zettabaiti andmeid ja töötleb üle 5 miljardi seansi päevas), Facebook (4 000 sõlme klastri, kus hoiustatakse üle 300 petabaiti ja mis suureneb iga päev 4 TB võrra).

Peamised muudatused Apache Hadoop 3.3 sees:

• Lisatud toetus ARM-arkitektuuril põhinevatele platvormidele.
• Protocolli Protobuf (Protokollipufferid), mida kasutatakse struktureeritud andmete serialiseerimiseks, on uuendatud versioonile 3.7.1 seoses protobuf-2.5.0 versiooni elutsükli lõppemisega.
• S3A konnektori võimalusi on laiendatud: lisatud toe autentimine tokenite abil (Delegation Token), täiustatud vastuste vahemälu tugi 404 koodiga, S3guard'i jõudlust on suurendatud, töö usaldusväärsust on parendatud.
• ABFS-failisüsteemis on lahendatud automaatse häälestuse probleemid.
• Lisatud sisseehitatud tugi Tencent Cloud COS failisüsteemile, et pääseda COS objektide salvestusruumile.
• Lisatud täielik toetus Java 11-le.
• Stabiliseeritud HDFS RBF (Router-põhine föderatsioon) teostus. HDFS Routerisse on lisatud turvahalduse tööriistad.
• Lisatud DNS-i lahendamise teenus, mis võimaldab kliendil serverite määratlemist nimepidi, vältides kõigi hostide loetlemist seadistustes.
• Lisatud ülesande käivitamise ajakava tugi. opportunistlike konteinerite jaoks. keskse ressursside halduri (ResourceManager) kaudu, sealhulgas võimalus jaotada konteinerite koormuse alusel igas sõlmes.
• Lisatud YARN (Yet Another Resource Negotiator) rakenduste kataloog otsinguvõimalusega.

Allikas: opennet.ru