Andmete jaotatud töötlemise platvormi Apache Hadoop 3.3 väljaanne

Pärast poolteist aastat arendustööd Apache Software Foundation avalikustasin väljalase Apache Hadoop 3.3.0, avatud platvorm suurte andmemahtude jaotatud töötlemise korraldamiseks, kasutades paradigmat map/reduce, kus ülesanne jaguneb paljude väikeste eraldiseisvate fragmentideks, millest igaüht saab käitada klastris eraldi sõlmel. Hadoopi põhjal loodud salvestusmaht võib katab tuhandeid sõlmi ja sisaldada eksabaitide kaupa andmeid.

Hadoopi koosseisu kuulub jaotatud failisüsteemi Hadoop Distributed Filesystem (HDFS) teostus, mis tagab automaatse andmete varundamise ja on optimeeritud MapReduce rakenduste jaoks. Andmetele juurdepääsu lihtsustamiseks on Hadoobi salvestuses välja töötatud andmebaas HBase ja SQL-sarnane keel Pig, mis on omamoodi SQL MapReduce jaoks, mille päringud saavad olla paralleelselt töödeldud mitmete Hadoopi platvormide poolt. Projekt on hinnatud täielikult stabiilseks ja valmis tööstuslikuks kasutamiseks. Hadoopi kasutatakse aktiivselt suurtes tööstuslikes projektides, pakkudes võimalusi, mis sarnanevad Google'i Bigtable/GFS/MapReduce platvormile, samal ajal kui Google on ametlikult delegeerinud Hadoop ja teiste Apache projektide puhul on tehnoloogiate kasutamise õigused, mis on seotud MapReduce meetodiga, litsentseeritud.

Hadoop on Apache hoidlatest kõige rohkem muudatusi teinud ja suuruselt viies koodibaasi (umbes 4 miljonit rida koodi). Suurte Hadoopi rakenduste seas on Netflixi andmehoidlad (salvestatakse üle 500 miljardi sündmuse päevas), Twitter (10 000 sõlme reaalajas klaster salvestab üle zettabaidi andmeid ja töötleb enam kui 5 miljardit seanssi päevas), Facebook (4 000 sõlmega klaster salvestab üle 300 petabaiti ja suureneb igapäevaselt 4 PB võrra).

Peamised muudatused Apache Hadoop 3.3-s:

• Lisatud tugi ARM arhitektuuril põhinevatele platvormidele.
• Protokolli Protobuf Protokolli (Protocol buffers) formaat, mida kasutatakse struktureeritud andmete serialiseerimiseks, on värskendatud versioonile 3.7.1 seoses protobuf-2.5.0 haru elutsükli lõppemisega.
• S3A ühenduse võimalusi on laiendatud: lisatud tugivõimalus autentimiseks tokenite abil (Delegation Token), täiustatud 404 staatusega vastuste vahehoidlate tugi, suurendatud S3guard'i jõudlust ja parendatud töökindlust.
• ABFS failnutsüsteemis on lahendatud automaatse häälestamise probleemid.
• Lisatud sisseehitatud tugi Tencent Cloud COS failisüsteemile COS objektihaldusena ligipääsuks.
• Java 11 täiendav tugi on lisatud.
• HDFS RBF (ülemise föderatsiooni) rakendus on stabiliseeritud. HDFS Routerile on lisatud turvalisuse juhtimise vahendid.
• Lisatud DNS-i resolutsiooni teenus, mis võimaldab klientidel serverite leidmist DNS-i kaudu hostinimede järgi, vältides kõigi hostide loetlemist seadistustes.
• Lanceraamisplaani tugi on lisatud opportunistlike konteinerite haldamiseks keskse ressursside haldur (ResourceManager) kaudu, sealhulgas iga sõlme koormuse arvestamisega konteinerite jaotamine.
• YARN (Veel Üks Ressursside Läbirääkimine) rakenduste kataloog on lisatud otsinguvõimalustega.

Allikas: opennet.ru