Puolentoista vuoden kehitystyön jälkeen Apache Software Foundation vapauta , ilmainen alusta suurten tietomäärien hajautetun käsittelyn järjestämiseen paradigman avulla , jossa tehtävä on jaettu useisiin pienempiin erillisiin fragmentteihin, joista jokainen voidaan käynnistää erillisessä klusterisolmussa. Hadoop-pohjainen tallennustila voi kattaa tuhansia solmuja ja sisältää eksatavuja dataa.
Hadoop sisältää Hadoop Distributed Filesystem (HDFS) -toteutuksen, joka varmuuskopioi tiedot automaattisesti ja on optimoitu MapReduce-sovelluksille. Hadoop-tallennustilassa olevien tietojen yksinkertaistamiseksi on kehitetty HBase-tietokanta ja SQL:n kaltainen kieli Pig, joka on eräänlainen MapReducen SQL, jonka kyselyt voidaan rinnastaa ja käsitellä useilla Hadoop-alustoilla. Hanke on arvioitu täysin vakaaksi ja valmiiksi teolliseen käyttöön. Hadoopia käytetään aktiivisesti suurissa teollisissa projekteissa tarjoamalla Google Bigtable/GFS/MapReduce-alustan kaltaisia ominaisuuksia, kun taas Google on virallisesti Hadoopilla ja muilla Apache-projekteilla on oikeus käyttää MapReduce-menetelmään liittyvien patenttien kattamia teknologioita.
Hadoop on Apache-tietovarastojen joukossa ensimmäinen tehtyjen muutosten lukumäärän ja viidenneksi koodikannan koon (noin 4 miljoonaa koodiriviä) perusteella. Tärkeimpiä Hadoop-toteutuksia ovat Netflix (yli 500 miljardia tapahtumaa päivässä tallennetaan), Twitter (10 tuhannen solmun klusteri tallentaa reaaliajassa yli settatavun dataa ja käsittelee yli 5 miljardia istuntoa päivässä), Facebook (klusteri 4 tuhannesta solmusta tallentaa yli 300 petabyyttiä ja lisääntyy päivittäin 4 PB:llä päivässä).
Pääasiallinen Apache Hadoop 3.3:ssa:
- Lisätty tuki ARM-arkkitehtuuriin perustuville alustoille.
- Formaatin toteutus (Protokollapuskurit), jota käytetään strukturoidun datan sarjoitukseen, on päivitetty julkaisuun 3.7.1 protobuf-2.5.0-haaran elinkaaren päätyttyä.
- S3A-liittimen ominaisuuksia on laajennettu: lisätty tuki tokeneille), parannettu tuki välimuistiin tallentamiseen koodilla 404, parannettu S3guardin suorituskykyä ja parannettu toiminnan luotettavuutta.
- Automaattisen virityksen ongelmat on ratkaistu ABFS-tiedostojärjestelmässä.
- Lisätty natiivi tuki Tencent Cloud COS -tiedostojärjestelmälle COS-objektien tallennustilan käyttämiseen.
- Lisätty täysi tuki Java 11:lle.
- HDFS RBF:n (Router-based Federation) käyttöönotto on vakiintunut. Suojausohjaimet on lisätty HDFS-reitittimeen.
- Lisätty DNS Resolution -palvelu, jonka avulla asiakas voi määrittää palvelimet DNS:n kautta isäntänimien perusteella, joten voit tehdä ilman kaikkien isäntien luetteloimista asetuksissa.
- Lisätty käynnistyksen ajoituksen tuki keskitetyn resurssienhallinnan (ResourceManager) kautta, mukaan lukien mahdollisuus jakaa säiliöitä kunkin solmun kuormituksen mukaan.
- Lisätty haettavissa oleva YARN (Yet Another Resource Negotiator) -sovellushakemisto.
Lähde: opennet.ru