Baada ya mwaka na nusu ya maendeleo, Apache Software Foundation kutolewa , jukwaa lisilolipishwa la kuandaa usindikaji uliosambazwa wa idadi kubwa ya data kwa kutumia dhana , ambayo kazi imegawanywa katika vipande vingi vidogo tofauti, ambayo kila moja inaweza kuzinduliwa kwenye nodi tofauti ya nguzo. Hifadhi ya msingi wa hadoop inaweza kuchukua maelfu ya nodi na kuwa na exabytes za data.
Hadoop inajumuisha utekelezaji wa Mfumo wa Faili Uliosambazwa wa Hadoop (HDFS), ambao hutoa hifadhi ya data kiotomatiki na kuboreshwa kwa ajili ya programu za MapReduce. Ili kurahisisha ufikiaji wa data katika hifadhi ya Hadoop, hifadhidata ya HBase na Nguruwe ya lugha inayofanana na SQL imeundwa, ambayo ni aina ya SQL ya MapReduce, maswali ambayo yanaweza kusawazishwa na kuchakatwa na majukwaa kadhaa ya Hadoop. Mradi huo unatathminiwa kuwa thabiti kabisa na uko tayari kwa uendeshaji wa viwanda. Hadoop inatumika kikamilifu katika miradi mikubwa ya viwanda, ikitoa uwezo sawa na jukwaa la Google Bigtable/GFS/MapReduce, huku Google ikiwa rasmi. Hadoop na miradi mingine ya Apache ina haki ya kutumia teknolojia iliyojumuishwa na hataza zinazohusiana na mbinu ya MapReduce.
Hadoop inachukua nafasi ya kwanza kati ya hazina za Apache kulingana na idadi ya mabadiliko yaliyofanywa na ya tano kwa ukubwa wa codebase (karibu mistari milioni 4 ya msimbo). Utekelezaji mkubwa wa Hadoop ni pamoja na Netflix (zaidi ya matukio bilioni 500 kwa siku huhifadhiwa), Twitter (mkusanyiko wa nodi elfu 10 huhifadhi zaidi ya zettabyte ya data kwa wakati halisi na huchakata vikao zaidi ya bilioni 5 kwa siku), Facebook (kundi ya nodi elfu 4 huhifadhi zaidi ya petabytes 300 na inaongezeka kila siku kwa 4 PB kwa siku).
kuu katika Apache Hadoop 3.3:
- Usaidizi umeongezwa kwa majukwaa kulingana na usanifu wa ARM.
- Utekelezaji wa muundo (Vihifadhi vya Itifaki), vinavyotumika kusawazisha data iliyopangwa, imesasishwa ili kutolewa 3.7.1 kutokana na mwisho wa mzunguko wa maisha wa tawi la protobuf-2.5.0.
- Uwezo wa kiunganishi cha S3A umepanuliwa: msaada wa uthibitishaji kwa kutumia ishara umeongezwa (), usaidizi ulioboreshwa wa majibu ya akiba kwa kutumia msimbo 404, kuongezeka kwa utendakazi wa S3guard, na kuongeza uaminifu wa utendakazi.
- Matatizo ya kurekebisha kiotomatiki yametatuliwa katika mfumo wa faili wa ABFS.
- Imeongeza usaidizi asilia wa mfumo wa faili wa Tencent Cloud COS wa kufikia hifadhi ya kitu cha COS.
- Imeongeza usaidizi kamili wa Java 11.
- Utekelezaji wa HDFS RBF (Shirikisho la Mfumo wa Njia) umeimarishwa. Vidhibiti vya usalama vimeongezwa kwenye Kisambaza data cha HDFS.
- Imeongeza huduma ya Utatuzi wa DNS kwa mteja ili kubaini seva kupitia DNS kwa majina ya seva pangishi, huku kuruhusu kufanya bila kuorodhesha wapangishaji wote katika mipangilio.
- Imeongeza usaidizi wa kuratibisha uzinduzi kupitia kwa msimamizi mkuu wa rasilimali (ResourceManager), ikiwa ni pamoja na uwezo wa kusambaza vyombo kwa kuzingatia mzigo wa kila nodi.
- Imeongeza UZI WA KUTAFUTA (Bado Mwingine wa Majadiliano ya Rasilimali) saraka ya programu.
Chanzo: opennet.ru