I muri i te tau me te hawhe o te whanaketanga, ko te Apache Software Foundation tuku , he turanga kore utu mo te whakahaere i te tukatuka tohatoha o nga pukapuka nui o nga raraunga ma te whakamahi i te tauira , i reira ka wehewehea te mahi ki etahi wahanga iti ake, ka taea te whakarewa i ia waahanga ki runga i te node tautau motuhake. Ka taea e te rokiroki i runga i te Hadoop te hora i nga mano tini o nga pona me nga exabytes o nga raraunga.
Kei roto i te Hadoop he whakatinanatanga o te Hadoop Distributed Filesystem (HDFS), e whakarato aunoa ana i te taapiri raraunga me te arotau mo nga tono MapReduce. Hei whakangwari ake i te uru ki nga raraunga i roto i te rokiroki Hadoop, kua whakawhanakehia te papaaarangi HBase me te Pig reo rite-SQL, he momo SQL mo MapReduce, ko nga patai ka taea te whakarara me te tukatuka e te maha o nga papaaho Hadoop. Ka aromatawaihia te kaupapa he tino pumau me te rite mo te mahi ahumahi. Kei te kaha te whakamahi a Hadoop i roto i nga kaupapa ahumahi nui, e whakarato ana i nga kaha e rite ana ki te Google Bigtable/GFS/MapReduce platform, i te mea kua mana a Google. Kei a Hadoop me etahi atu kaupapa Apache te mana ki te whakamahi i nga hangarau kua hipokina e nga patent e pa ana ki te tikanga MapReduce.
Ko Hadoop te turanga tuatahi i waenga i nga whare penapena Apache i runga i te maha o nga huringa i mahia me te tuarima mo te rahi o te waehere (e 4 miriona nga rarangi waehere). Ko nga whakatinanatanga nui a Hadoop ko Netflix (neke atu i te 500 piriona nga huihuinga ia ra kei te rongoa), Twitter (he huinga o te 10 mano tini nga toa ka nui ake i te zettabyte o nga raraunga i roto i te waa tuuturu me nga tukanga neke atu i te 5 piriona huihuinga ia ra), Facebook (he tautau o te 4 mano nodes e penapena ana neke atu i te 300 petabytes me te piki haere ia ra ma te 4 PB ia ra).
Main i roto i te Apache Hadoop 3.3:
- He tautoko taapiri mo nga papahanga i runga i te hoahoanga ARM.
- Te whakatinanatanga o te whakatakotoranga (Kawa buffers), whakamahia mo te raupapa raraunga hanganga, kua whakahoutia ki te tuku 3.7.1 na te mutunga o te huringa ora o te peka protobuf-2.5.0.
- Kua whakawhānuihia nga kaha o te hononga S3A: kua taapirihia te tautoko mo te motuhēhēnga ma te whakamahi tohu (), i pai ake te tautoko mo te keteroki whakautu me te waehere 404, te whakanui ake i te mahinga S3guard, me te kaha ake o te pono whakahaere.
- Kua whakatauhia nga raru mo te whakangao aunoa i te punaha konae ABFS.
- He tautoko taketake ake mo te punaha konae Tencent Cloud COS mo te uru ki te rokiroki ahanoa COS.
- Kua taapirihia te tautoko katoa mo Java 11.
- Ko te whakatinanatanga o te HDFS RBF (Router-based Federation) kua pumau. Kua taapirihia nga mana haumaru ki te Router HDFS.
- I taapirihia te ratonga Whakatau DNS mo te kaihoko ki te whakatau i nga kaitoro ma te DNS ma nga ingoa kaihautu, ka taea e koe te mahi me te kore e tuhi i nga kaihautu katoa i roto i nga tautuhinga.
- He tautoko whakahōtaka whakarewanga taapiri na roto i te kaiwhakahaere rauemi matua (ResourceManager), tae atu ki te kaha ki te tohatoha ipu ma te whakaaro ki te kawenga o ia node.
- Kua taapirihia te raarangi tono YARN (Yet Another Resource Negotiator).
Source: opennet.ru