Taorian'ny herintaona sy tapany fampandrosoana, ny Apache Software Foundation famotsorana , sehatra maimaim-poana ho an'ny fandaminana ny fizarazarana fanodinana angon-drakitra betsaka amin'ny fampiasana ny paradigma , izay zaraina amin'ny ampahany kely kokoa ny asa, izay azo atomboka amin'ny node cluster misaraka ny tsirairay. Ny fitehirizana miorina amin'ny Hadoop dia afaka mamakivaky node an'arivony ary misy angona exabytes.
Hadoop dia ahitana ny fampiharana ny Hadoop Distributed Filesystem (HDFS), izay manome ho azy ny backup data ary natao ho an'ny fampiharana MapReduce. Mba hanatsorana ny fidirana amin'ny angona ao amin'ny fitahirizana Hadoop, dia novolavolaina ny angon-drakitra HBase sy ny fiteny Kisoa mitovy amin'ny SQL, izay karazana SQL ho an'ny MapReduce, izay mety hampitoviana sy karakarain'ny sehatra Hadoop maromaro ny fanontaniana. Ny tetikasa dia tombanana ho marin-toerana tanteraka ary vonona amin'ny asa indostrialy. Hadoop dia ampiasaina mavitrika amin'ny tetikasa indostrialy lehibe, manome fahaiza-manao mitovy amin'ny sehatra Google Bigtable/GFS/MapReduce, raha toa kosa ny Google dia tamin'ny fomba ofisialy. Ny Hadoop sy ny tetikasa Apache hafa dia manan-jo hampiasa ny teknolojia voarakotry ny patanty mifandraika amin'ny fomba MapReduce.
Hadoop no laharana voalohany amin'ireo tahiry Apache raha jerena ny isan'ny fanovana natao ary fahadimy amin'ny haben'ny codebase (manodidina ny 4 tapitrisa andalana code). Ny fampiharana Hadoop lehibe dia ahitana ny Netflix (mihoatra ny 500 lavitrisa hetsika isan'andro no voatahiry), Twitter (vondrona misy node 10 arivo mitahiry mihoatra ny zettabyte ny angon-drakitra amin'ny fotoana tena izy ary manao dingana mihoatra ny 5 lavitrisa isan'andro), Facebook (cluster iray). amin'ny node 4 arivo dia mitahiry petabytes mihoatra ny 300 ary mitombo isan'andro amin'ny 4 PB isan'andro).
tena ao amin'ny Apache Hadoop 3.3:
- Fanampiana fanampiny ho an'ny sehatra mifototra amin'ny maritrano ARM.
- Fampiharana ny endrika (Protocol buffers), ampiasaina amin'ny fametrahana angon-drakitra voarafitra, dia nohavaozina mba hamoahana ny 3.7.1 noho ny fiafaran'ny tsingerin'ny fiainan'ny sampana protobuf-2.5.0.
- Nitarina ny fahafahan'ny mpampitohy S3A: nampiana ny fanohanana ny fanamarinana amin'ny alalan'ny famantarana (), nanatsara ny fanohanana ny valin-kafatra miaraka amin'ny code 404, nampitombo ny fahombiazan'ny S3guard, ary nampitombo ny fahatokisana ny asa.
- Ny olana amin'ny fanamafisam-peo mandeha ho azy dia voavaha tao amin'ny rafitra rakitra ABFS.
- Fanampiana teratany ho an'ny rafitra rakitra Tencent Cloud COS ho an'ny fidirana amin'ny fitahirizana zavatra COS.
- Nanampy fanohanana feno ho an'ny Java 11.
- Nilamina ny fampiharana ny HDFS RBF (Federasiona miorina amin'ny router). Ny fanaraha-maso fiarovana dia nampiana tamin'ny HDFS Router.
- Nampiana ny serivisy DNS Resolution ho an'ny mpanjifa mba hamaritana ireo lohamilina amin'ny alΓ lan'ny DNS amin'ny anaran'ny mpampiantrano, ahafahanao manao tsy mitanisa ny mpampiantrano rehetra ao amin'ny sehatra.
- Nampiana fanohanana ny fandaharam-potoana fandefasana amin'ny alΓ lan'ny mpitantana loharanon-karena foibe (ResourceManager), ao anatin'izany ny fahafahana mizara kaontenera amin'ny fiheverana ny enta-mavesatry ny node tsirairay.
- Nampiana lahatahiry fampiharana YARN (Yet Another Resource Negotiator).
Source: opennet.ru