Hoʻokuʻu ʻia ka paepae no ka hoʻoili ʻana i ka ʻikepili i hāʻawi ʻia ʻo Apache Hadoop 3.3

Ma hope o hoʻokahi makahiki a me ka hapa o ka hoʻomohala ʻana, ʻo ka Apache Software Foundation paʻi ʻia hoʻokuʻu ʻO Apache Hadoop 3.3.0, he kahua kūʻokoʻa no ka hoʻonohonoho ʻana i ka hoʻoili ʻia ʻana o ka nui o ka ʻikepili me ka hoʻohana ʻana i ka paradigm palapala ʻāina/hōʻemi, kahi i māhele ʻia ai ka hana i nā ʻāpana liʻiliʻi liʻiliʻi, hiki ke hoʻokuʻu ʻia kēlā me kēia ma kahi puʻupuʻu puʻupuʻu ʻokoʻa. Hiki i ka waihona waihona Hadoop ke hoʻonui i nā tausani o nā nodes a loaʻa nā exabytes o ka ʻikepili.

Hoʻokomo ʻia ʻo Hadoop i kahi hoʻokō o ka Hadoop Distributed Filesystem (HDFS), e hāʻawi maʻalahi i ka hoʻihoʻi ʻikepili a hoʻopaʻa ʻia no nā noi MapReduce. No ka maʻalahi o ka loaʻa ʻana o ka ʻikepili i ka waihona Hadoop, ua hoʻomohala ʻia ka waihona HBase a me ka ʻōlelo SQL-like Pig, kahi ʻano SQL no MapReduce, nā nīnau e hiki ke hoʻohālikelike ʻia a hana ʻia e kekahi mau kahua Hadoop. ʻIke ʻia ka papahana ma ke ʻano paʻa loa a mākaukau no ka hana ʻoihana. Hoʻohana ikaika ʻia ʻo Hadoop i nā papahana ʻoihana nui, e hāʻawi ana i nā mana e like me ka Google Bigtable/GFS/MapReduce platform, ʻoiai ʻo Google i hana mana. elele He kuleana ko Hadoop a me nā papahana Apache ʻē aʻe e hoʻohana i nā ʻenehana i uhi ʻia e nā patent e pili ana i ke ʻano MapReduce.

Aia ʻo Hadoop i ka pae mua ma waena o nā waihona Apache e pili ana i ka nui o nā hoʻololi i hana ʻia a ʻo ka lima ma nā ʻōlelo o ka nui codebase (ma kahi o 4 miliona mau laina code). ʻO nā hoʻokō nui Hadoop e pili ana iā Netflix (ʻoi aku ma mua o 500 billion mau hanana i kēlā me kēia lā), Twitter (kahi pūʻulu o 10 tausani nodes hale kūʻai ʻoi aku ma mua o kahi zettabyte o ka ʻikepili i ka manawa maoli a me nā kaʻina hana ʻoi aku ma mua o 5 billion mau manawa i kēlā me kēia lā), Facebook (kahi puʻupuʻu. o 4 tausani nodes hale kūʻai ma mua o 300 petabytes a ke hoʻonui nei i kēlā me kēia lā e 4 PB i kēlā me kēia lā).

ka papa kuhikuhiE ke hoʻololi ma Apache Hadoop 3.3:

• Hoʻohui i ke kākoʻo no nā paepae e pili ana i ka hoʻolālā ARM.
• Ka hoʻokō ʻana i ke ʻano Protobuf (Protocol buffers), i hoʻohana ʻia no ka serializing structured data, ua hōʻano hou ʻia e hoʻokuʻu i ka 3.7.1 ma muli o ka hopena o ke ola o ka lālā protobuf-2.5.0.
• Ua hoʻonui ʻia nā mana o ka mea hoʻohui S3A: ua hoʻohui ʻia ke kākoʻo no ka hōʻoia ʻana me ka hoʻohana ʻana i nā hōʻailona (Hōʻailona ʻelele), hoʻomaikaʻi i ke kākoʻo no ka hoʻopili ʻana i nā pane me ka code 404, hoʻonui i ka hana S3guard, a hoʻonui i ka hilinaʻi hana.
• Ua hoʻoholo ʻia nā pilikia me ke kani ʻana ma ka ʻōnaehana faila ABFS.
• Hoʻohui ʻia ke kākoʻo ʻōiwi no ka ʻōnaehana faila Tencent Cloud COS no ke komo ʻana i kahi waihona mea COS.
• Hoʻohui i ke kākoʻo piha no Java 11.
• Ua hoʻokūpaʻa ʻia ka hoʻokō ʻana o HDFS RBF (Router-based Federation). Ua hoʻohui ʻia nā mana palekana i HDFS Router.
• Hoʻohui i ka lawelawe DNS Resolution no ka mea kūʻai aku e hoʻoholo i nā kikowaena ma o DNS e nā inoa hoʻokipa, e ʻae iā ʻoe e hana me ka ʻole o ka helu ʻana i nā pūʻali āpau i nā hoʻonohonoho.
• Hoʻohui i ke kākoʻo hoʻonohonoho hoʻomaka nā pahu kūpono ma o ka mea hoʻokele waiwai kikowaena (ResourceManager), me ka hiki ke puʻunaue i nā ipu e noʻonoʻo ana i ka ukana o kēlā me kēia node.
• Hoʻohui ʻia ka papa kuhikuhi noi YARN (Yet Another Resource Negotiator).

Source: opennet.ru