Human sa usa ka tuig ug tunga sa kalamboan, ang Apache Software Foundation buhian , usa ka libre nga plataporma alang sa pag-organisar sa giapod-apod nga pagproseso sa dagkong mga volume sa datos gamit ang paradigm , diin ang buluhaton gibahin ngadto sa daghang mas gagmay nga bulag nga mga tipik, nga ang matag usa mahimong ilunsad sa usa ka bulag nga cluster node. Ang pagtipig nga nakabase sa Hadoop mahimong mosangkad sa libu-libo nga mga node ug adunay sulud nga mga exabytes nga datos.
Ang Hadoop naglakip sa pagpatuman sa Hadoop Distributed Filesystem (HDFS), nga awtomatik nga naghatag ug data backup ug gi-optimize alang sa MapReduce nga mga aplikasyon. Aron mapasayon ang pag-access sa datos sa pagtipig sa Hadoop, ang database sa HBase ug ang sama sa SQL nga pinulongan nga Baboy naugmad, nga usa ka matang sa SQL alang sa MapReduce, ang mga pangutana nga mahimong parallelize ug maproseso sa daghang mga plataporma sa Hadoop. Ang proyekto gibanabana nga hingpit nga lig-on ug andam alang sa operasyon sa industriya. Ang Hadoop aktibo nga gigamit sa dagkong mga proyekto sa industriya, nga naghatag mga kapabilidad nga susama sa Google Bigtable/GFS/MapReduce nga plataporma, samtang ang Google opisyal nga Ang Hadoop ug uban pang mga proyekto sa Apache adunay katungod sa paggamit sa mga teknolohiya nga nasakup sa mga patente nga may kalabotan sa pamaagi sa MapReduce.
Ang Hadoop nag-una sa ranggo sa mga repositoryo sa Apache sa mga termino sa gidaghanon sa mga pagbag-o nga nahimo ug ikalima sa mga termino sa gidak-on sa codebase (mga 4 ka milyon nga linya sa code). Ang mga mayor nga pagpatuman sa Hadoop naglakip sa Netflix (labaw sa 500 bilyon nga mga panghitabo kada adlaw ang gitipigan), Twitter (usa ka pungpong sa 10 ka libo nga mga node nga nagtipig labaw pa sa usa ka zettabyte nga datos sa tinuod nga panahon ug nagproseso labaw pa sa 5 bilyon nga mga sesyon kada adlaw), Facebook (usa ka cluster sa 4 ka libo nga mga node nagtipig labaw sa 300 ka mga petabytes ug nagdugang kada adlaw sa 4 PB kada adlaw).
nag-unang sa Apache Hadoop 3.3:
- Gidugang nga suporta alang sa mga platform nga gibase sa arkitektura sa ARM.
- Pagpatuman sa pormat (Protocol buffers), nga gigamit alang sa serializing structured data, gi-update sa pagpagawas sa 3.7.1 tungod sa pagtapos sa life cycle sa protobuf-2.5.0 branch.
- Ang mga kapabilidad sa S3A connector gipalapdan: suporta alang sa authentication gamit ang mga token gidugang (), gipauswag nga suporta alang sa mga tubag sa pag-cache nga adunay code 404, gipataas ang pasundayag sa S3guard, ug gipataas ang kasaligan sa operasyon.
- Ang mga problema sa awtomatik nga tuning nasulbad sa ABFS file system.
- Gidugang ang lumad nga suporta alang sa Tencent Cloud COS file system alang sa pag-access sa COS object storage.
- Gidugang ang bug-os nga suporta alang sa Java 11.
- Ang pagpatuman sa HDFS RBF (Router-based Federation) napalig-on. Ang mga kontrol sa seguridad gidugang sa HDFS Router.
- Gidugang ang serbisyo sa DNS Resolution alang sa kliyente aron mahibal-an ang mga server pinaagi sa DNS pinaagi sa mga ngalan sa host, nga gitugotan ka nga buhaton nga wala gilista ang tanan nga mga host sa mga setting.
- Gidugang ang suporta sa pag-iskedyul sa paglansad pinaagi sa usa ka sentralisadong resource manager (ResourceManager), lakip ang abilidad sa pag-apod-apod sa mga sudlanan nga gikonsiderar ang load sa matag node.
- Gidugang nga makit-an nga YARN (Yet Another Resource Negotiator) nga direktoryo sa aplikasyon.
Source: opennet.ru