Post jaro kaj duono de disvolviĝo, la Apache Software Foundation liberigi , senpaga platformo por organizi distribuitan prilaboradon de grandaj volumoj de datumoj uzante la paradigmon , en kiu la tasko estas dividita en multajn pli malgrandajn apartajn fragmentojn, ĉiu el kiuj povas esti lanĉita sur aparta aretnodo. Hadoop-bazita stokado povas enhavi milojn da nodoj kaj enhavi eksabajtojn da datumoj.
Hadoop inkluzivas efektivigon de la Hadoop Distribuita Dosiersistemo (HDFS), kiu aŭtomate disponigas datumojn sekurkopion kaj estas optimumigita por MapReduce-aplikoj. Por simpligi aliron al datumoj en Hadoop-stokado, la HBase-datumbazo kaj la SQL-simila lingvo Pig estis evoluigitaj, kiu estas speco de SQL por MapReduce, kies demandoj povas esti paraleligitaj kaj procesitaj de pluraj Hadoop-platformoj. La projekto estas taksita kiel tute stabila kaj preta por industria operacio. Hadoop estas aktive uzata en grandaj industriaj projektoj, provizante kapablojn similajn al la platformo Google Bigtable/GFS/MapReduce, dum Google oficiale havas Hadoop kaj aliaj Apache-projektoj rajtas uzi teknologiojn kovritajn de patentoj rilataj al la metodo MapReduce.
Hadoop estas unua inter Apache-deponejoj laŭ la nombro da ŝanĝoj faritaj kaj kvina laŭ kodbaza grandeco (ĉirkaŭ 4 milionoj da linioj de kodo). Gravaj realigoj de Hadoop inkluzivas Netflix (pli ol 500 miliardoj da eventoj tage estas stokitaj), Twitter (areto de 10 mil nodoj stokas pli ol zettabajton da datumoj en reala tempo kaj prilaboras pli ol 5 miliardojn da sesioj tage), Facebook (areo). de 4 mil nodoj stokas pli ol 300 petabajtojn kaj pliiĝas ĉiutage je 4 PB ĉiutage).
Ĉefa en Apache Hadoop 3.3:
- Aldonita subteno por platformoj bazitaj sur ARM-arkitekturo.
- Efektivigo de la formato (Protokolaj bufroj), uzataj por seriigi strukturitajn datumojn, estis ĝisdatigitaj por liberigi 3.7.1 pro la fino de la vivociklo de la branĉo protobuf-2.5.0.
- La kapabloj de la S3A-konektilo estis vastigitaj: subteno por aŭtentikigo per ĵetonoj estis aldonita (), plibonigita subteno por kaŝmemoro de respondoj kun kodo 404, pliigita S3guard-efikeco, kaj pliigita funkcia fidindeco.
- Problemoj kun aŭtomata agordado estis solvitaj en la ABFS-dosiersistemo.
- Aldonita denaska subteno por Tencent Cloud COS-dosiersistemo por aliri COS-objektan stokadon.
- Aldonita plena subteno por Java 11.
- La efektivigo de HDFS RBF (Router-bazita Federacio) estis stabiligita. Sekureckontroloj estis aldonitaj al HDFS-Enkursigilo.
- Aldonis la servon de DNS Rezolucio por ke la kliento determini servilojn per DNS per gastigantnomoj, permesante al vi fari sen listigi ĉiujn gastigantojn en la agordoj.
- Aldonita lanĉa planado subteno tra centralizita rimedmanaĝero (ResourceManager), inkluzive de la kapablo distribui ujojn konsiderante la ŝarĝon de ĉiu nodo.
- Aldonita serĉebla dosierujo de aplikaĵo YARN (Ankoraŭ Alia Resource Negotiator).
fonto: opennet.ru