Dopu un annu è mezu di sviluppu, l'Apache Software Foundation liberazione , una piattaforma libera per urganizà u prucessu distribuitu di grandi volumi di dati cù u paradigma , in quale u compitu hè divisu in parechji frammenti separati più chjuchi, ognunu pò esse lanciatu nantu à un node di cluster separatu. L'almacenamiento basatu in Hadoop pò copre migliaia di nodi è cuntene exabytes di dati.
Hadoop include una implementazione di u Hadoop Distributed Filesystem (HDFS), chì furnisce automaticamente una copia di salvezza di dati è hè ottimizzata per l'applicazioni MapReduce. Per simplificà l'accessu à e dati in l'almacenamiento Hadoop, a basa di dati HBase è a lingua SQL-like Pig sò stati sviluppati, chì hè un tipu di SQL per MapReduce, e dumande di quale ponu esse parallelizate è processate da parechje plataforme Hadoop. U prugettu hè valutatu cum'è cumpletamente stabile è pronta per l'operazione industriale. Hadoop hè attivamente utilizatu in grandi prughjetti industriali, chì furnisce capacità simili à a piattaforma Google Bigtable / GFS / MapReduce, mentri Google hà ufficialmente Hadoop è altri prughjetti Apache anu u dirittu di utilizà tecnulugii coperti da patenti ligati à u metudu MapReduce.
Hadoop hè u primu postu trà i repositori Apache in quantu à u numeru di cambiamenti fatti è u quintu in quantu à a dimensione di codice (circa 4 milioni di linee di codice). L'implementazioni principali di Hadoop includenu Netflix (più di 500 miliardi di avvenimenti per ghjornu sò almacenati), Twitter (un cluster di 10 mila nodi almacena più di un zettabyte di dati in tempu reale è processa più di 5 miliardi di sessioni per ghjornu), Facebook (un cluster). di 4 mila nodi almacenanu più di 300 petabyte è cresce ogni ghjornu da 4 PB per ghjornu).
menu in Apache Hadoop 3.3:
- Aghjunghje supportu per e plataforme basate nantu à l'architettura ARM.
- Implementazione di u furmatu (Buffers di protocolu), utilizatu per serializà e dati strutturati, hè statu aghjurnatu per liberà 3.7.1 per via di a fine di u ciculu di vita di u ramu protobuf-2.5.0.
- E capacità di u connettore S3A sò state allargate: u supportu per l'autentificazione cù i tokens hè statu aghjuntu (), un supportu migliuratu per e risposte in cache cù u codice 404, un rendimentu S3guard aumentatu è una fiducia operativa aumentata.
- I prublemi cù l'accordu automaticu sò stati risolti in u sistema di schedari ABFS.
- Aggiuntu supportu nativu per u sistema di schedarii Tencent Cloud COS per accede à u almacenamentu di l'ughjettu COS.
- Aggiuntu supportu cumpletu per Java 11.
- L'implementazione di HDFS RBF (Federazione basata in Router) hè stata stabilizzata. I cuntrolli di sicurezza sò stati aghjuntu à u Router HDFS.
- Aggiuntu u serviziu di Risoluzione DNS per u cliente per determinà i servitori via DNS per nomi d'ospiti, chì vi permettenu di fà senza liste tutti l'ospiti in i paràmetri.
- Aggiuntu supportu di pianificazione di u lanciu attraversu un gestore di risorsa centralizata (ResourceManager), cumpresa a capacità di distribuisce cuntenituri tenendu in contu a carica di ogni node.
- Aggiuntu repertoriu di l'applicazioni di ricerca YARN (Ancora un altru negoziatore di risorse).
Source: opennet.ru