Piştî salek û nîv pêşveçûnê, Weqfa Nermalava Apache berdan , platformek belaş ji bo organîzekirina pêvajoyek belavkirî ya cildên mezin ên daneyê bi karanîna paradîgmayê , ku tê de peywir li gelek perçeyên cihêreng ên piçûktir tê dabeş kirin, ku her yek ji wan dikare li ser girêkek cûda were destpêkirin. Hilberîna bingehîn a Hadoop dikare bi hezaran nodeyan bigire û exabytes daneyan bigire.
Hadoop pêkanîna Pergala Pelên Belavkirî ya Hadoop (HDFS) vedihewîne, ku bixweber paşvekêşana daneyê peyda dike û ji bo sepanên MapReduce xweşbîn e. Ji bo hêsankirina gihîştina daneyan di hilanînê Hadoop de, databasa HBase û zimanê mîna SQL Pig hatine pêşve xistin, ku ji bo MapReduce celebek SQL ye, pirsên ku dikarin ji hêla gelek platformên Hadoop ve werin paralel kirin û pêvajo kirin. Proje ji bo xebata pîşesaziyê bi tevahî aram û amade tête nirxandin. Hadoop bi çalak di projeyên pîşesaziyê yên mezin de tê bikar anîn, kapasîteyên mîna platforma Google Bigtable / GFS / MapReduce peyda dike, dema ku Google bi fermî Hadoop û projeyên din ên Apache xwedî maf in ku teknolojiyên ku ji hêla patentên bi rêbaza MapReduce ve girêdayî ne bikar bînin.
Hadoop di warê hejmara guherînên hatine çêkirin de di rêza yekem de di nav depoyên Apache de û di warê mezinahiya kodê de (nêzîkî 4 mîlyon xetên kodê) di rêza pêncemîn de ye. Pêkanîna sereke Hadoop di nav xwe de Netflix (her roj zêdetirî 500 mîlyar bûyer têne hilanîn), Twitter (komek ji 10 hezar girêk ji zettabyte zêdetir daneyan di wextê rast de hilîne û rojane zêdetirî 5 mîlyar danişînan pêvajoyê dike), Facebook (komek ji 4 hezar nod zêdetirî 300 petabyte hildiberîne û rojane 4 PB zêde dibe).
sereke di Apache Hadoop 3.3 de:
- Piştgiriya ji bo platformên li ser bingeha mîmariya ARM zêde kir.
- Pêkanîna formatê (Buferên protokolê), ku ji bo berhevkirina daneya birêkûpêk têne bikar anîn, ji ber dawiya çerxa jiyanê ya şaxê protobuf-3.7.1 hate nûve kirin da ku 2.5.0 serbest bike.
- Kapasîteyên girêdana S3A hatine berfireh kirin: Piştgiriya ji bo pejirandina bi karanîna nîşanan hate zêdekirin (), ji bo bersivên caching bi koda 404 piştgirî çêtir kir, performansa S3guard zêde kir, û pêbaweriya xebitandinê zêde kir.
- Pirsgirêkên bi rêkûpêkkirina otomatîkî di pergala pelê ABFS de hatine çareser kirin.
- Ji bo gihîştina hilanîna tiştên COS-ê ji bo pergala pelê Tencent Cloud COS piştgirîya xwecî lê zêde kir.
- Piştgiriya tevahî ji bo Java 11 zêde kir.
- Pêkanîna HDFS RBF (Federasyona Router-based) stabîl bûye. Kontrolên ewlehiyê li Routera HDFS hatine zêdekirin.
- Karûbarê Çareserkirina DNS-ê ji bo xerîdar lê zêde kir ku serverên bi navên mêvandar bi navgîniya DNS-ê diyar bike, bihêle hûn bêyî navnîşkirina hemî mêvandaran di mîhengan de bikin.
- Piştgiriya plansazkirina destpêkirinê zêde kir bi navgîniya rêveberek çavkaniyek navendî (ResourceManager), di nav de şiyana belavkirina konteyneran li gorî barkirina her girêkê.
- Peldanka serîlêdanê ya YARN-ê ya lêgerînê lê zêde kir.
Source: opennet.ru