ከአንድ አመት ተኩል እድገት በኋላ, Apache Software Foundation መልቀቅ , ፓራዲም በመጠቀም የተከፋፈለ ከፍተኛ መጠን ያለው ውሂብ ማቀናበር ለማደራጀት ነጻ መድረክ , ተግባሩ ወደ ብዙ ትናንሽ የተለያዩ ቁርጥራጮች የተከፋፈለ ሲሆን እያንዳንዱም በተለየ የክላስተር መስቀለኛ መንገድ ላይ ሊጀምር ይችላል. Hadoop ላይ የተመሰረተ ማከማቻ በሺዎች የሚቆጠሩ ኖዶችን ሊሸፍን እና exabytes ውሂብ ሊይዝ ይችላል።
Hadoop የHadoop Distributed Filesystem (HDFS) አተገባበርን ያጠቃልላል፣ እሱም በራስ ሰር የውሂብ ምትኬን የሚሰጥ እና ለMapReduce መተግበሪያዎች የተመቻቸ ነው። በHadoop ማከማቻ ውስጥ ያለውን የውሂብ ተደራሽነት ለማቃለል፣ የHBase ዳታቤዝ እና SQL መሰል ቋንቋ Pig ተዘጋጅተዋል፣ ይህም ለ MapReduce SQL አይነት ነው፣ መጠይቆቹም በብዙ የሃዱፕ መድረኮች ሊመሳሰሉ እና ሊሰሩ ይችላሉ። ፕሮጀክቱ ሙሉ በሙሉ የተረጋጋ እና ለኢንዱስትሪ ሥራ ዝግጁ ነው ተብሎ ይገመገማል። ሃዱፕ ከGoogle Bigtable/GFS/MapReduce መድረክ ጋር ተመሳሳይ ችሎታዎችን በማቅረብ በትልልቅ የኢንዱስትሪ ፕሮጀክቶች ውስጥ በንቃት ጥቅም ላይ ይውላል፣ Google ግን በይፋ ሃዱፕ እና ሌሎች የ Apache ፕሮጀክቶች ከ MapReduce ዘዴ ጋር በተያያዙ የፈጠራ ባለቤትነት የተሸፈኑ ቴክኖሎጂዎችን የመጠቀም መብት አላቸው።
ከተደረጉት ለውጦች ብዛት አንፃር ሃዱፕ ከ Apache ማከማቻዎች አንደኛ ደረጃ ይይዛል እና በኮድ ቤዝ መጠን (ወደ 4 ሚሊዮን የኮድ መስመሮች) አምስተኛ ደረጃ ላይ ይገኛል። የሜጀር ሃዱፕ ትግበራዎች Netflix (በቀን ከ 500 ቢሊዮን በላይ ዝግጅቶች ይከማቻሉ)፣ ትዊተር (የ 10 ሺህ ኖዶች ስብስብ ከዜታባይት በላይ መረጃን በእውነተኛ ጊዜ ያከማቻል እና በቀን ከ 5 ቢሊዮን በላይ ክፍለ ጊዜዎችን ያካሂዳል) ፣ Facebook (ክላስተር) ከ 4 ሺህ ኖዶች ከ 300 በላይ ፔታባይት ያከማቻል እና በየቀኑ በ 4 ፒቢቢ በየቀኑ ይጨምራል).
ዋና በ Apache Hadoop 3.3:
- በARM አርክቴክቸር ላይ ለተመሠረተ የመሣሪያ ስርዓቶች ድጋፍ ታክሏል።
- የቅርጸቱን አተገባበር (የፕሮቶኮል ማቋቋሚያ)፣ የተዋቀረውን ውሂብ ለመከታታል ጥቅም ላይ የዋለ፣ በፕሮቶቡፍ-3.7.1 ቅርንጫፍ የሕይወት ዑደት መጨረሻ ምክንያት 2.5.0 ለመልቀቅ ተዘምኗል።
- የS3A አያያዥ አቅም ተዘርግቷል፡ ቶከኖችን በመጠቀም የማረጋገጫ ድጋፍ ተጨምሯል።በኮድ 404 ምላሾችን ለመሸጎጥ የተሻሻለ ድጋፍ፣ የS3guard አፈጻጸምን ጨምሯል፣ እና የተግባር አስተማማኝነት መጨመር።
- በራስ-ሰር ማስተካከል ላይ ያሉ ችግሮች በ ABFS የፋይል ስርዓት ውስጥ ተፈትተዋል.
- የCOS ነገር ማከማቻን ለመድረስ ለTencent Cloud COS ፋይል ስርዓት ቤተኛ ድጋፍ ታክሏል።
- ለጃቫ 11 ሙሉ ድጋፍ ታክሏል።
- የ HDFS RBF (ራውተር ላይ የተመሰረተ ፌዴሬሽን) ትግበራ ተረጋግቷል. የደህንነት ቁጥጥሮች ወደ HDFS ራውተር ታክለዋል።
- በቅንብሮች ውስጥ ሁሉንም አስተናጋጆች ሳይዘረዝሩ እንዲያደርጉ የሚያስችልዎ የዲ ኤን ኤስ ጥራት አገልግሎት ደንበኛው በአስተናጋጅ ስም በ DNS በኩል አገልጋዮችን እንዲወስን ታክሏል።
- የማስጀመሪያ መርሐግብር ድጋፍ ታክሏል። የእያንዳንዱን መስቀለኛ መንገድ ጭነት ግምት ውስጥ በማስገባት ኮንቴይነሮችን የማሰራጨት ችሎታን ጨምሮ በተማከለ የሃብት አስተዳዳሪ (ResourceManager) በኩል።
- ሊፈለግ የሚችል YARN (ሌላ የመረጃ አደራዳሪ) የመተግበሪያ ማውጫ ታክሏል።
ምንጭ: opennet.ru