ការចេញផ្សាយវេទិកាសម្រាប់ដំណើរការទិន្នន័យចែកចាយ Apache Hadoop 3.3

បន្ទាប់ពីមួយឆ្នាំកន្លះនៃការអភិវឌ្ឍន៍ មូលនិធិកម្មវិធី Apache បានផ្សព្វផ្សាយ ការដោះលែង កម្មវិធី Apache Hadoop 3.3.0ដែលជាវេទិកាឥតគិតថ្លៃសម្រាប់រៀបចំដំណើរការចែកចាយនៃទិន្នន័យបរិមាណធំដោយប្រើគំរូ ផែនទី/កាត់បន្ថយដែលក្នុងនោះភារកិច្ចត្រូវបានបែងចែកទៅជាបំណែកតូចៗដាច់ដោយឡែកជាច្រើន ដែលនីមួយៗអាចត្រូវបានដាក់ឱ្យដំណើរការនៅលើថ្នាំងចង្កោមដាច់ដោយឡែក។ ការផ្ទុកដែលមានមូលដ្ឋានលើ Hadoop អាចលាតសន្ធឹងរាប់ពាន់ថ្នាំង និងមានផ្ទុកទិន្នន័យ exabytes ។

Hadoop រួមបញ្ចូលការអនុវត្តប្រព័ន្ធឯកសារចែកចាយ Hadoop (HDFS) ដែលផ្តល់ការបម្រុងទុកទិន្នន័យដោយស្វ័យប្រវត្តិ និងត្រូវបានធ្វើឱ្យប្រសើរឡើងសម្រាប់កម្មវិធី MapReduce ។ ដើម្បីសម្រួលដល់ការចូលប្រើទិន្នន័យនៅក្នុងការផ្ទុក Hadoop មូលដ្ឋានទិន្នន័យ HBase និងភាសា SQL-like Pig ត្រូវបានបង្កើតឡើង ដែលជាប្រភេទ SQL សម្រាប់ MapReduce សំណួរដែលអាចត្រូវបានប្រៀបធៀប និងដំណើរការដោយវេទិកា Hadoop ជាច្រើន។ គម្រោងនេះត្រូវបានវាយតម្លៃថាមានស្ថេរភាពទាំងស្រុង និងរួចរាល់សម្រាប់ប្រតិបត្តិការឧស្សាហកម្ម។ Hadoop ត្រូវបានប្រើប្រាស់យ៉ាងសកម្មនៅក្នុងគម្រោងឧស្សាហកម្មធំៗ ដោយផ្តល់នូវសមត្ថភាពស្រដៀងទៅនឹង Google Bigtable/GFS/MapReduce platform ខណៈដែល Google បានចេញជាផ្លូវការ។ ផ្ទេរសិទ្ធិ Hadoop និងគម្រោង Apache ផ្សេងទៀតមានសិទ្ធិប្រើប្រាស់បច្ចេកវិទ្យាដែលគ្របដណ្តប់ដោយប៉ាតង់ទាក់ទងនឹងវិធីសាស្ត្រ MapReduce ។

Hadoop ជាប់ចំណាត់ថ្នាក់ទី 4 ក្នុងចំណោមឃ្លាំង Apache ទាក់ទងនឹងចំនួននៃការផ្លាស់ប្តូរដែលបានធ្វើ និងទីប្រាំទាក់ទងនឹងទំហំ codebase (ប្រហែល 500 លានបន្ទាត់នៃកូដ) ។ ការអនុវត្ត Hadoop សំខាន់ៗរួមមាន Netflix (ព្រឹត្តិការណ៍ច្រើនជាង 10 ពាន់លានក្នុងមួយថ្ងៃត្រូវបានរក្សាទុក), Twitter (ចង្កោមនៃ 5 ពាន់ nodes រក្សាទុកទិន្នន័យច្រើនជាង zettabyte នៃទិន្នន័យក្នុងពេលវេលាពិត និងដំណើរការច្រើនជាង 4 ពាន់លានវគ្គក្នុងមួយថ្ងៃ), Facebook (ចង្កោមមួយ។ នៃ 300 ពាន់ nodes រក្សាទុកច្រើនជាង 4 petabytes និងកំពុងកើនឡើងជារៀងរាល់ថ្ងៃដោយ XNUMX PB ក្នុងមួយថ្ងៃ) ។

សំខាន់ ផ្លាស់ប្តូរ នៅក្នុង Apache Hadoop 3.3:

• បានបន្ថែមការគាំទ្រសម្រាប់វេទិកាផ្អែកលើស្ថាបត្យកម្ម ARM ។
• ការអនុវត្តទម្រង់ ប្រូតូប៊ូហ្វ (ប្រូតូកូលសតិបណ្ដោះអាសន្ន) ដែលប្រើសម្រាប់សៀរៀលទិន្នន័យរចនាសម្ព័ន្ធត្រូវបានធ្វើបច្ចុប្បន្នភាពដើម្បីចេញផ្សាយ 3.7.1 ដោយសារតែចុងបញ្ចប់នៃវដ្តជីវិតនៃសាខា protobuf-2.5.0 ។
• សមត្ថភាពរបស់ឧបករណ៍ភ្ជាប់ S3A ត្រូវបានពង្រីក៖ ការគាំទ្រសម្រាប់ការផ្ទៀងផ្ទាត់ដោយប្រើសញ្ញាសម្ងាត់ត្រូវបានបន្ថែម (និមិត្តសញ្ញាប្រតិភូ) ធ្វើឱ្យប្រសើរឡើងនូវការគាំទ្រសម្រាប់ការឆ្លើយតបក្នុងឃ្លាំងសម្ងាត់ជាមួយនឹងលេខកូដ 404 បង្កើនការអនុវត្ត S3guard និងបង្កើនភាពជឿជាក់នៃប្រតិបត្តិការ។
• បញ្ហាជាមួយនឹងការលៃតម្រូវដោយស្វ័យប្រវត្តិត្រូវបានដោះស្រាយនៅក្នុងប្រព័ន្ធឯកសារ ABFS ។
• បានបន្ថែមការគាំទ្រដើមសម្រាប់ប្រព័ន្ធឯកសារ Tencent Cloud COS សម្រាប់ការចូលប្រើកន្លែងផ្ទុកវត្ថុ COS ។
• បានបន្ថែមការគាំទ្រពេញលេញសម្រាប់ Java 11 ។
• ការអនុវត្ត HDFS RBF (សហព័ន្ធផ្អែកលើរ៉ោតទ័រ) មានស្ថេរភាព។ ការគ្រប់គ្រងសុវត្ថិភាពត្រូវបានបន្ថែមទៅ HDFS Router។
• បានបន្ថែមសេវាកម្ម DNS Resolution សម្រាប់អតិថិជនដើម្បីកំណត់ម៉ាស៊ីនមេតាមរយៈ DNS ដោយឈ្មោះម៉ាស៊ីន ដែលអនុញ្ញាតឱ្យអ្នកធ្វើដោយមិនចាំបាច់រាយបញ្ជីម៉ាស៊ីនទាំងអស់នៅក្នុងការកំណត់។
• បានបន្ថែមការគាំទ្រកាលវិភាគនៃការបើកដំណើរការ ធុងឱកាសនិយម តាមរយៈអ្នកគ្រប់គ្រងធនធានកណ្តាល (ResourceManager) រួមទាំងសមត្ថភាពក្នុងការចែកចាយកុងតឺន័រដោយគិតគូរពីបន្ទុករបស់ថ្នាំងនីមួយៗ។
• បានបន្ថែមបញ្ជីកម្មវិធី YARN (Yet Another Resource Negotiator) ដែលអាចស្វែងរកបាន។

ប្រភព: opennet.ru