ទម្រង់ឯកសារក្នុងទិន្នន័យធំ៖ កម្មវិធីអប់រំខ្លី

Weather Deity by Remarin

ក្រុមការងារ ដំណោះស្រាយពពក Mail.ru ការផ្តល់ជូន ការបកប្រែអត្ថបទ វិស្វករ Rahul Bhatia មកពី Clairvoyant អំពីទ្រង់ទ្រាយឯកសារណាដែលមាននៅក្នុងទិន្នន័យធំ តើអ្វីជាលក្ខណៈទូទៅបំផុតនៃទម្រង់ Hadoop និងទម្រង់ណាដែលល្អជាងក្នុងការប្រើប្រាស់។

ហេតុអ្វីបានជាទម្រង់ឯកសារផ្សេងគ្នាត្រូវការ?

ការរាំងស្ទះដំណើរការដ៏សំខាន់សម្រាប់កម្មវិធីដែលដំណើរការ HDFS ដូចជា MapReduce និង Spark គឺជាពេលវេលាដែលវាត្រូវការដើម្បីស្វែងរក អាន និងសរសេរទិន្នន័យ។ បញ្ហាទាំងនេះត្រូវបានផ្សំឡើងដោយភាពលំបាកក្នុងការគ្រប់គ្រងសំណុំទិន្នន័យធំ ប្រសិនបើយើងមានគ្រោងការណ៍វិវត្តជាជាងការកំណត់ថេរ ឬប្រសិនបើមានឧបសគ្គមួយចំនួន។

ដំណើរការទិន្នន័យធំបង្កើនការផ្ទុកនៅលើប្រព័ន្ធរងការផ្ទុក - Hadoop រក្សាទុកទិន្នន័យដែលលែងត្រូវការដើម្បីសម្រេចបាននូវការអត់ឱនកំហុស។ បន្ថែមពីលើថាស ប្រព័ន្ធដំណើរការ បណ្តាញ ប្រព័ន្ធបញ្ចូល/ទិន្នផល និងអ្វីៗផ្សេងទៀតត្រូវបានផ្ទុក។ នៅពេលដែលបរិមាណទិន្នន័យកើនឡើង ការចំណាយលើដំណើរការ និងរក្សាទុកវាក៏ដូចគ្នាដែរ។

ទ្រង់ទ្រាយឯកសារផ្សេងៗនៅក្នុង Hadoop បង្កើតឡើងដើម្បីដោះស្រាយបញ្ហាទាំងនេះយ៉ាងជាក់លាក់។ ការជ្រើសរើសទម្រង់ឯកសារដែលសមស្របអាចផ្តល់នូវអត្ថប្រយោជន៍សំខាន់ៗមួយចំនួន៖

1. ពេលវេលាអានលឿនជាងមុន។
2. ពេលវេលាថតលឿនជាងមុន។
3. ឯកសារដែលបានចែករំលែក។
4. ការគាំទ្រសម្រាប់ការវិវត្តនៃគ្រោងការណ៍។
5. ពង្រីកការគាំទ្រការបង្ហាប់។

ទម្រង់ឯកសារមួយចំនួនត្រូវបានបម្រុងទុកសម្រាប់ការប្រើប្រាស់ទូទៅ ផ្សេងទៀតសម្រាប់ការប្រើប្រាស់ជាក់លាក់បន្ថែមទៀត និងមួយចំនួនទៀតត្រូវបានរចនាឡើងដើម្បីបំពេញតាមលក្ខណៈទិន្នន័យជាក់លាក់។ ដូច្នេះជម្រើសគឺពិតជាធំណាស់។

ទ្រង់ទ្រាយឯកសារ Avro

សម្រាប់ សៀរៀលទិន្នន័យ Avro ត្រូវបានគេប្រើយ៉ាងទូលំទូលាយ - វា។ ខ្សែអក្សរដែលមានមូលដ្ឋាននោះគឺជាទម្រង់ផ្ទុកទិន្នន័យខ្សែអក្សរនៅក្នុង Hadoop ។ វារក្សាទុកគ្រោងការណ៍ជាទម្រង់ JSON ដែលធ្វើឱ្យវាងាយស្រួលក្នុងការអាន និងបកស្រាយដោយកម្មវិធីណាមួយ។ ទិន្នន័យខ្លួនវាស្ថិតនៅក្នុងទម្រង់គោលពីរ បង្រួម និងមានប្រសិទ្ធភាព។

ប្រព័ន្ធសៀរៀលរបស់ Avro គឺភាសាអព្យាក្រឹត។ ឯកសារអាចត្រូវបានដំណើរការជាភាសាផ្សេងៗគ្នា បច្ចុប្បន្ន C, C++, C#, Java, Python និង Ruby ។

លក្ខណៈសំខាន់របស់ Avro គឺការគាំទ្រដ៏រឹងមាំរបស់វាសម្រាប់គ្រោងការណ៍ទិន្នន័យដែលផ្លាស់ប្តូរតាមពេលវេលា ពោលគឺវិវត្ត។ Avro យល់ពីការផ្លាស់ប្តូរគ្រោងការណ៍ - ការលុប ការបន្ថែម ឬការផ្លាស់ប្តូរវាល។

Avro គាំទ្ររចនាសម្ព័ន្ធទិន្នន័យផ្សេងៗគ្នា។ ជាឧទាហរណ៍ អ្នកអាចបង្កើតកំណត់ត្រាដែលមានអារេ ប្រភេទដែលបានរាប់បញ្ចូល និងកំណត់ត្រារង។

ទម្រង់នេះគឺល្អសម្រាប់ការសរសេរទៅកាន់តំបន់ចុះចត (ការផ្លាស់ប្តូរ) នៃបឹងទិន្នន័យ (បឹងទិន្នន័យឬ Data lake - បណ្តុំនៃករណីសម្រាប់រក្សាទុកប្រភេទផ្សេងៗនៃទិន្នន័យបន្ថែមលើប្រភពទិន្នន័យដោយផ្ទាល់)។

ដូច្នេះ ទម្រង់នេះគឺស័ក្តិសមបំផុតសម្រាប់ការសរសេរទៅកាន់តំបន់ចុះចតនៃបឹងទិន្នន័យសម្រាប់ហេតុផលខាងក្រោម៖

1. ទិន្នន័យពីតំបន់នេះជាធម្មតាត្រូវបានអានទាំងស្រុងសម្រាប់ដំណើរការបន្ថែមដោយប្រព័ន្ធចុះក្រោម ហើយទម្រង់ដែលផ្អែកលើជួរដេកមានប្រសិទ្ធភាពជាងក្នុងករណីនេះ។
2. ប្រព័ន្ធចុះក្រោមអាចទាញយកតារាងគ្រោងការណ៍ពីឯកសារយ៉ាងងាយស្រួល - មិនចាំបាច់រក្សាទុកគ្រោងការណ៍ដាច់ដោយឡែកពីគ្នានៅក្នុងការផ្ទុកមេតាខាងក្រៅទេ។
3. រាល់ការផ្លាស់ប្តូរទៅគ្រោងការណ៍ដើមត្រូវបានដំណើរការយ៉ាងងាយស្រួល (ការវិវត្តនៃគ្រោងការណ៍) ។

ទម្រង់ឯកសារ parquet

Parquet គឺជាទម្រង់ឯកសារប្រភពបើកចំហសម្រាប់ Hadoop ដែលរក្សាទុក រចនាសម្ព័ន្ធទិន្នន័យដែលបានដាក់ក្នុងទម្រង់ជាជួរឈររាបស្មើ.

បើប្រៀបធៀបទៅនឹងវិធីសាស្រ្តជួរដេកបែបប្រពៃណី ផាកឃីតមានប្រសិទ្ធភាពជាងនៅក្នុងលក្ខខណ្ឌនៃការផ្ទុក និងដំណើរការ។

វាមានប្រយោជន៍ជាពិសេសសម្រាប់សំណួរដែលអានជួរឈរជាក់លាក់ពីតារាងធំទូលាយ (ជួរឈរជាច្រើន) ។ សូមអរគុណចំពោះទម្រង់ឯកសារ មានតែជួរឈរចាំបាច់ប៉ុណ្ណោះដែលត្រូវបានអាន ដូច្នេះ I/O ត្រូវបានរក្សាទុកឱ្យតិចបំផុត។

ការបកស្រាយ និងការពន្យល់តូចមួយ៖ ដើម្បីយល់កាន់តែច្បាស់អំពីទម្រង់ឯកសារ Parquet នៅក្នុង Hadoop សូមមើលថាតើទម្រង់ដែលមានមូលដ្ឋានលើជួរឈរ - i.e. columnar - format ។ ទ្រង់ទ្រាយនេះរក្សាទុកតម្លៃស្រដៀងគ្នាសម្រាប់ជួរឈរនីមួយៗជាមួយគ្នា។

ឧទាហរណ៍កំណត់ត្រារួមមានលេខសម្គាល់ ឈ្មោះ និងវាល។ ក្នុង​ករណី​នេះ តម្លៃ​ជួរ​ឈរ​លេខ​សម្គាល់​ទាំងអស់​នឹង​ត្រូវ​បាន​រក្សា​ទុក​រួម​គ្នា ដូច​នឹង​តម្លៃ​ជួរ​ឈរ ឈ្មោះ និង​ដូច្នេះ​នៅ​លើ។ តារាងនឹងមើលទៅដូចនេះ៖

ID
ឈ្មោះ
នាយកដ្ឋាន

1
អេម ១២៣៤៥៦
d1

2
អេម ១២៣៤៥៦
d2

3
អេម ១២៣៤៥៦
d3

ជាទម្រង់ខ្សែអក្សរ ទិន្នន័យនឹងត្រូវបានរក្សាទុកដូចខាងក្រោម៖

1
អេម ១២៣៤៥៦
d1
2
អេម ១២៣៤៥៦
d2
3
អេម ១២៣៤៥៦
d3

ក្នុងទម្រង់ឯកសារ columnar ទិន្នន័យដូចគ្នានឹងត្រូវបានរក្សាទុកដូចនេះ៖

1
2
3
អេម ១២៣៤៥៦
អេម ១២៣៤៥៦
អេម ១២៣៤៥៦
d1
d2
d3

ទម្រង់ជួរឈរមានប្រសិទ្ធភាពជាង នៅពេលដែលអ្នកត្រូវការសួរជួរឈរច្រើនពីតារាងមួយ។ វានឹងអានតែជួរឈរដែលត្រូវការ ព្រោះវានៅជាប់គ្នា។ តាមរបៀបនេះ ប្រតិបត្តិការ I/O ត្រូវបានរក្សាទុកក្នុងកម្រិតអប្បបរមា។

ឧទាហរណ៍ អ្នកគ្រាន់តែត្រូវការជួរឈរ NAME ប៉ុណ្ណោះ។ IN ទម្រង់ខ្សែអក្សរ កំណត់ត្រានីមួយៗនៅក្នុងសំណុំទិន្នន័យចាំបាច់ត្រូវផ្ទុក ញែកតាមវាល ហើយបន្ទាប់មកស្រង់ទិន្នន័យ NAME ។ ទម្រង់ជួរឈរអនុញ្ញាតឱ្យអ្នកខួងដោយផ្ទាល់ទៅជួរឈរឈ្មោះ ពីព្រោះតម្លៃទាំងអស់សម្រាប់ជួរឈរនោះត្រូវបានរក្សាទុកជាមួយគ្នា។ អ្នកមិនចាំបាច់ស្កេនការថតទាំងមូលទេ។

ដូច្នេះ ទម្រង់ជួរឈរធ្វើឱ្យដំណើរការសំណួរប្រសើរឡើង ព្រោះវាត្រូវការពេលវេលាស្វែងរកតិចជាងមុន ដើម្បីទៅដល់ជួរដែលត្រូវការ និងកាត់បន្ថយចំនួនប្រតិបត្តិការ I/O ពីព្រោះមានតែជួរឈរដែលចង់បានប៉ុណ្ណោះដែលត្រូវបានអាន។

លក្ខណៈពិសេសតែមួយគត់ parquet គឺថានៅក្នុងទម្រង់នេះវាអាចធ្វើបាន រក្សាទុកទិន្នន័យជាមួយរចនាសម្ព័ន្ធដែលជាប់. នេះមានន័យថានៅក្នុងឯកសារ parquet សូម្បីតែវាលដែលដាក់នៅជាប់គ្នាក៏អាចត្រូវបានអានដោយឡែកពីគ្នាដោយមិនចាំបាច់អានគ្រប់វាលទាំងអស់នៅក្នុងរចនាសម្ព័ន្ធដែលបានដាក់។ Parquet ប្រើក្បួនដោះស្រាយការរុះរើ និងការផ្គុំ ដើម្បីរក្សាទុករចនាសម្ព័ន្ធដែលជាប់។

ដើម្បីយល់ពីទម្រង់ឯកសារ Parquet នៅក្នុង Hadoop អ្នកត្រូវដឹងពីលក្ខខណ្ឌខាងក្រោម៖

1. ក្រុមនៃខ្សែអក្សរ (row group) : logical horizontal division of data into row. ក្រុមជួរដេកមួយមានបំណែកនៃជួរឈរនីមួយៗនៅក្នុងសំណុំទិន្នន័យ។
2. បំណែកជួរឈរ (column chunk) : បំណែកនៃជួរឈរជាក់លាក់មួយ។ បំណែកជួរឈរទាំងនេះរស់នៅក្នុងក្រុមជាក់លាក់នៃជួរដេក ហើយត្រូវបានធានាថាជាប់គ្នានៅក្នុងឯកសារ។
3. ទំព័រ (ទំព័រ)៖ បំណែកជួរឈរត្រូវបានបែងចែកទៅជាទំព័រដែលសរសេរពីមួយទៅមួយ។ ទំព័រមានចំណងជើងទូទៅ ដូច្នេះអ្នកអាចរំលងទំព័រដែលមិនចាំបាច់នៅពេលអាន។

នៅទីនេះចំណងជើងគ្រាន់តែមានលេខវេទមន្តប៉ុណ្ណោះ។ PAR1 (4 បៃ) ដែលកំណត់អត្តសញ្ញាណឯកសារជាឯកសារ Parquet ។

បាតកថានិយាយដូចខាងក្រោមៈ

1. ទិន្នន័យមេតាឯកសារដែលមានកូអរដោនេចាប់ផ្តើមនៃទិន្នន័យមេតារបស់ជួរឈរនីមួយៗ។ នៅពេលអាន អ្នកត្រូវតែអានទិន្នន័យមេតារបស់ឯកសារជាមុនសិន ដើម្បីស្វែងរកបំណែកជួរឈរទាំងអស់ដែលចាប់អារម្មណ៍។ បន្ទាប់មកផ្នែកជួរឈរគួរតែត្រូវបានអានជាបន្តបន្ទាប់។ ទិន្នន័យមេតាផ្សេងទៀតរួមមានកំណែទម្រង់ គ្រោងការណ៍ និងគូតម្លៃសោបន្ថែមណាមួយ។
2. ប្រវែងទិន្នន័យមេតា (4 បៃ) ។
3. លេខវេទមន្ត PAR1 (4 បៃ) ។

ទ្រង់ទ្រាយឯកសារ ORC

ទម្រង់ឯកសារជួរ-ជួរដែលបានធ្វើឱ្យប្រសើរ (ជួរ​ជួរ​ដេក​ដែល​បាន​ធ្វើ​ឱ្យ​ប្រសើរ​ឡើង, CRO) ផ្តល់នូវមធ្យោបាយដ៏មានប្រសិទ្ធភាពក្នុងការរក្សាទុកទិន្នន័យ និងត្រូវបានរចនាឡើងដើម្បីយកឈ្នះលើដែនកំណត់នៃទម្រង់ផ្សេងទៀត។ រក្សាទុកទិន្នន័យក្នុងទម្រង់បង្រួមយ៉ាងល្អឥតខ្ចោះ ដែលអនុញ្ញាតឱ្យអ្នករំលងព័ត៌មានលម្អិតដែលមិនចាំបាច់ - ដោយមិនចាំបាច់មានការបង្កើតលិបិក្រមធំ ស្មុគស្មាញ ឬរក្សាដោយដៃ។

គុណសម្បត្តិនៃទម្រង់ ORC៖

1. ឯកសារមួយគឺជាលទ្ធផលនៃកិច្ចការនីមួយៗ ដែលកាត់បន្ថយការផ្ទុកនៅលើ NameNode (ថ្នាំងឈ្មោះ)។
2. ការគាំទ្រសម្រាប់ប្រភេទទិន្នន័យ Hive រួមទាំង DateTime ប្រភេទទិន្នន័យទសភាគ និងស្មុគស្មាញ (រចនាសម្ព័ន្ធ បញ្ជី ផែនទី និងសហជីព)។
3. ការអានឯកសារដូចគ្នាក្នុងពេលដំណាលគ្នាដោយដំណើរការ RecordReader ផ្សេងគ្នា។
4. សមត្ថភាពក្នុងការបំបែកឯកសារដោយមិនចាំបាច់ស្កេនរកសញ្ញាសម្គាល់។
5. ការប៉ាន់ប្រមាណនៃការបែងចែកអង្គចងចាំ heap អតិបរមាដែលអាចធ្វើទៅបានសម្រាប់ដំណើរការអាន/សរសេរដោយផ្អែកលើព័ត៌មាននៅក្នុងបាតកថាឯកសារ។
6. ទិន្នន័យមេតាត្រូវបានរក្សាទុកក្នុងទម្រង់សៀរៀលប្រព័ន្ធគោលពីរ Protocol Buffers ដែលអនុញ្ញាតឱ្យបញ្ចូល និងលុបវាល។

ORC រក្សាទុកបណ្តុំនៃខ្សែអក្សរក្នុងឯកសារតែមួយ ហើយនៅក្នុងបណ្តុំ ទិន្នន័យខ្សែអក្សរត្រូវបានរក្សាទុកជាទម្រង់ជួរឈរ។

ឯកសារ ORC រក្សាទុកក្រុមនៃបន្ទាត់ដែលហៅថាឆ្នូត និងព័ត៌មានជំនួយនៅក្នុងបាតកថានៃឯកសារ។ Postscript នៅចុងបញ្ចប់នៃឯកសារមានប៉ារ៉ាម៉ែត្របង្ហាប់ និងទំហំនៃបាតកថាដែលបានបង្ហាប់។

ទំហំឆ្នូតលំនាំដើមគឺ 250 មេកាបៃ។ ដោយសារតែឆ្នូតធំបែបនេះ ការអានពី HDFS ត្រូវបានអនុវត្តកាន់តែមានប្រសិទ្ធភាព៖ នៅក្នុងប្លុកជាប់គ្នាធំៗ។

បាតកថាឯកសារកត់ត្រាបញ្ជីផ្លូវក្នុងឯកសារ ចំនួនជួរដេកក្នុងមួយជួរ និងប្រភេទទិន្នន័យនៃជួរនីមួយៗ។ តម្លៃលទ្ធផលនៃចំនួនរាប់ អប្បបរមា អតិបរមា និងផលបូកសម្រាប់ជួរឈរនីមួយៗក៏ត្រូវបានសរសេរនៅទីនោះផងដែរ។

បាតកថានៃបន្ទះមានថតទីតាំងស្ទ្រីម។

ទិន្នន័យជួរដេកត្រូវបានប្រើនៅពេលស្កេនតារាង។

ទិន្នន័យលិបិក្រមរួមបញ្ចូលតម្លៃអប្បបរមា និងអតិបរមាសម្រាប់ជួរឈរនីមួយៗ និងទីតាំងនៃជួរដេកក្នុងជួរឈរនីមួយៗ។ លិបិក្រម ORC ត្រូវ​បាន​ប្រើ​សម្រាប់​តែ​ការ​ជ្រើសរើស​ឆ្នូត និង​ក្រុម​ជួរ​ដេក មិនមែន​សម្រាប់​ការ​ឆ្លើយ​សំណួរ​ទេ។

ការប្រៀបធៀបទ្រង់ទ្រាយឯកសារផ្សេងៗ

Avro ប្រៀបធៀបជាមួយ parquet

1. Avro គឺជាទម្រង់ផ្ទុកជួរដេក ខណៈពេលដែល Parquet រក្សាទុកទិន្នន័យក្នុងជួរឈរ។
2. Parquet គឺស័ក្តិសមជាងសម្រាប់សំណួរវិភាគ មានន័យថា ប្រតិបត្តិការអាន និងសំណួរទិន្នន័យមានប្រសិទ្ធភាពជាងការសរសេរ។
3. ប្រតិបត្តិការសរសេរនៅក្នុង Avro ត្រូវបានអនុវត្តយ៉ាងមានប្រសិទ្ធភាពជាងនៅក្នុង Parquet ។
4. Avro ដោះស្រាយជាមួយនឹងការវិវត្តន៍សៀគ្វីកាន់តែចាស់ទុំ។ Parquet គាំទ្រតែការបន្ថែមគ្រោងការណ៍ ខណៈពេលដែល Avro គាំទ្រការវិវត្តន៍ពហុមុខងារ ពោលគឺការបន្ថែម ឬផ្លាស់ប្តូរជួរឈរ។
5. Parquet គឺល្អសម្រាប់ការសាកសួរសំណុំរងនៃជួរឈរក្នុងតារាងពហុជួរ។ Avro គឺសមរម្យសម្រាប់ប្រតិបត្តិការ ETL ដែលយើងសួរជួរឈរទាំងអស់។

ORC ទល់នឹង Parquet

1. Parquet រក្សាទុកទិន្នន័យដែលបានដាក់បានប្រសើរជាងមុន។
2. ORC គឺស័ក្តិសមជាងក្នុងការព្យាករណ៍ពីការរុញច្រាន។
3. ORC គាំទ្រលក្ខណៈសម្បត្តិ ACID ។
4. ORC បង្រួមទិន្នន័យបានប្រសើរជាងមុន។

តើមានអ្វីទៀតដែលត្រូវអានលើប្រធានបទ:

1. ការវិភាគទិន្នន័យធំនៅក្នុងពពក៖ របៀបដែលក្រុមហ៊ុនអាចក្លាយជាទិន្នន័យតម្រង់ទិស.
2. ការណែនាំដ៏រាបទាបចំពោះគ្រោងការណ៍មូលដ្ឋានទិន្នន័យ.
3. ប៉ុស្តិ៍ទូរលេខរបស់យើងអំពីការផ្លាស់ប្តូរឌីជីថល.

ប្រភព: www.habr.com