តើធ្វើដូចម្តេចដើម្បីផ្លាស់ទី ផ្ទុកឡើង និងរួមបញ្ចូលទិន្នន័យដ៏ធំបំផុតដោយថោក និងរហ័ស? តើអ្វីទៅជាការបង្កើនប្រសិទ្ធភាពការរុញច្រាន?

ប្រតិបត្តិការទិន្នន័យធំណាមួយទាមទារថាមពលកុំព្យូទ័រច្រើន។ ការផ្លាស់ប្តូរទិន្នន័យធម្មតាពីមូលដ្ឋានទិន្នន័យទៅកាន់ Hadoop អាចចំណាយពេលច្រើនសប្តាហ៍ ឬមានតម្លៃស្មើនឹងស្លាបយន្តហោះ។ មិនចង់រង់ចាំ និងចំណាយលុយមែនទេ? ធ្វើឱ្យមានតុល្យភាពបន្ទុកនៅលើវេទិកាផ្សេងៗ។ វិធីមួយគឺការបង្កើនប្រសិទ្ធភាពការទម្លាក់ចុះ។

ខ្ញុំបានសុំឱ្យគ្រូបណ្តុះបណ្តាលឈានមុខគេរបស់រុស្ស៊ីសម្រាប់ការអភិវឌ្ឍន៍ និងគ្រប់គ្រងផលិតផល Informatica លោក Alexey Ananyev ដើម្បីនិយាយអំពីមុខងារបង្កើនប្រសិទ្ធភាពការរុញច្រាននៅក្នុង Informatica Big Data Management (BDM) ។ តើអ្នកធ្លាប់រៀនធ្វើការជាមួយផលិតផល Informatica ទេ? ភាគច្រើនទំនងជា Alexey ដែលបានប្រាប់អ្នកពីមូលដ្ឋានគ្រឹះនៃ PowerCenter ហើយបានពន្យល់ពីរបៀបបង្កើតផែនទី។

Alexey Ananyev ប្រធានផ្នែកបណ្តុះបណ្តាលនៅ DIS Group

តើការរុញច្រានគឺជាអ្វី?

អ្នក​ជា​ច្រើន​បាន​ស្គាល់​រួច​ហើយ​អំពី​ការ​គ្រប់​គ្រង​ទិន្នន័យ​ធំ Informatica (BDM)។ ផលិតផលនេះអាចរួមបញ្ចូលទិន្នន័យធំពីប្រភពផ្សេងៗគ្នា ផ្លាស់ទីវារវាងប្រព័ន្ធផ្សេងៗគ្នា ផ្តល់ភាពងាយស្រួលដល់វា អនុញ្ញាតឱ្យអ្នកធ្វើទម្រង់វា និងច្រើនទៀត។
នៅក្នុងដៃស្តាំ BDM អាចធ្វើការអស្ចារ្យ៖ កិច្ចការនឹងត្រូវបានបញ្ចប់យ៉ាងឆាប់រហ័ស និងមានធនធានកុំព្យូទ័រតិចតួចបំផុត។

តើអ្នកចង់បានវាដែរទេ? រៀនប្រើមុខងាររុញចុះក្នុង BDM ដើម្បីចែកចាយបន្ទុកកុំព្យូទ័រលើវេទិកាផ្សេងៗ។ បច្ចេកវិទ្យា Pushdown អនុញ្ញាតឱ្យអ្នកប្រែក្លាយផែនទីទៅជាស្គ្រីប ហើយជ្រើសរើសបរិស្ថានដែលស្គ្រីបនេះនឹងដំណើរការ។ ជម្រើសនេះអនុញ្ញាតឱ្យអ្នកបញ្ចូលគ្នានូវភាពខ្លាំងនៃវេទិកាផ្សេងៗគ្នា និងសម្រេចបាននូវប្រតិបត្តិការអតិបរមារបស់ពួកគេ។

ដើម្បីកំណត់រចនាសម្ព័ន្ធការប្រតិបត្តិស្គ្រីប អ្នកត្រូវជ្រើសរើសប្រភេទរុញចុះក្រោម។ ស្គ្រីបអាចដំណើរការទាំងស្រុងលើ Hadoop ឬចែកចាយដោយផ្នែករវាងប្រភព និងលិច។ មាន 4 ប្រភេទដែលអាចរុញច្រានបាន។ ការធ្វើផែនទីមិនចាំបាច់ប្រែទៅជាស្គ្រីប (ដើម) ទេ។ ការធ្វើផែនទីអាចត្រូវបានអនុវត្តតាមតែអាចធ្វើទៅបាននៅលើប្រភព (ប្រភព) ឬទាំងស្រុងលើប្រភព (ពេញលេញ) ។ ការធ្វើផែនទីក៏អាចត្រូវបានប្រែក្លាយទៅជាស្គ្រីប Hadoop (គ្មាន)។

ការបង្កើនប្រសិទ្ធភាពការរុញច្រាន

ប្រភេទ 4 ដែលបានរាយបញ្ជីអាចត្រូវបានរួមបញ្ចូលគ្នាក្នុងវិធីផ្សេងគ្នា - ការរុញអាចត្រូវបានធ្វើឱ្យប្រសើរសម្រាប់តម្រូវការជាក់លាក់នៃប្រព័ន្ធ។ ជាឧទាហរណ៍ ជាញឹកញាប់វាសមស្របជាងក្នុងការទាញយកទិន្នន័យពីមូលដ្ឋានទិន្នន័យដោយប្រើសមត្ថភាពផ្ទាល់ខ្លួនរបស់វា។ ហើយទិន្នន័យនឹងត្រូវបានបំប្លែងដោយប្រើ Hadoop ដើម្បីកុំឱ្យផ្ទុកទិន្នន័យលើសទម្ងន់។

ចូរយើងពិចារណាករណីនៅពេលដែលទាំងប្រភព និងទិសដៅស្ថិតនៅក្នុងមូលដ្ឋានទិន្នន័យ ហើយវេទិកាប្រតិបត្តិការផ្លាស់ប្តូរអាចត្រូវបានជ្រើសរើស៖ អាស្រ័យលើការកំណត់ វានឹងជា Informatica ម៉ាស៊ីនមេមូលដ្ឋានទិន្នន័យ ឬ Hadoop ។ ឧទាហរណ៍បែបនេះនឹងអនុញ្ញាតឱ្យអ្នកយល់បានត្រឹមត្រូវបំផុតផ្នែកបច្ចេកទេសនៃប្រតិបត្តិការនៃយន្តការនេះ។ តាមធម្មជាតិ ក្នុងជីវិតពិត ស្ថានភាពនេះមិនកើតឡើងទេ ប៉ុន្តែវាសាកសមបំផុតសម្រាប់ការបង្ហាញមុខងារ។

ចូរយើងធ្វើផែនទីដើម្បីអានតារាងពីរនៅក្នុងមូលដ្ឋានទិន្នន័យ Oracle តែមួយ។ ហើយអនុញ្ញាតឱ្យលទ្ធផលនៃការអានត្រូវបានកត់ត្រានៅក្នុងតារាងក្នុងមូលដ្ឋានទិន្នន័យដូចគ្នា។ គ្រោងការណ៍ផែនទីនឹងមានដូចនេះ៖

នៅក្នុងទម្រង់នៃការគូសវាសនៅលើ Informatica BDM 10.2.1 វាមើលទៅដូចនេះ៖

ប្រភេទរុញ - ដើម

ប្រសិនបើយើងជ្រើសរើសប្រភេទដើមដែលរុញចុះក្រោម នោះការគូសវាសនឹងត្រូវបានអនុវត្តនៅលើម៉ាស៊ីនមេ Informatica ។ ទិន្នន័យនឹងត្រូវបានអានពីម៉ាស៊ីនមេ Oracle ផ្ទេរទៅម៉ាស៊ីនមេ Informatica ផ្លាស់ប្តូរនៅទីនោះ និងផ្ទេរទៅ Hadoop ។ ម្យ៉ាងវិញទៀត យើងនឹងទទួលបានដំណើរការ ETL ធម្មតា។

ប្រភេទនៃការរុញច្រាន - ប្រភព

នៅពេលជ្រើសរើសប្រភេទប្រភព យើងទទួលបានឱកាសដើម្បីចែកចាយដំណើរការរបស់យើងរវាងម៉ាស៊ីនមេមូលដ្ឋានទិន្នន័យ (DB) និង Hadoop ។ នៅពេលដែលដំណើរការមួយត្រូវបានប្រតិបត្តិជាមួយនឹងការកំណត់នេះ សំណើដើម្បីទាញយកទិន្នន័យពីតារាងនឹងត្រូវបានផ្ញើទៅកាន់មូលដ្ឋានទិន្នន័យ។ ហើយនៅសល់នឹងត្រូវបានអនុវត្តនៅក្នុងទម្រង់នៃជំហាននៅលើ Hadoop ។
ដ្យាក្រាមប្រតិបត្តិនឹងមើលទៅដូចនេះ៖

ខាង​ក្រោម​នេះ​គឺ​ជា​ឧទាហរណ៍​នៃ​ការ​បង្កើត​បរិយាកាស​ពេល​រត់។

ក្នុងករណីនេះ ការគូសផែនទីនឹងត្រូវបានអនុវត្តជាពីរជំហាន។ នៅក្នុងការកំណត់របស់វា យើងនឹងឃើញថាវាបានប្រែទៅជាស្គ្រីបដែលនឹងត្រូវបានផ្ញើទៅកាន់ប្រភព។ ជាងនេះទៅទៀត ការរួមបញ្ចូលតារាង និងការបំប្លែងទិន្នន័យនឹងត្រូវបានអនុវត្តក្នុងទម្រង់នៃសំណួរបដិសេធលើប្រភព។
នៅក្នុងរូបភាពខាងក្រោម យើងឃើញការគូសផែនទីដែលប្រសើរឡើងនៅលើ BDM និងសំណួរដែលបានកំណត់ឡើងវិញនៅលើប្រភព។

តួនាទីរបស់ Hadoop នៅក្នុងការកំណត់រចនាសម្ព័ន្ធនេះនឹងត្រូវបានកាត់បន្ថយដើម្បីគ្រប់គ្រងលំហូរទិន្នន័យ - រៀបចំវា។ លទ្ធផលនៃសំណួរនឹងត្រូវបញ្ជូនទៅ Hadoop ។ នៅពេលដែលការអានត្រូវបានបញ្ចប់ ឯកសារពី Hadoop នឹងត្រូវបានសរសេរទៅកាន់លិច។

ប្រភេទរុញ - ពេញ

នៅពេលអ្នកជ្រើសរើសប្រភេទពេញលេញ ផែនទីនឹងប្រែទៅជាសំណួរមូលដ្ឋានទិន្នន័យទាំងស្រុង។ ហើយលទ្ធផលនៃការស្នើសុំនឹងត្រូវបញ្ជូនទៅ Hadoop ។ ដ្យាក្រាមនៃដំណើរការបែបនេះត្រូវបានបង្ហាញខាងក្រោម។

ការដំឡើងឧទាហរណ៍មួយត្រូវបានបង្ហាញខាងក្រោម។

ជាលទ្ធផល យើងនឹងទទួលបានផែនទីដែលប្រសើរឡើងស្រដៀងនឹងផែនទីមុន។ ភាពខុសគ្នាតែមួយគត់គឺថាតក្កវិជ្ជាទាំងអស់ត្រូវបានផ្ទេរទៅអ្នកទទួលក្នុងទម្រង់នៃការបដិសេធការបញ្ចូលរបស់វា។ ឧទាហរណ៍នៃការធ្វើផែនទីដែលប្រសើរឡើងត្រូវបានបង្ហាញខាងក្រោម។

នៅទីនេះដូចនៅក្នុងករណីមុន Hadoop ដើរតួជាអ្នកដឹកនាំ។ ប៉ុន្តែនៅទីនេះប្រភពត្រូវបានអានទាំងស្រុង ហើយបន្ទាប់មកតក្កវិជ្ជាដំណើរការទិន្នន័យត្រូវបានអនុវត្តនៅកម្រិតអ្នកទទួល។

ប្រភេទ​ការ​រុញ​ចុះ​ក្រោម​គឺ​ទទេ

ជាការប្រសើរណាស់ ជម្រើសចុងក្រោយគឺប្រភេទ pushdown ដែលក្នុងនោះការគូសផែនទីរបស់យើងនឹងប្រែទៅជាស្គ្រីប Hadoop ។

ការធ្វើផែនទីដែលបានធ្វើឱ្យប្រសើរឡើងឥឡូវនេះនឹងមើលទៅដូចនេះ៖

នៅទីនេះទិន្នន័យពីឯកសារប្រភពដំបូងនឹងត្រូវបានអាននៅលើ Hadoop ។ បន្ទាប់មកដោយប្រើមធ្យោបាយផ្ទាល់ខ្លួន ឯកសារទាំងពីរនេះនឹងត្រូវបានបញ្ចូលគ្នា។ បន្ទាប់ពីនេះ ទិន្នន័យនឹងត្រូវបានបំប្លែង និងបញ្ចូលទៅក្នុងមូលដ្ឋានទិន្នន័យ។

តាមរយៈការយល់ដឹងអំពីគោលការណ៍នៃការបង្កើនប្រសិទ្ធភាពការរុញច្រាន អ្នកអាចរៀបចំដំណើរការជាច្រើនយ៉ាងមានប្រសិទ្ធភាពសម្រាប់ធ្វើការជាមួយទិន្នន័យធំ។ ដូច្នេះហើយ ថ្មីៗនេះ ក្រុមហ៊ុនដ៏ធំមួយ ក្នុងរយៈពេលតែប៉ុន្មានសប្តាហ៍ប៉ុណ្ណោះ បានទាញយកទិន្នន័យធំៗពីការផ្ទុកទៅក្នុង Hadoop ដែលខ្លួនបានប្រមូលពីមុនអស់ជាច្រើនឆ្នាំ។

ប្រភព: www.habr.com