នៅពេលអ្នកមានមាត្រដ្ឋាន Sber ។ ការប្រើប្រាស់ Ab Initio ជាមួយ Hive និង GreenPlum

មួយរយៈមុននេះ យើងបានប្រឈមមុខនឹងសំណួរនៃការជ្រើសរើសឧបករណ៍ ETL សម្រាប់ធ្វើការជាមួយទិន្នន័យធំ។ ដំណោះស្រាយ Informatica BDM ដែលធ្លាប់ប្រើពីមុនមិនសមនឹងយើងទេ ដោយសារមុខងារមានកំណត់។ ការប្រើប្រាស់របស់វាត្រូវបានកាត់បន្ថយទៅជាក្របខ័ណ្ឌសម្រាប់ការបើកដំណើរការពាក្យបញ្ជា spark-submit ។ មិនមាន analogues ច្រើននៅលើទីផ្សារដែលជាគោលការណ៍ មានសមត្ថភាពធ្វើការជាមួយបរិមាណទិន្នន័យដែលយើងដោះស្រាយជារៀងរាល់ថ្ងៃ។ នៅទីបញ្ចប់យើងជ្រើសរើស Ab Initio ។ ក្នុងអំឡុងពេលធ្វើបាតុកម្មសាកល្បង ផលិតផលបានបង្ហាញពីល្បឿនដំណើរការទិន្នន័យខ្ពស់ណាស់។ ស្ទើរតែគ្មានព័ត៌មានអំពី Ab Initio ជាភាសារុស្សី ដូច្នេះហើយ យើងបានសម្រេចចិត្តនិយាយអំពីបទពិសោធន៍របស់យើងនៅលើ Habre ។

Ab Initio មានការបំប្លែងបែបបុរាណ និងមិនធម្មតាជាច្រើន ដែលកូដអាចត្រូវបានពង្រីកដោយប្រើភាសា PDL ផ្ទាល់របស់វា។ សម្រាប់អាជីវកម្មខ្នាតតូច ឧបករណ៍ដ៏មានអានុភាពបែបនេះទំនងជានឹងលើសទម្ងន់ ហើយសមត្ថភាពភាគច្រើនរបស់វាអាចមានតម្លៃថ្លៃ និងមិនបានប្រើប្រាស់។ ប៉ុន្តែប្រសិនបើមាត្រដ្ឋានរបស់អ្នកនៅជិត Sberov's នោះ Ab Initio ប្រហែលជាគួរឱ្យចាប់អារម្មណ៍សម្រាប់អ្នក។

វាជួយអាជីវកម្មក្នុងការប្រមូលផ្តុំចំណេះដឹងជាសាកល និងអភិវឌ្ឍប្រព័ន្ធអេកូឡូស៊ី និងអ្នកអភិវឌ្ឍន៍ដើម្បីបង្កើនជំនាញរបស់គាត់នៅក្នុង ETL បង្កើនចំណេះដឹងរបស់គាត់នៅក្នុងសែល ផ្តល់ឱកាសដើម្បីធ្វើជាម្ចាស់នៃភាសា PDL ផ្តល់នូវរូបភាពដែលមើលឃើញនៃដំណើរការផ្ទុក និងសម្រួលដល់ការអភិវឌ្ឍន៍។ ដោយសារតែភាពសម្បូរបែបនៃសមាសធាតុមុខងារ។

នៅក្នុងការប្រកាសនេះខ្ញុំនឹងនិយាយអំពីសមត្ថភាពរបស់ Ab Initio និងផ្តល់នូវលក្ខណៈប្រៀបធៀបនៃការងាររបស់វាជាមួយ Hive និង GreenPlum ។

• ការពិពណ៌នាអំពីក្របខ័ណ្ឌ MDW និងធ្វើការលើការប្ដូរតាមបំណងរបស់វាសម្រាប់ GreenPlum
• ការប្រៀបធៀបការអនុវត្ត Ab Initio រវាង Hive និង GreenPlum
• ធ្វើការ Ab Initio ជាមួយ GreenPlum ក្នុងមុខងារ Near Real Time

មុខងារ​របស់​ផលិតផល​នេះ​គឺ​ធំទូលាយ​ណាស់ ហើយ​ត្រូវការ​ពេល​ច្រើន​ក្នុង​ការ​សិក្សា។ ទោះជាយ៉ាងណាក៏ដោយ ជាមួយនឹងជំនាញការងារត្រឹមត្រូវ និងការកំណត់ការអនុវត្តត្រឹមត្រូវ លទ្ធផលនៃការដំណើរការទិន្នន័យគឺគួរអោយចាប់អារម្មណ៍ខ្លាំងណាស់។ ការប្រើប្រាស់ Ab Initio សម្រាប់អ្នកអភិវឌ្ឍន៍អាចផ្តល់នូវបទពិសោធន៍គួរឱ្យចាប់អារម្មណ៍។ នេះគឺជាការទទួលយកថ្មីលើការអភិវឌ្ឍន៍ ETL ដែលជាកូនកាត់រវាងបរិយាកាសដែលមើលឃើញ និងការអភិវឌ្ឍន៍ការទាញយកជាភាសាដែលស្រដៀងនឹងស្គ្រីប។

អាជីវកម្មកំពុងអភិវឌ្ឍប្រព័ន្ធអេកូឡូស៊ីរបស់ពួកគេ ហើយឧបករណ៍នេះមានប្រយោជន៍ច្រើនជាងពេលណាទាំងអស់។ ជាមួយនឹង Ab Initio អ្នកអាចប្រមូលចំណេះដឹងអំពីអាជីវកម្មបច្ចុប្បន្នរបស់អ្នក និងប្រើប្រាស់ចំណេះដឹងនេះដើម្បីពង្រីកអាជីវកម្មចាស់ និងបើកអាជីវកម្មថ្មី។ ជម្មើសជំនួសសម្រាប់ Ab Initio រួមមានបរិយាកាសអភិវឌ្ឍន៍ដែលមើលឃើញ Informatica BDM និងបរិស្ថានអភិវឌ្ឍន៍ដែលមិនមើលឃើញ Apache Spark ។

ការពិពណ៌នាអំពី Ab Initio

Ab Initio ដូចជាឧបករណ៍ ETL ផ្សេងទៀត គឺជាបណ្តុំនៃផលិតផល។

Ab Initio GDE (បរិស្ថានអភិវឌ្ឍន៍ក្រាហ្វិក) គឺជាបរិយាកាសសម្រាប់អ្នកអភិវឌ្ឍន៍ ដែលគាត់កំណត់រចនាសម្ព័ន្ធការបំប្លែងទិន្នន័យ និងភ្ជាប់ពួកវាជាមួយលំហូរទិន្នន័យក្នុងទម្រង់ជាព្រួញ។ ក្នុងករណីនេះសំណុំនៃការផ្លាស់ប្តូរបែបនេះត្រូវបានគេហៅថាក្រាហ្វ:

ការតភ្ជាប់បញ្ចូល និងទិន្នផលនៃសមាសភាគមុខងារគឺជាច្រក និងមានវាលដែលគណនាក្នុងការផ្លាស់ប្តូរ។ ក្រាហ្វជាច្រើនដែលតភ្ជាប់ដោយលំហូរក្នុងទម្រង់ជាព្រួញតាមលំដាប់នៃការប្រតិបត្តិរបស់ពួកគេត្រូវបានគេហៅថាផែនការ។

មាន​សមាសធាតុ​មុខងារ​ជា​ច្រើន​រយ​ដែល​ច្រើន​ណាស់។ ពួកគេជាច្រើនមានជំនាញខ្ពស់។ សមត្ថភាពនៃការផ្លាស់ប្តូរបុរាណនៅក្នុង Ab Initio គឺធំទូលាយជាងឧបករណ៍ ETL ផ្សេងទៀត។ ឧទាហរណ៍ Join មានលទ្ធផលច្រើន។ បន្ថែមពីលើលទ្ធផលនៃការភ្ជាប់សំណុំទិន្នន័យ អ្នកអាចទទួលបានកំណត់ត្រាលទ្ធផលនៃសំណុំទិន្នន័យបញ្ចូលដែលសោមិនអាចភ្ជាប់បាន។ អ្នកក៏អាចទទួលបានការបដិសេធ កំហុស និងកំណត់ហេតុនៃប្រតិបត្តិការបំប្លែង ដែលអាចត្រូវបានអានក្នុងជួរឈរដូចគ្នាជាឯកសារអត្ថបទ និងដំណើរការជាមួយការបំប្លែងផ្សេងទៀត៖

ឬឧទាហរណ៍ អ្នកអាចបង្កើតអ្នកទទួលទិន្នន័យជាទម្រង់តារាង ហើយអានទិន្នន័យពីវាក្នុងជួរឈរតែមួយ។

មានការផ្លាស់ប្តូរដើម។ ឧទាហរណ៍ ការបំប្លែងស្កេនមានមុខងារស្រដៀងនឹងមុខងារវិភាគ។ មានការបំប្លែងជាមួយឈ្មោះពន្យល់ដោយខ្លួនឯង៖ បង្កើតទិន្នន័យ អាន Excel ធម្មតា តម្រៀបក្នុងក្រុម រត់កម្មវិធី រត់ SQL ចូលរួមជាមួយ DB ។ ប្រព័ន្ធប្រតិបត្តិការ។ ឯកសារដែលមានសំណុំប៉ារ៉ាម៉ែត្រដែលត្រៀមរួចជាស្រេចដែលបានបញ្ជូនទៅក្រាហ្វត្រូវបានគេហៅថាសំណុំប៉ារ៉ាម៉ែត្រ (psets) ។

ដូចដែលបានរំពឹងទុក Ab Initio GDE មានឃ្លាំងផ្ទាល់ខ្លួនដែលហៅថា EME (Enterprise Meta Environment)។ អ្នកអភិវឌ្ឍន៍មានឱកាសធ្វើការជាមួយកំណែមូលដ្ឋាននៃកូដ និងពិនិត្យមើលការអភិវឌ្ឍន៍របស់ពួកគេទៅក្នុងឃ្លាំងកណ្តាល។

វាអាចទៅរួច ក្នុងអំឡុងពេលប្រតិបត្តិ ឬបន្ទាប់ពីការប្រតិបត្តិក្រាហ្វ ដើម្បីចុចលើលំហូរណាមួយដែលភ្ជាប់ការបំប្លែង ហើយមើលទិន្នន័យដែលបានឆ្លងកាត់រវាងការបំប្លែងទាំងនេះ៖

វាក៏អាចធ្វើទៅបានផងដែរដើម្បីចុចលើស្ទ្រីមណាមួយ និងមើលព័ត៌មានលម្អិតនៃការតាមដាន - តើចំនួនប៉ារ៉ាឡែលដែលការបំប្លែងដំណើរការបានប៉ុន្មានបន្ទាត់ និងបៃត្រូវបានផ្ទុកទៅក្នុងប៉ារ៉ាឡែលមួយណា៖

វាអាចទៅរួចក្នុងការបែងចែកការប្រតិបត្តិនៃក្រាហ្វជាដំណាក់កាល ហើយសម្គាល់ថាការបំប្លែងខ្លះត្រូវធ្វើមុនគេ (ក្នុងដំណាក់កាលសូន្យ) ដំណាក់កាលបន្ទាប់ក្នុងដំណាក់កាលទីមួយ ដំណាក់កាលបន្ទាប់ក្នុងដំណាក់កាលទីពីរ។ល។

សម្រាប់ការបំប្លែងនីមួយៗ អ្នកអាចជ្រើសរើសប្លង់ដែលគេហៅថា (កន្លែងដែលវានឹងត្រូវបានអនុវត្ត)៖ ដោយគ្មានប៉ារ៉ាឡែល ឬនៅក្នុងខ្សែប៉ារ៉ាឡែល ចំនួនដែលអាចត្រូវបានបញ្ជាក់។ ក្នុងពេលជាមួយគ្នានេះ ឯកសារបណ្តោះអាសន្នដែល Ab Initio បង្កើតនៅពេលដែលការបំប្លែងកំពុងដំណើរការអាចត្រូវបានដាក់ទាំងនៅក្នុងប្រព័ន្ធឯកសារម៉ាស៊ីនមេ និងនៅក្នុង HDFS ។

នៅក្នុងការបំប្លែងនីមួយៗ ដោយផ្អែកលើគំរូលំនាំដើម អ្នកអាចបង្កើតស្គ្រីបផ្ទាល់ខ្លួនរបស់អ្នកនៅក្នុង PDL ដែលស្រដៀងនឹងសែល។

ជាមួយនឹង PDL អ្នកអាចពង្រីកមុខងារនៃការផ្លាស់ប្តូរ ហើយជាពិសេស អ្នកអាចបង្កើតជាផ្នែកនៃកូដតាមអំពើចិត្ត (នៅពេលដំណើរការ) ដោយថាមវន្ត អាស្រ័យលើប៉ារ៉ាម៉ែត្រពេលដំណើរការ។

Ab Initio ក៏មានការរួមបញ្ចូលផងដែរដែលបានអភិវឌ្ឍយ៉ាងល្អជាមួយ OS តាមរយៈសែល។ ជាពិសេស Sberbank ប្រើ linux ksh ។ អ្នកអាចផ្លាស់ប្តូរអថេរជាមួយសែល ហើយប្រើវាជាប៉ារ៉ាម៉ែត្រក្រាហ្វ។ អ្នកអាចហៅការប្រតិបត្តិនៃក្រាហ្វ Ab Initio ពីសែល និងគ្រប់គ្រង Ab Initio ។

បន្ថែមពីលើ Ab Initio GDE ផលិតផលជាច្រើនទៀតត្រូវបានរួមបញ្ចូលក្នុងការចែកចាយ។ មានប្រព័ន្ធប្រតិបត្តិការ Co> ផ្ទាល់ខ្លួនជាមួយនឹងការទាមទារឱ្យហៅថាប្រព័ន្ធប្រតិបត្តិការ។ មាន Control>Center ដែលអ្នកអាចកំណត់ពេល និងតាមដានលំហូរទាញយក។ មានផលិតផលសម្រាប់ធ្វើការអភិវឌ្ឍន៍នៅកម្រិតបឋមជាង Ab Initio GDE អនុញ្ញាត។

ការពិពណ៌នាអំពីក្របខ័ណ្ឌ MDW និងធ្វើការលើការប្ដូរតាមបំណងរបស់វាសម្រាប់ GreenPlum

រួមជាមួយនឹងផលិតផលរបស់ខ្លួន អ្នកលក់ក៏ផ្គត់ផ្គង់ផលិតផល MDW (Metadata Driven Warehouse) ដែលជាឧបករណ៍កំណត់រចនាសម្ព័ន្ធក្រាហ្វដែលត្រូវបានរចនាឡើងដើម្បីជួយដល់កិច្ចការធម្មតានៃការផ្ទុកឃ្លាំងទិន្នន័យ ឬឃ្លាំងទិន្នន័យ។

វាមានឧបករណ៍ញែកទិន្នន័យមេតាផ្ទាល់ខ្លួន (គម្រោងជាក់លាក់) និងម៉ាស៊ីនបង្កើតកូដដែលត្រៀមរួចជាស្រេចចេញពីប្រអប់។

ជាការបញ្ចូល MDW ទទួលបានគំរូទិន្នន័យ ឯកសារកំណត់រចនាសម្ព័ន្ធសម្រាប់ការដំឡើងការតភ្ជាប់ទៅមូលដ្ឋានទិន្នន័យ (Oracle, Teradata ឬ Hive) និងការកំណត់មួយចំនួនផ្សេងទៀត។ ជាឧទាហរណ៍ ផ្នែកជាក់លាក់នៃគម្រោង ដាក់ពង្រាយគំរូទៅមូលដ្ឋានទិន្នន័យ។ ផ្នែកក្រៅប្រអប់នៃផលិតផលបង្កើតក្រាហ្វ និងឯកសារកំណត់រចនាសម្ព័ន្ធសម្រាប់ពួកវាដោយផ្ទុកទិន្នន័យទៅក្នុងតារាងគំរូ។ ក្នុងករណីនេះ ក្រាហ្វ (និង psets) ត្រូវបានបង្កើតឡើងសម្រាប់របៀបជាច្រើននៃការចាប់ផ្តើម និងបង្កើនការងារលើការធ្វើបច្ចុប្បន្នភាពអង្គភាព។

នៅក្នុងករណីនៃ Hive និង RDBMS ក្រាហ្វផ្សេងគ្នាត្រូវបានបង្កើតសម្រាប់ការចាប់ផ្តើម និងបង្កើនការធ្វើបច្ចុប្បន្នភាពទិន្នន័យ។

ក្នុងករណី Hive ទិន្នន័យដីសណ្តចូលត្រូវបានភ្ជាប់តាមរយៈ Ab Initio Join ជាមួយនឹងទិន្នន័យដែលមាននៅក្នុងតារាងមុនពេលធ្វើបច្ចុប្បន្នភាព។ កម្មវិធីផ្ទុកទិន្នន័យនៅក្នុង MDW (ទាំងនៅក្នុង Hive និង RDBMS) មិនត្រឹមតែបញ្ចូលទិន្នន័យថ្មីពីតំបន់ដីសណ្តប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងបិទរយៈពេលនៃភាពពាក់ព័ន្ធនៃទិន្នន័យដែលកូនសោចម្បងបានទទួល delta ផងដែរ។ លើសពីនេះទៀតអ្នកត្រូវសរសេរឡើងវិញនូវផ្នែកដែលមិនផ្លាស់ប្តូរនៃទិន្នន័យ។ ប៉ុន្តែនេះត្រូវធ្វើព្រោះ Hive មិនមានប្រតិបត្តិការលុប ឬធ្វើបច្ចុប្បន្នភាពទេ។

ក្នុងករណី RDBMS ក្រាហ្វសម្រាប់ការធ្វើបច្ចុប្បន្នភាពទិន្នន័យបន្ថែមមើលទៅល្អប្រសើរជាង ព្រោះ RDBMS មានសមត្ថភាពធ្វើបច្ចុប្បន្នភាពពិតប្រាកដ។

ដីសណ្តដែលបានទទួលត្រូវបានផ្ទុកទៅក្នុងតារាងមធ្យមក្នុងមូលដ្ឋានទិន្នន័យ។ បន្ទាប់ពីនេះ ដីសណ្តត្រូវបានភ្ជាប់ទៅទិន្នន័យដែលមាននៅក្នុងតារាងមុនពេលអាប់ដេត។ ហើយនេះត្រូវបានធ្វើដោយប្រើ SQL ដោយប្រើសំណួរ SQL ដែលបានបង្កើត។ បន្ទាប់មក ដោយប្រើពាក្យបញ្ជា SQL លុប+បញ្ចូល ទិន្នន័យថ្មីពីដីសណ្តត្រូវបានបញ្ចូលទៅក្នុងតារាងគោលដៅ ហើយរយៈពេលនៃភាពពាក់ព័ន្ធនៃទិន្នន័យដែលសោចម្បងបានទទួល delta ត្រូវបានបិទ។
មិនចាំបាច់សរសេរទិន្នន័យដែលមិនផ្លាស់ប្តូរឡើងវិញទេ។

ដូច្នេះហើយ ទើបយើងសន្និដ្ឋានថា ក្នុងករណី Hive នោះ MDW ត្រូវទៅសរសេរតារាងទាំងមូលឡើងវិញ ព្រោះ Hive មិនមានមុខងារអាប់ដេតទេ។ ហើយគ្មានអ្វីប្រសើរជាងការសរសេរទិន្នន័យឡើងវិញទាំងស្រុងនោះទេ នៅពេលដែលការធ្វើបច្ចុប្បន្នភាពត្រូវបានបង្កើត។ នៅក្នុងករណីនៃ RDBMS ផ្ទុយទៅវិញអ្នកបង្កើតផលិតផលបានរកឃើញថាវាចាំបាច់ដើម្បីប្រគល់ការភ្ជាប់និងការធ្វើបច្ចុប្បន្នភាពតារាងទៅនឹងការប្រើប្រាស់ SQL ។

សម្រាប់គម្រោងនៅ Sberbank យើងបានបង្កើតការអនុវត្តថ្មីដែលអាចប្រើឡើងវិញបាននៃកម្មវិធីផ្ទុកទិន្នន័យសម្រាប់ GreenPlum ។ នេះត្រូវបានធ្វើដោយផ្អែកលើកំណែដែល MDW បង្កើតសម្រាប់ Teradata ។ វាគឺជា Teradata មិនមែន Oracle ទេ ដែលចូលមកជិតបំផុត និងល្អបំផុតសម្រាប់រឿងនេះ ព្រោះ... ក៏ជាប្រព័ន្ធ MPP ផងដែរ។ វិធីសាស្រ្តធ្វើការ ក៏ដូចជាវាក្យសម្ព័ន្ធនៃ Teradata និង GreenPlum បានប្រែក្លាយទៅជាស្រដៀងគ្នា។

ឧទាហរណ៍នៃភាពខុសគ្នាសំខាន់ MDW រវាង RDBMSs ផ្សេងគ្នាមានដូចខាងក្រោម។ នៅក្នុង GreenPlum មិនដូច Teradata នៅពេលបង្កើតតារាង អ្នកត្រូវសរសេរឃ្លា

distributed by

Teradata សរសេរ៖

delete <table> all

ហើយនៅក្នុង GreenPlum ពួកគេសរសេរ

delete from <table>

នៅក្នុង Oracle សម្រាប់គោលបំណងបង្កើនប្រសិទ្ធភាព ពួកគេសរសេរ

delete from t where rowid in (<соединение t с дельтой>)

ហើយ Teradata និង GreenPlum សរសេរ

delete from t where exists (select * from delta where delta.pk=t.pk)

យើងក៏កត់សម្គាល់ផងដែរថាដើម្បីឱ្យ Ab Initio ធ្វើការជាមួយ GreenPlum វាចាំបាច់ត្រូវដំឡើងកម្មវិធី GreenPlum នៅលើថ្នាំងទាំងអស់នៃក្រុម Ab Initio ។ នេះគឺដោយសារតែយើងបានភ្ជាប់ទៅ GreenPlum ក្នុងពេលដំណាលគ្នាពីថ្នាំងទាំងអស់នៅក្នុងចង្កោមរបស់យើង។ ហើយដើម្បីឱ្យការអានពី GreenPlum មានភាពស្របគ្នា និងប៉ារ៉ាឡែល Ab Initio នីមួយៗដើម្បីអានផ្នែករបស់វាផ្ទាល់នៃទិន្នន័យពី GreenPlum យើងត្រូវដាក់សំណង់ដែលយល់ដោយ Ab Initio នៅក្នុងផ្នែក "កន្លែង" នៃសំណួរ SQL

where ABLOCAL()

និងកំណត់តម្លៃនៃការសាងសង់នេះដោយបញ្ជាក់ប៉ារ៉ាម៉ែត្រអានពីមូលដ្ឋានទិន្នន័យបំលែង

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

ដែលចងក្រងទៅជាអ្វីមួយដូចជា

mod(sk,10)=3

, i.e. អ្នកត្រូវតែប្រាប់ GreenPlum ជាមួយនឹងតម្រងច្បាស់លាស់សម្រាប់ភាគថាសនីមួយៗ។ សម្រាប់មូលដ្ឋានទិន្នន័យផ្សេងទៀត (Teradata, Oracle) Ab Initio អាចអនុវត្តភាពស្របគ្នានេះដោយស្វ័យប្រវត្តិ។

ការប្រៀបធៀបការអនុវត្ត Ab Initio រវាង Hive និង GreenPlum

Sberbank បានធ្វើការពិសោធន៍មួយដើម្បីប្រៀបធៀបដំណើរការនៃក្រាហ្វដែលបង្កើតដោយ MDW ទាក់ទងនឹង Hive និងទាក់ទងនឹង GreenPlum ។ ជាផ្នែកមួយនៃការពិសោធន៍ ក្នុងករណី Hive មាន 5 ថ្នាំងនៅលើចង្កោមដូចគ្នានឹង Ab Initio ហើយក្នុងករណី GreenPlum មាន 4 ថ្នាំងនៅលើចង្កោមដាច់ដោយឡែកមួយ។ ទាំងនោះ។ Hive មានអត្ថប្រយោជន៍ផ្នែករឹងខ្លះជាង GreenPlum ។

យើងបានពិចារណាក្រាហ្វិកពីរគូដែលបំពេញភារកិច្ចដូចគ្នានៃការធ្វើបច្ចុប្បន្នភាពទិន្នន័យនៅក្នុង Hive និង GreenPlum ។ ក្នុងពេលជាមួយគ្នានេះ ក្រាហ្វដែលបង្កើតដោយអ្នកកំណត់រចនាសម្ព័ន្ធ MDW ត្រូវបានដាក់ឱ្យដំណើរការ៖

• ការផ្ទុកដំបូង + បន្ទុកបន្ថែមនៃទិន្នន័យដែលបានបង្កើតដោយចៃដន្យទៅក្នុងតារាង Hive
• ការផ្ទុកដំបូង + បន្ទុកបន្ថែមនៃទិន្នន័យដែលបានបង្កើតដោយចៃដន្យទៅក្នុងតារាង GreenPlum ដូចគ្នា។

ក្នុងករណីទាំងពីរ (Hive និង GreenPlum) ពួកគេបានដំណើរការការបង្ហោះទៅ 10 ខ្សែស្របគ្នានៅលើចង្កោម Ab Initio ដូចគ្នា។ Ab Initio បានរក្សាទុកទិន្នន័យកម្រិតមធ្យមសម្រាប់ការគណនាក្នុង HDFS (ក្នុងលក្ខខណ្ឌនៃ Ab Initio ប្លង់ MFS ដោយប្រើ HDFS ត្រូវបានប្រើ)។ បន្ទាត់មួយនៃទិន្នន័យដែលបានបង្កើតដោយចៃដន្យកាន់កាប់ 200 បៃនៅក្នុងករណីទាំងពីរ។

លទ្ធផលគឺដូចនេះ៖

សំបុក:

ការផ្ទុកដំបូងនៅក្នុង Hive

បាន​បញ្ចូល​ជួរ​ដេក
6 000 000
60 000 000
600 000 000

រយៈពេលនៃការចាប់ផ្តើម
ការទាញយកក្នុងរយៈពេលប៉ុន្មានវិនាទី
41
203
1 ផ្លូវទី 601th

ការផ្ទុកបន្ថែមនៅក្នុង Hive

ចំនួនជួរដែលមាននៅក្នុង
តារាងគោលដៅនៅដើមដំបូងនៃការពិសោធន៍
6 000 000
60 000 000
600 000 000

ចំនួនបន្ទាត់ដីសណ្តដែលបានអនុវត្ត
តារាងគោលដៅកំឡុងពេលពិសោធន៍
6 000 000
6 000 000
6 000 000

រយៈពេលនៃការបង្កើន
ការទាញយកក្នុងរយៈពេលប៉ុន្មានវិនាទី
88
299
2 ផ្លូវទី 541th

GreenPlum៖

ការផ្ទុកដំបូងនៅក្នុង GreenPlum

បាន​បញ្ចូល​ជួរ​ដេក
6 000 000
60 000 000
600 000 000

រយៈពេលនៃការចាប់ផ្តើម
ការទាញយកក្នុងរយៈពេលប៉ុន្មានវិនាទី
72
360
3 ផ្លូវទី 631th

ការផ្ទុកបន្ថែមនៅក្នុង GreenPlum

ចំនួនជួរដែលមាននៅក្នុង
តារាងគោលដៅនៅដើមដំបូងនៃការពិសោធន៍
6 000 000
60 000 000
600 000 000

ចំនួនបន្ទាត់ដីសណ្តដែលបានអនុវត្ត
តារាងគោលដៅកំឡុងពេលពិសោធន៍
6 000 000
6 000 000
6 000 000

រយៈពេលនៃការបង្កើន
ការទាញយកក្នុងរយៈពេលប៉ុន្មានវិនាទី
159
199
321

យើងឃើញថាល្បឿននៃការផ្ទុកដំបូងទាំងនៅក្នុង Hive និង GreenPlum អាស្រ័យទៅលើចំនួនទិន្នន័យ ហើយសម្រាប់ហេតុផលនៃផ្នែករឹងដែលប្រសើរជាងនេះ វាលឿនជាងសម្រាប់ GreenPlum បន្តិច។

ការបង្កើនការផ្ទុកនៅក្នុង Hive ក៏អាស្រ័យទៅលើបរិមាណនៃទិន្នន័យដែលបានផ្ទុកពីមុនដែលមាននៅក្នុងតារាងគោលដៅ ហើយដំណើរការយឺតនៅពេលដែលបរិមាណកើនឡើង។ នេះបណ្តាលមកពីតម្រូវការក្នុងការសរសេរឡើងវិញនូវតារាងគោលដៅទាំងស្រុង។ នេះមានន័យថាការអនុវត្តការផ្លាស់ប្តូរតូចៗចំពោះតារាងដ៏ធំមិនមែនជាករណីប្រើប្រាស់ដ៏ល្អសម្រាប់ Hive នោះទេ។

ការផ្ទុកបន្ថែមនៅក្នុង GreenPlum ខ្សោយអាស្រ័យលើបរិមាណនៃទិន្នន័យដែលបានផ្ទុកពីមុនដែលមាននៅក្នុងតារាងគោលដៅ ហើយដំណើរការយ៉ាងលឿន។ វាបានកើតឡើងដោយសារ SQL Joins និងស្ថាបត្យកម្ម GreenPlum ដែលអនុញ្ញាតឱ្យលុបប្រតិបត្តិការ។

ដូច្នេះ GreenPlum បន្ថែមតំបន់ដីសណ្តដោយប្រើវិធីលុប + បញ្ចូល ប៉ុន្តែ Hive មិនមានប្រតិបត្តិការលុប ឬធ្វើបច្ចុប្បន្នភាពទេ ដូច្នេះអារេទិន្នន័យទាំងមូលត្រូវបានបង្ខំឱ្យសរសេរឡើងវិញទាំងស្រុងក្នុងអំឡុងពេលធ្វើបច្ចុប្បន្នភាពបន្ថែម។ ការប្រៀបធៀបនៃក្រឡាដែលបានបន្លិចជាដិតគឺបង្ហាញឱ្យឃើញច្រើនបំផុត ព្រោះវាត្រូវគ្នាទៅនឹងជម្រើសទូទៅបំផុតសម្រាប់ការប្រើប្រាស់ការទាញយកដែលពឹងផ្អែកលើធនធាន។ យើងឃើញថា GreenPlum បានផ្តួល Hive ក្នុងការធ្វើតេស្តនេះ 8 ដង។

ធ្វើការ Ab Initio ជាមួយ GreenPlum ក្នុងមុខងារ Near Real Time

នៅក្នុងការពិសោធន៍នេះ យើងនឹងសាកល្បងសមត្ថភាពរបស់ Ab Initio ដើម្បីធ្វើបច្ចុប្បន្នភាពតារាង GreenPlum ជាមួយនឹងបណ្តុំនៃទិន្នន័យដែលបានបង្កើតដោយចៃដន្យនៅជិតពេលវេលាជាក់ស្តែង។ ចូរយើងពិចារណាតារាង GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval ដែលយើងនឹងដំណើរការ។

យើងនឹងប្រើក្រាហ្វ Ab Initio បីដើម្បីធ្វើការជាមួយវា៖

1) ក្រាហ្វ Create_test_data.mp – បង្កើតឯកសារទិន្នន័យក្នុង HDFS ដែលមាន 10 ជួរក្នុង 6 ខ្សែស្របគ្នា។ ទិន្នន័យគឺចៃដន្យ រចនាសម្ព័ន្ធរបស់វាត្រូវបានរៀបចំសម្រាប់ការបញ្ចូលទៅក្នុងតារាងរបស់យើង។

2) ក្រាហ្វ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – ក្រាហ្វដែលបានបង្កើត MDW ដោយចាប់ផ្តើមការបញ្ចូលទិន្នន័យទៅក្នុងតារាងរបស់យើងក្នុងខ្សែស្រឡាយប៉ារ៉ាឡែលចំនួន 10 (ទិន្នន័យតេស្តដែលបង្កើតដោយក្រាហ្វ (1) ត្រូវបានប្រើ)

3) ក្រាហ្វ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – ក្រាហ្វដែលបង្កើតដោយ MDW សម្រាប់ការធ្វើបច្ចុប្បន្នភាពបន្ថែមនៃតារាងរបស់យើងក្នុង 10 ខ្សែស្របគ្នា ដោយប្រើផ្នែកនៃទិន្នន័យដែលទទួលបានថ្មីៗ (ដីសណ្ត) ដែលបង្កើតដោយក្រាហ្វ (1)

តោះដំណើរការស្គ្រីបខាងក្រោមក្នុងរបៀប NRT៖

• បង្កើតបន្ទាត់សាកល្បង 6
• អនុវត្តការផ្ទុកដំបូងបញ្ចូលជួរសាកល្បង 6 ទៅក្នុងតារាងទទេ
• បង្កើនការទាញយកម្តងទៀត 5 ដង
  • បង្កើតបន្ទាត់សាកល្បង 6
  • អនុវត្តការបញ្ចូលបន្ថែមនៃជួរសាកល្បងចំនួន 6 ទៅក្នុងតារាង (ក្នុងករណីនេះពេលវេលាផុតកំណត់ valid_to_ts ត្រូវបានកំណត់ទៅជាទិន្នន័យចាស់ ហើយទិន្នន័យថ្មីៗបន្ថែមទៀតដែលមានសោចម្បងដូចគ្នាត្រូវបានបញ្ចូល)

សេណារីយ៉ូនេះធ្វើត្រាប់តាមរបៀបនៃប្រតិបត្តិការពិតនៃប្រព័ន្ធអាជីវកម្មជាក់លាក់មួយ - មួយផ្នែកធំនៃទិន្នន័យថ្មីលេចឡើងក្នុងពេលជាក់ស្តែង ហើយត្រូវបានចាក់ចូលទៅក្នុង GreenPlum ភ្លាមៗ។

ឥឡូវនេះសូមមើលកំណត់ហេតុរបស់ស្គ្រីប៖

ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 11:49:11
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 11:49:37
ចាប់ផ្តើម mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:49:37
បញ្ចប់ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:50:42
ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 11:50:42
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 11:51:06
ចាប់ផ្តើម mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:51:06
បញ្ចប់ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:53:41
ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 11:53:41
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 11:54:04
ចាប់ផ្តើម mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:54:04
បញ្ចប់ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:56:51
ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 11:56:51
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 11:57:14
ចាប់ផ្តើម mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:57:14
បញ្ចប់ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 11:59:55
ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 11:59:55
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 12:00:23
ចាប់ផ្តើម mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 12:00:23
បញ្ចប់ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 12:03:23
ចាប់ផ្តើម Create_test_data.input.pset នៅ 2020-06-04 12:03:23
បញ្ចប់ Create_test_data.input.pset នៅ 2020-06-04 12:03:49
ចាប់ផ្តើម mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 12:03:49
បញ្ចប់ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset នៅ 2020-06-04 12:06:46

វាប្រែចេញរូបភាពនេះ៖

ក្រាប
ពេលវេលាចាប់ផ្តើម
ពេលវេលាបញ្ចប់
ប្រវែង

បង្កើត_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

បង្កើត_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

បង្កើត_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

បង្កើត_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

បង្កើត_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

បង្កើត_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current ។
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

យើងឃើញថាបន្ទាត់បន្ថែមចំនួន 6 ត្រូវបានដំណើរការក្នុងរយៈពេល 000 នាទី ដែលលឿនណាស់។
ទិន្នន័យនៅក្នុងតារាងគោលដៅត្រូវបានចែកចាយដូចខាងក្រោម៖

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

អ្នកអាចមើលឃើញការឆ្លើយឆ្លងនៃទិន្នន័យដែលបានបញ្ចូលទៅនឹងពេលវេលាដែលក្រាហ្វត្រូវបានចាប់ផ្តើម។
នេះមានន័យថាអ្នកអាចដំណើរការការផ្ទុកទិន្នន័យបន្ថែមទៅក្នុង GreenPlum ក្នុង Ab Initio ជាមួយនឹងប្រេកង់ខ្ពស់ ហើយសង្កេតមើលល្បឿនខ្ពស់នៃការបញ្ចូលទិន្នន័យនេះទៅក្នុង GreenPlum ។ ជាការពិតណាស់ វានឹងមិនអាចបើកដំណើរការម្តងក្នុងមួយវិនាទីបានទេ ដោយសារ Ab Initio ដូចជាឧបករណ៍ ETL ណាមួយ ទាមទារពេលវេលាដើម្បី "ចាប់ផ្តើម" នៅពេលចាប់ផ្តើម។

សេចក្តីសន្និដ្ឋាន

Ab Initio បច្ចុប្បន្ន​ត្រូវ​បាន​ប្រើ​នៅ​ធនាគារ Sberbank ដើម្បី​បង្កើត​ស្រទាប់​ទិន្នន័យ​ដែល​រួម​បញ្ចូល​គ្នា (ESS)។ គម្រោងនេះពាក់ព័ន្ធនឹងការកសាងកំណែបង្រួបបង្រួមនៃស្ថានភាពនៃអង្គភាពអាជីវកម្មធនាគារផ្សេងៗ។ ព័ត៌មានបានមកពីប្រភពផ្សេងៗ ការចម្លងដែលត្រូវបានរៀបចំនៅលើ Hadoop ។ ដោយផ្អែកលើតម្រូវការអាជីវកម្ម គំរូទិន្នន័យត្រូវបានរៀបចំ ហើយការបំប្លែងទិន្នន័យត្រូវបានពិពណ៌នា។ Ab Initio ផ្ទុកព័ត៌មានទៅក្នុង ESN ហើយទិន្នន័យដែលបានទាញយកមិនត្រឹមតែមានចំណាប់អារម្មណ៍ចំពោះអាជីវកម្មខ្លួនឯងប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងបម្រើជាប្រភពសម្រាប់បង្កើតទិន្នន័យទីផ្សារផងដែរ។ ទន្ទឹមនឹងនេះ មុខងាររបស់ផលិតផលអនុញ្ញាតឱ្យអ្នកប្រើប្រាស់ប្រព័ន្ធផ្សេងៗជាអ្នកទទួល (Hive, Greenplum, Teradata, Oracle) ដែលធ្វើឱ្យវាអាចរៀបចំទិន្នន័យសម្រាប់អាជីវកម្មបានយ៉ាងងាយស្រួលតាមទម្រង់ផ្សេងៗដែលវាទាមទារ។

សមត្ថភាពរបស់ Ab Initio គឺធំទូលាយ ជាឧទាហរណ៍ ក្របខ័ណ្ឌ MDW ដែលរួមបញ្ចូលធ្វើឱ្យវាអាចបង្កើតទិន្នន័យបច្ចេកទេស និងប្រវត្តិសាស្រ្តអាជីវកម្មចេញពីប្រអប់។ សម្រាប់អ្នកអភិវឌ្ឍន៍ Ab Initio ធ្វើឱ្យវាមិនអាចបង្កើតកង់ឡើងវិញបានទេ ប៉ុន្តែត្រូវប្រើសមាសធាតុមុខងារដែលមានស្រាប់ជាច្រើន ដែលជាបណ្ណាល័យចាំបាច់នៅពេលធ្វើការជាមួយទិន្នន័យ។

អ្នកនិពន្ធគឺជាអ្នកជំនាញនៅក្នុងសហគមន៍វិជ្ជាជីវៈរបស់ Sberbank SberProfi DWH/BigData ។ សហគមន៍វិជ្ជាជីវៈ SberProfi DWH/BigData ទទួលខុសត្រូវក្នុងការអភិវឌ្ឍន៍សមត្ថភាពក្នុងផ្នែកដូចជា ប្រព័ន្ធអេកូឡូស៊ី Hadoop, Teradata, Oracle DB, GreenPlum ក៏ដូចជាឧបករណ៍ BI Qlik, SAP BO, Tableau ជាដើម។

ប្រភព: www.habr.com