មគ្គុទ្ទេសក៍ធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល Amazon Redshift និងលទ្ធផលតេស្ត

នៅ Skyeng យើងប្រើ Amazon Redshift រួមទាំងការធ្វើមាត្រដ្ឋានស្របគ្នា ដូច្នេះយើងបានរកឃើញអត្ថបទនេះដោយ Stefan Gromoll ស្ថាបនិក dotgo.com សម្រាប់ intermix.io គួរឱ្យចាប់អារម្មណ៍។ បន្ទាប់ពីការបកប្រែ បទពិសោធន៍របស់យើងបន្តិចបន្តួចពីវិស្វករទិន្នន័យ Daniyar Belkhodzhaev ។

ស្ថាបត្យកម្ម Amazon Redshift អនុញ្ញាតឱ្យធ្វើមាត្រដ្ឋានដោយបន្ថែមថ្នាំងថ្មីទៅចង្កោម។ តម្រូវការដើម្បីទប់ទល់នឹងចំនួនសំណើខ្ពស់បំផុតអាចនាំទៅដល់ការផ្តល់ថ្នាំងលើសកម្រិត។ ការធ្វើមាត្រដ្ឋានស្របគ្នា ផ្ទុយពីការបន្ថែមថ្នាំងថ្មី បង្កើនថាមពលកុំព្យូទ័រតាមតម្រូវការ។

ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល Amazon Redshift ផ្តល់ឱ្យក្រុម Redshift នូវសមត្ថភាពបន្ថែមដើម្បីគ្រប់គ្រងបរិមាណសំណើខ្ពស់បំផុត។ វាដំណើរការដោយការផ្លាស់ទីសំណើទៅក្រុម "ប៉ារ៉ាឡែល" ថ្មីនៅក្នុងផ្ទៃខាងក្រោយ។ សំណើត្រូវបានបញ្ជូនដោយផ្អែកលើការកំណត់រចនាសម្ព័ន្ធ WLM និងច្បាប់។

ការកំណត់តម្លៃធ្វើមាត្រដ្ឋានស្របគ្នាគឺផ្អែកលើគំរូឥណទានដែលមានកម្រិតឥតគិតថ្លៃ។ លើសពីក្រេឌីតឥតគិតថ្លៃ ការទូទាត់គឺផ្អែកលើពេលវេលាដែលក្រុម Parallel Scaling Cluster ដំណើរការសំណើ។

អ្នកនិពន្ធបានសាកល្បងការធ្វើមាត្រដ្ឋានស្របគ្នានៅលើចង្កោមខាងក្នុងមួយ។ នៅក្នុងការប្រកាសនេះ គាត់នឹងនិយាយអំពីលទ្ធផលតេស្ត និងផ្តល់ការណែនាំអំពីរបៀបចាប់ផ្តើម។

តម្រូវការចង្កោម

ដើម្បីប្រើការធ្វើមាត្រដ្ឋានស្របគ្នា ចង្កោម Amazon Redshift របស់អ្នកត្រូវតែបំពេញតាមតម្រូវការដូចខាងក្រោម៖

- វេទិកា៖ EC2-VPC;
- ប្រភេទថ្នាំង៖ dc2.8xlarge, ds2.8xlarge, dc2.large ឬ ds2.xlarge;
- ចំនួនថ្នាំង៖ ពី 2 ទៅ 32 (ចង្កោមថ្នាំងតែមួយមិនត្រូវបានគាំទ្រទេ) ។

ប្រភេទសំណើដែលអាចទទួលយកបាន។

ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលមិនស័ក្តិសមសម្រាប់សំណួរគ្រប់ប្រភេទទេ។ នៅក្នុងកំណែទីមួយ វាដំណើរការតែសំណើអានដែលបំពេញលក្ខខណ្ឌបី៖

- សំណួរ SELECT គឺបានតែអាន (ទោះបីជាប្រភេទជាច្រើនទៀតត្រូវបានគ្រោងទុកក៏ដោយ);
- សំណួរមិនយោងតារាងដែលមានរចនាប័ទ្មតម្រៀបអន្តរការី។
- សំណួរមិនប្រើ Amazon Redshift Spectrum ដើម្បីយោងតារាងខាងក្រៅទេ។

ដើម្បីបញ្ជូនទៅក្រុមធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល សំណើត្រូវតែដាក់ជាជួរ។ លើសពីនេះទៀត សំណួរដែលមានសិទ្ធិសម្រាប់ជួរ SQA (ការបង្កើនល្បឿនសំណួរខ្លី)នឹងមិនដំណើរការលើចង្កោមខ្នាតប៉ារ៉ាឡែលទេ។

ជួរ និង SQA ទាមទារការកំណត់រចនាសម្ព័ន្ធត្រឹមត្រូវ។ ការគ្រប់គ្រងបន្ទុកការងារ Redshift (WLM). យើងសូមណែនាំឱ្យបង្កើនប្រសិទ្ធភាព WLM របស់អ្នកជាមុនសិន - វានឹងកាត់បន្ថយតម្រូវការសម្រាប់ការធ្វើមាត្រដ្ឋានស្របគ្នា។ ហើយនេះគឺសំខាន់ព្រោះការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលគឺឥតគិតថ្លៃសម្រាប់តែចំនួនម៉ោងជាក់លាក់ប៉ុណ្ណោះ។ AWS អះអាងថាការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលនឹងមិនគិតថ្លៃសម្រាប់អតិថិជន 97% ដែលនាំយើងទៅរកបញ្ហាតម្លៃ។

តម្លៃនៃការធ្វើមាត្រដ្ឋានស្របគ្នា។

AWS ផ្តល់នូវគំរូឥណទានសម្រាប់ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល។ ចង្កោមសកម្មនីមួយៗ ក្រុមហ៊ុន Amazon Redshift សន្សំក្រេឌីតរៀងរាល់ម៉ោង រហូតដល់មួយម៉ោងនៃឥណទានធ្វើមាត្រដ្ឋានស្របគ្នាដោយឥតគិតថ្លៃក្នុងមួយថ្ងៃ។

អ្នកបង់តែនៅពេលដែលការប្រើប្រាស់ Parallel Scaling Clusters របស់អ្នកលើសពីចំនួនក្រេឌីតដែលអ្នកបានទទួល។

ការចំណាយត្រូវបានគណនាតាមអត្រាតាមតម្រូវការក្នុងមួយវិនាទីសម្រាប់ចង្កោមប៉ារ៉ាឡែលដែលត្រូវបានប្រើខាងលើអត្រាឥតគិតថ្លៃ។ អ្នកត្រូវបានគិតប្រាក់សម្រាប់តែរយៈពេលនៃសំណើរបស់អ្នកប៉ុណ្ណោះ ដោយគិតប្រាក់អប្បបរមាមួយនាទីរាល់ពេលដែលក្រុមប៉ារ៉ាឡែលធ្វើមាត្រដ្ឋានត្រូវបានធ្វើឱ្យសកម្ម។ អត្រាតាមតម្រូវការក្នុងមួយវិនាទីត្រូវបានគណនាដោយផ្អែកលើគោលការណ៍កំណត់តម្លៃទូទៅ ក្រុមហ៊ុន Amazon Redshiftនោះគឺវាអាស្រ័យលើប្រភេទថ្នាំង និងចំនួនថ្នាំងនៅក្នុងចង្កោមរបស់អ្នក។

ការចាប់ផ្តើមធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល

ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលត្រូវបានបង្កឡើងសម្រាប់ជួរ WLM នីមួយៗ។ ចូលទៅកាន់កុងសូល AWS Redshift ហើយជ្រើសរើស Workload Management ពីម៉ឺនុយរុករកខាងឆ្វេង។ ជ្រើសរើសក្រុមប៉ារ៉ាម៉ែត្រ WLM នៃចង្កោមរបស់អ្នកពីម៉ឺនុយទម្លាក់ចុះខាងក្រោម។

អ្នកនឹងឃើញជួរឈរថ្មីហៅថា "របៀបធ្វើមាត្រដ្ឋានស្របគ្នា" នៅជាប់នឹងជួរនីមួយៗ។ លំនាំដើមគឺ "បិទ" ។ ចុច "កែសម្រួល" ហើយអ្នកអាចផ្លាស់ប្តូរការកំណត់សម្រាប់ជួរនីមួយៗ។

ការកំណត់​រចនាសម្ព័ន្ធ

ការ​ធ្វើ​មាត្រដ្ឋាន​ប៉ារ៉ាឡែល​ដំណើរការ​ដោយ​ការ​បញ្ជូន​បន្ត​សំណើ​សមស្រប​ទៅ​ចង្កោម​ថ្មី​ដែល​បាន​កំណត់។ ចង្កោមថ្មីមានទំហំដូចគ្នា (ប្រភេទ និងចំនួនថ្នាំង) ជាចង្កោមមេ។

ចំនួន​ចង្កោម​លំនាំដើម​ដែល​ប្រើ​សម្រាប់​ការ​ធ្វើ​មាត្រដ្ឋាន​ប៉ារ៉ាឡែល​គឺ​មួយ (1) ដែល​មាន​សមត្ថភាព​ក្នុង​ការ​កំណត់​រចនាសម្ព័ន្ធ​រហូត​ដល់​សរុប​ដប់ (10) ចង្កោម។
ចំនួនសរុបនៃចង្កោមសម្រាប់ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលអាចត្រូវបានកំណត់ដោយប៉ារ៉ាម៉ែត្រ max_concurrency_scaling_clusters ។ ការបង្កើនតម្លៃនៃប៉ារ៉ាម៉ែត្រនេះផ្តល់នូវចង្កោមដែលមិនត្រូវការបន្ថែម។

ការត្រួតពិនិត្យ

មានក្រាហ្វបន្ថែមជាច្រើនដែលមាននៅក្នុងកុងសូល AWS Redshift ។ គំនូសតាងក្រុមធ្វើមាត្រដ្ឋានស្របគ្នាដែលបានកំណត់រចនាសម្ព័ន្ធអតិបរមាបង្ហាញតម្លៃនៃ max_concurrency_scaling_clusters តាមពេលវេលា។

ចំនួននៃក្រុមធ្វើមាត្រដ្ឋានសកម្មត្រូវបានបង្ហាញនៅក្នុងចំណុចប្រទាក់អ្នកប្រើនៅក្នុងផ្នែក "សកម្មភាពធ្វើមាត្រដ្ឋានស្របគ្នា"៖

នៅក្នុងផ្ទាំងសំណួរ មានជួរឈរដែលបង្ហាញថាតើសំណួរត្រូវបានប្រតិបត្តិនៅក្នុងចង្កោមមេ ឬនៅក្នុងចង្កោមការធ្វើមាត្រដ្ឋានស្របគ្នា៖

ដោយមិនគិតពីថាតើសំណួរជាក់លាក់មួយត្រូវបានប្រតិបត្តិនៅក្នុងចង្កោមមេ ឬតាមរយៈចង្កោមការធ្វើមាត្រដ្ឋានស្របគ្នានោះទេ វាត្រូវបានរក្សាទុកនៅក្នុង stl_query.concurrency_scaling_status ។

តម្លៃនៃ 1 បង្ហាញថាសំណួរត្រូវបានប្រតិបត្តិក្នុងចង្កោមមាត្រដ្ឋានប៉ារ៉ាឡែល ខណៈដែលតម្លៃផ្សេងទៀតបង្ហាញថាវាត្រូវបានប្រតិបត្តិក្នុងចង្កោមបឋម។

ឧទាហរណ៍:

ព័ត៌មានអំពីការធ្វើមាត្រដ្ឋានស្របគ្នាក៏ត្រូវបានរក្សាទុកនៅក្នុងតារាង និងទិដ្ឋភាពមួយចំនួនផ្សេងទៀតផងដែរ ដូចជា SVCS_CONCURRENCY_SCALING_USAGE ជាដើម។ លើសពីនេះទៀតមានតារាងកាតាឡុកមួយចំនួនដែលរក្សាទុកព័ត៌មានអំពីការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល។

Результаты

អ្នកនិពន្ធបានចាប់ផ្តើមការធ្វើមាត្រដ្ឋានស្របគ្នាសម្រាប់ជួរមួយនៅក្នុងចង្កោមខាងក្នុងនៅម៉ោងប្រហែល 18:30:00 GMT នៅថ្ងៃទី 29.03.2019/3/20។ បានផ្លាស់ប្តូរប៉ារ៉ាម៉ែត្រ max_concurrency_scaling_clusters ទៅ 30 នៅម៉ោងប្រហែល 00:29.03.2019:XNUMX នៅថ្ងៃទី XNUMX/XNUMX/XNUMX។

ដើម្បីក្លែងធ្វើជួរសំណើ យើងបានកាត់បន្ថយចំនួនរន្ធសម្រាប់ជួរនេះពី 15 ទៅ 5 ។

ខាងក្រោមនេះគឺជាតារាងផ្ទាំងគ្រប់គ្រងរបស់ intermix.io ដែលបង្ហាញពីចំនួនសំណើដែលកំពុងដំណើរការ និងការតម្រង់ជួរបន្ទាប់ពីកាត់បន្ថយចំនួនរន្ធដោត។

យើងឃើញថាពេលវេលារង់ចាំសម្រាប់សំណើក្នុងជួរបានកើនឡើង ដោយពេលវេលាអតិបរមាគឺលើសពី 5 នាទី។

នេះគឺជាព័ត៌មានពាក់ព័ន្ធពីកុងសូល AWS អំពីអ្វីដែលបានកើតឡើងក្នុងអំឡុងពេលនេះ៖

Redshift បានបើកដំណើរការចង្កោមធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលចំនួនបី (3) ដូចដែលបានកំណត់រចនាសម្ព័ន្ធ។ វាហាក់ដូចជាថាចង្កោមទាំងនេះត្រូវបានប្រើប្រាស់តិចតួច ទោះបីជាសំណើជាច្រើននៅក្នុងចង្កោមរបស់យើងត្រូវបានតម្រង់ជួរក៏ដោយ។

ក្រាហ្វការប្រើប្រាស់ទាក់ទងនឹងក្រាហ្វសកម្មភាពធ្វើមាត្រដ្ឋាន៖

ប៉ុន្មានម៉ោងក្រោយមក អ្នកនិពន្ធបានពិនិត្យជួរ ហើយវាហាក់ដូចជាសំណើចំនួន 6 កំពុងដំណើរការនៅពេលធ្វើមាត្រដ្ឋានស្របគ្នា។ យើងក៏បានសាកល្បងដោយចៃដន្យនូវសំណើពីរតាមរយៈចំណុចប្រទាក់អ្នកប្រើប្រាស់។ យើង​មិន​បាន​ពិនិត្យ​មើល​របៀប​ប្រើ​តម្លៃ​ទាំង​នេះ​នៅ​ពេល​ដែល​ចង្កោម​ប៉ារ៉ាឡែល​ជាច្រើន​សកម្ម​ក្នុង​ពេល​តែ​មួយ។

ការរកឃើញ

ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលអាចកាត់បន្ថយការស្នើសុំចំណាយក្នុងជួរ កំឡុងពេលផ្ទុកខ្ពស់បំផុត។

ដោយផ្អែកលើលទ្ធផលនៃការធ្វើតេស្តជាមូលដ្ឋានវាបានប្រែក្លាយថាស្ថានភាពជាមួយនឹងការស្នើសុំការផ្ទុកមានភាពប្រសើរឡើងមួយផ្នែក។ ទោះជាយ៉ាងណាក៏ដោយ ការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលតែម្នាក់ឯងមិនបានដោះស្រាយបញ្ហាទាំងអស់ស្របគ្នានោះទេ។

នេះគឺដោយសារតែការរឹតបន្តឹងលើប្រភេទនៃសំណួរដែលអាចប្រើការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែល។ ឧទាហរណ៍ អ្នកនិពន្ធមានតារាងជាច្រើនដែលមានគ្រាប់ចុចតម្រៀបចន្លោះ ហើយភាគច្រើននៃការងាររបស់យើងគឺការសរសេរ។

ទោះបីជាការធ្វើមាត្រដ្ឋានប៉ារ៉ាឡែលមិនមែនជាដំណោះស្រាយជាសកលសម្រាប់ការដំឡើង WLM ក៏ដោយ ការប្រើប្រាស់មុខងារនេះគឺសាមញ្ញ និងត្រង់។

ដូច្នេះ អ្នកនិពន្ធណែនាំឱ្យប្រើវាសម្រាប់ជួរ WLM របស់អ្នក។ ចាប់ផ្តើមជាមួយនឹងចង្កោមប៉ារ៉ាឡែលមួយ ហើយតាមដានការផ្ទុកខ្ពស់បំផុតតាមរយៈកុងសូល ដើម្បីកំណត់ថាតើចង្កោមថ្មីកំពុងត្រូវបានប្រើប្រាស់ពេញលេញឬអត់។

នៅពេលដែល AWS បន្ថែមការគាំទ្រសម្រាប់ប្រភេទសំណួរ និងតារាងបន្ថែម ការធ្វើមាត្រដ្ឋានស្របគ្នាគួរតែកាន់តែមានប្រសិទ្ធភាពបន្តិចម្តងៗ។

មតិពី Daniyar Belkhodzhaev វិស្វករទិន្នន័យ Skyeng

យើងនៅ Skyeng ក៏បានកត់សម្គាល់ភ្លាមៗអំពីលទ្ធភាពដែលកំពុងកើតមាននៃការធ្វើមាត្រដ្ឋានស្របគ្នា។
មុខងារគឺមានភាពទាក់ទាញខ្លាំង ជាពិសេសដោយពិចារណាថា AWS ប៉ាន់ស្មានថាអ្នកប្រើប្រាស់ភាគច្រើននឹងមិនចាំបាច់បង់ប្រាក់បន្ថែមសម្រាប់វាទេ។

វាបានកើតឡើងដូច្នេះថានៅពាក់កណ្តាលខែមេសា យើងមានសំណើមិនធម្មតាមួយទៅកាន់ក្រុម Redshift ។ ក្នុងអំឡុងពេលនេះ យើងតែងតែប្រើការធ្វើមាត្រដ្ឋានស្របគ្នា ជួនកាលចង្កោមបន្ថែមបានធ្វើការ 24 ម៉ោងក្នុងមួយថ្ងៃដោយមិនឈប់។

នេះធ្វើឱ្យវាអាចធ្វើទៅបាន ប្រសិនបើមិនដោះស្រាយបញ្ហាទាំងស្រុងជាមួយជួរទេ យ៉ាងហោចណាស់ដើម្បីធ្វើឱ្យស្ថានភាពអាចទទួលយកបាន។

ការសង្កេតរបស់យើងភាគច្រើនស្របគ្នាជាមួយនឹងការចាប់អារម្មណ៍របស់បុរសពី intermix.io ។

យើងក៏បានកត់សម្គាល់ផងដែរថា ទោះបីជាមានសំណើកំពុងរង់ចាំនៅក្នុងជួរក៏ដោយ មិនមែនរាល់សំណើទាំងអស់ត្រូវបានបញ្ជូនបន្តភ្លាមៗទៅកាន់ក្រុមប៉ារ៉ាឡែលនោះទេ។ តាមមើលទៅវាកើតឡើងដោយសារតែចង្កោមប៉ារ៉ាឡែលនៅតែត្រូវការពេលវេលាដើម្បីចាប់ផ្តើម។ ជាលទ្ធផល ក្នុងអំឡុងពេលនៃការផ្ទុកខ្ពស់បំផុតក្នុងរយៈពេលខ្លី យើងនៅតែមានជួរតូចៗ ហើយសំឡេងរោទិ៍ដែលត្រូវគ្នាមានពេលដើម្បីកេះ។

ដោយបានកម្ចាត់ការផ្ទុកមិនប្រក្រតីនៅក្នុងខែមេសា យើងដូចដែល AWS បានរំពឹងទុក បានចូលទៅក្នុងរបៀបប្រើប្រាស់ម្តងម្កាល - នៅក្នុងបទដ្ឋានឥតគិតថ្លៃ។
អ្នកអាចតាមដានការចំណាយលើការធ្វើមាត្រដ្ឋានស្របគ្នារបស់អ្នកនៅក្នុង AWS Cost Explorer ។ អ្នកត្រូវជ្រើសរើសសេវាកម្ម - Redshift ប្រភេទការប្រើប្រាស់ - CS ឧទាហរណ៍ USW2-CS:dc2.large ។

អ្នកអាចអានបន្ថែមអំពីតម្លៃជាភាសារុស្សី នៅទីនេះ។

ប្រភព: www.habr.com