WAL-G៖ មុខងារថ្មី និងការពង្រីកសហគមន៍។ Georgy Rylov

ខ្ញុំស្នើឱ្យអ្នកអានប្រតិចារិកនៃរបាយការណ៍ដើមឆ្នាំ 2020 ដោយ Georgy Rylov "WAL-G: ឱកាសថ្មី និងការពង្រីកសហគមន៍"

អ្នកថែទាំប្រភពបើកចំហប្រឈមមុខនឹងបញ្ហាជាច្រើននៅពេលពួកគេរីកចម្រើន។ តើធ្វើដូចម្តេចដើម្បីសរសេរលក្ខណៈពិសេសដែលត្រូវការកាន់តែច្រើន ដោះស្រាយបញ្ហាកាន់តែច្រើន និងគ្រប់គ្រងដើម្បីមើលសំណើទាញកាន់តែច្រើន? ដោយប្រើ WAL-G (ឧបករណ៍បម្រុងទុកសម្រាប់ PostgreSQL) ជាឧទាហរណ៍ ខ្ញុំនឹងប្រាប់អ្នកពីរបៀបដែលយើងដោះស្រាយបញ្ហាទាំងនេះដោយបើកវគ្គបណ្តុះបណ្តាលស្តីពីការអភិវឌ្ឍន៍ប្រភពបើកចំហនៅសាកលវិទ្យាល័យ អ្វីដែលយើងសម្រេចបាន និងកន្លែងដែលយើងនឹងបន្តបន្ទាប់ទៀត។

សួស្តីអ្នកទាំងអស់គ្នាម្តងទៀត! ខ្ញុំជាអ្នកអភិវឌ្ឍន៍ Yandex មកពី Yekaterinburg ។ ហើយថ្ងៃនេះខ្ញុំនឹងនិយាយអំពី WAL-G ។

ចំណងជើងនៃរបាយការណ៍មិនបាននិយាយថាវាជាអ្វីមួយអំពីការបម្រុងទុកនោះទេ។ មានអ្នកណាដឹងថា WAL-G ជាអ្វីទេ? ឬគ្រប់គ្នាដឹង? លើកដៃឡើង បើអ្នកមិនដឹង។ វិសុទ្ធ អ្នកមករាយការណ៍ហើយមិនដឹងថាវានិយាយអំពីអ្វីទេ។

ខ្ញុំសូមប្រាប់អ្នកពីអ្វីដែលនឹងកើតឡើងនៅថ្ងៃនេះ។ វាកើតឡើងដូច្នេះថាក្រុមរបស់យើងបានធ្វើការបម្រុងទុកសម្រាប់ពេលខ្លះ។ ហើយនេះគឺជារបាយការណ៍មួយផ្សេងទៀតនៅក្នុងស៊េរីដែលយើងនិយាយអំពីរបៀបដែលយើងរក្សាទុកទិន្នន័យដោយសុវត្ថិភាព សុវត្ថិភាព ងាយស្រួល និងមានប្រសិទ្ធភាព។

នៅក្នុងស៊េរីមុនមានរបាយការណ៍ជាច្រើនដោយ Andrei Borodin និង Vladimir Leskov ។ មានពួកយើងជាច្រើន។ ហើយយើងបាននិយាយអំពី WAL-G ជាច្រើនឆ្នាំមកហើយ។

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

របាយការណ៍នេះនឹងមានភាពខុសប្លែកគ្នាបន្តិចបន្តួចពីផ្នែកផ្សេងទៀតដែលវានិយាយអំពីផ្នែកបច្ចេកទេស ប៉ុន្តែនៅទីនេះខ្ញុំនឹងនិយាយអំពីរបៀបដែលយើងជួបប្រទះបញ្ហាដែលទាក់ទងនឹងការរីកចម្រើននៃសហគមន៍។ ហើយ​របៀប​ដែល​យើង​បាន​បង្កើត​គំនិត​តូច​មួយ​ដែល​ជួយ​យើង​ដោះស្រាយ​បញ្ហា​នេះ។

កាលពីប៉ុន្មានឆ្នាំមុន WAL-G គឺជាគម្រោងតូចមួយដែលយើងទទួលបានពី Citus Data ។ ហើយយើងទើបតែយកវា។ ហើយវាត្រូវបានបង្កើតឡើងដោយមនុស្សម្នាក់។

ហើយមានតែ WAL-G ប៉ុណ្ណោះដែលមិនមាន៖

• បម្រុងទុកពីការចម្លង។
• មិនមានការបម្រុងទុកបន្ថែមទេ។
• មិនមានការបម្រុងទុក WAL-Delta ទេ។
• ហើយ​នៅ​មាន​ការ​បាត់​ខ្លួន​ជា​ច្រើន​ទៀត។

ប៉ុន្មានឆ្នាំមកនេះ WAL-G មានការរីកចម្រើនច្រើន។

ហើយនៅឆ្នាំ 2020 ទាំងអស់ខាងលើបានលេចឡើងរួចហើយ។ ហើយនេះត្រូវបានបន្ថែមអ្វីដែលយើងមានឥឡូវនេះ:

• ផ្កាយជាង 1 នៅលើ GitHub ។
• 150 សម។
• ប្រហែល 15 PRs បើកចំហ។
• និងអ្នករួមចំណែកជាច្រើនទៀត។
• និងបើកបញ្ហាគ្រប់ពេលវេលា។ ហើយនេះបើទោះបីជាការពិតដែលថាយើងទៅទីនោះជារៀងរាល់ថ្ងៃហើយធ្វើអ្វីមួយអំពីវាក៏ដោយ។

ហើយយើងបានឈានដល់ការសន្និដ្ឋានថាគម្រោងនេះតម្រូវឱ្យមានការយកចិត្តទុកដាក់របស់យើងបន្ថែមទៀតសូម្បីតែនៅពេលដែលយើងខ្លួនឯងមិនចាំបាច់អនុវត្តអ្វីទាំងអស់សម្រាប់សេវាកម្មមូលដ្ឋានទិន្នន័យដែលបានគ្រប់គ្រងរបស់យើងនៅក្នុង Yandex ។

ហើយនៅកន្លែងណាមួយនៅរដូវស្លឹកឈើជ្រុះឆ្នាំ 2018 គំនិតមួយបានចូលមកក្នុងគំនិតរបស់យើង។ ជាធម្មតាក្រុមមានវិធីជាច្រើនដើម្បីអភិវឌ្ឍមុខងារមួយចំនួន ឬជួសជុលកំហុស ប្រសិនបើអ្នកមិនមានដៃគ្រប់គ្រាន់។ ឧទាហរណ៍ អ្នកអាចជួលអ្នកអភិវឌ្ឍន៍ផ្សេងទៀត ហើយបង់លុយឱ្យគាត់។ ឬ​អ្នក​អាច​ធ្វើ​អ្នក​ហាត់ការ​មួយ​រយៈ ហើយ​ក៏​បើក​ប្រាក់​ខែ​ឱ្យ​គាត់​ខ្លះ​ដែរ។ ប៉ុន្តែនៅតែមានមនុស្សមួយក្រុមធំ ដែលមួយចំនួនពិតជាដឹងពីរបៀបសរសេរកូដរួចហើយ។ អ្នក​គ្រាន់តែ​មិន​ដឹង​ថា​កូដ​មាន​គុណភាព​កម្រិត​ណា​ទេ។

យើងបានគិតអំពីវា ហើយសម្រេចចិត្តព្យាយាមទាក់ទាញសិស្ស។ ប៉ុន្តែសិស្សនឹងមិនចូលរួមក្នុងអ្វីគ្រប់យ៉ាងជាមួយយើងទេ។ ពួកគេនឹងធ្វើតែផ្នែកខ្លះនៃការងារប៉ុណ្ណោះ។ ឧទាហរណ៍ ហើយពួកគេនឹងសរសេរការធ្វើតេស្ត ជួសជុលកំហុស អនុវត្តមុខងារដែលមិនប៉ះពាល់ដល់មុខងារចម្បង។ មុខងារសំខាន់គឺបង្កើតការបម្រុងទុក និងស្ដារការបម្រុងទុក។ ប្រសិនបើយើងមានកំហុសក្នុងការបង្កើតការបម្រុងទុក យើងនឹងជួបប្រទះការបាត់បង់ទិន្នន័យ។ ហើយពិតណាស់គ្មាននរណាម្នាក់ចង់បាននេះទេ។ មនុស្សគ្រប់រូបចង់ឱ្យអ្វីៗទាំងអស់មានសុវត្ថិភាពបំផុត។ ដូច្នេះហើយ ជា​ការ​ពិត​ណាស់ យើង​មិន​ចង់​ទុក​ឲ្យ​កូដ​ដែល​យើង​ទុក​ចិត្ត​តិច​ជាង​ខ្លួន​យើង​ទេ។ នោះ​គឺ​កូដ​ដែល​មិន​សំខាន់​គឺ​ជា​អ្វី​ដែល​យើង​ចង់​ទទួល​បាន​ពី​កម្មករ​បន្ថែម​របស់​យើង។

តើ PR របស់សិស្សត្រូវបានទទួលយកនៅក្រោមលក្ខខណ្ឌអ្វីខ្លះ?

• ពួកគេតម្រូវឱ្យគ្របដណ្តប់លេខកូដរបស់ពួកគេជាមួយនឹងការធ្វើតេស្ត។ អ្វីគ្រប់យ៉ាងគួរតែកើតឡើងនៅក្នុង CI ។
• ហើយយើងក៏ឆ្លងកាត់ការវាយតម្លៃចំនួន 2 ផងដែរ។ មួយដោយ Andrey Borodin និងមួយដោយខ្ញុំ។
• ហើយលើសពីនេះទៅទៀត ដើម្បីពិនិត្យមើលថាវានឹងមិនធ្វើឱ្យខូចអ្វីទាំងអស់នៅក្នុងសេវាកម្មរបស់យើង ខ្ញុំបានផ្ទុកឡើងដោយឡែកពីគ្នាជាមួយនឹងការប្តេជ្ញាចិត្តនេះ។ ហើយ​យើង​ពិនិត្យ​មើល​ការ​ធ្វើ​តេស្ត​ពី​ចុង​ដល់​ចប់​ថា​មិន​មាន​អ្វី​បរាជ័យ​ទេ។

វគ្គសិក្សាពិសេសស្តីពីប្រភពបើកចំហ

បន្តិចអំពីមូលហេតុដែលវាត្រូវការ ហើយហេតុអ្វីបានជាវាហាក់ដូចជាខ្ញុំ គឺជាគំនិតដ៏ល្អមួយ។

សម្រាប់យើង ប្រាក់ចំណេញគឺជាក់ស្តែង៖

• យើងទទួលបានដៃបន្ថែម។
• ហើយយើងកំពុងស្វែងរកបេក្ខជនសម្រាប់ក្រុមក្នុងចំណោមសិស្សឆ្លាតដែលសរសេរកូដឆ្លាតវៃ។

តើអ្វីជាអត្ថប្រយោជន៍សម្រាប់សិស្ស?

ពួកគេប្រហែលជាមិនសូវច្បាស់ទេ ពីព្រោះយ៉ាងហោចណាស់ សិស្សមិនទទួលបានប្រាក់សម្រាប់លេខកូដដែលពួកគេសរសេរនោះទេ ប៉ុន្តែទទួលបានតែពិន្ទុសម្រាប់កំណត់ត្រាសិស្សរបស់ពួកគេ។

ខ្ញុំបានសួរពួកគេអំពីរឿងនេះ។ ហើយនៅក្នុងពាក្យរបស់ពួកគេ:

• បទពិសោធន៍របស់អ្នកចូលរួមនៅក្នុងប្រភពបើកចំហ។
• ទទួលបានបន្ទាត់នៅក្នុង CV របស់អ្នក។
• សាកល្បងខ្លួនអ្នកហើយឆ្លងកាត់ការសម្ភាសន៍នៅក្នុង Yandex ។
• ក្លាយជាសមាជិក GSoC ។
• +1 វគ្គពិសេសសម្រាប់អ្នកចង់សរសេរកូដ។

ខ្ញុំនឹងមិននិយាយអំពីរបៀបដែលវគ្គសិក្សាត្រូវបានរៀបចំឡើងនោះទេ។ ខ្ញុំគ្រាន់តែនិយាយថា WAL-G គឺជាគម្រោងសំខាន់។ យើងក៏បានរួមបញ្ចូលគម្រោងដូចជា Odyssey, PostgreSQL និង ClickHouse នៅក្នុងវគ្គសិក្សានេះ។

ហើយ​ពួកគេ​បាន​ផ្តល់​បញ្ហា​មិន​ត្រឹម​តែ​ក្នុង​វគ្គ​សិក្សា​នេះ​ប៉ុណ្ណោះ​ទេ ប៉ុន្តែ​ថែម​ទាំង​បាន​ផ្តល់​សញ្ញាប័ត្រ និង​ការងារ​សិក្សា​ផង​ដែរ។

ចុះ​ចំណែក​អ្នក​ប្រើ​វិញ​មាន​ប្រយោជន៍​យ៉ាង​ណា?

ឥឡូវនេះ ចូរបន្តទៅផ្នែកដែលអ្នកចាប់អារម្មណ៍បំផុត។ តើ​នេះ​ធ្វើ​អ្វី​ដែល​ល្អ​អ្នក? ចំនុចនោះគឺថាសិស្សបានជួសជុលកំហុសជាច្រើន។ ហើយ​យើង​បាន​បង្កើត​លក្ខណៈ​ពិសេស​សំណើ​ដែល​អ្នក​បាន​ស្នើ​ឱ្យ​យើង​ធ្វើ។

ហើយ​ខ្ញុំ​សូម​ប្រាប់​អ្នក​ពី​អ្វី​ដែល​អ្នក​ចង់​បាន​ជា​យូរ​មក​ហើយ​ដែល​បាន​សម្រេច។

Tablespaces គាំទ្រ។ Tablespaces ក្នុង WAL-G ត្រូវបានគេរំពឹងថាប្រហែលជាចាប់តាំងពីការចេញផ្សាយ WAL-G មកម្ល៉េះ ពីព្រោះ WAL-G គឺជាអ្នកស្នងតំណែងរបស់ឧបករណ៍បម្រុងទុកមួយផ្សេងទៀត WAL-E ដែលការបម្រុងទុកមូលដ្ឋានទិន្នន័យជាមួយចន្លោះតារាងត្រូវបានគាំទ្រ។

ខ្ញុំសូមរំលឹកអ្នកដោយសង្ខេបថាវាជាអ្វី និងហេតុអ្វីបានជាវាចាំបាច់ទាំងអស់។ ជាធម្មតា ទិន្នន័យ Postgres របស់អ្នកទាំងអស់កាន់កាប់ថតមួយនៅលើប្រព័ន្ធឯកសារ ដែលហៅថាមូលដ្ឋាន។ ហើយថតនេះមានឯកសារ និងថតរងទាំងអស់ដែលទាមទារដោយ Postgres រួចហើយ។

Tablespaces គឺជាថតដែលមានទិន្នន័យ Postgres ប៉ុន្តែវាមិនមានទីតាំងនៅខាងក្រៅថតមូលដ្ឋានទេ។ ស្លាយបង្ហាញថា tablespacs មានទីតាំងនៅខាងក្រៅថតមូលដ្ឋាន។

តើនេះមើលទៅដូចអ្វីសម្រាប់ Postgres ខ្លួនវា? មានថតរង pg_tblspc ដាច់ដោយឡែកនៅក្នុងថតមូលដ្ឋាន។ ហើយវាមានតំណភ្ជាប់និមិត្តសញ្ញាទៅកាន់ថតដែលពិតជាមានទិន្នន័យ Postgres នៅខាងក្រៅថតមូលដ្ឋាន។

នៅពេលអ្នកប្រើទាំងអស់នេះ នោះសម្រាប់អ្នក ពាក្យបញ្ជាទាំងនេះអាចមើលទៅដូចនេះ។ នោះគឺអ្នកបង្កើតតារាងក្នុងតារាងដែលបានបញ្ជាក់មួយចំនួន ហើយមើលថាតើវានៅទីណាឥឡូវនេះ។ ទាំងនេះគឺជាបន្ទាត់ពីរចុងក្រោយដែលជាពាក្យបញ្ជាពីរចុងក្រោយហៅថា។ ហើយនៅទីនោះវាច្បាស់ណាស់ថាមានវិធីខ្លះ។ ប៉ុន្តែ​តាម​ពិត នេះ​មិន​មែន​ជា​វិធី​ពិត​ទេ។ នេះ​ជា​ផ្លូវ​បុព្វបទ​ពី​ថត​មូលដ្ឋាន​ទៅ​ចន្លោះ​តារាង។ ហើយពីទីនោះវាត្រូវបានផ្គូផ្គងជាមួយ symlink ដែលនាំទៅដល់ទិន្នន័យពិតរបស់អ្នក។

យើងមិនប្រើទាំងអស់នេះនៅក្នុងក្រុមរបស់យើងទេ ប៉ុន្តែវាត្រូវបានប្រើប្រាស់ដោយអ្នកប្រើប្រាស់ WAL-E ជាច្រើននាក់ផ្សេងទៀត ដែលបានសរសេរមកពួកយើងថាពួកគេចង់ផ្លាស់ទីទៅ WAL-G ប៉ុន្តែវាត្រូវបានបញ្ឈប់ពួកគេ។ ឥឡូវ​នេះ​ត្រូវ​បាន​គាំទ្រ។

លក្ខណៈពិសេសមួយទៀតដែលវគ្គសិក្សាពិសេសរបស់យើងបាននាំមកយើងគឺការចាប់។ មនុស្សដែលប្រហែលជាបានធ្វើការជាមួយ Oracle ច្រើនជាងជាមួយ Postgres ដឹងពីការចាប់។

សង្ខេបអំពីអ្វីដែលវាគឺជា។ លក្ខណៈចង្កោមនៅក្នុងសេវាកម្មរបស់យើងជាធម្មតាមើលទៅដូចនេះ។ យើងមានមេ។ មានការចម្លងដែលស្ទ្រីមកំណត់ហេតុសរសេរជាមុនពីវា។ ហើយ​ការចម្លង​ប្រាប់​ម្ចាស់​ថា​តើ LSN មួយណា​ដែល​វា​កំពុង​ដំណើរការ​បច្ចុប្បន្ន។ ហើយនៅកន្លែងណាមួយស្របជាមួយនេះ កំណត់ហេតុអាចត្រូវបានទុកក្នុងប័ណ្ណសារ។ ហើយបន្ថែមពីលើការរក្សាទុកកំណត់ហេតុ ការបម្រុងទុកក៏ត្រូវបានផ្ញើទៅពពកផងដែរ។ ហើយការបម្រុងទុក delta ត្រូវបានផ្ញើ។

តើអ្វីអាចជាបញ្ហា? នៅពេលដែលអ្នកមានមូលដ្ឋានទិន្នន័យធំល្មម វាអាចបង្ហាញថាការចម្លងរបស់អ្នកចាប់ផ្តើមយឺតយ៉ាវនៅពីក្រោយមេ។ ហើយ​នាង​នៅ​យឺតយ៉ាវ​រហូត​មក​ដល់​ពេល​នេះ​នាង​មិន​អាច​តាម​ទាន់​បាន​ឡើយ។ បញ្ហានេះជាធម្មតាត្រូវដោះស្រាយតាមរបៀបណាមួយ។

ហើយមធ្យោបាយងាយស្រួលបំផុតគឺត្រូវលុបការចម្លងចេញ ហើយបង្ហោះវាឡើងវិញ ព្រោះវានឹងមិនដែលតាមទាន់ ហើយបញ្ហាត្រូវដោះស្រាយ។ ប៉ុន្តែនេះគឺមានរយៈពេលយូរណាស់ ពីព្រោះការស្ដារការបម្រុងទុកមូលដ្ឋានទិន្នន័យ 10 TB ទាំងមូលគឺជាពេលវេលាដ៏យូរខ្លាំងណាស់។ ហើយយើងចង់ធ្វើអ្វីៗទាំងអស់នេះឱ្យបានលឿនតាមដែលអាចធ្វើទៅបាន ប្រសិនបើមានបញ្ហាបែបនេះកើតឡើង។ ហើយនោះជាអ្វីដែលចាប់បានសម្រាប់។

Catchup អនុញ្ញាតឱ្យអ្នកប្រើការបម្រុងទុក delta ដែលត្រូវបានរក្សាទុកក្នុងពពកតាមរបៀបនេះ។ អ្នកនិយាយថា LSN មួយណាដែលការចម្លងដែលយឺតយ៉ាវបច្ចុប្បន្នកំពុងបើក ហើយបញ្ជាក់វានៅក្នុងពាក្យបញ្ជាចាប់យក ដើម្បីបង្កើតការបម្រុងទុកតំបន់ដីសណ្តរវាង LSN និង LSN ដែលក្រុមរបស់អ្នកស្ថិតនៅបច្ចុប្បន្ន។ ហើយ​បន្ទាប់​ពី​នោះ អ្នក​ស្ដារ​ការ​បម្រុង​ទុក​នេះ​ឡើង​វិញ​ទៅ​នឹង​ការ​ចម្លង​ដែល​យឺត​យ៉ាវ។

មូលដ្ឋានផ្សេងទៀត។

សិស្សក៏បាននាំយើងនូវលក្ខណៈពិសេសជាច្រើនក្នុងពេលតែមួយ។ ដោយសារនៅ Yandex យើងចម្អិនមិនត្រឹមតែ Postgres ប៉ុណ្ណោះទេ យើងក៏មាន MySQL, MongoDB, Redis, ClickHouse ផងដែរ នៅចំណុចខ្លះ យើងត្រូវមានលទ្ធភាពធ្វើការបម្រុងទុកជាមួយនឹងការងើបឡើងវិញតាមពេលវេលាសម្រាប់ MySQL ហើយដើម្បីឱ្យមានឱកាសផ្ទុកឡើង។ ពួកគេទៅពពក។

ហើយយើងចង់ធ្វើវាតាមរបៀបស្រដៀងគ្នាទៅនឹងអ្វីដែល WAL-G ធ្វើ។ ហើយ​យើង​បាន​សម្រេច​ចិត្ត​សាកល្បង​មើល​ថា​តើ​វា​នឹង​មាន​រូបរាង​យ៉ាង​ណា។

ហើយដំបូងឡើយ ដោយមិនបានចែករំលែកតក្កវិជ្ជានេះតាមមធ្យោបាយណាមួយឡើយ ពួកគេបានសរសេរកូដនៅក្នុងសម។ ពួក​គេ​បាន​ឃើញ​ថា យើង​មាន​គំរូ​ការងារ​មួយ​ចំនួន ហើយ​វា​អាច​ហោះ​ហើរ​បាន។ បន្ទាប់មកយើងគិតថាសហគមន៍សំខាន់របស់យើងគឺ postgresists ពួកគេប្រើ WAL-G ។ ដូច្នេះហើយ យើងត្រូវបែងចែកផ្នែកទាំងនេះដោយដូចម្ដេច។ នោះគឺនៅពេលដែលយើងកែសម្រួលកូដសម្រាប់ Postgres យើងមិនបំបែក MySQL ទេ នៅពេលដែលយើងកែសម្រួល MySQL យើងមិនបំបែក Postgres ទេ។

គំនិតដំបូងអំពីរបៀបបំបែកនេះគឺជាគំនិតនៃការប្រើប្រាស់វិធីសាស្រ្តដូចគ្នាដែលត្រូវបានប្រើនៅក្នុងផ្នែកបន្ថែម PostgreSQL ។ ហើយតាមពិត ដើម្បីបង្កើតការបម្រុងទុក MySQL អ្នកត្រូវដំឡើងបណ្ណាល័យថាមវន្តមួយចំនួន។

ប៉ុន្តែនៅទីនេះ asymmetry នៃវិធីសាស្រ្តនេះគឺអាចមើលឃើញភ្លាម។ នៅពេលអ្នកបម្រុងទុក Postgres អ្នកដាក់ការបម្រុងទុកធម្មតាសម្រាប់ Postgres នៅលើវា ហើយអ្វីៗគឺល្អ។ ហើយសម្រាប់ MySQL វាប្រែថាអ្នកដំឡើងការបម្រុងទុកសម្រាប់ Postgres ហើយដំឡើងបណ្ណាល័យថាមវន្តសម្រាប់ MySQL សម្រាប់វា។ ស្តាប់ទៅដូចជាចម្លែក។ យើង​គិត​ដូច្នេះ​ដែរ ហើយ​បាន​សម្រេច​ថា នេះ​មិន​មែន​ជា​ដំណោះ​ស្រាយ​ដែល​យើង​ត្រូវ​ការ។

ការស្ថាបនាផ្សេងៗសម្រាប់ Postgres, MySQL, MongoDB, Redis

ប៉ុន្តែនេះអនុញ្ញាតឱ្យយើង វាហាក់ដូចជាពួកយើងដើម្បីមករកការសម្រេចចិត្តត្រឹមត្រូវ - ដើម្បីបែងចែកសភាផ្សេងគ្នាសម្រាប់មូលដ្ឋានផ្សេងគ្នា។ នេះធ្វើឱ្យវាអាចធ្វើទៅបានដើម្បីបំបែកតក្កវិជ្ជាដែលភ្ជាប់ទៅនឹងការបម្រុងទុកនៃមូលដ្ឋានទិន្នន័យផ្សេងៗដែលនឹងចូលប្រើ API ទូទៅដែល WAL-G អនុវត្ត។

នេះគឺជាផ្នែកដែលយើងបានសរសេរដោយខ្លួនឯង - មុនពេលផ្តល់ឱ្យសិស្សនូវបញ្ហា។ នោះ​គឺ​ជា​ផ្នែក​មួយ​ដែល​ពួក​គេ​អាច​ធ្វើ​អ្វី​មួយ​ខុស ដូច្នេះ​យើង​សម្រេច​ចិត្ត​ថា​យើង​គួរ​ធ្វើ​អ្វី​មួយ​បែប​នេះ​ល្អ​ជាង ហើយ​អ្វីៗ​នឹង​ល្អ​ប្រសើរ។

បន្ទាប់ពីនោះយើងបានដោះស្រាយបញ្ហា។ ពួកគេត្រូវបានរុះរើភ្លាមៗ។ សិស្សត្រូវបានតម្រូវឱ្យគាំទ្រមូលដ្ឋានចំនួនបី។

នេះគឺជា MySQL ដែលយើងបានបម្រុងទុកដោយប្រើ WAL-G តាមរបៀបនេះអស់រយៈពេលជាងមួយឆ្នាំ។

ហើយឥឡូវនេះ MongoDB កំពុងខិតជិតដល់ការផលិតដែលពួកគេកំពុងបញ្ចប់វាជាមួយនឹងឯកសារមួយ។ តាមការពិត យើងសរសេរក្របខ័ណ្ឌសម្រាប់អ្វីៗទាំងអស់នេះ។ បន្ទាប់​មក សិស្ស​បាន​សរសេរ​រឿង​ដែល​អាច​ធ្វើ​បាន​ខ្លះ។ ហើយបន្ទាប់មកយើងនាំពួកគេទៅរដ្ឋដែលយើងអាចទទួលយកបាននៅក្នុងផលិតកម្ម។

បញ្ហាទាំងនេះមិនមើលទៅដូចសិស្សដែលចាំបាច់ត្រូវសរសេរឧបករណ៍បម្រុងទុកពេញលេញសម្រាប់មូលដ្ឋានទិន្នន័យនីមួយៗនោះទេ។ យើង​មិន​មាន​បញ្ហា​បែប​នេះ​ទេ។ បញ្ហារបស់យើងគឺថា យើងចង់បានការសង្គ្រោះទាន់ពេលវេលា ហើយយើងចង់បម្រុងទុកទៅពពក។ ហើយ​ពួកគេ​បាន​សុំ​ឲ្យ​សិស្ស​សរសេរ​កូដ​មួយ​ចំនួន​ដែល​អាច​ដោះស្រាយ​បញ្ហា​នេះ។ សិស្សបានប្រើឧបករណ៍បម្រុងទុកដែលមានស្រាប់ ដែលយកការបម្រុងទុក ហើយបន្ទាប់មកភ្ជាប់វាទាំងអស់ជាមួយ WAL-G ដែលបញ្ជូនវាទាំងអស់ទៅពពក។ ហើយ​ពួក​គេ​ក៏​បាន​បន្ថែម​ការ​ងើប​ឡើង​វិញ​ទាន់​ពេល​វេលា​ទៅ​នឹង​រឿង​នេះ។

តើសិស្សបានយកអ្វីទៀត? ពួកគេបាននាំយកការគាំទ្រការអ៊ិនគ្រីប Libsodium ទៅ WAL-G ។

យើងក៏មានគោលការណ៍ផ្ទុកទិន្នន័យបម្រុងផងដែរ។ ឥឡូវនេះ ការបម្រុងទុកអាចត្រូវបានសម្គាល់ថាជាអចិន្ត្រៃយ៍។ ហើយដូចម្ដេចដែលវាកាន់តែងាយស្រួលសម្រាប់សេវាកម្មរបស់អ្នកដើម្បីធ្វើស្វ័យប្រវត្តិកម្មដំណើរការនៃការរក្សាទុកពួកវា។

តើលទ្ធផលនៃការពិសោធន៍នេះជាអ្វី?

មនុស្សជាង 100 នាក់ដំបូងបានចុះឈ្មោះសម្រាប់វគ្គសិក្សា។ ដំបូងខ្ញុំមិនបាននិយាយថាសាកលវិទ្យាល័យនៅ Yekaterinburg គឺជាសាកលវិទ្យាល័យ Ural Federal ទេ។ យើងបានប្រកាសអ្វីគ្រប់យ៉ាងនៅទីនោះ។ មនុស្ស 100 នាក់បានចុះឈ្មោះ។ តាមពិតមានមនុស្សតិចណាស់ដែលចាប់ផ្តើមធ្វើអ្វីមួយប្រហែល 30 នាក់។

សូម្បីតែមានមនុស្សតិចណាស់ដែលបានបញ្ចប់វគ្គនេះ ព្រោះវាចាំបាច់ក្នុងការសរសេរតេស្តសម្រាប់លេខកូដដែលមានរួចហើយ។ ហើយក៏ជួសជុលកំហុសមួយចំនួន ឬបង្កើតមុខងារមួយចំនួនផងដែរ។ ហើយ​សិស្ស​មួយ​ចំនួន​នៅ​តែ​បិទ​វគ្គ​សិក្សា។

បច្ចុប្បន្ននេះ ក្នុងអំឡុងពេលវគ្គសិក្សានេះ សិស្សបានជួសជុលបញ្ហាចំនួន 14 និងបង្កើតលក្ខណៈពិសេសចំនួន 10 ដែលមានទំហំខុសៗគ្នា។ ហើយវាហាក់ដូចជាខ្ញុំ នេះគឺជាការជំនួសពេញលេញនៃអ្នកអភិវឌ្ឍន៍មួយ ឬពីរនាក់។

ក្នុងចំណោមរបស់ផ្សេងទៀត យើងបានចេញសញ្ញាបត្រ និងការងារសិក្សា។ និង​១២​នាក់​ទទួល​បាន​សញ្ញាបត្រ​។ 12 ក្នុងចំណោមពួកគេបានការពារខ្លួនរួចហើយនៅ "6" ។ អ្នកដែលនៅសេសសល់មិនទាន់មានការការពារទេ ប៉ុន្តែខ្ញុំគិតថាអ្វីៗក៏ល្អសម្រាប់ពួកគេដែរ។

ផែនការសម្រាប់អនាគត

តើ​យើង​មាន​ផែនការ​អ្វី​សម្រាប់​អនាគត?

យ៉ាងហោចណាស់មុខងារទាំងនោះស្នើសុំដែលយើងបានឮរួចហើយពីអ្នកប្រើប្រាស់ ហើយចង់ធ្វើ។ នេះ៖

• ការត្រួតពិនិត្យភាពត្រឹមត្រូវនៃការតាមដានពេលវេលានៅក្នុងប័ណ្ណសារបម្រុងទុកចង្កោម HA ។ អ្នកអាចធ្វើវាជាមួយ WAL-G ។ ហើយ​ខ្ញុំ​គិត​ថា យើង​នឹង​មាន​សិស្ស​ដែល​នឹង​លើក​យក​បញ្ហា​នេះ។
• យើងមានមនុស្សម្នាក់ដែលទទួលខុសត្រូវក្នុងការផ្ទេរការបម្រុងទុក និង WAL រវាងពពករួចហើយ។
• ហើយថ្មីៗនេះ យើងបានបោះផ្សាយគំនិតមួយដែលយើងអាចបង្កើនល្បឿន WAL-G កាន់តែខ្លាំងដោយការពន្លាការបម្រុងទុកបន្ថែមដោយមិនចាំបាច់សរសេរទំព័រឡើងវិញ និងបង្កើនប្រសិទ្ធភាពបណ្ណសារដែលយើងផ្ញើទៅទីនោះ។

អ្នកអាចចែករំលែកវានៅទីនេះ

តើរបាយការណ៍នេះសម្រាប់អ្វី? លើសពីនេះទៅទៀត ឥឡូវនេះ ក្រៅពីមនុស្ស 4 នាក់ដែលគាំទ្រគម្រោងនេះ យើងមានដៃបន្ថែម ដែលក្នុងនោះមានច្រើនណាស់។ ជាពិសេសប្រសិនបើអ្នកសរសេរទៅកាន់ពួកគេនៅក្នុងសារផ្ទាល់ខ្លួន។ ហើយប្រសិនបើអ្នកបម្រុងទុកទិន្នន័យរបស់អ្នក ហើយធ្វើវាដោយប្រើ WAL-G ឬចង់ផ្លាស់ទីទៅ WAL-G នោះយើងអាចបំពេញតាមបំណងប្រាថ្នារបស់អ្នកយ៉ាងងាយស្រួល។

នេះគឺជាលេខកូដ QR និងតំណភ្ជាប់។ អ្នកអាចឆ្លងកាត់ពួកគេហើយសរសេរបំណងប្រាថ្នារបស់អ្នកទាំងអស់។ ឧទាហរណ៍ យើង​មិន​បាន​ជួសជុល​កំហុស​មួយ​ចំនួន​ទេ។ ឬអ្នកពិតជាចង់បានលក្ខណៈពិសេសមួយចំនួន ប៉ុន្តែសម្រាប់ហេតុផលមួយចំនួនវាមិនទាន់មាននៅក្នុងការបម្រុងទុកណាមួយ រួមទាំងរបស់យើងផងដែរ។ ត្រូវប្រាកដថាសរសេរអំពីរឿងនេះ។

សំណួរ

សួស្តី! អរគុណសម្រាប់របាយការណ៍! សំណួរអំពី WAL-G ប៉ុន្តែមិនមែនអំពី Postgres ទេ។ WAL-G បម្រុងទុក MySQL ហើយហៅការបម្រុងទុកបន្ថែម។ ប្រសិនបើយើងយកការដំឡើងទំនើបនៅលើ CentOS ហើយប្រសិនបើអ្នកដំឡើង MySQL នោះ MariDB នឹងត្រូវបានដំឡើង។ ពីកំណែ 10.3 ការបម្រុងទុកបន្ថែមមិនត្រូវបានគាំទ្រទេ ការបម្រុងទុក MariDB ត្រូវបានគាំទ្រ។ តើអ្នកសុខសប្បាយជាទេ?

នៅពេលនេះយើងមិនបានព្យាយាមបម្រុងទុក MariDB ទេ។ យើងធ្លាប់មានសំណើសុំជំនួយពី FoundationDB ប៉ុន្តែជាទូទៅប្រសិនបើមានសំណើបែបនេះ យើងអាចស្វែងរកមនុស្សដែលនឹងធ្វើវាបាន។ វាមិនយូរ ឬពិបាកដូចខ្ញុំគិតនោះទេ។

អរុណសួស្តី អរគុណសម្រាប់របាយការណ៍! សំណួរអំពីមុខងារថ្មីៗដែលមានសក្តានុពល។ តើ​អ្នក​ត្រៀម​ខ្លួន​ជា​ស្រេច​ក្នុង​ការ​ធ្វើ​ឱ្យ WAL-G ធ្វើ​ការ​ជាមួយ​ខ្សែ​អាត់​ដើម្បី​ឱ្យ​អ្នក​អាច​បម្រុង​ទុក​ទៅ​ក្នុង​ខ្សែ​អាត់​?

ការបម្រុងទុកនៅលើការផ្ទុកកាសែតជាក់ស្តែងមានន័យ?

បាទ។

មាន Andrei Borodin ដែលអាចឆ្លើយសំណួរនេះបានប្រសើរជាងខ្ញុំ។

(Andrey) បាទ អរគុណសម្រាប់សំណួរ! យើង​មាន​សំណើ​ផ្ទេរ​ការ​បម្រុង​ទុក​ទៅ​កាសែត​ពី​កន្លែង​ផ្ទុក​លើ​ពពក។ ហើយសម្រាប់រឿងនេះ sawing ផ្ទេររវាងពពក។ ដោយសារតែការផ្ទេរពីពពកទៅពពកគឺជាកំណែទូទៅនៃការផ្ទេរកាសែត។ លើសពីនេះ យើងមានស្ថាបត្យកម្មដែលអាចពង្រីកបានក្នុងលក្ខខណ្ឌផ្ទុក។ ដោយវិធីនេះ Storoges ជាច្រើនត្រូវបានសរសេរដោយសិស្ស។ ហើយប្រសិនបើអ្នកសរសេរ Storage សម្រាប់កាសែត នោះវានឹងត្រូវបានគាំទ្រ។ យើងត្រៀមខ្លួនរួចជាស្រេចដើម្បីពិចារណាសំណើទាញ។ នៅទីនោះអ្នកត្រូវសរសេរឯកសារអានឯកសារ។ ប្រសិនបើអ្នកធ្វើរឿងទាំងនេះនៅក្នុង Go ជាធម្មតាអ្នកបញ្ចប់ដោយ 50 បន្ទាត់នៃកូដ។ ហើយបន្ទាប់មកកាសែតនឹងត្រូវបានគាំទ្រនៅក្នុង WAL-G ។

អរគុណសម្រាប់របាយការណ៍! ដំណើរការអភិវឌ្ឍន៍គួរឱ្យចាប់អារម្មណ៍។ ការបម្រុងទុកគឺជាផ្នែកមួយដ៏ធ្ងន់ធ្ងរនៃមុខងារដែលគួរតែត្រូវបានគ្របដណ្តប់យ៉ាងល្អដោយការធ្វើតេស្ត។ នៅពេលអ្នកអនុវត្តមុខងារសម្រាប់មូលដ្ឋានទិន្នន័យថ្មី តើសិស្សក៏សរសេរតេស្តដែរ ឬតើអ្នកសរសេរតេស្តដោយខ្លួនឯង រួចផ្តល់ការអនុវត្តដល់សិស្សដែរឬទេ?

សិស្សក៏សរសេរតេស្តផងដែរ។ ប៉ុន្តែសិស្សបានសរសេរបន្ថែមទៀតសម្រាប់លក្ខណៈពិសេសដូចជាមូលដ្ឋានទិន្នន័យថ្មី។ ពួកគេបានសរសេរការធ្វើតេស្តរួមបញ្ចូល។ ហើយពួកគេសរសេរការធ្វើតេស្តឯកតា។ ប្រសិនបើការរួមបញ្ចូលឆ្លងកាត់ នោះមានន័យថានៅពេលនេះ នេះគឺជាស្គ្រីបដែលអ្នកប្រតិបត្តិដោយដៃ ឬអ្នកមាន cron ធ្វើវាជាឧទាហរណ៍។ នោះគឺស្គ្រីបនៅទីនោះគឺច្បាស់ណាស់។

សិស្សមិនមានបទពិសោធន៍ច្រើនទេ។ តើការពិនិត្យឡើងវិញត្រូវចំណាយពេលច្រើនទេ?

បាទ ការពិនិត្យត្រូវចំណាយពេលច្រើនណាស់។ នោះគឺជាធម្មតា នៅពេលដែលគណៈកម្មការជាច្រើនមកម្តង ហើយនិយាយថាខ្ញុំធ្វើនេះ ខ្ញុំបានធ្វើវា បន្ទាប់មកអ្នកត្រូវគិត និងទុកពេលប្រហែលកន្លះថ្ងៃដើម្បីស្វែងយល់ថាពួកគេសរសេរអ្វីនៅទីនោះ។ ដោយសារតែលេខកូដត្រូវតែអានដោយប្រុងប្រយ័ត្ន។ ពួកគេមិនមានសម្ភាសន៍ទេ។ យើងមិនស្គាល់ពួកគេច្បាស់ទេ ដូច្នេះវាត្រូវការពេលវេលាច្រើន។

អរគុណសម្រាប់របាយការណ៍! ពីមុន Andrey Borodin បាននិយាយថា archive_command នៅក្នុង WAL-G គួរតែត្រូវបានហៅដោយផ្ទាល់។ ប៉ុន្តែនៅក្នុងករណីនៃប្រភេទនៃ cartridge ចង្កោមមួយចំនួន យើងត្រូវការតក្កវិជ្ជាបន្ថែមដើម្បីកំណត់ថ្នាំងដែលត្រូវបញ្ជូន shafts ។ តើអ្នកដោះស្រាយបញ្ហានេះដោយខ្លួនឯងដោយរបៀបណា?

តើអ្នកមានបញ្ហាអ្វីនៅទីនេះ? ចូរនិយាយថាអ្នកមានការចម្លងសមកាលកម្មដែលអ្នកកំពុងធ្វើការបម្រុងទុក? ឬអ្វី?

(Andrey) ការពិតគឺថា WAL-G ពិតជាមានបំណងប្រើដោយគ្មានស្គ្រីបសែល។ ប្រសិនបើមានអ្វីមួយបាត់នោះ ចូរយើងបន្ថែមតក្កវិជ្ជាដែលគួរតែនៅខាងក្នុង WAL-G ។ ចំពោះកន្លែងដែលការរក្សាទុកគួរតែមកពីណា យើងជឿថាការរក្សាទុកគួរតែមកពីមេបច្ចុប្បន្ននៅក្នុងចង្កោម។ ការទុកក្នុងប័ណ្ណសារពីការចម្លងគឺជាគំនិតមិនល្អ។ មានសេណារីយ៉ូផ្សេងៗដែលអាចកើតមានជាមួយនឹងបញ្ហា។ ជាពិសេស បញ្ហាជាមួយនឹងការរក្សាទុកពេលវេលាកំណត់ និងព័ត៌មានបន្ថែមណាមួយ។ អរគុណសម្រាប់សំណួរ!

(បញ្ជាក់៖ យើង​បាន​កម្ចាត់​ស្គ្រីប​សែល នៅក្នុងបញ្ហានេះ)

រាត្រីសួស្តី! អរគុណសម្រាប់របាយការណ៍! ខ្ញុំចាប់អារម្មណ៍លើមុខងារចាប់យកដែលអ្នកបាននិយាយ។ យើង​ត្រូវ​ប្រឈម​មុខ​នឹង​ស្ថានភាព​ដែល​ការ​ចម្លង​នៅ​ពី​ក្រោយ​ហើយ​មិន​អាច​តាម​ទាន់។ ហើយខ្ញុំមិនបានរកឃើញការពិពណ៌នាអំពីលក្ខណៈពិសេសនេះនៅក្នុងឯកសារ WAL-G ទេ។

Catchup បានបង្ហាញខ្លួនពិតប្រាកដនៅថ្ងៃទី 20 ខែមករា ឆ្នាំ 2020។ ឯកសារអាចត្រូវការការងារបន្ថែមទៀត។ យើង​សរសេរ​វា​ដោយ​ខ្លួន​ឯង ហើយ​យើង​សរសេរ​មិន​បាន​ល្អ​ទេ។ ហើយប្រហែលជាយើងគួរតែចាប់ផ្តើមតម្រូវឱ្យសិស្សសរសេរវា។

ចេញហើយឬនៅ?

សំណើ​ទាញ​បាន​ស្លាប់​រួច​ហើយ ពោល​គឺ​ខ្ញុំ​បាន​ពិនិត្យ​វា។ ខ្ញុំបានសាកល្បងវានៅលើចង្កោមសាកល្បង។ រហូត​មក​ដល់​ពេល​នេះ យើង​មិន​ទាន់​មាន​ស្ថានភាព​ដែល​យើង​អាច​សាកល្បង​វា​ក្នុង​ឧទាហរណ៍​ប្រយុទ្ធ​នោះ​ទេ។

តើត្រូវរំពឹងនៅពេលណា?

ខ្ញុំមិនដឹងទេ។ ចាំមួយខែ យើងនឹងពិនិត្យឱ្យប្រាកដ។

ប្រភព: www.habr.com