ការបម្រុងទុកផ្នែកទី 3៖ ការពិនិត្យឡើងវិញ និងការធ្វើតេស្តភាពស្ទួន ស្ទួន

កំណត់សម្គាល់នេះពិភាក្សាអំពីឧបករណ៍បម្រុងទុកដែលអនុវត្តការបម្រុងទុកដោយបង្កើតប័ណ្ណសារនៅលើម៉ាស៊ីនមេបម្រុងទុក។

ក្នុង​ចំណោម​អ្វី​ដែល​ត្រូវ​នឹង​តម្រូវ​ការ​គឺ​ស្ទួន (ដែល​មាន​ចំណុច​ប្រទាក់​ដ៏​ស្រស់​ស្អាត​ក្នុង​ទម្រង់​នៃ Deja dup) និង​ស្ទួន។

ឧបករណ៍បម្រុងទុកដ៏គួរឱ្យកត់សម្គាល់មួយទៀតគឺ dar ប៉ុន្តែដោយសារវាមានបញ្ជីជម្រើសយ៉ាងទូលំទូលាយ - វិធីសាស្ត្រសាកល្បងគ្របដណ្តប់ស្ទើរតែ 10% នៃអ្វីដែលវាមានសមត្ថភាព - យើងមិនសាកល្បងវាជាផ្នែកមួយនៃវដ្តបច្ចុប្បន្នទេ។

លទ្ធផលរំពឹងទុក

ដោយសារបេក្ខជនទាំងពីរនាក់បង្កើតបណ្ណសារតាមមធ្យោបាយមួយ ឬមធ្យោបាយផ្សេងទៀត tar ធម្មតាអាចត្រូវបានប្រើជាការណែនាំ។

លើសពីនេះ យើងនឹងវាយតម្លៃថាតើការរក្សាទុកទិន្នន័យនៅលើម៉ាស៊ីនមេផ្ទុកទិន្នន័យបានល្អប៉ុណ្ណា ដោយបង្កើតច្បាប់ចម្លងបម្រុងទុកដែលមានតែភាពខុសគ្នារវាងច្បាប់ចម្លងពេញលេញ និងស្ថានភាពបច្ចុប្បន្ននៃឯកសារ ឬរវាងបណ្ណសារពីមុន និងបច្ចុប្បន្ន (បង្កើន បន្ថយ។ ល។ ) .

ឥរិយាបថនៅពេលបង្កើតការបម្រុងទុក៖

1. ឯកសារមួយចំនួនតូចនៅលើម៉ាស៊ីនមេផ្ទុកទិន្នន័យបម្រុងទុក (អាចប្រៀបធៀបទៅនឹងចំនួនច្បាប់ចម្លងបម្រុងទុក ឬទំហំនៃទិន្នន័យគិតជា GB) ប៉ុន្តែទំហំរបស់វាមានទំហំធំណាស់ (រាប់សិបទៅរាប់រយមេហ្គាបៃ)។
2. ទំហំឃ្លាំងនឹងរួមបញ្ចូលតែការផ្លាស់ប្តូរប៉ុណ្ណោះ - គ្មានការស្ទួននឹងត្រូវបានរក្សាទុកទេ ដូច្នេះទំហំឃ្លាំងនឹងតូចជាងកម្មវិធីដែលមានមូលដ្ឋានលើ rsync ។
3. រំពឹងថានឹងមានការផ្ទុកស៊ីភីយូខ្លាំង នៅពេលប្រើការបង្ហាប់ និង/ឬការអ៊ិនគ្រីប ហើយទំនងជាការផ្ទុកបណ្តាញ និងថាសខ្ពស់ ប្រសិនបើដំណើរការរក្សាទុក និង/ឬអ៊ិនគ្រីបកំពុងដំណើរការនៅលើម៉ាស៊ីនមេផ្ទុកទិន្នន័យបម្រុង។

តោះរត់ពាក្យបញ្ជាខាងក្រោមជាតម្លៃយោង៖

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

លទ្ធផលនៃការអនុវត្តមានដូចខាងក្រោម៖

ពេលវេលាអនុវត្ត 3m12s ។ វាអាចត្រូវបានគេមើលឃើញថាល្បឿនត្រូវបានកំណត់ដោយប្រព័ន្ធរងឌីសនៃម៉ាស៊ីនមេផ្ទុកទិន្នន័យបម្រុងទុកដូចនៅក្នុងឧទាហរណ៍ជាមួយ rsync. លឿន​បន្តិច​ហើយ​ព្រោះ... ការថតចម្លងទៅឯកសារមួយ។

ដូចគ្នានេះផងដែរ ដើម្បីវាយតម្លៃការបង្ហាប់ សូមដំណើរការជម្រើសដូចគ្នា ប៉ុន្តែបើកការបង្ហាប់នៅលើផ្នែកម៉ាស៊ីនមេបម្រុងទុក៖

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

លទ្ធផលគឺ៖

ពេលវេលាអនុវត្ត 10m11s ។ ភាគច្រើនទំនងជាបញ្ហាស្ទះគឺម៉ាស៊ីនបង្ហាប់លំហូរតែមួយនៅលើចុងទទួល។

ពាក្យបញ្ជាដូចគ្នាប៉ុន្តែជាមួយនឹងការបង្ហាប់បានផ្ទេរទៅម៉ាស៊ីនមេជាមួយនឹងទិន្នន័យដើមដើម្បីសាកល្បងសម្មតិកម្មថាការកកស្ទះគឺជាម៉ាស៊ីនបង្ហាប់ដែលមានខ្សែតែមួយ។

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

វាប្រែចេញដូចនេះ៖

ពេលវេលាប្រតិបត្តិគឺ 9m37s ។ ការផ្ទុកនៅលើស្នូលមួយដោយម៉ាស៊ីនបង្ហាប់គឺអាចមើលឃើញយ៉ាងច្បាស់, ដោយសារតែ ល្បឿនផ្ទេរបណ្តាញ និងការផ្ទុកនៅលើប្រព័ន្ធរងថាសប្រភពគឺស្រដៀងគ្នា។

ដើម្បីវាយតម្លៃការអ៊ិនគ្រីប អ្នកអាចប្រើ openssl ឬ gpg ដោយភ្ជាប់ពាក្យបញ្ជាបន្ថែម openssl ឬ gpg នៅក្នុងបំពង់។ សម្រាប់ឯកសារយោង នឹងមានពាក្យបញ្ជាដូចនេះ៖

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

លទ្ធផលចេញមកដូចនេះ៖

ពេលវេលាប្រតិបត្តិបានប្រែទៅជា 10m30s ចាប់តាំងពីដំណើរការចំនួន 2 កំពុងដំណើរការនៅផ្នែកទទួល - ការរាំងស្ទះគឺជាម៉ាស៊ីនបង្ហាប់ដែលមានខ្សែតែមួយ បូករួមទាំងការអ៊ិនគ្រីបតូច។

UPS៖ តាមសំណើរបស់ bliznezz ខ្ញុំកំពុងបន្ថែមការធ្វើតេស្តជាមួយ pigz ។ ប្រសិនបើអ្នកប្រើតែម៉ាស៊ីនបង្ហាប់វានឹងចំណាយពេល 6m30s ប្រសិនបើអ្នកបន្ថែមការអ៊ិនគ្រីបវានឹងមានប្រហែល 7m ។ ការធ្លាក់ចុះនៅក្នុងក្រាហ្វខាងក្រោមគឺជាឃ្លាំងសម្ងាត់ឌីសដែលមិនបានសម្អាត៖

ការធ្វើតេស្តស្ទួន

Duplicity គឺជាកម្មវិធី python សម្រាប់បម្រុងទុកដោយបង្កើតបណ្ណសារដែលបានអ៊ិនគ្រីបក្នុងទម្រង់ tar ។

សម្រាប់បណ្ណសារបន្ថែម librsync ត្រូវបានប្រើ ដូច្នេះអ្នកអាចរំពឹងពីអាកប្បកិរិយាដែលបានពិពណ៌នានៅក្នុង ប្រកាសមុននៅក្នុងស៊េរី.

ការបម្រុងទុកអាចត្រូវបានអ៊ិនគ្រីប និងចុះហត្ថលេខាដោយប្រើ gnupg ដែលមានសារៈសំខាន់នៅពេលប្រើអ្នកផ្តល់សេវាផ្សេងៗគ្នាសម្រាប់ការរក្សាទុកការបម្រុងទុក (s3, backblaze, gdrive ។ល។)

តោះ​មើល​ថា​លទ្ធផល​យ៉ាង​ណា​៖

ទាំងនេះគឺជាលទ្ធផលដែលយើងទទួលបាននៅពេលដំណើរការដោយគ្មានការអ៊ិនគ្រីប

spoiler

ពេលវេលាដំណើរការនៃការធ្វើតេស្តនីមួយៗ៖

បើកដំណើរការ 1
បើកដំណើរការ 2
បើកដំណើរការ 3

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

ហើយនេះគឺជាលទ្ធផលនៅពេលដែលការអ៊ិនគ្រីប gnupg ត្រូវបានបើក ជាមួយនឹងទំហំគន្លឹះនៃ 2048 ប៊ីត៖

ពេលវេលាប្រតិបត្តិការលើទិន្នន័យដូចគ្នា ជាមួយនឹងការអ៊ិនគ្រីប៖

បើកដំណើរការ 1
បើកដំណើរការ 2
បើកដំណើរការ 3

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

ទំហំប្លុកត្រូវបានចង្អុលបង្ហាញ - 512 មេកាបៃដែលអាចមើលឃើញយ៉ាងច្បាស់នៅក្នុងក្រាហ្វ។ ការផ្ទុករបស់ខួរក្បាលពិតជានៅតែមាន 50% ដែលមានន័យថាកម្មវិធីប្រើប្រាស់ស្នូលដំណើរការមិនលើសពីមួយទេ។

គោលការណ៍នៃប្រតិបត្តិការរបស់កម្មវិធីក៏អាចមើលឃើញយ៉ាងច្បាស់ផងដែរ៖ ពួកគេបានយកទិន្នន័យមួយដុំ បង្រួមវា ហើយផ្ញើវាទៅម៉ាស៊ីនមេផ្ទុកទិន្នន័យបម្រុង ដែលអាចយឺតណាស់។
លក្ខណៈ​ពិសេស​មួយ​ទៀត​គឺ​ម៉ោង​ដំណើរការ​ដែល​អាច​ព្យាករណ៍​បាន​របស់​កម្មវិធី​ដែល​អាស្រ័យ​លើ​ទំហំ​ទិន្នន័យ​ដែល​បាន​ផ្លាស់​ប្តូរ។

ការបើកដំណើរការការអ៊ិនគ្រីបមិនបានបង្កើនពេលវេលាដំណើរការរបស់កម្មវិធីនោះទេ ប៉ុន្តែវាបានបង្កើនការផ្ទុករបស់ខួរក្បាលប្រហែល 10% ដែលអាចជាប្រាក់រង្វាន់ដ៏ល្អ។

ជាអកុសល កម្មវិធីនេះមិនអាចរកឃើញស្ថានការណ៍បានត្រឹមត្រូវជាមួយនឹងការប្តូរឈ្មោះថត ហើយទំហំឃ្លាំងលទ្ធផលបានប្រែទៅជាស្មើនឹងទំហំនៃការផ្លាស់ប្តូរ (ឧទាហរណ៍ទាំងអស់ 18GB) ប៉ុន្តែលទ្ធភាពប្រើប្រាស់ម៉ាស៊ីនមេដែលមិនគួរឱ្យទុកចិត្តសម្រាប់ការបម្រុងទុកយ៉ាងច្បាស់។ គ្របដណ្តប់ឥរិយាបថនេះ។

ការធ្វើតេស្តស្ទួន

កម្មវិធីនេះត្រូវបានសរសេរជា C# ហើយដំណើរការដោយប្រើសំណុំនៃបណ្ណាល័យពីម៉ូណូ។ មាន GUI ក៏ដូចជាកំណែ CLI ។

បញ្ជីប្រហាក់ប្រហែលនៃមុខងារសំខាន់ៗគឺស្រដៀងនឹងភាពស្ទួន រួមទាំងអ្នកផ្តល់កន្លែងផ្ទុកទិន្នន័យបម្រុងផ្សេងៗ ទោះជាយ៉ាងណាក៏ដោយ មិនដូចភាពស្ទួនទេ លក្ខណៈពិសេសភាគច្រើនអាចរកបានដោយគ្មានឧបករណ៍ភាគីទីបី។ ថាតើនេះគឺជាការបូក ឬដកគឺអាស្រ័យលើករណីជាក់លាក់ ប៉ុន្តែសម្រាប់អ្នកចាប់ផ្តើមដំបូង វាទំនងជាងាយស្រួលជាងក្នុងការមានបញ្ជីមុខងារទាំងអស់នៅពីមុខពួកវាក្នុងពេលតែមួយ ជាជាងការដំឡើងកញ្ចប់បន្ថែមសម្រាប់ python ដូចជា ករណីដែលមានភាពស្ទួន។

ចំនុចតូចមួយទៀត - កម្មវិធីសរសេរយ៉ាងសកម្មនូវមូលដ្ឋានទិន្នន័យ sqlite ក្នុងតំបន់ក្នុងនាមអ្នកប្រើប្រាស់ដែលចាប់ផ្តើមការបម្រុងទុក ដូច្នេះអ្នកត្រូវធានាបន្ថែមថាមូលដ្ឋានទិន្នន័យដែលត្រូវការត្រូវបានបញ្ជាក់យ៉ាងត្រឹមត្រូវរាល់ពេលដែលដំណើរការត្រូវបានចាប់ផ្តើមដោយប្រើ cli ។ នៅពេលធ្វើការតាមរយៈ GUI ឬ WEBGUI ព័ត៌មានលម្អិតនឹងត្រូវបានលាក់ពីអ្នកប្រើប្រាស់។

តោះមើលសូចនាករអ្វីដែលដំណោះស្រាយនេះអាចបង្កើតបាន:

ប្រសិនបើអ្នកបិទការអ៊ិនគ្រីប (ហើយ WEBGUI មិនណែនាំឱ្យធ្វើដូចនេះទេ) លទ្ធផលមានដូចខាងក្រោម៖

ម៉ោងធ្វើការ:

បើកដំណើរការ 1
បើកដំណើរការ 2
បើកដំណើរការ 3

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

ជាមួយនឹងការបើកការអ៊ិនគ្រីប ដោយប្រើ aes វាមើលទៅដូចនេះ៖

ម៉ោងធ្វើការ:

បើកដំណើរការ 1
បើកដំណើរការ 2
បើកដំណើរការ 3

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

ហើយប្រសិនបើអ្នកប្រើកម្មវិធីខាងក្រៅ gnupg លទ្ធផលខាងក្រោមចេញមក៖

បើកដំណើរការ 1
បើកដំណើរការ 2
បើកដំណើរការ 3

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

៥ ម ៤០
៥ ម ៤០
៥ ម ៤០

ដូចដែលអ្នកអាចឃើញ កម្មវិធីអាចដំណើរការបានក្នុងខ្សែស្រឡាយជាច្រើន ប៉ុន្តែវាមិនធ្វើឱ្យវាក្លាយជាដំណោះស្រាយដែលមានប្រសិទ្ធភាពជាងនេះទេ ហើយប្រសិនបើអ្នកប្រៀបធៀបការងារអ៊ិនគ្រីប វាកំពុងដំណើរការកម្មវិធីខាងក្រៅ។
វាបានប្រែក្លាយថាលឿនជាងការប្រើប្រាស់បណ្ណាល័យពីសំណុំម៉ូណូ។ នេះអាចបណ្តាលមកពីការពិតដែលថាកម្មវិធីខាងក្រៅត្រូវបានធ្វើឱ្យប្រសើរជាងមុន។

អ្វី​ដែល​ល្អ​មួយ​ទៀត​គឺ​ការ​ពិត​ដែល​ថា​ទំហំ​នៃ​ឃ្លាំង​ត្រូវ​ចំណាយ​ច្រើន​ដូច​ជា​ទិន្នន័យ​ដែល​បាន​ផ្លាស់​ប្តូ​រ​ពិត​ប្រាកដ, i.e. ស្ទួន​បាន​រក​ឃើញ​ការ​ប្តូរ​ឈ្មោះ​ថត​មួយ និង​ដោះស្រាយ​ស្ថានភាព​នេះ​បាន​ត្រឹមត្រូវ។ នេះអាចត្រូវបានគេមើលឃើញនៅពេលដំណើរការការធ្វើតេស្តលើកទីពីរ។

សរុបមក ចំណាប់អារម្មណ៍វិជ្ជមាននៃកម្មវិធី រួមទាំងមានភាពរួសរាយរាក់ទាក់ចំពោះអ្នកទើបនឹងកើតផងដែរ។

Результаты

បេក្ខជនទាំងពីរបានធ្វើការយឺត ប៉ុន្តែជាទូទៅ បើប្រៀបធៀបទៅនឹង tar ធម្មតា មានការរីកចំរើន យ៉ាងហោចណាស់ជាមួយនឹងស្ទួន។ តម្លៃនៃវឌ្ឍនភាពបែបនេះក៏ច្បាស់លាស់ផងដែរ - បន្ទុកគួរឱ្យកត់សម្គាល់
ខួរក្បាល។ ជាទូទៅមិនមានគម្លាតពិសេសក្នុងការទស្សន៍ទាយលទ្ធផលនោះទេ។

ការរកឃើញ

ប្រសិនបើអ្នកមិនចាំបាច់ប្រញាប់ប្រញាល់ទៅកន្លែងណាទេ ហើយថែមទាំងមានដំណើរការទំនេរ ដំណោះស្រាយណាមួយដែលបានពិចារណានឹងធ្វើ ក្នុងករណីណាក៏ដោយ ការងារជាច្រើនត្រូវបានធ្វើដែលមិនគួរត្រូវបានធ្វើម្តងទៀតដោយការសរសេរអក្សររុំនៅលើកំពូលនៃ tar . វត្តមាននៃការអ៊ិនគ្រីបគឺជាទ្រព្យសម្បត្តិចាំបាច់បំផុត ប្រសិនបើម៉ាស៊ីនមេសម្រាប់រក្សាទុកច្បាប់ចម្លងបម្រុងទុកមិនអាចជឿទុកចិត្តបានទាំងស្រុង។

បើប្រៀបធៀបទៅនឹងដំណោះស្រាយដែលមានមូលដ្ឋាន rsync - ការសម្តែងអាចកាន់តែអាក្រក់ជាច្រើនដងបើទោះបីជាការពិតដែលថានៅក្នុងទម្រង់សុទ្ធរបស់វា tar ដំណើរការលឿនជាង rsync 20-30% ។
មានការសន្សំលើទំហំនៃឃ្លាំង ប៉ុន្តែមានតែជាមួយស្ទួនប៉ុណ្ណោះ។

សេចក្តីជូនដំណឹង

ការបម្រុងទុក ផ្នែកទី 1៖ ហេតុអ្វីបានជាត្រូវការការបម្រុងទុក ទិដ្ឋភាពទូទៅនៃវិធីសាស្រ្ត បច្ចេកវិទ្យា
ការបម្រុងទុកផ្នែកទី 2៖ ការពិនិត្យមើល និងសាកល្បងឧបករណ៍បម្រុងទុកដែលមានមូលដ្ឋានលើ rsync
ការបម្រុងទុកផ្នែកទី 3៖ ពិនិត្យ និងសាកល្បងភាពស្ទួន ស្ទួន ឌីហ្សា ឌីអាប់
ការបម្រុងទុកផ្នែកទី 4៖ ពិនិត្យ និងសាកល្បង zbackup, restic, borgbackup
ការបម្រុងទុកផ្នែកទី 5៖ សាកល្បងការបម្រុងទុក bacula និង veeam សម្រាប់លីនុច
ការបម្រុងទុកផ្នែកទី 6: ការប្រៀបធៀបឧបករណ៍បម្រុងទុក
ការបម្រុងទុកផ្នែកទី 7៖ សេចក្តីសន្និដ្ឋាន

ចុះផ្សាយដោយ៖ Pavel Demkovich

ប្រភព: www.habr.com