දත්ත ප්‍රවාහය වෙනම සංරචක (කුට්ටි) වලට කැඩීම මගින් ගබඩාවක් සාදන උපස්ථ මෘදුකාංගය මෙම ලිපියෙන් සලකා බලනු ඇත.
නිධි සංරචක තවදුරටත් සම්පීඩනය කර සංකේතනය කළ හැකි අතර වඩාත්ම වැදගත් වන්නේ - නැවත නැවත උපස්ථ ක්‍රියාවලීන්හිදී - නැවත භාවිතා කිරීමයි.
එවැනි ගබඩාවක උපස්ථ පිටපතක් යනු එකිනෙකට සම්බන්ධ වූ සංරචක දාමයකි, උදාහරණයක් ලෙස, විවිධ හැෂ් ශ්‍රිත මත පදනම්ව.
සමාන විසඳුම් කිහිපයක් තිබේ, මම 3 වෙත අවධානය යොමු කරමි: zbackup, borgbackup සහ restic.
බලාපොරොත්තුවන ප්රතිඵල
සියලුම අයදුම්කරුවන්ට එක් ආකාරයකින් හෝ වෙනත් ආකාරයකින් ගබඩාවක් නිර්මාණය කිරීම අවශ්‍ය වන බැවින්, වඩාත් වැදගත් සාධකයක් වනුයේ ගබඩාවේ ප්‍රමාණය තක්සේරු කිරීමයි. ඉතා මැනවින්, පිළිගත් ක්‍රමවේදයට අනුව එහි ප්‍රමාණය 13 GB නොඉක්මවිය යුතුය, හෝ ඊටත් වඩා අඩු විය යුතුය - හොඳ ප්‍රශස්තකරණයකට යටත්ව.
තාර වැනි ලේඛනාගාර භාවිතා නොකර සෘජුවම ගොනුවල උපස්ථ පිටපත් සෑදීමට මෙන්ම rsync සහ sshfs වැනි අමතර මෙවලම් නොමැතිව ssh/sftp සමඟ වැඩ කිරීමට හැකිවීම ද ඉතා යෝග්‍ය වේ.
උපස්ථ සෑදීමේදී හැසිරීම:
- ගබඩාවේ ප්‍රමාණය වෙනස්වීම්වල ප්‍රමාණයට සමාන වේ, හෝ අඩු වේ.
- සම්පීඩනය සහ/හෝ සංකේතනය භාවිතා කරන විට අධික CPU භාරයක් අපේක්ෂා කරන අතර, සංරක්‍ෂණ සහ/හෝ සංකේතාංකන ක්‍රියාවලිය උපස්ථ ගබඩා සේවාදායකයක් මත ක්‍රියාත්මක වන්නේ නම් තරමක් ඉහළ ජාල සහ තැටි භාරයක් විය හැක.
- ගබඩාවට හානි සිදුවුවහොත්, නව උපස්ථ සෑදීමේදී සහ ප්‍රතිසාධනය කිරීමට උත්සාහ කිරීමේදී ප්‍රමාද දෝෂයක් ඇතිවිය හැක. ගබඩාවේ අඛණ්ඩතාව සහතික කිරීම සඳහා අතිරේක ක්‍රියාමාර්ග සැලසුම් කිරීම හෝ එහි අඛණ්ඩතාව පරීක්ෂා කිරීම සඳහා සාදන ලද මෙවලම් භාවිතා කිරීම අවශ්‍ය වේ.
පෙර ලිපි වලින් එකක පෙන්වා ඇති පරිදි තාර සමඟ වැඩ කිරීම යොමු අගයක් ලෙස ගනු ලැබේ.
zbackup පරීක්ෂා කරමින්
zbackup හි සාමාන්‍ය යාන්ත්‍රණය නම්, වැඩසටහන එකම දත්ත අඩංගු ආදාන දත්ත ප්‍රවාහ ප්‍රදේශ තුළ සොයා ගනී, පසුව විකල්ප වශයෙන් ඒවා සම්පීඩනය කර සංකේතනය කරයි, එක් එක් ප්‍රදේශය එක් වරක් පමණක් ඉතිරි කරයි.
Duplication දැනට පවතින දත්ත වාරණවලට (rsync එය ක්‍රියාත්මක කරන ආකාරය හා සමානව) එරෙහිව බයිට් බයිට් ගැලපීම් පරීක්ෂා කිරීමට ස්ලයිඩින් කවුළුවක් සහිත 64-bit ring hash ශ්‍රිතයක් භාවිතා කරයි.
Multi-threaded lzma සහ lzo සම්පීඩනය සඳහාත්, aes සංකේතනය සඳහාත් භාවිතා වේ. නවතම අනුවාදයන් අනාගතයේදී ගබඩාවෙන් පැරණි දත්ත මකා දැමීමට හැකියාව ඇත.
වැඩසටහන අවම පරායත්තතා සහිතව C++ වලින් ලියා ඇත. කතුවරයා පැහැදිලිවම unix-way වෙතින් ආභාෂය ලබා ඇත, එබැවින් වැඩසටහන උපස්ථ සෑදීමේදී stdin මත දත්ත පිළිගනී, ප්‍රතිසාධනය කිරීමේදී stdout මත සමාන දත්ත ප්‍රවාහයක් නිපදවයි. මේ අනුව, ඔබේම උපස්ථ විසඳුම් ලිවීමේදී zbackup ඉතා හොඳ "ගොඩනැගිල්ලක්" ලෙස භාවිතා කළ හැකිය. උදාහරණයක් ලෙස, ලිපියේ කතුවරයා මෙම වැඩසටහන ආසන්න වශයෙන් 2014 සිට ගෘහ යන්ත්‍ර සඳහා ප්‍රධාන උපස්ථ මෙවලම ලෙස භාවිතා කර ඇත.
වෙනත් ආකාරයකින් ප්‍රකාශ නොකළහොත් දත්ත ප්‍රවාහය සාමාන්‍ය තාරයක් වනු ඇත.
අපි බලමු ප්රතිඵල මොනවද කියලා.
කාර්යය විකල්ප 2 කින් පරීක්ෂා කර ඇත:
- ගබඩාවක් සාදනු ලබන අතර මූලාශ්‍ර දත්ත සමඟ සේවාදායකයේ zbackup දියත් කරනු ලැබේ, පසුව ගබඩාවේ අන්තර්ගතය උපස්ථ ගබඩා සේවාදායකයට මාරු කරනු ලැබේ.
- උපස්ථ ගබඩා සේවාදායකයේ ගබඩාවක් සාදනු ලැබේ, උපස්ථ ගබඩා සේවාදායකයේ ssh හරහා zbackup දියත් කරනු ලැබේ, සහ දත්ත පයිප්ප හරහා එයට යවනු ලැබේ.
පළමු විකල්පයේ ප්රතිඵල පහත පරිදි විය: 43m11s - සංකේතනය නොකළ ගබඩාවක් සහ lzma සම්පීඩකය භාවිතා කරන විට, 19m13s - සම්පීඩකය lzo සමඟ ප්රතිස්ථාපනය කිරීමේදී.
මුල් දත්ත සමඟ සේවාදායකයේ පැටවීම පහත පරිදි විය (lzma සමඟ උදාහරණයක් පෙන්වා ඇත; lzo සමඟ දළ වශයෙන් එකම පින්තූරයක් තිබුණි, නමුත් rsync හි කොටස දළ වශයෙන් කාලයෙන් හතරෙන් එකක් විය):
එවැනි උපස්ථ ක්රියාවලියක් සාපේක්ෂව දුර්ලභ හා කුඩා වෙනස්කම් සඳහා පමණක් සුදුසු බව පැහැදිලිය. zbackup නූල් 1 කට සීමා කිරීම ද ඉතා යෝග්‍ය වේ, එසේ නොමැතිනම් ඉතා ඉහළ CPU භාරයක් වනු ඇත, මන්ද විවිධ නූල් වල වැඩ කිරීමේදී වැඩසටහන ඉතා හොඳයි. තැටියේ බර කුඩා වූ අතර, එය සාමාන්යයෙන් නවීන ssd මත පදනම් වූ තැටි උප පද්ධතියක් සමඟ සැලකිය නොහැකි වනු ඇත. දුරස්ථ සේවාදායකයකට නිධි දත්ත සමමුහුර්ත කිරීමේ ක්‍රියාවලියේ ආරම්භය ද ඔබට පැහැදිලිව දැකගත හැකිය; මෙහෙයුම් වේගය සාමාන්‍ය rsync හා සැසඳිය හැකි අතර උපස්ථ ගබඩා සේවාදායකයේ තැටි උප පද්ධතියේ ක්‍රියාකාරිත්වය මත රඳා පවතී. මෙම ප්රවේශයේ අවාසිය නම් දේශීය ගබඩාවක් ගබඩා කිරීම සහ එහි ප්රතිඵලයක් වශයෙන් දත්ත අනුපිටපත් කිරීමයි.
ප්‍රායෝගිකව වඩාත් සිත්ගන්නාසුළු සහ අදාළ වන්නේ දෙවන විකල්පයයි, උපස්ථ ගබඩා සේවාදායකයේ සෘජුවම zbackup ධාවනය වේ.
පළමුව, අපි lzma සම්පීඩකය සමඟ සංකේතනය භාවිතා නොකර මෙහෙයුම පරීක්ෂා කරන්නෙමු:
එක් එක් පරීක්ෂණ ධාවනයේ ධාවන කාලය:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
ඔබ aes භාවිතයෙන් සංකේතනය සක්‍රීය කරන්නේ නම්, ප්රතිඵල ඉතා ආසන්නයි:
සංකේතනය සමඟ එකම දත්ත මත මෙහෙයුම් කාලය:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
සංකේතනය lzo භාවිතයෙන් සම්පීඩනය සමඟ ඒකාබද්ධ කළහොත්, එය මෙසේ දිස්වේ:
වැඩකරන වේලාවන්:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
ප්රතිඵලයක් ලෙස ලැබෙන ගබඩාවේ ප්‍රමාණය සාපේක්ෂව සමාන වූ අතර 13GB විය. මෙයින් අදහස් කරන්නේ උපකල්පනය නිවැරදිව ක්‍රියාත්මක වන බවයි. එසේම, දැනටමත් සම්පීඩිත දත්ත මත, lzo භාවිතා කිරීම සැලකිය යුතු බලපෑමක් ලබා දෙයි; සම්පූර්ණ මෙහෙයුම් කාලය අනුව, zbackup duplicity/duplicati වලට ආසන්න වේ, නමුත් librsync මත පදනම් වූ ඒවාට වඩා 2-5 ගුණයකින් පසුගාමී වේ.
වාසි පැහැදිලිය - උපස්ථ ගබඩා සේවාදායකයේ තැටි ඉඩ ඉතිරි කිරීම. නිධිය පිරික්සීමේ මෙවලම් සම්බන්ධයෙන් ගත් කල, zbackup කතුවරයා ඒවා ලබා නොදේ; දෝෂ සහිත තැටි අරාවක් හෝ වලාකුළු සපයන්නා භාවිතා කිරීම රෙකමදාරු කරනු ලැබේ.
සමස්තයක් වශයෙන්, ඉතා හොඳ හැඟීමක්, ව්‍යාපෘතිය වසර 3 ක් පමණ නිශ්චලව පැවතුනද (අවසාන විශේෂාංග ඉල්ලීම වසරකට පමණ පෙර විය, නමුත් ප්‍රතිචාරයක් නොමැතිව).
Borgbackup පරීක්ෂා කිරීම
Borgbackup යනු අට්ටාලයේ දෙබලකි, zbackup හා සමාන තවත් පද්ධතියකි. python හි ලියා ඇති, එය zbackup හා සමාන හැකියාවන් ලැයිස්තුවක් ඇත, නමුත් අතිරේකව කළ හැක්කේ:
- ෆියුස් හරහා උපස්ථ සවි කරන්න
- ගබඩා අන්තර්ගතය පරීක්ෂා කරන්න
- සේවාදායක-සේවාදායක මාදිලියේ වැඩ කරන්න
- දත්ත සඳහා විවිධ සම්පීඩක භාවිතා කරන්න, මෙන්ම එය සම්පීඩනය කිරීමේදී ගොනු වර්ගය තීරණය කිරීම.
- 2 සංකේතාංකන විකල්ප, aes සහ blake
- සඳහා බිල්ට් මෙවලම
කාර්ය සාධන චෙක්පත්
borgbackup මිණුම් ලකුණ crud ssh://backup_server/repo/path local_dir
ප්රතිඵල පහත පරිදි විය:
C-Z-BIG 96.51 MB/s (10 100.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 10.36s)
R-Z-BIG 57.22 MB/s (10 100.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 17.48s)
U-Z-BIG 253.63 MB/s (10 100.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 3.94s)
D-Z-BIG 351.06 MB/s (10 100.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 2.85s)
C-R-BIG 34.30 MB/s (10 100.00 MB අහඹු ගොනු: 29.15s)
R-R-BIG 60.69 MB/s (10 100.00 MB අහඹු ගොනු: 16.48s)
U-R-BIG 311.06 MB/s (10 100.00 MB අහඹු ගොනු: 3.21s)
D-R-BIG 72.63 MB/s (10 100.00 MB අහඹු ගොනු: 13.77s)
C-Z-MEDIUM 108.59 MB/s (1000 1.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 9.21s)
R-Z-MEDIUM 76.16 MB/s (1000 1.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 13.13s)
U-Z-MEDIUM 331.27 MB/s (1000 1.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 3.02s)
D-Z-MEDIUM 387.36 MB/s (1000 1.00 MB සම්පූර්ණ ශුන්‍ය ගොනු: 2.58s)
C-R-MEDIUM 37.80 MB/s (1000 1.00 MB අහඹු ගොනු: 26.45s)
R-R-MEDIUM 68.90 MB/s (1000 1.00 MB අහඹු ගොනු: 14.51s)
U-R-MEDIUM 347.24 MB/s (1000 1.00 MB අහඹු ගොනු: 2.88s)
D-R-MEDIUM 48.80 MB/s (1000 1.00 MB අහඹු ගොනු: 20.49s)
C-Z-SMALL 11.72 MB/s (10000 10.00 kB සම්පූර්ණ ශුන්‍ය ගොනු: 8.53s)
R-Z-SMALL 32.57 MB/s (10000 10.00 kB සම්පූර්ණ ශුන්‍ය ගොනු: 3.07s)
U-Z-SMALL 19.37 MB/s (10000 10.00 kB සම්පූර්ණ ශුන්‍ය ගොනු: 5.16s)
D-Z-SMALL 33.71 MB/s (10000 10.00 kB සම්පූර්ණ ශුන්‍ය ගොනු: 2.97s)
C-R-SMALL 6.85 MB/s (10000 10.00 kB අහඹු ගොනු: 14.60s)
R-R-SMALL 31.27 MB/s (10000 10.00 kB අහඹු ගොනු: 3.20s)
U-R-SMALL 12.28 MB/s (10000 10.00 kB අහඹු ගොනු: 8.14s)
D-R-SMALL 18.78 MB/s (10000 10.00 kB අහඹු ගොනු: 5.32s)
පරීක්ෂා කිරීමේදී, ගොනු වර්ගය (සම්පීඩන ස්වයංක්‍රීයව) තීරණය කිරීමට සම්පීඩන හීරිස්ටික්ස් භාවිතා කරනු ඇති අතර ප්රතිඵල පහත පරිදි වේ:
පළමුව, සංකේතනයකින් තොරව එය ක්‍රියා කරන ආකාරය පරීක්ෂා කර බලමු:
වැඩකරන වේලාවන්:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
4m6s
4m10s
4m5s
56
58
54
1m26s
1m34s
1m30s
ඔබ ගබඩා අවසරය (සත්‍යාපිත මාදිලිය) සක්‍රීය කරන්නේ නම්, ප්රතිඵල ආසන්න වනු ඇත:
වැඩකරන වේලාවන්:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
aes සංකේතනය සක්‍රිය කළ විට, ප්රතිඵල එතරම් නරක් නොවීය:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
ඔබ aes බ්ලේක් ලෙස වෙනස් කළහොත්, තත්වය සම්පූර්ණයෙන්ම වැඩිදියුණු වනු ඇත:
වැඩකරන වේලාවන්:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
4m33s
4m43s
4m40s
59
1m0s
1m0s
1m38s
1m43s
1m40s
zbackup වලදී මෙන්, නිධියේ ප්‍රමාණය 13GB වන අතර සාමාන්යයෙන් අපේක්ෂා කරන තරමක් අඩු විය. ධාවන කාලය ගැන මම බෙහෙවින් සතුටු විය; එය librsync මත පදනම් වූ විසඳුම් සමඟ සැසඳිය හැකි අතර, වඩා පුළුල් හැකියාවන් සපයයි. ස්වයංක්‍රීය ප්‍රකාරයේදී borgbackup භාවිතා කිරීමේදී ඉතා බරපතල වාසියක් ලබා දෙන පරිසර විචල්‍යයන් හරහා විවිධ පරාමිතීන් සැකසීමේ හැකියාව ගැන මම සතුටු විය. උපස්ථ කිරීමේදී බර පැටවීම ගැන මම ද සතුටු විය: ප්‍රොසෙසර භාරය අනුව විනිශ්චය කිරීම, බෝර්ග්බැක්අප් නූල් 1 කින් ක්‍රියා කරයි.
එය භාවිතා කරන විට විශේෂ අවාසි නොමැත.
රෙස්ටික් පරීක්ෂණ
රෙස්ටික් යනු තරමක් නව විසඳුමක් වුවද (පළමු අපේක්ෂකයින් 2 දෙනා 2013 සහ ඊට වැඩි කාලයකදී දැන සිටියහ), එය තරමක් හොඳ ලක්ෂණ ඇත. Go හි ලියා ඇත.
Zbackup සමඟ සසඳන විට, එය අතිරේකව ලබා දෙයි:
- ගබඩාවේ අඛණ්ඩතාව පරීක්ෂා කිරීම (කොටස් පරීක්ෂා කිරීම ඇතුළුව).
- උපස්ථ ගබඩා කිරීම සඳහා සහය දක්වන ප්‍රොටෝකෝල සහ සපයන්නන්ගේ විශාල ලැයිස්තුවක් මෙන්ම වලාකුළු විසඳුම් සඳහා rclone - rsync සඳහා සහය.
- බැකප් 2ක් එකිනෙකා සමඟ සංසන්දනය කිරීම.
- ෆියුස් හරහා ගබඩාව සවි කිරීම.
පොදුවේ ගත් කල, විශේෂාංග ලැයිස්තුව බොර්ග්බැක්අප් වලට බෙහෙවින් සමීප ය, සමහර ස්ථානවල වැඩි ය, අනෙක් ඒවා අඩු ය. එක් විශේෂාංගයක් නම් සංකේතනය අක්‍රිය කිරීමට ක්‍රමයක් නොමැති වීමයි, එබැවින් උපස්ථ පිටපත් සැමවිටම සංකේතනය වේ. මෙම මෘදුකාංගයෙන් මිරිකා ගත හැකි දේ ප්‍රායෝගිකව බලමු:
ප්රතිඵල පහත පරිදි විය:
වැඩකරන වේලාවන්:
දියත් කිරීම 1
දියත් කිරීම 2
දියත් කිරීම 3
5m25s
5m50s
5m38s
35
38
36
1m54s
2m2s
1m58s
කාර්ය සාධන ප්රතිඵල ද rsync-පාදක විසඳුම් සමඟ සැසඳිය හැකි අතර, සාමාන්යයෙන්, borgbackup වෙත ඉතා සමීප වේ, නමුත් CPU භාරය වැඩි වේ (බහු නූල් ධාවනය) සහ sawtooth.
බොහෝ දුරට ඉඩ ඇති පරිදි, rsync සමඟ දැනටමත් සිදු වූ පරිදි, දත්ත ගබඩා සේවාදායකයේ තැටි උප පද්ධතියේ කාර්ය සාධනය මඟින් වැඩසටහන සීමා වේ. නිධියේ ප්‍රමාණය 13GB විය, zbackup හෝ borgbackup මෙන්, මෙම විසඳුම භාවිතා කිරීමේදී පැහැදිලි අවාසි නොමැත.
ප්රතිඵල
ඇත්ත වශයෙන්ම, සියලුම අපේක්ෂකයින් සමාන ප්රතිඵල ලබා ගත් නමුත් විවිධ මිල ගණන් යටතේ. Borgbackup සියල්ලටම වඩා හොඳින් ක්‍රියාත්මක විය, රෙස්ටික් ටිකක් මන්දගාමී විය, zbackup භාවිතා කිරීමට පටන් ගැනීම වටී නැත,
සහ එය දැනටමත් භාවිතයේ තිබේ නම්, එය borgbackup හෝ restic ලෙස වෙනස් කිරීමට උත්සාහ කරන්න.
සොයා ගැනීම්
වඩාත්ම පොරොන්දු වූ විසඳුම විවේකයක් ලෙස පෙනේ, මන්ද ... මෙහෙයුම් වේගයට හැකියාවන්ගේ හොඳම අනුපාතය ඇත්තේ ඔහුය, නමුත් දැනට සාමාන්‍ය නිගමනවලට ඉක්මන් නොවන්න.
Borgbackup මූලික වශයෙන් නරක නැත, නමුත් zbackup බොහෝ විට වඩා හොඳ ප්රතිස්ථාපනය වේ. ඇත්ත, 3-2-1 රීතිය ක්‍රියාත්මක වන බව සහතික කිරීමට zbackup තවමත් භාවිතා කළ හැක. උදාහරණයක් ලෙස, (lib)rsync මත පදනම් වූ උපස්ථ පහසුකම් වලට අමතරව.
නිවේදනය
උපස්ථ 5 කොටස: ලිනක්ස් සඳහා බැකුලා සහ වීම් උපස්ථය පරීක්ෂා කිරීම
උපස්ථ 6 කොටස: උපස්ථ මෙවලම් සංසන්දනය කිරීම
උපස්ථ 7 කොටස: නිගමන
පළ කළේ: Pavel Demkovich
මූලාශ්රය: www.habr.com