Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ity lahatsoratra ity dia handinika ny rindrambaiko backup izay, amin'ny alàlan'ny famongorana ny angon-drakitra ho singa samihafa (tapa), dia mamorona tahiry.

Ny singa fitehirizam-bokatra dia azo amboarina bebe kokoa sy miafina, ary ny tena zava-dehibe - mandritra ny fizotran'ny backup miverimberina - ampiasaina indray.

Ny kopia backup ao amin'ny tahiry toy izany dia rojo singa mifandray amin'ny tsirairay, ohatra, mifototra amin'ny asa hash isan-karazany.

Misy vahaolana mitovy amin'izany, hifantoka amin'ny 3 aho: zbackup, borgbackup ary restic.

Vokatry ny andrasana

Satria ny mpangataka rehetra dia mitaky ny fananganana tahiry amin'ny fomba iray na hafa, ny iray amin'ireo antony lehibe indrindra dia ny fanombanana ny haben'ny tahiry. Ny tsara indrindra, ny habeny dia tsy tokony hihoatra ny 13 GB araka ny fomba ekena, na kely kokoa aza - iharan'ny fanatsarana tsara.

Tena ilaina ihany koa ny afaka mamorona kopia backup mivantana, tsy mampiasa archiver toy ny tar, ary koa miasa amin'ny ssh/sftp tsy misy fitaovana fanampiny toy ny rsync sy sshfs.

Fihetsika rehefa mamorona backup:

  1. Ny haben'ny tahiry dia hitovy amin'ny haben'ny fiovana, na latsaka.
  2. Ny enta-mavesatra CPU mavesatra dia andrasana rehefa mampiasa famatrarana sy/na fanafenana, ary ny tamba-jotra sy ny kapila avo be dia azo inoana fa raha mandeha amin'ny mpizara fitahirizana backup ny fizotran'ny fitahirizana sy/na fanafenana.
  3. Raha simba ny tahiry dia mety hisy hadisoana nahemotra rehefa mamorona backups vaovao na rehefa manandrana mamerina. Ilaina ny manomana fepetra fanampiny mba hiantohana ny fahamendrehan'ny trano fitehirizam-bokatra na ny fampiasana fitaovana namboarina mba hanamarinana ny fahamarinany.

Ny fiasana amin'ny tara dia raisina ho toy ny sandan'ny fanondroana, araka ny naseho tao amin'ny iray tamin'ireo lahatsoratra teo aloha.

Fitsapana zbackup

Ny mekanika ankapoben'ny zbackup dia ny fahitana ny programa ao amin'ny faritra misy ny angon-drakitra misy angon-drakitra mitovy, avy eo dia manindry sy manidy azy ireo, mamonjy ny faritra tsirairay indray mandeha.

Ny deduplication dia mampiasa fonction hash peratra 64-bit miaraka amin'ny varavarankely sliding mba hijerena ny lalao byte-by-byte amin'ny sakana misy angona (mitovy amin'ny fomba ampiharan'i rsync azy).

Ny lzma sy lzo misy kofehy maromaro dia ampiasaina amin'ny famoretana, ary aes ho an'ny encryption. Ny dikan-teny farany dia manana fahafahana mamafa ny angona taloha amin'ny tahiry amin'ny ho avy.
Ny programa dia voasoratra amin'ny C ++ miaraka amin'ny fiankinan-doha kely indrindra. Toa nahazo aingam-panahy avy amin'ny unix-way ny mpanoratra, noho izany dia manaiky ny angona ao amin'ny stdin ny programa rehefa mamorona backups, mamokatra stream data mitovy amin'ny stdout rehefa mamerina. Noho izany, ny zbackup dia azo ampiasaina ho "bolongana fananganana" tena tsara rehefa manoratra ny vahaolana backup anao manokana. Ohatra, ny mpanoratra ny lahatsoratra dia nampiasa ity programa ity ho fitaovana fitahirizana lehibe ho an'ny milina an-trano hatramin'ny 2014 teo ho eo.

Ny angon-drakitra dia ho tara mahazatra raha tsy misy filazana hafa.

Andeha hojerentsika izay vokatra azo:

Nojerena tamin'ny safidy 2 ny asa:

  1. misy tahiry iray noforonina ary atomboka amin'ny mpizara ny zbackup miaraka amin'ny angon-drakitra loharano, avy eo ny votoatin'ny tahiry dia nafindra tany amin'ny mpizara fitahirizana backup.
  2. Ny tahiry dia noforonina amin'ny mpizara fitahirizana backup, ny zbackup dia natomboka tamin'ny ssh amin'ny mpizara fitahirizana backup, ary ny angona dia alefa amin'ny alalan'ny pipe.

Ny valin'ny safidy voalohany dia toy izao manaraka izao: 43m11s - rehefa mampiasa tahiry tsy misy encryption sy ny lzma compressor, 19m13s - rehefa manolo ny compressor amin'ny lzo.

Ny enta-mavesatry ny mpizara miaraka amin'ny angon-drakitra tany am-boalohany dia toy izao manaraka izao (ohatra amin'ny lzma no aseho; miaraka amin'ny lzo dia misy sary mitovy, fa ny anjaran'ny rsync dia tokony ho ampahefatry ny fotoana):

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Mazava fa ny dingana backup toy izany dia mety amin'ny fiovana tsy fahita firy sy kely ihany. Tena ilaina ihany koa ny mametra ny zbackup amin'ny kofehy 1, raha tsy izany dia hisy enta-mavesatra be loatra, satria Ny programa dia tena tsara miasa amin'ny kofehy maromaro. Ny enta-mavesatra eo amin'ny kapila dia kely, izay amin'ny ankapobeny dia tsy ho tsikaritra amin'ny subsystem kapila maoderina miorina amin'ny SSD. Azonao atao ihany koa ny mahita mazava tsara ny fanombohan'ny dingan'ny fampifanarahana ny angon-drakitra tahiry amin'ny mpizara lavitra; ny hafainganam-pandehan'ny asa dia azo oharina amin'ny rsync mahazatra ary miankina amin'ny fahombiazan'ny subsystem kapila an'ny mpizara fitahirizana backup. Ny tsy fahampian'io fomba fiasa io dia ny fitehirizana tahiry eo an-toerana ary, vokatr'izany, ny dika mitovy.

Ny mahaliana kokoa sy azo ampiharina amin'ny fampiharana dia ny safidy faharoa, mihazakazaka zbackup mivantana amin'ny mpizara fitahirizana backup.

Voalohany, hizaha toetra ny fandidiana isika raha tsy mampiasa encryption amin'ny compressor lzma:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Fotoana fampandehanana isaky ny andrana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

39m45 sy
40m20 sy
40m3 sy

7m36 sy
8m3 sy
7m48 sy

15m35 sy
15m48 sy
15m38 sy

Raha avelanao ny encryption amin'ny fampiasana aes dia akaiky ny valiny:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Fotoana fiasana amin'ny angon-drakitra mitovy, miaraka amin'ny fanafenana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

43m40 sy
44m12 sy
44m3 sy

8m3 sy
8m15 sy
8m12 sy

15m0 sy
15m40 sy
15m25 sy

Raha ampifandraisina amin'ny compression mampiasa lzo ny encryption dia toa izao:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ny ora fiasana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

18m2 sy
18m15 sy
18m12 sy

5m13 sy
5m24 sy
5m20 sy

8m48 sy
9m3 sy
8m51 sy

Mitovy amin'ny 13GB ny haben'ny tahiry azo. Midika izany fa mandeha tsara ny deduplication. Ary koa, amin'ny angon-drakitra efa voaporitra, ny fampiasana lzo dia manome fiantraikany miharihary; amin'ny resaka fotoana fiasana manontolo, ny zbackup dia manakaiky ny duplicity/duplicati, fa ao ambadik'ireo mifototra amin'ny librsync in-2-5.

Ny tombony dia miharihary - mitahiry habaka kapila amin'ny mpizara fitahirizana backup. Raha ny momba ny fitahirizana fitahirizana, ny mpanoratra ny zbackup dia tsy manome azy ireo; soso-kevitra ny hampiasa kapila mandefitra diso na mpamatsy rahona.

Amin'ny ankapobeny, fahatsapana tena tsara, na dia eo aza ny zava-misy fa ny tetikasa dia nijanona nandritra ny 3 taona teo ho eo (ny fangatahana endri-javatra farany dia tokony ho herintaona lasa izay, saingy tsy nisy valiny).

Fitsapana borgbackup

Borgbackup dia fiforonan'ny attic, rafitra hafa mitovy amin'ny zbackup. Nosoratana tamin'ny python, manana lisitr'ireo fahaiza-manao mitovy amin'ny zbackup izy, saingy afaka:

  • Mametraka backups amin'ny alàlan'ny fuse
  • Jereo ny votoatin'ny repository
  • Miasa amin'ny fomba client-server
  • Mampiasà compressor isan-karazany ho an'ny angona, ary koa ny famaritana heuristic ny karazana rakitra rehefa manindry azy.
  • Safidy encryption 2, aes ary blake
  • Fitaovana namboarina ho an'ny

fisavana fampisehoana

borgbackup benchmark crud ssh://backup_server/repo/path local_dir

Toy izao ny vokatra azo:

CZ-BE 96.51 MB/s (10 100.00 MB rehetra-zero rakitra: 10.36s)
RZ-BIG 57.22 MB/s (10
100.00 MB rehetra-zero rakitra: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB rehetra-zero rakitra: 3.94s)
DZ-BIG 351.06 MB/s (10
100.00 MB rehetra-zero rakitra: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB rakitra kisendrasendra: 29.15s)
RR-BE 60.69 MB/s (10
100.00 MB rakitra kisendrasendra: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB rakitra kisendrasendra: 3.21s)
DR-BIG 72.63 MB/s (10
100.00 MB rakitra kisendrasendra: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB rehetra-zero rakitra: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000
1.00 MB rehetra-zero rakitra: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB rehetra-zero rakitra: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000
1.00 MB rehetra-zero rakitra: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB rakitra kisendrasendra: 26.45s)
RR-MEDIUM 68.90 MB/s (1000
1.00 MB rakitra kisendrasendra: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB rakitra kisendrasendra: 2.88s)
DR-MEDIUM 48.80 MB/s (1000
1.00 MB rakitra kisendrasendra: 20.49s)
CZ-KELY 11.72 MB/s (10000 10.00 kB rakitra aotra rehetra: 8.53s)
RZ-SMALL 32.57 MB/s (10000
10.00 kB rakitra aotra rehetra: 3.07s)
UZ-KELY 19.37 MB/s (10000 10.00 kB rakitra aotra rehetra: 5.16s)
DZ-KELY 33.71 MB/s (10000
10.00 kB rakitra aotra rehetra: 2.97s)
CR-SMALL 6.85 MB/s (10000 10.00 kB rakitra kisendrasendra: 14.60s)
RR-KELY 31.27 MB/s (10000
10.00 kB rakitra kisendrasendra: 3.20s)
UR-KELY 12.28 MB/s (10000 10.00 kB rakitra kisendrasendra: 8.14s)
DR-SMALL 18.78 MB/s (10000
10.00 kB rakitra kisendrasendra: 5.32s)

Rehefa manao fitiliana dia hampiasaina ny heuristika fanerena hamaritana ny karazana rakitra (auto compression), ary ho toy izao manaraka izao ny valiny:

Voalohany, andeha hojerentsika ny fomba fiasa tsy misy encryption:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ny ora fiasana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

4m6 sy
4m10 sy
4m5 sy

56s
58s
54s

1m26 sy
1m34 sy
1m30 sy

Raha avelanao ny fanomezan-dàlana fitahirizana (mode authenticated), dia ho akaiky ny valiny:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ny ora fiasana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

4m11 sy
4m20 sy
4m12 sy

1m0 sy
1m3 sy
1m2 sy

1m30 sy
1m34 sy
1m31 sy

Rehefa navitrika ny encryption aes dia tsy niharatsy loatra ny vokatra:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Fanombohana 1
Fanombohana 2
Fanombohana 3

4m55 sy
5m2 sy
4m58 sy

1m0 sy
1m2 sy
1m0 sy

1m49 sy
1m50 sy
1m50 sy

Ary raha manova ny aes ho blake ianao dia hihatsara tanteraka ny toe-javatra:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ny ora fiasana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

4m33 sy
4m43 sy
4m40 sy

59s
1m0 sy
1m0 sy

1m38 sy
1m43 sy
1m40 sy

Toy ny tamin'ny zbackup, ny haben'ny tahiry dia 13GB ary na dia kely kokoa aza, izay antenaina amin'ny ankapobeny. Tena faly aho tamin'ny fotoana fandehanana; azo ampitahaina amin'ny vahaolana mifototra amin'ny librsync, manome fahafaha-manao midadasika kokoa. Faly ihany koa aho tamin'ny fahafahana mametraka masontsivana isan-karazany amin'ny alàlan'ny fari-piainan'ny tontolo iainana, izay manome tombony lehibe rehefa mampiasa borgbackup amin'ny fomba mandeha ho azy. Faly koa aho tamin'ny enta-mavesatra nandritra ny backup: raha jerena ny enta-mavesatry ny processeur, borgbackup dia miasa amin'ny kofehy 1.

Tsy nisy fatiantoka manokana tamin'ny fampiasana azy.

fitiliana restic

Na dia eo aza ny zava-misy fa ny restic dia vahaolana vaovao (ny kandidà 2 voalohany dia fantatra tamin'ny taona 2013 no ho miakatra), manana toetra tsara izy io. Voasoratra ao amin'ny Go.

Raha ampitahaina amin'ny zbackup dia manome:

  • Fanamarinana ny fahamarinan'ny tahiry (anisan'izany ny fanamarinana ny ampahany).
  • Lisitra lehibe amin'ny protocols tohanana sy mpamatsy amin'ny fitahirizana backups, ary koa ny fanohanana ny rclone - rsync ho an'ny vahaolana rahona.
  • Mampitaha 2 backups amin'ny tsirairay.
  • Mametraka ny tahiry amin'ny alàlan'ny fuse.

Amin'ny ankapobeny, ny lisitry ny endri-javatra dia akaiky ny borgbackup, any amin'ny toerana sasany bebe kokoa, any amin'ny hafa kely kokoa. Ny iray amin'ireo endri-javatra dia ny hoe tsy misy fomba hanesorana ny encryption, ary noho izany dia ho voarakotra foana ny kopia backup. Andeha hojerentsika amin'ny fampiharana izay azo alaina amin'ity rindrambaiko ity:

Toy izao ny vokatra azo:

Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup

Ny ora fiasana:

Fanombohana 1
Fanombohana 2
Fanombohana 3

5m25 sy
5m50 sy
5m38 sy

35s
38s
36s

1m54 sy
2m2 sy
1m58 sy

Ny valim-pamokarana dia azo oharina amin'ny vahaolana mifototra amin'ny rsync ary, amin'ny ankapobeny, tena akaiky ny borgbackup, fa ny enta-mavesatra CPU dia avo kokoa (kofehy maromaro mihazakazaka) sy sawtooth.

Azo inoana fa ny programa dia voafetra amin'ny fampandehanana ny subsystem kapila amin'ny mpizara fitahirizana data, toy ny efa nisy tamin'ny rsync. Ny haben'ny tahiry dia 13GB, toy ny zbackup na borgbackup, tsy misy fatiantoka miharihary rehefa mampiasa ity vahaolana ity.

vokatra

Raha ny marina, nahazo vokatra mitovy avokoa ny kandidà rehetra, saingy samy hafa ny vidiny. Ny Borgbackup dia nanao ny tsara indrindra, ny restic dia niadana kely, ny zbackup dia mety tsy mendrika ny hampiasaina,
ary raha efa ampiasaina izy dia andramo ny manova azy ho borgbackup na restic.

hitany

Ny vahaolana azo antoka indrindra dia toa mijanona, satria ... Izy no manana ny taham-pahafahana tsara indrindra amin'ny hafainganam-pandehan'ny asa, fa aza maika amin'ny fanatsoahan-kevitra ankapobeny amin'izao fotoana izao.

Borgbackup dia tsy ratsy kokoa, fa ny zbackup dia mety hosoloina tsara kokoa. Marina fa mbola azo ampiasaina ny zbackup mba hahazoana antoka fa miasa ny fitsipika 3-2-1. Ohatra, ho fanampin'ny (lib) trano backup mifototra amin'ny rsync.

fanambarana

Backup, ampahany 1: Nahoana no ilaina ny backup, topimaso momba ny fomba, teknolojia
Fizarana Backup 2: Famerenana sy fitiliana ireo fitaovana backup mifototra amin'ny rsync
Backup Fizarana 3: Famerenana sy fitiliana ny duplicity, duplicati
Backup Fizarana 4: Famerenana sy fitiliana zbackup, restic, borgbackup
Backup, ampahany 5: Fitsapana bacula sy veeam backup ho an'ny linux
Backup Fizarana 6: Mampitaha Backup Tools
Backup Fizarana 7: Fehiny

Navoakan'i: Pavel Demkovich

Source: www.habr.com

Add a comment