O lenei tusiga o le a mafaufau i polokalama faʻapipiʻi, e ala i le talepeina o le faʻamaumauga o faʻamaumauga i vaega eseese (chunks), e fausia ai se fale teu oloa.
E mafai ona fa'apipi'i atili ma fa'aigoaina vaega o fale teu oloa, ma o le mea e sili ona taua - a'o fa'aauau faiga fa'asao - toe fa'aaogaina.
O se kopi faaleoleo i totonu o sea faleoloa o se filifili igoa o vaega e fesoʻotaʻi le tasi i le isi, mo se faʻataʻitaʻiga, e faʻavae i luga o galuega eseese o le hash.
E tele tali tutusa, o le a ou taulai atu i le 3: zbackup, borgbackup ma le malolo.
Fuafuaga faʻamoemoeina
Talu ai e manaʻomia e tagata talosaga uma le fausiaina o se fale teu oloa i se tasi auala poʻo se isi, o se tasi o mea sili ona taua o le faʻatusatusaina lea o le tele o le fale teu oloa. O le mea lelei, o lona tele e le tatau ona sili atu i le 13 GB e tusa ai ma le faʻaogaina o metotia, poʻo le itiiti ifo - faʻatatau i le faʻaleleia lelei.
E manaʻomia tele foi le mafai ona faia saʻo kopi kopi o faila, e aunoa ma le faʻaogaina o faʻamaumauga e pei o le tar, faʻapea foʻi ma le galue i le ssh/sftp e aunoa ma ni meafaigaluega faʻaopoopo e pei o rsync ma sshfs.
Amioga pe a fai fa'amaumauga:
- Ole tele ole fale teu oloa ole a tutusa ma le tele o suiga, pe itiiti.
- O lo'o fa'amoemoeina le uta mamafa o le PPU pe a fa'aogaina le fa'apipi'i ma/po'o le fa'ailoga, ma e fai si maualuga feso'ota'iga ma uta tisiki e foliga mai pe a fai o lo'o fa'agasolo le faiga o fa'amaumauga ma/po'o fa'amaufa'ailoga i luga o se sapalai e teu ai.
- Afai ua fa'aleagaina le fale teu oloa, o se fa'atuai fa'aletonu e ono tula'i mai pe a fai ni fa'amaumauga fou ma pe a taumafai e toe fa'afo'i. E manaʻomia le fuafuaina o faʻaopoopoga faiga e faʻamautinoa ai le saʻo o le fale teu oloa poʻo le faʻaogaina o meafaigaluega faʻapipiʻi mo le siakiina o lona saʻo.
O le galue i le ta ua avea o se faʻamatalaga tau, e pei ona faʻaalia i se tasi o mataupu muamua.
Su'ega zbackup
O le faiga lautele o le zbackup e maua e le polokalame i totonu o vaega o faʻamatalaga faʻamatalaga o loʻo i ai faʻamaumauga tutusa, ona faʻapipiʻiina lea ma faʻailoga, faʻasaoina vaega taʻitasi naʻo le tasi.
E fa'aaoga e le toe fa'aaogaina le 64-bit ring hash function ma se fa'amalama fa'ase'e e siaki ai taita'i-by-byte fa'afetaui i poloka fa'amaumauga o lo'o iai (e tutusa ma le fa'aogaina e rsync).
Lzma ma lzo tele-filo e fa'aogaina mo le fa'amalosi, ma aes mo fa'ailoga. O lomiga lata mai e iai le malosi e tape ai fa'amaumauga tuai mai le fale teu oloa i le lumana'i.
O le polokalame o loʻo tusia i le C ++ ma faʻalagolago lava. O le tusitala na foliga mai na musuia e le unix-way, o lea e talia ai e le polokalama faʻamatalaga i luga o le stdin pe a fatuina faʻamaumauga, faʻatupuina se faʻamaumauga tutusa i luga o stdout pe a toe faʻaleleia. O le mea lea, e mafai ona faʻaaogaina le zbackup e avea o se "poloka fau fale" sili ona lelei pe a tusia au oe lava fofo faʻamaumauga. Mo se faʻataʻitaʻiga, o le tusitala o le tusiga na faʻaaogaina lenei polokalame e avea ma meafaigaluega faʻapipiʻi autu mo masini fale talu mai le 2014.
Ole fa'amaumauga ole a avea ma ta masani se'i vagana ua ta'ua.
Se'i o tatou va'ai po'o le a le i'uga:
Na siaki le galuega i 2 filifiliga:
- ua faia se faleteuoloa ma faʻalauiloa le zbackup i luga o le 'auʻaunaga faʻatasi ai ma faʻamatalaga faʻamatalaga, ona faʻafeiloaʻi atu lea o mea o loʻo i totonu o le fale teu i le faʻamaumauga faʻamaumauga.
- ua faia se faleteuoloa i luga o le server backup storage, o le zbackup ua faalauiloaina e ala i le ssh i luga o le server backup storage, ma e auina atu i ai faamatalaga e ala i paipa.
O taunuʻuga o le filifiliga muamua e faʻapea: 43m11s - pe a faʻaaogaina se fale teu faʻailoga ma le lzma compressor, 19m13s - pe a sui le compressor i le lzo.
O le uta i luga o le 'auʻaunaga ma faʻamatalaga muamua e faʻapea (o se faʻataʻitaʻiga ma lzma o loʻo faʻaalia, ma lzo e tusa ma le ata tutusa, ae o le vaega o le rsync e tusa ma le kuata o le taimi):
E manino lava o sea faiga faaleoleo e talafeagai mo na o suiga e seasea ma laiti. E matua fautuaina foi le faʻatapulaʻaina o le zbackup i le 1 filo, a leai o le ai ai se uta maualuga CPU, aua E lelei tele le polokalame i le galue i le tele o filo. O le uta i luga o le tisiki sa laʻititi, lea i se tulaga lautele o le a le mafai ona iloa i se faʻaonaponei faʻavae faʻavae disk subsystem. E mafai foi ona e vaʻavaʻai manino i le amataga o le faʻagasologa o faʻamaumauga faʻamaumauga i se server mamao e faʻatusatusa i le rsync masani ma faʻalagolago i le faʻatinoina o le subsystem tisiki o le faʻamaumauga o le teuina. O le le lelei o lenei auala o le teuina o se fale teu oloa i le lotoifale ma, o se taunuuga, o le toe faia o faʻamaumauga.
E sili atu le manaia ma faʻaoga i le faʻataʻitaʻiga o le filifiliga lona lua, faʻatautaia saʻo le zbackup i luga o le server backup storage.
Muamua, o le a matou suʻeina le taʻaloga e aunoa ma le faʻaogaina o faʻamatalaga ma le lzma compressor:
Taimi tamo'e o su'ega ta'itasi:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
Afai e te faʻaogaina faʻamatalaga e faʻaaoga ai le aes, o faʻaiʻuga e fai si latalata:
Taimi galue i luga o faʻamatalaga tutusa, faʻatasi ai ma faʻamatalaga:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
Afai e tuʻufaʻatasia faʻailoga ma faʻamalosi e faʻaaoga ai le lzo, e pei o lenei:
Taimi faigaluega:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
Ole tele ole fa'aputuga na maua e tutusa lelei ile 13GB. O lona uiga o lo'o sa'o lelei le fa'ate'aina. E le gata i lea, i luga o faʻamaumauga ua uma ona faʻapipiʻiina, o le faʻaaogaina o le lzo e maua ai se faʻaaliga iloga i tulaga o le aofaʻi o taimi faʻagaioiga, o le zbackup e latalata i le faʻaluaina / faʻalua, ae o loʻo i tua atu i luga o le librsync e 2-5 taimi.
O mea lelei e iloagofie - fa'asaoina le avanoa tisiki i luga o le 'au'aunaga teuina fa'amaumauga. Ae mo meafaigaluega e siaki ai fale teu oloa, e le tuʻuina atu e le tusitala o le zbackup ia i latou;
I le aotelega, o se lagona lelei tele, e ui lava i le mea moni o le poloketi o loʻo tu pea mo le tusa ma le 3 tausaga (o le talosaga mulimuli mulimuli e tusa ma le tausaga talu ai, ae leai se tali).
Su'ega borgbackup
Borgbackup o se tui o le attic, o se isi faiga tutusa ma zbackup. Tusia i le python, o loʻo i ai se lisi o gafatia e tutusa ma le zbackup, ae mafai foi ona:
- Fa'amau fa'amaumauga e ala i fuse
- Siaki mea o loʻo i totonu o fale teu oloa
- Galue ile tagata-server mode
- Fa'aoga compressors eseese mo fa'amaumauga, fa'apea fo'i ma le fa'avasegaina o le ituaiga faila pe a fa'apipi'i.
- 2 filifiliga fa'ailoga, aes ma blake
- Meafaigaluega fa'apipi'i mo
siaki faatinoga
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
O i'uga na fa'apea:
CZ-BIG 96.51 MB/s (10 100.00 MB faila uma-zero: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB faila uma-zero: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB faila uma-zero: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB faila uma-zero: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB faila fa'afuase'i: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB faila fa'afuase'i: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB faila fa'afuase'i: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB faila fa'afuase'i: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB faila uma-zero: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB faila uma-zero: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB faila uma-zero: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB faila uma-zero: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB faila fa'afuase'i: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB faila fa'afuase'i: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB faila fa'afuase'i: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB faila fa'afuase'i: 20.49s)
CZ-LAITI 11.72 MB/s (10000 10.00 kB faila uma-zero: 8.53s)
RZ-ITIITI 32.57 MB/s (10000 10.00 kB faila uma-zero: 3.07s)
UZ-LAITI 19.37 MB/s (10000 10.00 kB faila uma-zero: 5.16s)
DZ-LAITI 33.71 MB/s (10000 10.00 kB faila uma-zero: 2.97s)
CR-LAITI 6.85 MB/s (10000 10.00 kB faila fa'afuase'i: 14.60s)
RR-Laititi 31.27 MB/s (10000 10.00 kB faila fa'afuase'i: 3.20s)
UR-ITIITI 12.28 MB/s (10000 10.00 kB faila fa'afuase'i: 8.14s)
DR-ITIITI 18.78 MB/s (10000 10.00 kB faila fa'afuase'i: 5.32s)
A'o fa'ata'ita'i, o le a fa'aogaina le fa'aogaina o le compression heuristics e iloa ai le ituaiga faila (compression auto), ma o le a fa'apea e fa'apea:
Muamua, seʻi o tatou siaki pe faʻapefea ona galue e aunoa ma se faʻailoga:
Taimi faigaluega:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
4m6s
4m10s
4m5s
56s
58s
54s
1m26s
1m34s
1m30s
Afai e te faʻatagaina le faʻatagaina o fale teu oloa (faiga faʻamaonia), o le a tapunia iʻuga:
Taimi faigaluega:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
Ina ua fa'agaoioia aes encryption, e le'i fa'aletonu tele i'uga:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
Ma afai e te suia aes i blake, o le a faʻaleleia atoatoa le tulaga:
Taimi faigaluega:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
4m33s
4m43s
4m40s
59s
1m0s
1m0s
1m38s
1m43s
1m40s
E pei o le zbackup, o le tele o le faleoloa o le 13GB ma e laʻititi laʻititi, lea e masani ona faʻamoemoeina. Sa ou matua fiafia lava i le taimi o loʻo taʻavale; e faʻatusatusa i fofo faʻavae i luga o le librsync, e maua ai le tele o gafatia lautele. Na ou fiafia foʻi i le mafai ona faʻatulagaina faʻasologa eseese e ala i fesuiaiga o le siosiomaga, lea e maua ai se tulaga sili ona taua pe a faʻaogaina le borgbackup i le faʻaogaina otometi. Sa ou fiafia foi i le uta i le taimi o le faaleoleo: faamasinoina i le uta o le gaosiga, o le borgbackup e galue i le 1 filo.
E leai ni fa'aletonu fa'apitoa pe a fa'aaogaina.
su'ega malolo
E ui lava i le mea moni o le malolo o se fofo fou fou (o sui muamua e 2 na iloa i tua i le 2013 ma sili atu), e iai uiga lelei. Tusia i le Go.
Pe a faʻatusatusa i le zbackup, e tuʻuina atu foʻi:
- Siakiina le faʻamaoni o le fale teu oloa (e aofia ai le siakiina o vaega).
- O se lisi tele o faʻamaumauga lagolago ma tuʻuina atu mo le teuina o faʻamaumauga, faʻapea foʻi ma le lagolago mo rclone - rsync mo fofo ao.
- Fa'atusatusaina 2 fa'amaumauga i le tasi ma le isi.
- Fa'apipi'i le fale teu oloa e ala i fuse.
I se tulaga lautele, o le lisi o foliga e latalata i le borgbackup, i nisi nofoaga e sili atu, i isi e itiiti. O se tasi o foliga e leai se auala e faʻamalo ai faʻamatalaga, ma o le mea lea e faʻapipiʻi ai kopi faʻamau. Se'i o tatou va'ai fa'ata'ita'i po'o le a le mea e mafai ona oomiina mai lenei polokalama:
O i'uga na fa'apea:
Taimi faigaluega:
Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3
5m25s
5m50s
5m38s
35s
38s
36s
1m54s
2m2s
1m58s
O taunuʻuga faʻatinoga e faʻatusatusa foi i fofo faʻavae rsync ma, i se tulaga lautele, latalata tele i le borgbackup, ae o le uta CPU e maualuga atu (tele filo o loʻo taʻavale) ma sawtooth.
E foliga mai, o le polokalame e faʻatapulaʻaina i le faʻatinoina o le disk subsystem i luga o le faʻamaumauga e teu ai faʻamaumauga, e pei ona i ai i le rsync. O le tele o fale teu oloa o le 13GB, pei o le zbackup poʻo le borgbackup, e leai ni faʻafitauli faʻaletonu pe a faʻaaogaina lenei fofo.
Iʻuga
O le mea moni, na ausia e sui tauva uma i'uga tutusa, ae i tau eseese. O le Borgbackup na sili ona lelei i mea uma, o le malologa sa fai si fa'agesegese, o le zbackup atonu e le aoga le amata fa'aoga,
ma afai ua uma ona faʻaaogaina, taumafai e sui i le borgbackup poʻo le faʻamavae.
sailiiliga
O le fofo sili ona lelei e foliga mai e malolo, aua ... o ia o loʻo i ai le fua faʻatatau sili ona lelei e faʻaogaina ai le saoasaoa, ae aua le faanatinati i faʻamatalaga lautele mo le taimi nei.
Borgbackup e le sili atu ona leaga, ae o le zbackup atonu e sili atu ona sui. E moni, e mafai lava ona fa'aoga le zbackup e fa'amautinoa ai e galue le tulafono 3-2-1. Mo se faʻataʻitaʻiga, faʻaopoopo i (lib)rsync-based backup facilities.
Faasilasilaga
Lagolago Vaega 5: Su'ega bacula ma veeam backup mo linux
Lagolago Vaega 6: Fa'atusatusa Meafaigaluega Fa'asao
Lagolago Vaega 7: Fa'ai'uga
Fa'asalalau e: Pavel Demkovich
puna: www.habr.com