Lagolago Vaega 3: Toe iloilo ma Su'ega o le fa'alua, fa'alua

O lenei faʻamatalaga o loʻo talanoaina ai meafaigaluega faʻapipiʻi e faʻatino ai faʻamaumauga e ala i le fatuina o faʻamaumauga i luga o se faʻamaumauga faʻamaumauga.

Faatasi ai ma i latou e fetaui ma manaʻoga o le faʻaluaina (lea e iai se atinaʻe manaia i foliga o le deja dup) ma le duplicati.

O le isi mea faigaluega faʻapitoa faʻapitoa o le dar, ae talu ai o loʻo i ai se lisi tele o filifiliga - o le suʻega metotia e aofia ai le 10% o mea e mafai ona fai - matou te le o suʻeina o se vaega o le taamilosaga o loʻo iai nei.

Fuafuaga faʻamoemoeina

Talu ai ona o sui uma e lua e fai faʻamaumauga i se tasi auala poʻo se isi, e mafai ona faʻaaoga le ta masani e fai ma taʻiala.

E le gata i lea, o le a matou iloiloina pe o le a le lelei o le teuina o faʻamaumauga i luga o le mea e teu ai mea e faʻapipiʻiina e ala i le fatuina o kopi faʻamaumauga e aofia ai naʻo le eseesega i le va o le kopi atoa ma le tulaga o loʻo iai nei o faila, poʻo le va o faʻamaumauga muamua ma le taimi nei (faʻaopoopo, faʻaititia, ma isi) .

Amioga pe a fai fa'amaumauga:

1. O se numera laʻititi o faila i luga o le server backup storage (faʻatusatusa i le numera o kopi faʻamaumauga poʻo le tele o faʻamaumauga i le GB), ae o lo latou lapopoa e fai si tele (sefulu i le selau o megabytes).
2. Ole tele ole faleteuoloa o le a na'o suiga - e leai ni kopi o le a teuina, o lea o le a laʻititi le tele o fale teu nai lo le rsync-based software.
3. Fa'atalitali mamafa uta CPU pe'ā fa'aoga fa'amalosi ma/po'o fa'ailoga, ma e foliga mai e maualuga tele feso'ota'iga ma uta tisiki pe a fai o lo'o fa'agasolo le faiga o fa'amaumauga ma/po'o fa'amaufa'ailoga i luga o se sapalai e teu ai.

Sei o tatou faʻataʻitaʻiina le poloaiga lenei e fai ma faʻamatalaga tau:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

O taunu'uga o le fa'atinoga na fa'apea:

Taimi fa'atino 3m12s. E mafai ona vaʻaia o le saoasaoa e faʻatapulaʻaina e le disk subsystem o le server backup storage, e pei o le faʻataʻitaʻiga ma rsync. Na'o sina saoasaoa, aua... e alu le pueina i le faila e tasi.

E le gata i lea, e iloilo le faʻamalosi, seʻi o tatou faia le filifiliga lava e tasi, ae faʻatagaina le faʻamalosi i le itu o le server backup:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

O i'uga o:

Taimi fa'atino 10m11s. E foliga mai o le bottleneck o le compressor e tasi le tafe i le pito e maua ai.

O le poloaiga lava e tasi, ae faʻatasi ai ma le faʻapipiʻiina na tuʻuina atu i le 'auʻaunaga ma faʻamaumauga muamua e faʻataʻitaʻi ai le manatu e faapea o le bottleneck o se compressor e tasi le filo.

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

Na aliali mai e pei o lenei:

Ole taimi ole fa'atinoina ole 9m37s. O le uta i luga o le tasi autu e le compressor e manino ona iloa, aua O le saoasaoa o fesoʻotaʻiga fesoʻotaʻiga ma le uta i luga o le faʻapipiʻi faʻapipiʻi puna e tutusa.

Ina ia iloilo faʻamatalaga, e mafai ona e faʻaogaina openssl poʻo gpg e ala i le faʻafesoʻotaʻi o se faʻatonuga faaopoopo openssl poʻo gpg i totonu o paipa. Mo faʻamatalaga o le ai ai se poloaiga e pei o lenei:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

O i'uga na maua e pei o lenei:

O le taimi o le faʻataunuʻuina na oʻo atu i le 10m30s, talu ai e 2 faʻagasologa o loʻo faʻagaoioia i le itu e maua ai - o le fagu o loʻo toe faʻaaogaina se compressor e tasi le filo, faʻatasi ai ma faʻamatalaga laiti i luga o le ulu.

FUAFUAGA: I le talosaga a bliznezz o loʻo ou faʻaopoopoina suʻega ma pigz. Afai e te faʻaaogaina naʻo le compressor, e manaʻomia le 6m30s, afai e te faʻaopoopoina faʻamatalaga, e tusa ma le 7m. O le pa'u i le kalafi pito i lalo o se fa'ameamea tisiki e le'i fa'afefeteina:

Su'ega fa'alua

O le duplicity o se python software mo le faʻamaumauga e ala i le fatuina o faʻamaufaʻailoga faʻamaumauga i le tar format.

Mo faʻamaumauga faʻaopoopo, e faʻaaogaina le librsync, o lea e mafai ai ona e faʻamoemoeina le amio o loʻo faʻamatalaina i totonu pou muamua i le faasologa.

E mafai ona fa'ailoga ma saini fa'amaufa'ailoga e fa'aaoga ai le gnupg, e taua tele pe a fa'aaoga kamupani eseese mo le teuina o fa'amaumauga (s3, backblaze, gdrive, etc.)

Se'i o tatou va'ai po'o le a le i'uga:

O i'uga ia na matou maua pe a tamo'e e aunoa ma se fa'ailoga

faaleaga

Taimi tamo'e o su'ega ta'itasi:

Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3

16m33s
17m20s
16m30s

8m29s
9m3s
8m45s

5m21s
6m04s
5m53s

Ma o taunuʻuga nei pe a faʻaogaina le gnupg encryption, faʻatasi ai ma le tele o le 2048 bits:

Taimi galue i luga o faʻamatalaga tutusa, faʻatasi ai ma faʻamatalaga:

Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3

17m22s
17m32s
17m28s

8m52s
9m13s
9m3s

5m48s
5m40s
5m30s

O le poloka poloka na faʻaalia - 512 megabytes, lea e manino le vaʻaia i kalafi; O le uta processor na tumau pea i le 50%, o lona uiga e le sili atu ma le tasi le faʻaogaina o le polokalama.

O le mataupu faavae o le faʻagaioiga o le polokalame o loʻo manino foi le vaʻaia: na latou ave se fasi faʻamaumauga, faʻapipiʻi, ma auina atu i se faʻamaumauga e teu ai, lea e mafai ona telegese.
O le isi vaega o le va'aiga o le taimi fa'atino o le polokalame, lea e fa'alagolago i le tele o fa'amaumauga ua suia.

O le faʻaogaina o faʻamatalaga e leʻi faʻateleina ai le taimi o le polokalama, ae na faʻateleina ai le uta o le gaosiga e tusa ma le 10%, lea e mafai ona avea ma ponesi manaia.

O le mea e leaga ai, na le mafai e lenei polokalame ona iloa saʻo le tulaga i le toe faʻaigoaina o le lisi, ma o le tele o le fale teu oloa na foliga mai e tutusa ma le tele o suiga (o lona uiga, 18GB uma), ae o le mafai ona faʻaogaina se server e le talitonuina mo faʻamaumauga manino. e aofia ai lenei amio.

Su'ega fa'alua

O lenei polokalame o lo'o tusia i le C# ma fa'aoga e fa'aoga se seti o faletusi mai Mono. E iai le GUI faʻapea foʻi ma le CLI version.

Ole lisi fa'atatau o uiga autu e tutusa ma le fa'aluaina, e aofia ai le tele o mea e teu ai fa'amaumauga, peita'i, e le pei o le fa'aluaina, o le tele o fa'aaliga e maua e aunoa ma ni mea faigaluega lona tolu. Pe o se faʻaopoopoga poʻo se faʻaititia e faʻalagolago i le mataupu patino, ae mo tagata amata, e sili atu ona faigofie le i ai o se lisi o foliga uma i luma o latou i le taimi e tasi, nai lo le faʻapipiʻiina o afifi mo python, pei o le. o le mataupu e lua.

O le isi nuance itiiti - o le polokalame e tusia ma le malosi se faʻamaumauga sqlite i le lotoifale e fai ma sui o le tagata faʻaoga na te amataina le faʻamaumauga, o lea e tatau ai ona e faʻamautinoaina o loʻo faʻamaonia saʻo le faʻamaumauga manaʻomia i taimi uma e amata ai le faʻaogaina o le cli. A e galue i le GUI poʻo le WEBGUI, o faʻamatalaga o le a natia mai le tagata faʻaoga.

Se'i tatou va'ai po'o a fa'ailoga e mafai ona maua mai e lenei vaifofo:

Afai e te tapeina faʻamatalaga (ma e le fautuaina e le WEBGUI le faia o lenei mea), o le iʻuga e faʻapea:

Taimi faigaluega:

Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3

20m43s
20m13s
20m28s

5m21s
5m40s
5m35s

7m36s
7m54s
7m49s

Faatasi ai ma faʻamatalaga faʻamaonia, faʻaaoga aes, e pei o lenei:

Taimi faigaluega:

Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3

29m9s
30m1s
29m54s

5m29s
6m2s
5m54s

8m44s
9m12s
9m1s

Ma afai e te faʻaogaina le polokalame fafo gnupg, o taunuuga nei e oʻo mai:

Fa'alauiloa 1
Fa'alauiloa 2
Fa'alauiloa 3

26m6s
26m35s
26m17s

5m20s
5m48s
5m40s

8m12s
8m42s
8m15s

E pei ona mafai ona e vaʻai, e mafai e le polokalame ona galue i le tele o filo, ae e le o se mea e sili atu ona aoga, ma afai e te faʻatusatusaina le galuega faʻailoga, o loʻo faʻalauiloaina se polokalame i fafo.
na fa'aalia e sili atu le vave nai lo le fa'aogaina o le faletusi mai le seti Mono. Atonu e mafua ona o le mea moni o le polokalame i fafo e sili atu ona lelei.

O le isi mea manaia o le mea moni o le tele o le fale teu oloa e tutusa lelei lava ma le suiga moni o faʻamaumauga, i.e. na maua e duplicati se igoa fa'asinomaga ma sa'o le fa'afoeina o lea tulaga. E mafai ona iloa lenei mea pe a fai le suʻega lona lua.

Ile aotelega, e lelei fa'amanino o le polokalame, e aofia ai le faauo lelei i tagata fou.

Iʻuga

O sui uma e lua na galulue lemu, ae i se tulaga lautele, pe a faʻatusatusa i le ta masani, o loʻo i ai le alualu i luma, a itiiti ifo ma le kopi. O le tau o lea alualu i luma e manino foi - o se avega iloga
gaosiga. I se tulaga lautele, e leai ni faʻalavelave faʻapitoa i le vavalo o taunuuga.

sailiiliga

Afai e te le manaʻomia le faʻanatinati i soʻo se mea, ma ia i ai foi se masini faʻapipiʻi, soʻo se fofo e mafaufauina o le a faia, i soo se tulaga, e fai lava si tele o galuega ua faia e le tatau ona toe faia e ala i le tusia o tusitusiga afifi i luga o le ta. . O le i ai o faʻamatalaga o se mea e manaʻomia tele pe afai e le mafai ona faʻatuatuaina atoatoa le 'auʻaunaga mo le teuina o kopi.

Fa'atusatusa i fofo fa'avae rsync - faʻatinoga e mafai ona sili atu le leaga, e ui lava i le mea moni e faʻapea i lona mama mama tar galue 20-30% vave nai lo rsync.
O loʻo i ai sefe i luga o le tele o le fale teu oloa, ae naʻo le faʻaluaina.

Faasilasilaga

Lagolago, vaega 1: Aisea e manaʻomia ai le faʻasao, se aotelega o metotia, tekinolosi
Lagolago Vaega 2: Toe iloilo ma suʻeina meafaigaluega faʻapipiʻi faʻavae rsync
Lagolago Vaega 3: Toe iloilo ma su'e le fa'alua, fa'alua, deja dup
Lagolago Vaega 4: Toe iloilo ma su'e zbackup, rest, borgbackup
Lagolago Vaega 5: Su'ega bacula ma veeam backup mo linux
Lagolago Vaega 6: Fa'atusatusa Meafaigaluega Fa'asao
Lagolago Vaega 7: Fa'ai'uga

Fa'asalalau e: Pavel Demkovich

puna: www.habr.com