Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Ka whai whakaaro tenei tuhinga ki nga raupaparorohiko taapiri, ma te wawahi i te awa raraunga ki nga waahanga motuhake (nga waahanga), ka hanga he putunga.

Ko nga waahanga putunga ka taea te taapiri me te whakamunatia, ko te mea nui - i nga wa o nga mahi taapiri - ka whakamahia ano.

Ko te kape taapiri i roto i taua putunga he rarangi ingoa o nga waahanga e hono ana tetahi ki tetahi, hei tauira, i runga i nga momo mahi hash.

He maha nga otinga rite, ka arotahi ahau ki te 3: zbackup, borgbackup me te okioki.

Nga hua e tumanakohia ana

I te mea e hiahia ana nga kaitono katoa ki te hanga i tetahi putunga i tetahi huarahi, i tetahi atu ranei, ko tetahi o nga mea tino nui ko te whakatau i te rahi o te putunga. Ko te mea pai, ko tona rahi kia kaua e neke ake i te 13 GB e ai ki nga tikanga kua whakaaetia, kia iti ake ranei - i raro i te arotautanga pai.

He mea tino hiahia hoki kia taea te hanga i nga kape taapiri o nga konae tika, me te kore e whakamahi i nga purongo penei i te tar, me te mahi me te ssh/sftp kaore he taputapu taapiri penei i te rsync me te sshfs.

Te whanonga ina hanga pūrua:

  1. Ko te rahi o te putunga ka rite ki te rahi o nga huringa, iti iho ranei.
  2. He taumaha te utaina PTM ina whakamahi i te whakamunatanga me/ranei te whakamunatanga, me te nui o te whatunga me te uta kōpae kei te whakahaeretia te mahi whakamunatanga me te mahi whakamunatanga i runga i te tūmau rokiroki taapiri.
  3. Mena kua pakaru te putunga, tera pea he hapa kua roa i te wa e hanga ana i nga taapiri hou me te wa e ngana ana ki te whakaora. He mea tika ki te whakamahere i etahi atu waahanga hei whakarite i te pono o te whare pupuri, te whakamahi ranei i nga taputapu hanga-i roto mo te tirotiro i tona pono.

Ko te mahi me te tar ka tangohia hei uara tohutoro, pera i whakaatuhia i tetahi o nga tuhinga o mua.

Te whakamatautau i te zbackup

Ko te tikanga whanui o te zbackup ka kitea e te hotaka i roto i nga waahi awa raraunga whakauru kei roto i nga raraunga kotahi, katahi ka kopiri me te whakamuna i a raatau, ka tiakina ia waahi kotahi anake.

Ka whakamahi te tangohanga i te mahi hash mowhiti moka-64 me te matapihi reti ki te tirotiro mo nga paita-a-paita e rite ana ki nga poraka raraunga o naianei (he rite ki te mahi a rsync).

Ko te lzma me te lzo miro-maha ka whakamahia mo te pupuhi, me te aes mo te whakamunatanga. Ko nga putanga hou kei te kaha ki te whakakore i nga raraunga tawhito mai i te putunga a muri ake nei.
Kua tuhia te papatono ki C ++ me te iti o te whakawhirinaki. Ko te ahua i whakaawehia te kaituhi e te unix-way, no reira ka whakaae te papatono ki nga raraunga i runga i te stdin i te wa e hanga ana i nga taapiri, me te whakaputa i tetahi awa raraunga rite ki te stdout i te wa e whakaora ana. Na, ka taea te whakamahi i te zbackup hei "poraka hanga" tino pai i te wa e tuhi ana i a koe ake otinga taapiri. Hei tauira, kua whakamahia e te kaituhi o te tuhinga tenei kaupapa hei taputapu taapiri matua mo nga miihini kaainga mai i te tau 2014.

Ko te roma raraunga ka waiho hei ta i nga wa katoa mena kaore i kiia.

Kia kite tatou he aha nga hua:

I takina te mahi i roto i nga whiringa 2:

  1. ka hangaia he putunga, ka whakarewahia te zbackup ki runga i te tūmau me nga raraunga puna, katahi ka whakawhitia nga ihirangi o te putunga ki te tūmau rokiroki taapiri.
  2. ka hangaia he putunga ki runga i te tūmau rokiroki taapiri, ka whakarewahia te zbackup ma te ssh i runga i te tūmau rokiroki taapiri, ka tukuna nga raraunga ki a ia ma te paipa.

Ko nga hua o te whiringa tuatahi e whai ake nei: 43m11s - i te wa e whakamahi ana i te putunga kore whakamuna me te compressor lzma, 19m13s - i te wa e whakakapihia ana te compressor ki te lzo.

Ko te kawenga i runga i te tūmau me nga raraunga taketake e whai ake nei (kua whakaatuhia he tauira me te lzma; me lzo he rite tonu te pikitia, engari ko te wahanga o te rsync he hauwha o te wa):

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

E marama ana he pai noa iho te mahi pera mo nga huringa onge me te iti. He mea tino pai hoki kia whakawhäitihia te zbackup ki te 1 miro, mena ka nui te utaina PTM, na te mea He tino pai te kaupapa ki te mahi i roto i nga miro maha. He iti te utaina o te kōpae, i te nuinga o te waa kaore e kitea me te punaha-a-ssd hou. Ka taea hoki e koe te kite i te tiimata o te tukutahi o nga raraunga putunga ki tetahi kaimau mamao; ko te tere o te mahi he rite ki te rsync auau me te whakawhirinaki ki te mahi o te punaha putunga kōpae o te tūmau rokiroki taapiri. Ko te kino o tenei huarahi ko te rokiroki o te putunga o te rohe, a, ko te mutunga, ko te taarua o nga raraunga.

Ko te mea tino pai me te whai waahi ki te mahi ko te waahanga tuarua, ko te whakahaere tika i te zbackup i runga i te tūmau rokiroki taapiri.

Tuatahi, ka whakamatauhia e matou te mahi me te kore e whakamahi i te whakamunatanga me te compressor lzma:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Te wa whakahaere o ia oma whakamatautau:

Whakarewa 1
Whakarewa 2
Whakarewa 3

39m45s
40m20s
40m3s

7m36s
8m3s
7m48s

15m35s
15m48s
15m38s

Mena ka taea e koe te whakamunatanga ma te whakamahi i te aes, he tata tonu nga hua:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Te wa mahi i runga i nga raraunga kotahi, me te whakamunatanga:

Whakarewa 1
Whakarewa 2
Whakarewa 3

43m40s
44m12s
44m3s

8m3s
8m15s
8m12s

15m0s
15m40s
15m25s

Mēnā ka honoa te whakamunatanga me te kōpeketanga mā te whakamahi i te lzo, he pēnei te āhua:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Nga haora mahi:

Whakarewa 1
Whakarewa 2
Whakarewa 3

18m2s
18m15s
18m12s

5m13s
5m24s
5m20s

8m48s
9m3s
8m51s

He rite tonu te rahi o te putunga putunga ki te 13GB. Ko te tikanga kei te mahi tika te tangohanga. I tua atu, i runga i nga raraunga kua tohua, ma te whakamahi i te lzo ka tino kitea; mo te katoa o te wa whakahaere, ka tata te zbackup ki te taarua / taarua, engari kei muri i era i runga i te librsync e 2-5 nga wa.

Ka kitea nga painga - te penapena mokowā kōpae i runga i te tūmau rokiroki pūrua. Mo nga taputapu tirotiro rokiroki, kaore te kaituhi o te zbackup e whakarato ki a raatau; e taunaki ana ki te whakamahi i te kopae kopae he-kore, he kaiwhakarato kapua ranei.

I roto i te katoa, he tino pai te whakaaro, ahakoa ko te kaupapa e tu tonu ana mo te 3 tau (ko te tono waahanga whakamutunga mo te tau ki muri, engari kaore he whakautu).

Te whakamatautau i te borgbackup

Ko Borgbackup he marau o te tuanui, tetahi atu punaha rite ki te zbackup. I tuhia ki te python, he rarangi o nga kaha e rite ana ki te zbackup, engari ka taea ano:

  • Whakanuia nga taapiri ma te whakakorikori
  • Tirohia nga ihirangi putunga
  • Mahi i roto i te aratau kiritaki-tūmau
  • Whakamahia nga momo kopeke mo nga raraunga, me te whakatau heuristic o te momo konae i te wa e kopeke ana.
  • 2 kōwhiringa whakamunatanga, aes me blake
  • Utauta hanga-i roto mo

arowhai mahi

borgbackup tohu tohu crud ssh://backup_server/repo/path local_dir

Ko nga hua e whai ake nei:

C-Z-NUI 96.51 MB/s (10 100.00 MB nga konae kore-katoa: 10.36s)
R-Z-BIG 57.22 MB/s (10
100.00 MB nga konae kore-katoa: 17.48s)
U-Z-BIG 253.63 MB/s (10 100.00 MB nga konae kore-katoa: 3.94s)
D-Z-NUI 351.06 MB/s (10
100.00 MB nga konae kore-katoa: 2.85s)
C-R-nui 34.30 MB/s (10 100.00 MB kōnae matapōkere: 29.15s)
R-R-BIG 60.69 MB/s (10
100.00 MB kōnae matapōkere: 16.48s)
U-R-BIG 311.06 MB/s (10 100.00 MB kōnae matapōkere: 3.21s)
D-R-BIG 72.63 MB/s (10
100.00 MB kōnae matapōkere: 13.77s)
C-Z-WAHARE 108.59 MB/s (1000 1.00 MB nga konae kore-katoa: 9.21s)
R-Z-Waenga 76.16 MB/s (1000
1.00 MB nga konae kore-katoa: 13.13s)
U-Z-Waenga 331.27 MB/s (1000 1.00 MB nga konae kore-katoa: 3.02s)
D-Z-WAHARE 387.36 MB/s (1000
1.00 MB nga konae kore-katoa: 2.58s)
C-R-WAHARE 37.80 MB/s (1000 1.00 MB kōnae matapōkere: 26.45s)
R-R-WAHARE 68.90 MB/s (1000
1.00 MB kōnae matapōkere: 14.51s)
U-R-WAHARE 347.24 MB/s (1000 1.00 MB kōnae matapōkere: 2.88s)
D-R-WAHARE 48.80 MB/s (1000
1.00 MB kōnae matapōkere: 20.49s)
C-Z-PITI 11.72 MB/s (10000 10.00 kB nga konae kore-katoa: 8.53s)
R-Z-PITI 32.57 MB/s (10000
10.00 kB nga konae kore-katoa: 3.07s)
U-Z-PITI 19.37 MB/s (10000 10.00 kB nga konae kore-katoa: 5.16s)
D-Z-PITI 33.71 MB/s (10000
10.00 kB nga konae kore-katoa: 2.97s)
C-R-PITI 6.85 MB/s (10000 10.00 kB kōnae matapōkere: 14.60s)
R-R-PITI 31.27 MB/s (10000
10.00 kB kōnae matapōkere: 3.20s)
U-R-PITI 12.28 MB/s (10000 10.00 kB kōnae matapōkere: 8.14s)
D-R-PITI 18.78 MB/s (10000
10.00 kB kōnae matapōkere: 5.32s)

I te wa e whakamatautau ana, ka whakamahia nga heuristics compression hei whakatau i te momo konae (compression auto), a ka penei nga hua:

Tuatahi, kia tirohia me pehea te mahi me te kore whakamunatanga:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Nga haora mahi:

Whakarewa 1
Whakarewa 2
Whakarewa 3

4m6s
4m10s
4m5s

56
58
54

1m26s
1m34s
1m30s

Ki te whakahohea e koe te whakamanatanga putunga (aratau whakamotuhēhē), ka kati nga hua:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Nga haora mahi:

Whakarewa 1
Whakarewa 2
Whakarewa 3

4m11s
4m20s
4m12s

1m0s
1m3s
1m2s

1m30s
1m34s
1m31s

I te wa i whakahohehia ai te whakamunatanga aes, kaore i tino kino nga hua:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Whakarewa 1
Whakarewa 2
Whakarewa 3

4m55s
5m2s
4m58s

1m0s
1m2s
1m0s

1m49s
1m50s
1m50s

A, ki te huri koe i te aes ki te blake, ka tino pai ake te ahuatanga:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Nga haora mahi:

Whakarewa 1
Whakarewa 2
Whakarewa 3

4m33s
4m43s
4m40s

59
1m0s
1m0s

1m38s
1m43s
1m40s

Pērā i te take o te zbackup, ko te rahi o te rokiroki he 13GB me te iti noa iho, e tumanakohia ana. I tino koa ahau ki te wa e rere ana; he rite ki nga otinga i runga i te librsync, e whakarato ana i nga kaha whanui. I harikoa ano ahau ki te kaha ki te whakarite i nga momo tawhā ma roto i nga taurangi taiao, e whai hua nui ana ina whakamahi te borgbackup i roto i te aratau aunoa. I pai ano ahau ki te utaina i te wa o te taapiri: ma te whakatau i te kawenga o te tukatuka, ka mahi te borgbackup i te 1 miro.

Karekau he tino kino i te wa e whakamahia ana.

whakamatautau okioki

Ahakoa te mea ko te restic he otinga tino hou (ko nga kaitono tuatahi e rua i mohiotia i te tau 2 me te pakeke ake), he tino pai nga ahuatanga. I tuhia ki te Haere.

Ina whakaritea ki te zbackup, ka hoatu ano:

  • Te tirotiro i te pono o te putunga (tae atu ki te tirotiro i nga waahanga).
  • He rarangi nui o nga kawa tautoko me nga kaiwhakarato mo te penapena i nga taapiri, me te tautoko mo te rclone - rsync mo nga otinga kapua.
  • Te whakatairite i nga taapiri 2 ki a raatau ano.
  • Te whakapuru i te putunga ma te whakakorikori.

I te nuinga o te waa, he tata tonu te rarangi o nga ahuatanga ki te borgbackup, i etahi waahi ka nui ake, i etahi atu ka iti ake. Ko tetahi o nga ahuatanga ko te kore he huarahi hei whakakore i te whakamunatanga, na reira ka whakamunatia nga kape taapiri i nga wa katoa. Kia kite tatou he aha nga mea ka taea te ruia mai i tenei rorohiko:

Ko nga hua e whai ake nei:

Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup

Nga haora mahi:

Whakarewa 1
Whakarewa 2
Whakarewa 3

5m25s
5m50s
5m38s

35
38
36

1m54s
2m2s
1m58s

He rite ano nga hua o nga mahi ki nga otinga-a-rsync, a, i te nuinga o te waa, he tino tata ki te borgbackup, engari he teitei ake te uta CPU (he maha nga miro e rere ana) me te niho kani.

Ko te nuinga o te waa, he iti te hotaka na te mahi o te puunaha kopae i runga i te tuumau rokiroki raraunga, pera ano me te rsync. Ko te rahi o te putunga he 13GB, pera i te zbackup, i te borgbackup ranei, karekau he tino kino i te wa e whakamahi ana i tenei otinga.

Результаты

Inaa, he rite nga hua o nga kaitono katoa, engari he rereke nga utu. He pai rawa atu te mahi a Borgbackup, he puhoi ake te okiokinga, kaore pea e pai te whakamahi i te zbackup,
a mena kei te whakamahia kee, ngana ki te huri ki te borgbackup, ki te restic ranei.

kitenga

Ko te otinga tino pai te ahua he okioki, no te mea... Ko ia te mea pai rawa atu o nga kaha ki te tere whakahaere, engari kaua e tere ki nga whakatau whanui mo naianei.

Ko te Borgbackup ehara i te mea kino, engari he pai ake te whakakapi i te zbackup. Pono, ka taea tonu te whakamahi i te zbackup ki te whakarite kia mahi te ture 3-2-1. Hei tauira, hei taapiri atu ki nga whakaurunga taapiri (lib) rsync.

Panui

Pūrua, wāhanga 1: He aha te take e hiahiatia ai te tārua, he tirohanga whānui o ngā tikanga, hangarau
Wāhanga Pūrua 2: Te arotake me te whakamatautau i nga taputapu taapiri-a-rsync
Wāhanga Pūrua 3: Te Arotake me te Whakamātautau i te tāruarua
Wāhanga Pūrua 4: Te arotake me te whakamatautau i te zbackup, restic, borgbackup
Wāhanga Pūrua 5: Te whakamatautau i te bacula me te veeam backup mo linux
Wāhanga Pūrua 6: Whakataurite Utauta Pūrua
Wāhanga Pūrua 7: Whakamutunga

I whakairihia e: Pavel Demkovich

Source: will.com

Tāpiri i te kōrero