E noʻonoʻo ana kēia ʻatikala i nā polokalamu hoʻihoʻi, ma ka wāwahi ʻana i ke kahawai ʻikepili i nā ʻāpana ʻokoʻa (chunks), e hana i kahi waihona.
Hiki ke hoʻopili hou ʻia nā ʻāpana waihona a hoʻopili ʻia, a ʻo ka mea nui loa - i ka wā o nā kaʻina hana hoʻihoʻi - hoʻohana hou ʻia.
ʻO kahi kope kope i loko o ia waihona kahi inoa inoa o nā ʻāpana i pili i kekahi i kekahi, no ka laʻana, e pili ana i nā hana hash like ʻole.
Aia kekahi mau hoʻonā like, e nānā au i ka 3: zbackup, borgbackup a me restic.
Nā hopena i manaʻo ʻia
No ka mea e koi ana nā mea noi a pau i ka hana ʻana i kahi waihona ma kekahi ʻano a i ʻole kekahi, ʻo kekahi o nā mea koʻikoʻi e koho i ka nui o ka waihona. ʻO ke kūpono, ʻaʻole ʻoi aku ka nui o kona nui ma mua o 13 GB e like me ke ʻano hana i ʻae ʻia, a i ʻole ka liʻiliʻi - ma lalo o ka optimization maikaʻi.
He mea makemake nui ia e hiki ke hana i nā kope kope o nā faila me ka ʻole o ka hoʻohana ʻana i nā waihona e like me tar, a me ka hana pū me ssh/sftp me ka ʻole o nā mea hana hou e like me rsync a me sshfs.
ʻO ke ʻano i ka hana ʻana i nā waihona:
- E like ka nui o ka waihona me ka nui o nā loli, a i ʻole ka liʻiliʻi.
- Manaʻo ʻia ka ukana kaumaha CPU i ka wā e hoʻohana ai i ka hoʻopiʻi a/a i ʻole ka hoʻopili ʻana, a ʻoi aku ka kiʻekiʻe o ka pūnaewele a me ka hoʻouka disk inā e holo ana ke kaʻina hoʻopaʻa waihona a/a i ʻole ma kahi kikowaena mālama mālama.
- Inā pōʻino ka waihona, aia paha ka hewa i ka wā e hana ana i nā waihona hou a i ka wā e hoʻāʻo ai e hoʻihoʻi. Pono e hoʻolālā i nā hana hou e hōʻoia i ka pono o ka waihona a hoʻohana paha i nā mea hana i kūkulu ʻia no ka nānā ʻana i kona kūpaʻa.
Lawe ʻia ka hana ʻana me ka tar ma ke ʻano he kumu hoʻohālikelike, e like me ka mea i hōʻike ʻia ma kekahi o nā ʻatikala mua.
Ke hoʻāʻo nei i ka zbackup
ʻO ka hana maʻamau o zbackup ʻo ia ka loaʻa ʻana o ka papahana ma nā wahi kahawai data komo i loaʻa nā ʻikepili like, a laila koho koho a hoʻopili iā lākou, e mālama i kēlā me kēia wahi i hoʻokahi wale nō.
Hoʻohana ʻo Deduplication i kahi hana hash ring 64-bit me ka puka aniani e nānā ai i nā pāʻani byte-by-byte e kūʻē i nā poloka ʻikepili i loaʻa (e like me ka hoʻokō ʻana o rsync).
Hoʻohana ʻia ka lzma a me ka lzo multi-threaded no ka hoʻopili ʻana, a no ka hoʻopili ʻana. Hiki i nā mana hou loa ke holoi i nā ʻikepili kahiko mai ka waihona i ka wā e hiki mai ana.
Ua kākau ʻia ka papahana ma C ++ me nā mea hilinaʻi liʻiliʻi. Ua hoʻoulu ʻia ka mea kākau e ka unix-way, no laila ʻae ka papahana i ka ʻikepili ma stdin i ka wā e hana ai i nā backup, e hana ana i kahi kahawai data like ma stdout i ka wā e hoʻihoʻi ai. No laila, hiki ke hoʻohana ʻia ka zbackup ma ke ʻano he "kūkulu hale" maikaʻi loa i ka wā e kākau ai i kāu mau hoʻoponopono hoʻihoʻi. No ka laʻana, ua hoʻohana ka mea kākau o ka ʻatikala i kēia papahana ma ke ʻano he mea hoʻihoʻi nui no nā mīkini home mai ka makahiki 2014.
He tar maʻamau ke kahawai ʻikepili ke ʻole ka ʻōlelo ʻē aʻe.
E ʻike kākou i nā hopena:
Ua nānā ʻia ka hana ma nā koho 2:
- hana ʻia kahi waihona a hoʻomaka ʻia ka zbackup ma ke kikowaena me ka ʻikepili kumu, a laila e hoʻoneʻe ʻia nā mea o ka waihona i ke kikowaena mālama mālama.
- hana ʻia kahi waihona ma ka waihona mālama waihona, hoʻomaka ʻia ʻo zbackup ma o ssh ma ke kikowaena mālama waihona, a hoʻouna ʻia ka ʻikepili iā ia ma o ka paipu.
ʻO nā hopena o ka koho mua penei: 43m11s - i ka wā e hoʻohana ai i kahi waihona unencrypted a me ka lzma compressor, 19m13s - i ka wā e hoʻololi ai i ka compressor me lzo.
ʻO ka ukana ma ka kikowaena me ka ʻikepili kumu e like me kēia (hōʻike ʻia kahi laʻana me lzma; me lzo aia ma kahi o ke kiʻi like, akā ʻo ka hapa o rsync ma kahi o ka hapaha o ka manawa):
ʻIke ʻia he kūpono wale ia kaʻina hana hoʻihoʻi no nā loli liʻiliʻi. He mea maikaʻi loa ia e kaupalena i ka zbackup i ka 1 thread, i ʻole e loaʻa kahi ukana CPU kiʻekiʻe loa, no ka mea Maikaʻi ka polokalamu i ka hana ʻana ma nā pae he nui. He liʻiliʻi ka ukana ma ka disk, ʻaʻole e ʻike ʻia me kahi subsystem disk-based SSD hou. Hiki iā ʻoe ke ʻike maopopo i ka hoʻomaka ʻana o ke kaʻina hana o ka hoʻonohonoho ʻana i ka ʻikepili waihona i kahi kikowaena mamao; ua like ka wikiwiki o ka hana me ka rsync maʻamau a hilinaʻi ʻia i ka hana o ka subsystem disk o ke kikowaena mālama mālama. ʻO ka hemahema o kēia ʻano, ʻo ia ka mālama ʻana i kahi waihona kūloko a, ma muli o ka hoʻololi ʻana i ka ʻikepili.
ʻOi aku ka hoihoi a pili i ka hoʻomaʻamaʻa ʻana ʻo ia ka lua o ka koho, e holo pololei ana i ka zbackup ma ke kikowaena mālama mālama.
ʻO ka mea mua, e hoʻāʻo mākou i ka hana me ka ʻole o ka hoʻohana ʻana i ka encryption me ka lzma compressor:
Ka manawa holo o kēlā me kēia hoʻāʻo holo:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
39m45
40m20
40m3
7m36
8m3
7m48
15m35
15m48
15m38
Inā hiki iā ʻoe ke hoʻopili i ka hoʻohana ʻana i ka aes, kokoke loa nā hopena:
Ka manawa hana ma ka ʻikepili like, me ka hoʻopunipuni:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
43m40
44m12
44m3
8m3
8m15
8m12
15m0
15m40
15m25
Inā hui pū ʻia ka hoʻopili ʻana me ka hoʻohana ʻana i ka lzo, e like me kēia:
Nā hola hana:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
18m2
18m15
18m12
5m13
5m24
5m20
8m48
9m3
8m51
Ua like ka nui o ka waihona waihona i ka 13GB. 'O ia ho'i, ke hana pololei nei ka unuhi 'ana. Eia kekahi, ma ka ʻikepili i hoʻopili ʻia, me ka hoʻohana ʻana i ka lzo e hāʻawi i kahi hopena ʻike ʻia; ma ke ʻano o ka manawa hana holoʻokoʻa, hiki mai ka zbackup i kahi duplicity / duplicati, akā aia ma hope o nā mea e pili ana i ka librsync e 2-5 mau manawa.
ʻIke ʻia nā mea maikaʻi - mālama i ka hakahaka disk ma ke kikowaena mālama mālama. E like me nā mea hana e nānā ai i ka waihona, ʻaʻole hāʻawi ka mea kākau o zbackup iā lākou; ua ʻōlelo ʻia e hoʻohana i kahi hoʻonohonoho disk hoʻomanawanui hewa a i ʻole ka mea hāʻawi kapuaʻi.
Ma keʻano holoʻokoʻa, he manaʻo maikaʻi loa, ʻoiai ke kū nei ka papahana ma kahi o 3 mau makahiki (ʻo ka noi hiʻohiʻona hope e pili ana i hoʻokahi makahiki i hala, akā ʻaʻohe pane).
Ke hoʻāʻo nei i ka borgbackup
ʻO Borgbackup kahi ʻāpana o ka attic, kahi ʻōnaehana ʻē aʻe e like me zbackup. Kākau ʻia ma ka python, loaʻa iā ia kahi papa inoa o nā mana e like me zbackup, akā hiki ke:
- E kau i nā waihona ma o ka fuse
- E nānā i ka waihona waihona
- Hana ma ke ʻano mea kūʻai aku
- E hoʻohana i nā compressors like ʻole no ka ʻikepili, a me ka hoʻoholo ʻana heuristic o ke ʻano faila i ka wā e kaomi ai.
- 2 mau koho hoʻopunipuni, aes a me blake
- Mea paahana no
hōʻoia hana
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
ʻO nā hopena penei:
CZ-BIG 96.51 MB/s (10 100.00 MB nā faila āpau-zero: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB nā faila āpau-zero: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB nā faila āpau-zero: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB nā faila āpau-zero: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB waihona ʻokoʻa: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB waihona ʻokoʻa: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB waihona ʻokoʻa: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB waihona ʻokoʻa: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB nā faila āpau-zero: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB nā faila āpau-zero: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB nā faila āpau-zero: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB nā faila āpau-zero: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB waihona ʻokoʻa: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB waihona ʻokoʻa: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB waihona ʻokoʻa: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB waihona ʻokoʻa: 20.49s)
CZ-LIʻI 11.72 MB/s (10000 10.00 kB nā faila āpau-zero: 8.53s)
RZ-LIʻI 32.57 MB/s (10000 10.00 kB nā faila āpau-zero: 3.07s)
UZ-LIʻI 19.37 MB/s (10000 10.00 kB nā faila āpau-zero: 5.16s)
DZ-LIʻI 33.71 MB/s (10000 10.00 kB nā faila āpau-zero: 2.97s)
CR-LIILI 6.85 MB/s (10000 10.00 kB waihona maʻamau: 14.60s)
RR-LIILI 31.27 MB/s (10000 10.00 kB waihona maʻamau: 3.20s)
UR-LIILI 12.28 MB/s (10000 10.00 kB waihona maʻamau: 8.14s)
DR-Liʻiliʻi 18.78 MB/s (10000 10.00 kB waihona maʻamau: 5.32s)
I ka hoʻāʻo ʻana, e hoʻohana ʻia nā heuristic compression e hoʻoholo i ke ʻano faila (compression auto), a penei nā hopena:
ʻO ka mea mua, e nānā kāua pehea e hana ai me ka ʻole o ka hoʻopili ʻana:
Nā hola hana:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
4m6
4m10
4m5
56s
58s
54s
1m26
1m34
1m30
Inā hiki iā ʻoe ke ʻae i ka ʻae ʻana i ka waihona (mode authenticated), kokoke nā hopena:
Nā hola hana:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
4m11
4m20
4m12
1m0
1m3
1m2
1m30
1m34
1m31
I ka wā i hoʻā ʻia ai ka hoʻopunipuni aes, ʻaʻole i emi nui nā hopena:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
4m55
5m2
4m58
1m0
1m2
1m0
1m49
1m50
1m50
A inā hoʻololi ʻoe i ka aes i blake, e hoʻomaikaʻi loa ke kūlana:
Nā hola hana:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
4m33
4m43
4m40
59s
1m0
1m0
1m38
1m43
1m40
E like me ka zbackup, ʻo ka nui o ka waihona he 13GB a ʻoi aku ka liʻiliʻi, ʻo ia ka mea i manaʻo ʻia. Ua hauʻoli loa wau i ka manawa holo; ua hoʻohālikelike ʻia i nā hoʻonā e pili ana i ka librsync, e hāʻawi ana i nā mana ākea. Ua hauʻoli hoʻi au i ka hiki ke hoʻonohonoho i nā ʻāpana like ʻole ma o nā ʻano hoʻololi kaiapuni, e hāʻawi ana i kahi pōmaikaʻi koʻikoʻi i ka wā e hoʻohana ai i ka borgbackup i ke ʻano ʻakomi. Ua hauʻoli nō hoʻi au i ka ukana i ka wā o ka hoʻihoʻi ʻana: e hoʻoholo ana i ka hoʻouka ʻana o ka processor, hana ʻo borgbackup i 1 thread.
ʻAʻohe mea pōʻino i ka wā e hoʻohana ai.
hoʻāʻo hoʻomaha
ʻOiai ʻo ka restic kahi hopena hou loa (ua ʻike ʻia nā moho 2 mua i ka makahiki 2013 a ʻoi aku), he mau hiʻohiʻona maikaʻi loa. Kākau ʻia ma Go.
Ke hoʻohālikelike ʻia me zbackup, hāʻawi pū ia:
- Ke nānā nei i ka pono o ka waihona (me ka nānā ʻana i nā ʻāpana).
- He papa inoa nui o nā protocols i kākoʻo ʻia a me nā mea hoʻolako no ka mālama ʻana i nā backup, a me ke kākoʻo no rclone - rsync no nā hoʻonā kapua.
- Ka hoʻohālikelike ʻana i nā waihona 2 me kekahi.
- Ke kau nei i ka waihona me ka fuse.
Ma keʻano laulā, kokoke loa ka papa inoa o nā hiʻohiʻona i ka borgbackup, ma kekahi mau wahi ʻoi aku, ma nā wahi ʻē aʻe. ʻO kekahi o nā hiʻohiʻona ʻaʻohe ala e hoʻopau ai i ka hoʻopili ʻana, a no laila e hoʻopili mau ʻia nā kope kope. E ʻike kākou ma ka hoʻomaʻamaʻa ʻana i ka mea hiki ke ʻoki ʻia mai kēia polokalamu:
ʻO nā hopena penei:
Nā hola hana:
Hoʻomaka 1
Hoʻomaka 2
Hoʻomaka 3
5m25
5m50
5m38
35s
38s
36s
1m54
2m2
1m58
Hoʻohālikelike ʻia nā hopena hana i nā hoʻonā rsync-based a, ma ka laulā, kokoke loa i ka borgbackup, akā ʻoi aku ka kiʻekiʻe o ka ukana CPU (nui nā kaula e holo ana) a me ka sawtooth.
ʻO ka mea maʻamau, ua kaupalena ʻia ka papahana e ka hana ʻana o ka subsystem disk ma ke kikowaena mālama ʻikepili, e like me ka hihia me rsync. ʻO ka nui o ka waihona ʻo 13GB, e like me zbackup a i ʻole borgbackup, ʻaʻohe hemahema i ka wā e hoʻohana ai i kēia hopena.
Nā hualoaʻa
ʻOiaʻiʻo, ua loaʻa i nā moho a pau nā hopena like, akā ma nā kumukūʻai like ʻole. Hana maikaʻi loa ʻo Borgbackup, ʻoi aku ka mālie o ka hoʻomaha, ʻaʻole pono paha ka zbackup e hoʻohana,
a inā ua hoʻohana ʻia, e hoʻololi iā ia i borgbackup a i ʻole restic.
haʻina
ʻO ka hopena maikaʻi loa e like me ka hoʻomaha, no ka mea ... ʻo ia ka mea i loaʻa ka lakio maikaʻi loa o ka hiki ke holo wikiwiki, akā, mai wikiwiki mākou i nā hopena maʻamau i kēia manawa.
ʻAʻole ʻoi aku ka maikaʻi o Borgbackup, akā ʻoi aku ka maikaʻi o ka zbackup. ʻOiaʻiʻo, hiki ke hoʻohana ʻia ka zbackup e hōʻoia i ka hana o ka lula 3-2-1. No ka laʻana, ma kahi o (lib) rsync-based backup facilities.
Hoʻolaha
Mahele Hoʻihoʻi 5: Hoʻāʻo i ka bacula a me ka veeam backup no linux
Mahele Hoʻihoʻi 6: Hoʻohālikelike i nā mea hana hoʻihoʻi
Mahele ʻāpana 7: Nā hopena
Hoʻouna ʻia e: Pavel Demkovich
Source: www.habr.com