Nkan yii yoo gbero sọfitiwia afẹyinti ti, nipa fifọ ṣiṣan data sinu awọn paati lọtọ (awọn chunks), ṣe agbekalẹ ibi-ipamọ kan.
Awọn paati ibi ipamọ le jẹ fisinuirindigbindigbin siwaju ati fifi ẹnọ kọ nkan, ati pataki julọ - lakoko awọn ilana afẹyinti ti o tun lo - tun lo.
Ẹda afẹyinti ni iru ibi ipamọ bẹẹ jẹ pq ti a darukọ ti awọn paati ti o sopọ si ara wọn, fun apẹẹrẹ, da lori ọpọlọpọ awọn iṣẹ hash.
Ọpọlọpọ awọn solusan ti o jọra wa, Emi yoo dojukọ 3: zbackup, borgbackup ati restic.
Awọn abajade ti a nireti
Niwọn igba ti gbogbo awọn olubẹwẹ nilo ẹda ti ibi ipamọ ni ọna kan tabi omiiran, ọkan ninu awọn nkan pataki julọ yoo jẹ lati ṣe iṣiro iwọn ibi-ipamọ naa. Ni deede, iwọn rẹ ko yẹ ki o jẹ diẹ sii ju 13 GB ni ibamu si ilana ti a gba, tabi paapaa kere si - koko-ọrọ si iṣapeye to dara.
O tun jẹ iwunilori pupọ lati ni anfani lati ṣẹda awọn adakọ afẹyinti ti awọn faili taara, laisi lilo awọn ile-ipamọ bi tar, ati ṣiṣẹ pẹlu ssh/sftp laisi awọn irinṣẹ afikun bii rsync ati sshfs.
Iwa nigba ṣiṣẹda awọn afẹyinti:
- Iwọn ibi-ipamọ yoo jẹ dogba si iwọn awọn iyipada, tabi kere si.
- Eru Sipiyu fifuye ti wa ni o ti ṣe yẹ nigba lilo funmorawon ati / tabi ìsekóòdù, ati ki o oyimbo ga nẹtiwọki ati fifuye disk jẹ ti o ba ti archiving ati/tabi ìsekóòdù ilana ti wa ni nṣiṣẹ lori afẹyinti ipamọ olupin.
- Ti ibi ipamọ ba bajẹ, aṣiṣe idaduro le ṣee ṣe mejeeji nigba ṣiṣẹda awọn afẹyinti titun ati nigba igbiyanju lati mu pada. O jẹ dandan lati gbero awọn igbese afikun lati rii daju iduroṣinṣin ti ibi-ipamọ tabi lo awọn irinṣẹ ti a ṣe sinu rẹ lati ṣayẹwo iduroṣinṣin rẹ.
Ṣiṣẹ pẹlu tar ni a mu bi iye itọkasi, bi a ṣe han ninu ọkan ninu awọn nkan ti tẹlẹ.
Igbeyewo zbackup
Ilana gbogbogbo ti zbackup ni pe eto naa rii ni awọn agbegbe ṣiṣanwọle data titẹ sii ti o ni data kanna, lẹhinna ni iyan compress ati fifipamọ wọn, fifipamọ agbegbe kọọkan ni ẹẹkan.
Deduplication nlo iṣẹ hash oruka 64-bit pẹlu ferese sisun lati ṣayẹwo fun awọn ibaamu baiti-nipasẹ-baiti lodi si awọn bulọọki data ti o wa tẹlẹ (bii bi rsync ṣe nṣe imuse rẹ).
Olona-asapo lzma ati lzo ni a lo fun funmorawon, ati aes fun fifi ẹnọ kọ nkan. Awọn ẹya tuntun ni agbara lati paarẹ data atijọ lati ibi ipamọ ni ọjọ iwaju.
Eto naa ti kọ sinu C ++ pẹlu awọn igbẹkẹle ti o kere ju. O dabi ẹnipe onkọwe naa ni atilẹyin nipasẹ ọna-ọna unix, nitorinaa eto naa gba data lori stdin nigbati o ṣẹda awọn afẹyinti, n ṣe ṣiṣan data ti o jọra lori stdout nigba mimu-pada sipo. Nitorinaa, zbackup le ṣee lo bi “bulọọki ile” ti o dara pupọ nigbati o nkọ awọn solusan afẹyinti tirẹ. Fun apẹẹrẹ, onkọwe nkan naa ti lo eto yii gẹgẹbi ohun elo afẹyinti akọkọ fun awọn ẹrọ ile lati ọdun 2014.
Ṣiṣan data yoo jẹ oda deede ayafi ti bibẹẹkọ ti sọ.
Jẹ ki a wo kini awọn abajade jẹ:
A ṣayẹwo iṣẹ naa ni awọn aṣayan meji:
- a ṣẹda ibi ipamọ ati zbackup ti ṣe ifilọlẹ lori olupin pẹlu data orisun, lẹhinna awọn akoonu ti ibi ipamọ ti gbe lọ si olupin ibi ipamọ afẹyinti.
- a ṣẹda ibi ipamọ lori olupin ibi ipamọ afẹyinti, zbackup ti ṣe ifilọlẹ nipasẹ ssh lori olupin ibi ipamọ afẹyinti, ati pe a fi data ranṣẹ si nipasẹ paipu.
Awọn abajade ti aṣayan akọkọ jẹ bi atẹle: 43m11s - nigba lilo ibi ipamọ ti a ko sọ di mimọ ati konpireso lzma, 19m13s - nigbati o rọpo konpireso pẹlu lzo.
Ẹru ti o wa lori olupin pẹlu data atilẹba jẹ atẹle (apẹẹrẹ pẹlu lzma ti han; pẹlu lzo, aworan kanna wa, ṣugbọn ipin ti rsync jẹ nipa idamẹrin akoko):
O han gbangba pe iru ilana afẹyinti nikan dara fun awọn iyipada to ṣọwọn ati kekere. O tun jẹ imọran ga julọ lati ṣe idinwo zbackup si okun 1, bibẹẹkọ yoo jẹ fifuye Sipiyu ti o ga pupọ, nitori Eto naa dara pupọ ni ṣiṣẹ ni awọn okun pupọ. Ẹru lori disiki naa jẹ kekere, eyiti ni gbogbogbo kii yoo ṣe akiyesi pẹlu eto ipilẹ-orisun disk ssd ode oni. O tun le rii ni kedere ibẹrẹ ilana ti mimuuṣiṣẹpọ data ibi-ipamọ si olupin latọna jijin; iyara iṣiṣẹ jẹ afiwera si rsync deede ati da lori iṣẹ ṣiṣe ti disiki subsystem ti olupin ibi ipamọ afẹyinti. Aila-nfani ti ọna yii ni ibi ipamọ ti ibi ipamọ agbegbe ati, bi abajade, ẹda data.
Awọn iyanilẹnu diẹ sii ati iwulo ni adaṣe ni aṣayan keji, nṣiṣẹ zbackup taara lori olupin ibi ipamọ afẹyinti.
Ni akọkọ, a yoo ṣayẹwo iṣẹ naa laisi lilo fifi ẹnọ kọ nkan pẹlu konpireso lzma:
Akoko ṣiṣe ti ṣiṣe idanwo kọọkan:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 39m45s
Awọn 40m20s
Awọn 40m3s
Awọn 7m36s
Awọn 8m3s
Awọn 7m48s
Awọn 15m35s
Awọn 15m48s
Awọn 15m38s
Ti o ba mu fifi ẹnọ kọ nkan ṣiṣẹ nipa lilo aes, awọn abajade ti sunmọ:
Akoko iṣẹ lori data kanna, pẹlu fifi ẹnọ kọ nkan:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 43m40s
Awọn 44m12s
Awọn 44m3s
Awọn 8m3s
Awọn 8m15s
Awọn 8m12s
Awọn 15m0s
Awọn 15m40s
Awọn 15m25s
Ti a ba ni idapo fifi ẹnọ kọ nkan pẹlu funmorawon nipa lilo lzo, o dabi eyi:
Awọn wakati ṣiṣẹ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 18m2s
Awọn 18m15s
Awọn 18m12s
Awọn 5m13s
Awọn 5m24s
Awọn 5m20s
Awọn 8m48s
Awọn 9m3s
Awọn 8m51s
Iwọn ibi ipamọ ti o yọrisi jẹ iwọn kanna ni 13GB. Eyi tumọ si pe iyọkuro n ṣiṣẹ ni deede. Paapaa, lori data fisinuirindigbindigbin tẹlẹ, lilo lzo n funni ni ipa akiyesi; ni awọn ofin ti akoko iṣẹ lapapọ, zbackup wa nitosi duplicati/ duplicati, ṣugbọn awọn ti o da lori librsync nipasẹ awọn akoko 2-5.
Awọn anfani jẹ kedere - fifipamọ aaye disk lori olupin ipamọ afẹyinti. Bi fun awọn irinṣẹ ṣiṣayẹwo ibi ipamọ, onkọwe ti zbackup ko pese wọn; o gba ọ niyanju lati lo eto disiki ọlọdun aṣiṣe tabi olupese awọsanma.
Iwoye, iwunilori ti o dara pupọ, botilẹjẹpe iṣẹ akanṣe naa ti duro niwọn bi ọdun 3 (ibeere ẹya ti o kẹhin jẹ nipa ọdun kan sẹhin, ṣugbọn laisi esi).
Igbeyewo borgbackup
Borgbackup jẹ orita ti oke aja, eto miiran ti o jọra si zbackup. Ti a kọ ni Python, o ni atokọ ti awọn agbara ti o jọra si zbackup, ṣugbọn ni afikun le:
- Oke backups nipasẹ fiusi
- Ṣayẹwo awọn akoonu ibi ipamọ
- Ṣiṣẹ ni ipo olupin-olupin
- Lo orisirisi awọn compressors fun data, bakanna bi ipinnu heuristic ti iru faili nigba titẹkuro.
- 2 ìsekóòdù awọn aṣayan, aes ati blake
- -Itumọ ti ni ọpa fun
awọn sọwedowo iṣẹ
borgbackup ala crud ssh://backup_server/repo/path local_dir
Abajade jẹ bi atẹle:
C-Z-BIG 96.51 MB/s (10 100.00 MB gbogbo-odo awọn faili: 10.36s)
R-Z-BIG 57.22 MB/s (10 100.00 MB gbogbo-odo awọn faili: 17.48s)
U-Z-BIG 253.63 MB/s (10 100.00 MB gbogbo-odo awọn faili: 3.94s)
D-Z-BIG 351.06 MB/s (10 100.00 MB gbogbo-odo awọn faili: 2.85s)
C-R-BIG 34.30 MB/s (10 100.00 MB ID awọn faili: 29.15s)
R-R-BIG 60.69 MB/s (10 100.00 MB ID awọn faili: 16.48s)
U-R-BIG 311.06 MB/s (10 100.00 MB ID awọn faili: 3.21s)
D-R-BIG 72.63 MB/s (10 100.00 MB ID awọn faili: 13.77s)
C-Z-Alabọde 108.59 MB/s (1000 1.00 MB gbogbo-odo awọn faili: 9.21s)
R-Z-Alabọde 76.16 MB/s (1000 1.00 MB gbogbo-odo awọn faili: 13.13s)
U-Z-Alabọde 331.27 MB/s (1000 1.00 MB gbogbo-odo awọn faili: 3.02s)
D-Z-Alabọde 387.36 MB/s (1000 1.00 MB gbogbo-odo awọn faili: 2.58s)
C-R-alabọde 37.80 MB/s (1000 1.00 MB ID awọn faili: 26.45s)
R-R-alabọde 68.90 MB/s (1000 1.00 MB ID awọn faili: 14.51s)
U-R-alabọde 347.24 MB/s (1000 1.00 MB ID awọn faili: 2.88s)
D-R-alabọde 48.80 MB/s (1000 1.00 MB ID awọn faili: 20.49s)
C-Z-KEKERE 11.72 MB/s (10000 10.00 kB gbogbo-odo awọn faili: 8.53s)
R-Z-KEKERE 32.57 MB/s (10000 10.00 kB gbogbo-odo awọn faili: 3.07s)
U-Z-KEKERE 19.37 MB/s (10000 10.00 kB gbogbo-odo awọn faili: 5.16s)
D-Z-KEKERE 33.71 MB/s (10000 10.00 kB gbogbo-odo awọn faili: 2.97s)
C-R-KEKERE 6.85 MB/s (10000 10.00 kB awọn faili laileto: 14.60s)
R-R-KEKERE 31.27 MB/s (10000 10.00 kB awọn faili laileto: 3.20s)
U-R-KEKERE 12.28 MB/s (10000 10.00 kB awọn faili laileto: 8.14s)
D-R-KEKERE 18.78 MB/s (10000 10.00 kB awọn faili laileto: 5.32s)
Nigbati o ba ṣe idanwo, awọn heuristics funmorawon yoo ṣee lo lati pinnu iru faili naa (aifọwọyi funmorawon), ati awọn abajade yoo jẹ atẹle yii:
Ni akọkọ, jẹ ki a ṣayẹwo bi o ṣe n ṣiṣẹ laisi fifi ẹnọ kọ nkan:
Awọn wakati ṣiṣẹ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 4m6s
Awọn 4m10s
Awọn 4m5s
56
58
54
Awọn 1m26s
Awọn 1m34s
Awọn 1m30s
Ti o ba mu aṣẹ ibi ipamọ ṣiṣẹ (ipo ti a fọwọsi), awọn abajade yoo sunmọ:
Awọn wakati ṣiṣẹ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 4m11s
Awọn 4m20s
Awọn 4m12s
Awọn 1m0s
Awọn 1m3s
Awọn 1m2s
Awọn 1m30s
Awọn 1m34s
Awọn 1m31s
Nigbati fifi ẹnọ kọ nkan aes ṣiṣẹ, awọn abajade ko buru pupọ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 4m55s
Awọn 5m2s
Awọn 4m58s
Awọn 1m0s
Awọn 1m2s
Awọn 1m0s
Awọn 1m49s
Awọn 1m50s
Awọn 1m50s
Ati pe ti o ba yipada aes si blake, ipo naa yoo ni ilọsiwaju patapata:
Awọn wakati ṣiṣẹ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 4m33s
Awọn 4m43s
Awọn 4m40s
59
Awọn 1m0s
Awọn 1m0s
Awọn 1m38s
Awọn 1m43s
Awọn 1m40s
Gẹgẹbi ọran ti zbackup, iwọn ibi ipamọ jẹ 13GB ati paapaa kere si, eyiti o nireti ni gbogbogbo. Inu mi dun pupọ pẹlu akoko ṣiṣe; o jẹ afiwera si awọn solusan ti o da lori librsync, n pese awọn agbara gbooro pupọ. Inu mi tun dun pẹlu agbara lati ṣeto ọpọlọpọ awọn ayeraye nipasẹ awọn oniyipada ayika, eyiti o funni ni anfani to ṣe pataki nigba lilo borgiup ni ipo adaṣe. Mo tun ni inudidun pẹlu fifuye lakoko afẹyinti: idajọ nipasẹ fifuye ero isise, borgbackup ṣiṣẹ ni okun 1.
Ko si awọn alailanfani kan pato nigba lilo rẹ.
restic igbeyewo
Bíótilẹ o daju wipe restic ni a iṣẹtọ titun ojutu (akọkọ 2 oludije won mọ pada ni 2013 ati agbalagba), o ni o ni oyimbo ti o dara abuda. Ti a kọ ni Go.
Nigbati a ba ṣe afiwe pẹlu zbackup, o funni ni afikun:
- Ṣiṣayẹwo iyege ti ibi ipamọ (pẹlu iṣayẹwo ni awọn apakan).
- Atokọ nla ti awọn ilana atilẹyin ati awọn olupese fun titoju awọn afẹyinti, ati atilẹyin fun rclone - rsync fun awọn solusan awọsanma.
- Ifiwera awọn afẹyinti 2 pẹlu ara wọn.
- Iṣagbesori ibi ipamọ nipasẹ fiusi.
Ni gbogbogbo, atokọ ti awọn ẹya jẹ isunmọ si borgbackup, ni awọn aaye diẹ sii, ni awọn miiran kere si. Ọkan ninu awọn ẹya ara ẹrọ ni pe ko si ọna lati mu fifi ẹnọ kọ nkan kuro, ati nitorinaa awọn ẹda afẹyinti yoo jẹ fifi ẹnọ kọ nkan nigbagbogbo. Jẹ ki a wo ni iṣe ohun ti o le fa jade ninu sọfitiwia yii:
Abajade jẹ bi atẹle:
Awọn wakati ṣiṣẹ:
Ifilọlẹ 1
Ifilọlẹ 2
Ifilọlẹ 3
Awọn 5m25s
Awọn 5m50s
Awọn 5m38s
35
38
36
Awọn 1m54s
Awọn 2m2s
Awọn 1m58s
Awọn abajade iṣẹ tun jẹ afiwera si awọn iṣeduro orisun rsync ati, ni gbogbogbo, sunmo si borgbackup, ṣugbọn fifuye Sipiyu ga julọ (awọn okun ti n ṣiṣẹ pupọ) ati sawtooth.
O ṣeese julọ, eto naa ni opin nipasẹ iṣẹ ṣiṣe ti disiki subsystem lori olupin ibi ipamọ data, bi o ti jẹ ọran tẹlẹ pẹlu rsync. Iwọn ibi ipamọ naa jẹ 13GB, gẹgẹ bi zbackup tabi borgbackup, ko si awọn aila-nfani ti o han gbangba nigba lilo ojutu yii.
Результаты
Ni otitọ, gbogbo awọn oludije ṣaṣeyọri awọn abajade kanna, ṣugbọn ni awọn idiyele oriṣiriṣi. Borgbackup ṣe ti o dara julọ ti gbogbo rẹ, restic ti lọra diẹ, zbackup jasi ko tọ lati bẹrẹ lati lo,
ati pe ti o ba ti wa ni lilo tẹlẹ, gbiyanju yiyipada rẹ si borgipup tabi restic.
awari
Ojutu ti o ni ileri julọ dabi pe o jẹ isinmi, nitori ... o jẹ ẹniti o ni ipin ti o dara julọ ti awọn agbara si iyara iṣẹ, ṣugbọn jẹ ki a yara si awọn ipinnu gbogbogbo fun bayi.
Borgbackup jẹ besikale ko si buru, ṣugbọn zbackup jasi dara rọpo. Lootọ, zbackup tun le ṣee lo lati rii daju pe ofin 3-2-1 ṣiṣẹ. Fun apẹẹrẹ, ni afikun si (lib) awọn ohun elo afẹyinti ti o da lori rsync.
Ikede
Afẹyinti Apakan 5: Idanwo bacula ati afẹyinti veeam fun linux
Afẹyinti Apá 6: Ifiwera Afẹyinti Awọn irinṣẹ
Afẹyinti Apá 7: Ipari
Ti a fiweranṣẹ nipasẹ: Pavel Demkovich
orisun: www.habr.com