Sengoliloeng sena se tla nahana ka software ea "backup", eo ka ho pshatla phallo ea data ka likarolo tse arohaneng (li-chunks), e theha polokelo.
Likarolo tsa polokelo li ka hatelloa le ho ngolisoa le ho feta, 'me tsa bohlokoa ka ho fetisisa - nakong ea ts'ebetso ea bekapo khafetsa - e sebelisoa hape.
Kopi ea "backup" polokelong e joalo ke lethathamo la likarolo tse hokahaneng, mohlala, tse ipapisitseng le mesebetsi e fapaneng ea hash.
Ho na le litharollo tse 'maloa tse tšoanang, ke tla tsepamisa maikutlo ho 3: zbackup, borgbackup le restic.
Liphetho tse lebelletsoeng
Kaha bakopi bohle ba hloka ho theoa ha polokelo ka tsela e 'ngoe kapa e' ngoe, e 'ngoe ea lintlha tsa bohlokoa e tla ba ho hakanya boholo ba polokelo. Ha e le hantle, boholo ba eona ha ea lokela ho ba ho feta 13 GB ho ea ka mokhoa o amohelehang, kapa esita le ka tlase - ho itšetlehile ka ts'ebetso e ntle.
Hape ke ntho e lakatsehang haholo ho khona ho etsa likopi tsa "backup" tsa lifaele ka kotloloho, ntle le ho sebelisa li-archivers tse kang tar, hammoho le ho sebetsa ka ssh / sftp ntle le lisebelisoa tse ling tse kang rsync le sshfs.
Boitšoaro ha u etsa li-backups:
- Boholo ba polokelo bo tla lekana le boholo ba liphetoho, kapa ka tlase.
- Ho lebeletsoe hore mojaro o boima oa CPU ha o sebelisa compression le/kapa encryption, 'me marang-rang a phahameng haholo le boima ba disk bo ka etsahala haeba ts'ebetso ea ho boloka le / kapa ea encryption e sebetsa ho seva sa polokelo ea bekapo.
- Haeba polokelo e senyehile, phoso e liehileng e kanna ea ba ha u theha li-backups tse ncha le ha u leka ho khutlisa. Hoa hlokahala ho rera mehato e eketsehileng ho netefatsa botšepehi ba polokelo kapa ho sebelisa lisebelisoa tse hahiloeng bakeng sa ho hlahloba botšepehi ba eona.
Ho sebetsa ka tar ho nkoa e le boleng ba boitsebiso, joalokaha ho bontšitsoe ho e 'ngoe ea lihlooho tse fetileng.
Ho etsa liteko zbackup
Mokhoa o akaretsang oa zbackup ke hore lenaneo le fumana libakeng tsa phallo ea data tse kenang tse nang le data e ts'oanang, ebe ka boikhethelo le li hatella le ho li patala, ho boloka sebaka ka seng hanngoe feela.
Deduplication e sebelisa 64-bit ring hash e nang le fensetere e thellang ho lekola lipapali tsa byte-byte khahlano le li-block tsa data tse teng (tse ts'oanang le kamoo rsync e e sebelisang).
Lzma le lzo tse nang le likhoele tse ngata li sebelisoa bakeng sa ho hatella, le li-aes bakeng sa encryption. Liphetolelo tsa morao-rao li na le bokhoni ba ho hlakola data ea khale sebakeng sa polokelo nakong e tlang.
Lenaneo le ngotsoe ka C ++ ka ho itšetleha ho fokolang. Sengoli se bonahala se bululetsoe ke mokhoa oa unix, kahoo lenaneo le amohela data ho stdin ha le theha li-backups, le hlahisa molaetsa o tšoanang oa data ho stdout ha o tsosolosa. Kahoo, zbackup e ka sebelisoa e le "sebaka sa moaho" se setle haholo ha u ngola litharollo tsa hau tsa "backup". Mohlala, mongoli oa sengoloa o sebelisitse lenaneo lena e le sesebelisoa sa mantlha sa ho boloka mochini oa lapeng ho tloha hoo e ka bang 2014.
Phallo ea data e tla ba tar e tloaelehileng ntle le ha ho boletsoe ka tsela e 'ngoe.
Ha re bone hore na liphetho ke life:
Mosebetsi o ile oa hlahlojoa ka likhetho tse 2:
- polokelo ea bōptjoa 'me zbackup e qalisoa ho seva e nang le mohloli oa boitsebiso, ebe litaba tsa polokelo li fetisetsoa ho seva sa polokelo ea polokelo.
- polokelo e thehiloe ho seva sa polokelo ea bekapo, zbackup e qalisoa ka ssh ho seva sa polokelo ea backup, mme data e romelloa ho eona ka pipe.
Liphetho tsa khetho ea pele e ne e le tse latelang: 43m11s - ha u sebelisa polokelo e sa ngolisoang le lzma compressor, 19m13s - ha u nkela compressor sebaka ka lzo.
Mojaro o ho seva o nang le data ea mantlha e ne e le ka tsela e latelang (mohlala o nang le lzma o bontšitsoe; ka lzo ho ne ho e-na le setšoantšo se batlang se tšoana, empa kabelo ea rsync e ne e ka ba kotara ea nako):
Ho hlakile hore ts'ebetso e joalo ea bekapo e loketse feela bakeng sa liphetoho tse batlang li sa tloaeleha le tse nyane. Hape ho bohlokoa haholo ho fokotsa zbackup ho khoele e 1, ho seng joalo ho tla ba le mojaro o phahameng haholo oa CPU, hobane Lenaneo le sebetsa hantle haholo ka likhoele tse ngata. Mojaro o neng o le disk o ne o le monyane, oo ka kakaretso o neng o ke ke oa bonahala ka sistimi ea sejoale-joale ea ssd-based disk. U ka boela ua bona ka ho hlaka qalo ea ts'ebetso ea ho hokahanya data ea polokelo ho seva se hole; lebelo la ts'ebetso le ts'oana le rsync e tloaelehileng mme e ipapisitse le ts'ebetso ea "disk subsystem" ea seva sa polokelo ea bekapo. Bothata ba mokhoa ona ke ho boloka sebaka sa polokelo ea lehae, ka lebaka leo, ho pheta-pheta data.
Ho khahlisang le ho feta ts'ebetsong ke khetho ea bobeli, ho tsamaisa zbackup ka kotloloho ho seva sa polokelo ea bekapo.
Taba ea pele, re tla leka ts'ebetso ntle le ho sebelisa encryption ka lzma compressor:
Nako ea ho sebetsa ea tlhahlobo e 'ngoe le e 'ngoe:
Qala 1
Qala 2
Qala 3
39m45
40m20
40m3
7m36
8m3
7m48
15m35
15m48
15m38
Haeba o lumella ho kenyelletsa ho sebelisa li-aes, liphetho li haufi haholo:
Nako ea ts'ebetso ho data e ts'oanang, ka encryption:
Qala 1
Qala 2
Qala 3
43m40
44m12
44m3
8m3
8m15
8m12
15m0
15m40
15m25
Haeba encryption e kopantsoe le compression e sebelisa lzo, e shebahala tjena:
Lihora tse sebetsang:
Qala 1
Qala 2
Qala 3
18m2
18m15
18m12
5m13
5m24
5m20
8m48
9m3
8m51
Boholo ba polokelo e hlahisitsoeng bo ne bo batla bo lekana ho 13GB. Sena se bolela hore ho qoelisoa ho sebetsa hantle. Hape, ho data e seng e hatelitsoe, ho sebelisa lzo ho fana ka phello e hlokomelehang; ho latela nako eohle ea ts'ebetso, zbackup e atamela haufi le duplicity / duplicati, empa e salla ka morao ho tse thehiloeng ho librsync ka makhetlo a 2-5.
Melemo e hlakile - ho boloka sebaka sa disk ho seva sa polokelo ea bekapo. Ha e le lisebelisoa tsa ho hlahloba polokelo, mongoli oa zbackup ha a fane ka tsona; ho kgothaletswa ho sebelisa sehlopha sa disk se mamellang phoso kapa mofani oa maru.
Ka kakaretso, maikutlo a matle haholo, ho sa tsotellehe hore morero o ntse o eme ka lilemo tse ka bang 3 (kopo ea ho qetela ea likarolo e ne e le hoo e ka bang selemo se fetileng, empa ntle le karabo).
Ho etsa liteko tsa borgbackup
Borgbackup ke fereko ea marulelo, tsamaiso e 'ngoe e tšoanang le zbackup. E ngotsoe ka python, e na le lethathamo la bokhoni bo tšoanang le zbackup, empa hape e ka:
- Kenya li-backups ka fuse
- Sheba litaba tsa polokelo
- Sebetsa ka mokhoa oa li-client-server
- Sebelisa li-compressor tse fapaneng bakeng sa data, hammoho le qeto ea heuristic ea mofuta oa faele ha u e hatella.
- Likhetho tse 2 tsa encryption, aes le blake
- Sesebelisoa se hahiloeng bakeng sa
litlhahlobo tsa ts'ebetso
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
Liphetho e bile tse latelang:
CZ-BIG 96.51 MB/s (10 100.00 MB lifaele tsohle-zero: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB lifaele tsohle-zero: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB lifaele tsohle-zero: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB lifaele tsohle-zero: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB lifaele tse sa reroang: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB lifaele tse sa reroang: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB lifaele tse sa reroang: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB lifaele tse sa reroang: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB lifaele tsohle-zero: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB lifaele tsohle-zero: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB lifaele tsohle-zero: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB lifaele tsohle-zero: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB lifaele tse sa reroang: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB lifaele tse sa reroang: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB lifaele tse sa reroang: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB lifaele tse sa reroang: 20.49s)
CZ-NYANE 11.72 MB/s (10000 10.00 kB lifaele tsohle-zero: 8.53s)
RZ-NYANE 32.57 MB/s (10000 10.00 kB lifaele tsohle-zero: 3.07s)
UZ-NYANE 19.37 MB/s (10000 10.00 kB lifaele tsohle-zero: 5.16s)
DZ-NYANE 33.71 MB/s (10000 10.00 kB lifaele tsohle-zero: 2.97s)
CR-NYANE 6.85 MB/s (10000 10.00 kB lifaele tse sa reroang: 14.60s)
RR-NYANE 31.27 MB/s (10000 10.00 kB lifaele tse sa reroang: 3.20s)
UR-NYANE 12.28 MB/s (10000 10.00 kB lifaele tse sa reroang: 8.14s)
DR-SMALL 18.78 MB/s (10000 10.00 kB lifaele tse sa reroang: 5.32s)
Ha ho etsoa liteko, ho tla sebelisoa compression heuristics ho fumana mofuta oa faele (compression auto), 'me liphetho e tla ba tse latelang:
Taba ea pele, a re hlahlobeng hore na e sebetsa joang ntle le ho ngolla:
Lihora tse sebetsang:
Qala 1
Qala 2
Qala 3
4m6
4m10
4m5
56
58
54
1m26
1m34
1m30
Haeba o lumella tumello ea polokelo (mokhoa o netefalitsoeng), liphetho li tla ba haufi:
Lihora tse sebetsang:
Qala 1
Qala 2
Qala 3
4m11
4m20
4m12
1m0
1m3
1m2
1m30
1m34
1m31
Ha aes encryption e ne e kentsoe tšebetsong, liphetho ha lia ka tsa senyeha haholo:
Qala 1
Qala 2
Qala 3
4m55
5m2
4m58
1m0
1m2
1m0
1m49
1m50
1m50
'Me haeba u fetola aes ho blake, boemo bo tla ntlafala ka ho feletseng:
Lihora tse sebetsang:
Qala 1
Qala 2
Qala 3
4m33
4m43
4m40
59
1m0
1m0
1m38
1m43
1m40
Joalo ka zbackup, boholo ba polokelo e ne e le 13GB esita le e nyane hanyane, eo ka kakaretso e lebelletsoeng. Ke ne ke khahliloe haholo ke nako e tsamaeang; e bapisoa le tharollo e thehiloeng ho librsync, e fanang ka bokhoni bo pharaletseng haholoanyane. Ke ne ke boetse ke khahliloe ke bokhoni ba ho beha mekhahlelo e fapaneng ka mefuta e fapaneng ea tikoloho, e fanang ka monyetla o tebileng haholo ha u sebelisa borgbackup ka mokhoa o itekanetseng. Ke ne ke boetse ke khahliloe ke mojaro nakong ea ho boloka: ho ahlola ka mojaro oa processor, borgbackup e sebetsa ka khoele e le 'ngoe.
Ho ne ho se na mefokolo e itseng ha u e sebelisa.
teko ea ho phomola
Leha taba ea hore restic ke tharollo e ncha (bakhethoa ba 2 ba pele ba ne ba tsejoa khale koana ka 2013 le ho feta), e na le litšobotsi tse ntle haholo. E ngotsoe ho Go.
Ha e bapisoa le zbackup, e boetse e fana ka:
- Ho hlahloba botšepehi ba polokelo (ho kenyeletsoa le ho hlahloba likarolo).
- Lethathamo le leholo la liprothokholo tse tšehetsoeng le bafani ba ho boloka li-backups, hammoho le tšehetso ea rclone - rsync bakeng sa tharollo ea maru.
- Ho bapisa li-backups tse 2 le tse ling.
- Ho kenya polokelo ka fuse.
Ka kakaretso, lenane la likarolo le haufi haholo le borgbackup, libakeng tse ling ho feta, ho tse ling ka tlase. E 'ngoe ea likarolo ke hore ha ho na mokhoa oa ho tima encryption, ka hona, likopi tsa "backup" li tla lula li patiloe. Ha re boneng ka ts'ebetso hore na ke eng e ka pepesetsoang software ena:
Liphetho e bile tse latelang:
Lihora tse sebetsang:
Qala 1
Qala 2
Qala 3
5m25
5m50
5m38
35
38
36
1m54
2m2
1m58
Liphetho tsa ts'ebetso li boetse li bapisoa le litharollo tse thehiloeng ho rsync 'me, ka kakaretso, li haufi haholo le borgbackup, empa mojaro oa CPU o phahame (likhoele tse ngata tse sebetsang) le sawtooth.
Ho ka etsahala hore ebe lenaneo le lekanyelitsoe ke ts'ebetso ea "disk subsystem" ho seva sa polokelo ea data, joalo ka ha ho ne ho se ho ntse ho le joalo ka rsync. Boholo ba polokelo e ne e le 13GB, joalo ka zbackup kapa borgbackup, ho ne ho se na mefokolo e hlakileng ha u sebelisa tharollo ena.
Liphetho
Ha e le hantle, bohle ba khethiloeng ba fihletse liphello tse tšoanang, empa ka theko e fapaneng. Borgbackup e entse hantle ho feta tsohle, restic e ne e lieha hanyane, zbackup mohlomong ha ea lokela ho qala ho e sebelisa,
'me haeba e se e ntse e sebelisoa, leka ho e fetola hore e be borgbackup kapa restic.
fumanoeng ke
Tharollo e ts'episang ka ho fetisisa e bonahala e le e tsitsitseng, hobane ... ke eena ea nang le karo-karolelano e ntle ka ho fetisisa ea bokhoni ho lebelo la ts'ebetso, empa ha re potlakele ho fihlela liqeto tse akaretsang hajoale.
Borgbackup ha e mpe le ho feta, empa zbackup e kanna ea nkeloa sebaka hamolemo. Ke 'nete, zbackup e ntse e ka sebelisoa ho netefatsa hore molao oa 3-2-1 oa sebetsa. Mohlala, ho kenyelletsa (lib) meaho ea ho boloka e thehiloeng ho rsync.
Phatlalatso
Backup Karolo ea 5: Ho etsa liteko tsa bacula le veeam bakeng sa linux
bekapo Karolo ea 6: Bapisa bekapo Tools
Backup Karolo ea 7: Liqeto
E ngotsoe ke: Pavel Demkovich
Source: www.habr.com