Artikel ieu bakal mertimbangkeun software cadangan nu, ku megatkeun aliran data kana komponén misah (sapotong), ngabentuk gudang.
Komponén Repository tiasa langkung dikomprés sareng énkripsi, sareng anu paling penting - salami prosés cadangan anu diulang deui - dianggo deui.
Salinan cadangan dina gudang sapertos kitu mangrupikeun ranté tina komponén anu dihubungkeun, contona, dumasar kana sababaraha fungsi hash.
Aya sababaraha solusi sarupa, Kuring gé difokuskeun 3: zbackup, borgbackup na restic.
Hasil anu diarepkeun
Kusabab sadaya pelamar ngabutuhkeun nyiptakeun gudang dina hiji cara atanapi anu sanés, salah sahiji faktor anu paling penting nyaéta perkiraan ukuran gudang. Ideally, ukuranana teu kudu leuwih ti 13 GB nurutkeun metodologi ditarima, atawa malah kirang - tunduk kana optimasi alus.
Éta ogé pohara dipikahoyong pikeun bisa nyieun salinan cadangan file langsung, tanpa ngagunakeun archiver kawas tar, kitu ogé dianggo kalayan ssh / sftp tanpa parabot tambahan kawas rsync na sshfs.
Paripolah nalika nyieun cadangan:
- Ukuran gudang bakal sarua jeung ukuran parobahan, atawa kirang.
- Beban CPU beurat diperkirakeun lamun maké komprési jeung / atawa enkripsi, sarta jaringan cukup luhur sarta beban disk kamungkinan lamun archiving na / atawa prosés enkripsi dijalankeun dina server gudang cadangan.
- Upami gudangna ruksak, kasalahan anu ditunda kamungkinan nalika nyiptakeun cadangan énggal sareng nalika nyobian mulangkeun. Perlu ngarencanakeun ukuran tambahan pikeun mastikeun integritas gudang atanapi nganggo alat anu diwangun pikeun mariksa integritasna.
Gawe sareng tar dicokot salaku nilai rujukan, sakumaha ieu ditémbongkeun dina salah sahiji artikel saméméhna.
Nguji zbackup
Mékanisme umum zbackup nyaéta yén program éta mendakan di daérah aliran data input anu ngandung data anu sami, teras sacara opsional dikomprés sareng énkripsi, nyimpen unggal daérah ngan sakali.
Deduplication ngagunakeun fungsi 64-bit ring Hash kalawan jandela ngageser pikeun mariksa bait-demi-bait cocog ngalawan blok data aya (sarupa jeung kumaha rsync implements).
Multi-threaded lzma na lzo dipaké pikeun komprési, sarta aes pikeun enkripsi. Versi panganyarna boga kamampuhan pikeun mupus data heubeul ti gudang di mangsa nu bakal datang.
Program ieu ditulis dina C ++ kalawan kagumantungan minimal. Panulis tétéla diideuan ku cara unix, ku kituna program nampi data dina stdin nalika nyieun cadangan, ngahasilkeun aliran data anu sami dina stdout nalika malikkeun. Janten, zbackup tiasa dianggo salaku "blok wangunan" anu saé nalika nyerat solusi cadangan anjeun nyalira. Salaku conto, panulis tulisan parantos ngagunakeun program ieu salaku alat cadangan utama pikeun mesin bumi ti saprak 2014.
Aliran data bakal tar biasa iwal disebutkeun béda.
Hayu urang tingali kumaha hasilna:
Karya dipariksa dina 2 pilihan:
- a Repository dijieun na zbackup dibuka dina server kalawan data sumber, lajeng eusi gudang ditransferkeun ka server gudang cadangan.
- a Repository dijieun dina server gudang cadangan, zbackup dibuka via ssh dina server gudang cadangan, sarta data dikirimkeun ka dinya via pipe.
Hasil tina pilihan kahiji nyaéta kieu: 43m11s - nalika ngagunakeun gudang unencrypted sarta compressor lzma, 19m13s - nalika ngaganti compressor kalawan lzo.
Beban dina server sareng data aslina nyaéta kieu (conto sareng lzma ditampilkeun; sareng lzo aya gambar anu sami, tapi pangsa rsync sakitar saparapat waktos):
Éta jelas yén prosés cadangan sapertos kitu ngan cocog pikeun parobihan anu jarang sareng alit. Éta ogé disarankeun pikeun ngawatesan zbackup ka 1 utas, upami henteu bakal aya beban CPU anu luhur pisan, sabab Program éta saé pisan pikeun damel di sababaraha utas. Beban dina disk éta leutik, nu sacara umum moal noticeable kalawan subsistem disk basis SSD modern. Anjeun ogé tiasa jelas ningali mimiti prosés nyingkronkeun data gudang ka server jauh; laju operasi sabanding sareng rsync biasa sareng gumantung kana kinerja subsistem disk tina server panyimpenan cadangan. Karugian tina pendekatan ieu nyaéta neundeun gudang lokal sareng, salaku hasilna, duplikasi data.
Leuwih metot sarta lumaku dina praktekna mangrupa pilihan kadua, ngajalankeun zbackup langsung dina server gudang cadangan.
Mimiti, urang bakal nguji operasi tanpa nganggo enkripsi sareng compressor lzma:
Waktu ngajalankeun unggal test run:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
39m45an
40m20an
40m3an
7m36an
8m3an
7m48an
15m35an
15m48an
15m38an
Upami anjeun ngaktifkeun énkripsi nganggo aes, hasilna lumayan caket:
Waktu operasi dina data anu sami, kalayan énkripsi:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
43m40an
44m12an
44m3an
8m3an
8m15an
8m12an
15m0an
15m40an
15m25an
Upami enkripsi digabungkeun sareng komprési nganggo lzo, sigana kieu:
jam:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
18m2an
18m15an
18m12an
5m13an
5m24an
5m20an
8m48an
9m3an
8m51an
Ukuran gudang anu dihasilkeun relatif sarua dina 13GB. Ieu ngandung harti yén deduplication jalan leres. Ogé, dina data anu geus dikomprés, ngagunakeun lzo méré éfék noticeable; dina watesan total waktu operasi, zbackup datang deukeut duplicity / duplikat, tapi lags balik maranéhanana dumasar kana librsync ku 2-5 kali.
Kauntungannana atra - nyimpen spasi disk dina server gudang cadangan. Sedengkeun pikeun alat pamariksaan gudang, panulis zbackup henteu nyayogikeunana; Disarankeun ngagunakeun susunan disk anu toleran lepat atanapi panyadia awan.
Gemblengna, gambaran pohara alus, sanajan kanyataan yén proyék geus nangtung kénéh salila kira 3 taun (pamundut fitur panungtungan éta ngeunaan sataun katukang, tapi tanpa respon).
Nguji borgbackup
Borgbackup mangrupakeun garpu of loteng, sistem sejen sarupa zbackup. Ditulis dina python, éta ngagaduhan daptar kamampuan anu sami sareng zbackup, tapi ogé tiasa:
- Pasang cadangan via sekering
- Pariksa eusi gudang
- Gawé dina modeu klien-server
- Paké rupa compressors pikeun data, kitu ogé tekad heuristik sahiji jenis file nalika compressing eta.
- 2 pilihan enkripsi, aes jeung blake
- Diwangun-di alat pikeun
cék kinerja
borgbackup patokan crud ssh: // backup_server/repo/path local_dir
Hasilna nyaéta kieu:
CZ-BESAR 96.51 MB/s (10 100.00 MB sadaya-enol file: 10.36 detik)
RZ-BESAR 57.22 MB/s (10 100.00 MB sadaya-enol file: 17.48 detik)
UZ-BESAR 253.63 MB/s (10 100.00 MB sadaya-enol file: 3.94 detik)
DZ-BESAR 351.06 MB/s (10 100.00 MB sadaya-enol file: 2.85 detik)
CR-BESAR 34.30 MB/s (10 100.00 MB file acak: 29.15 detik)
RR-BESAR 60.69 MB/s (10 100.00 MB file acak: 16.48 detik)
UR-BESAR 311.06 MB/s (10 100.00 MB file acak: 3.21 detik)
DR-BESAR 72.63 MB/s (10 100.00 MB file acak: 13.77 detik)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB sadaya-enol file: 9.21 detik)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB sadaya-enol file: 13.13 detik)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB sadaya-enol file: 3.02 detik)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB sadaya-enol file: 2.58 detik)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB file acak: 26.45 detik)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB file acak: 14.51 detik)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB file acak: 2.88 detik)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB file acak: 20.49 detik)
CZ-LEUTIK 11.72 MB/s (10000 10.00 kB sadaya-enol file: 8.53s)
RZ-LEUTIK 32.57 MB/s (10000 10.00 kB sadaya-enol file: 3.07s)
UZ-LEUTIK 19.37 MB/s (10000 10.00 kB sadaya-enol file: 5.16s)
DZ-LEUTIK 33.71 MB/s (10000 10.00 kB sadaya-enol file: 2.97s)
CR-LEUTIK 6.85 MB/s (10000 10.00 kB file acak: 14.60 detik)
RR-LEUTIK 31.27 MB/s (10000 10.00 kB file acak: 3.20 detik)
UR-LEUTIK 12.28 MB/s (10000 10.00 kB file acak: 8.14 detik)
DR-LEUTIK 18.78 MB/s (10000 10.00 kB file acak: 5.32 detik)
Nalika nguji, heuristik komprési bakal dianggo pikeun nangtukeun jinis file (komprési otomatis), sareng hasilna bakal kieu:
Mimiti, hayu urang parios kumaha jalanna tanpa énkripsi:
jam:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
4m6an
4m10an
4m5an
56s
58s
54s
1m26an
1m34an
1m30an
Upami anjeun ngaktipkeun otorisasi gudang (mode dioténtikasi), hasilna bakal caket:
jam:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
4m11an
4m20an
4m12an
1m0an
1m3an
1m2an
1m30an
1m34an
1m31an
Nalika énkripsi aes diaktipkeun, hasilna henteu parah pisan:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
4m55an
5m2an
4m58an
1m0an
1m2an
1m0an
1m49an
1m50an
1m50an
Sareng upami anjeun ngarobih aes ka blake, kaayaan bakal ningkat lengkep:
jam:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
4m33an
4m43an
4m40an
59s
1m0an
1m0an
1m38an
1m43an
1m40an
Sapertos dina kasus zbackup, ukuran gudang éta 13GB bahkan sakedik kirang, anu umumna diperkirakeun. Abdi resep pisan sareng waktos jalanna; éta tiasa dibandingkeun sareng solusi dumasar kana librsync, nyayogikeun kamampuan anu langkung lega. Kuring ogé pleased kalawan kamampuhan pikeun ngeset rupa parameter ngaliwatan variabel lingkungan, nu méré kaunggulan pisan serius lamun ngagunakeun borgbackup dina modeu otomatis. Kuring ogé pleased beban salila cadangan: ditilik ku beban processor, borgbackup jalan dina 1 thread.
Henteu aya kalemahan khusus nalika dianggo.
nguji réstic
Sanaos kanyataan yén restic mangrupikeun solusi anu énggal (2 calon anu munggaran dikenal dina taun 2013 sareng langkung lami), éta ngagaduhan ciri anu saé. Ditulis dina Go.
Upami dibandingkeun sareng zbackup, éta ogé masihan:
- Mariksa integritas gudang (kaasup mariksa bagian).
- Daptar ageung protokol sareng panyadia anu dirojong pikeun nyimpen cadangan, ogé dukungan pikeun rclone - rsync for cloud solutions.
- Ngabandingkeun 2 cadangan saling.
- Pasang gudang liwat sekering.
Sacara umum, daptar fitur anu rada deukeut borgbackup, di sababaraha tempat leuwih, di batur kirang. Salah sahiji fiturna nyaéta teu aya cara pikeun nganonaktipkeun énkripsi, sareng ku kituna salinan cadangan bakal salawasna énkripsi. Hayu urang tingali dina prakna naon bisa squeezed kaluar tina software ieu:
Hasilna nyaéta kieu:
jam:
Ngaluncurkeun 1
Ngaluncurkeun 2
Ngaluncurkeun 3
5m25an
5m50an
5m38an
35s
38s
36s
1m54an
2m2an
1m58an
Hasil kinerja oge comparable kana solusi rsync basis na, sacara umum, deukeut pisan borgbackup, tapi beban CPU leuwih luhur (sababaraha threads ngajalankeun) jeung sawtooth.
Paling dipikaresep, program ieu diwatesan ku kinerja subsistem disk dina server panyimpen data, sakumaha ieu geus kasus rsync. Ukuran gudang éta 13GB, kawas zbackup atanapi borgbackup, euweuh kalemahan atra lamun ngagunakeun solusi ieu.
Hasil
Nyatana, sadaya calon ngahontal hasil anu sami, tapi dina harga anu béda. Borgbackup dipigawé pangalusna sadaya, restic éta saeutik laun, zbackup meureun teu patut dimimitian ngagunakeun,
sareng upami tos dianggo, cobian robih janten borgbackup atanapi restic.
papanggihan
Solusi anu paling ngajangjikeun sigana résistansi, sabab ... éta anjeunna anu boga babandingan pangalusna tina kamampuhan pikeun speed operasi, tapi hayu urang teu rurusuhan ka conclusions umum pikeun ayeuna.
Borgbackup dasarna henteu parah, tapi zbackup sigana langkung saé diganti. Leres, zbackup masih tiasa dianggo pikeun mastikeun aturan 3-2-1 jalan. Contona, sajaba (lib) fasilitas cadangan basis rsync.
Bewara
Bagian Nyadangkeun 5: Nguji bacula sareng cadangan veeam pikeun linux
Bagian Nyadangkeun 6: Ngabandingkeun Alat Nyadangkeun
Nyadangkeun Bagian 7: Kacindekan
Dipasang ku: Pavel Demkovich
sumber: www.habr.com