Bydd yr erthygl hon yn ystyried meddalwedd wrth gefn sydd, trwy dorri'r llif data yn gydrannau ar wahân (darnau), yn ffurfio ystorfa.
Gellir cywasgu ac amgryptio cydrannau ystorfa ymhellach, ac yn bwysicaf oll - yn ystod prosesau wrth gefn dro ar ôl tro - eu hailddefnyddio.
Mae copi wrth gefn mewn ystorfa o'r fath yn gadwyn a enwir o gydrannau sy'n gysylltiedig â'i gilydd, er enghraifft, yn seiliedig ar swyddogaethau stwnsh amrywiol.
Mae yna nifer o atebion tebyg, byddaf yn canolbwyntio ar 3: zbackup, borgbackup a restic.
Canlyniadau disgwyliedig
Gan fod pob ymgeisydd angen creu ystorfa mewn rhyw ffordd neu'i gilydd, un o'r ffactorau pwysicaf fydd amcangyfrif maint yr ystorfa. Yn ddelfrydol, ni ddylai ei faint fod yn fwy na 13 GB yn ôl y fethodoleg a dderbynnir, neu hyd yn oed yn llai - yn amodol ar optimeiddio da.
Mae hefyd yn ddymunol iawn gallu creu copïau wrth gefn o ffeiliau yn uniongyrchol, heb ddefnyddio archifwyr fel tar, yn ogystal â gweithio gyda ssh/sftp heb offer ychwanegol fel rsync a sshfs.
Ymddygiad wrth greu copïau wrth gefn:
- Bydd maint yr ystorfa yn hafal i faint y newidiadau, neu lai.
- Disgwylir llwyth CPU trwm wrth ddefnyddio cywasgu a / neu amgryptio, ac mae llwyth rhwydwaith a disg eithaf uchel yn debygol os yw'r broses archifo a / neu amgryptio yn rhedeg ar weinydd storio wrth gefn.
- Os caiff y storfa ei difrodi, mae gwall oedi yn debygol wrth greu copïau wrth gefn newydd ac wrth geisio adfer. Mae angen cynllunio mesurau ychwanegol i sicrhau cywirdeb yr ystorfa neu ddefnyddio offer adeiledig i wirio ei gyfanrwydd.
Mae gweithio gyda thar yn cael ei gymryd fel gwerth cyfeirio, fel y dangoswyd yn un o'r erthyglau blaenorol.
Profi zbackup
Mecanwaith cyffredinol zbackup yw bod y rhaglen yn canfod yn yr ardaloedd llif data mewnbwn sy'n cynnwys yr un data, ac yna'n eu cywasgu a'u hamgryptio yn ddewisol, gan arbed unwaith yn unig pob ardal.
Mae Deduplication yn defnyddio swyddogaeth hash cylch 64-did gyda ffenestr llithro i wirio am beit-wrth-beit yn cyfateb yn erbyn blociau data presennol (yn debyg i sut mae rsync yn ei weithredu).
Defnyddir lzma a lzo aml-edau ar gyfer cywasgu, ac aes ar gyfer amgryptio. Mae gan y fersiynau diweddaraf y gallu i ddileu hen ddata o'r ystorfa yn y dyfodol.
Mae'r rhaglen wedi'i hysgrifennu yn C++ heb fawr o ddibyniaethau. Mae'n debyg bod yr awdur wedi'i ysbrydoli gan yr unix-way, felly mae'r rhaglen yn derbyn data ar stdin wrth greu copïau wrth gefn, gan gynhyrchu llif data tebyg ar stdout wrth adfer. Felly, gellir defnyddio zbackup fel “bloc adeiladu” da iawn wrth ysgrifennu eich atebion wrth gefn eich hun. Er enghraifft, mae awdur yr erthygl wedi defnyddio'r rhaglen hon fel y prif offeryn wrth gefn ar gyfer peiriannau cartref ers tua 2014.
Bydd y ffrwd data yn dar rheolaidd oni nodir yn wahanol.
Gawn ni weld beth yw'r canlyniadau:
Gwiriwyd y gwaith mewn 2 opsiwn:
- crëir ystorfa a chaiff zbackup ei lansio ar y gweinydd gyda'r data ffynhonnell, yna trosglwyddir cynnwys yr ystorfa i'r gweinydd storio wrth gefn.
- crëir ystorfa ar y gweinydd storio wrth gefn, caiff zbackup ei lansio trwy ssh ar y gweinydd storio wrth gefn, ac anfonir data ato trwy bibell.
Roedd canlyniadau'r opsiwn cyntaf fel a ganlyn: 43m11s - wrth ddefnyddio ystorfa heb ei amgryptio a'r cywasgydd lzma, 19m13s - wrth amnewid y cywasgydd gyda lzo.
Roedd y llwyth ar y gweinydd gyda'r data gwreiddiol fel a ganlyn (dangosir enghraifft gyda lzma; gyda lzo roedd tua'r un llun, ond roedd cyfran rsync tua chwarter yr amser):
Mae'n amlwg bod proses wrth gefn o'r fath yn addas ar gyfer newidiadau cymharol brin a bach yn unig. Mae hefyd yn ddoeth iawn cyfyngu zbackup i 1 edefyn, fel arall bydd llwyth CPU uchel iawn, oherwydd Mae'r rhaglen yn dda iawn am weithio mewn edafedd lluosog. Roedd y llwyth ar y ddisg yn fach, na fyddai'n amlwg yn gyffredinol gydag is-system ddisg modern yn seiliedig ar ssd. Gallwch hefyd weld yn glir ddechrau'r broses o gydamseru data ystorfa â gweinydd pell; mae cyflymder gweithredu yn debyg i rsync rheolaidd ac yn dibynnu ar berfformiad is-system ddisg y gweinydd storio wrth gefn. Anfantais y dull hwn yw storio ystorfa leol ac, o ganlyniad, dyblygu data.
Yn fwy diddorol a chymwys yn ymarferol yw'r ail opsiwn, gan redeg zbackup yn uniongyrchol ar y gweinydd storio wrth gefn.
Yn gyntaf, byddwn yn profi'r llawdriniaeth heb ddefnyddio amgryptio gyda'r cywasgydd lzma:
Amser rhedeg pob rhediad prawf:
Lansio 1
Lansio 2
Lansio 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
Os ydych chi'n galluogi amgryptio gan ddefnyddio aes, mae'r canlyniadau'n eithaf agos:
Amser gweithredu ar yr un data, gydag amgryptio:
Lansio 1
Lansio 2
Lansio 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
Os caiff amgryptio ei gyfuno â chywasgu gan ddefnyddio lzo, mae'n edrych fel hyn:
Oriau:
Lansio 1
Lansio 2
Lansio 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
Roedd maint yr ystorfa a ddeilliodd o hyn yn gymharol yr un peth ac yn dod i gyfanswm o 13GB. Mae hyn yn golygu bod dad-ddyblygu yn gweithio'n gywir. Hefyd, ar ddata sydd eisoes wedi'i gywasgu, mae defnyddio lzo yn rhoi effaith amlwg; o ran cyfanswm yr amser gweithredu, mae zbackup yn agos at ddyblygrwydd/dyblygiad, ond mae 2-5 gwaith ar ei hôl hi o gymharu â'r rhai sy'n seiliedig ar librsync.
Mae'r manteision yn amlwg - arbed lle disg ar y gweinydd storio wrth gefn. O ran offer gwirio ystorfa, nid yw awdur zbackup yn eu darparu; argymhellir defnyddio aráe disg neu ddarparwr cwmwl sy'n goddef diffygion.
Ar y cyfan, argraff dda iawn, er gwaethaf y ffaith bod y prosiect wedi bod yn sefyll yn ei unfan ers tua 3 blynedd (roedd y cais nodwedd diwethaf tua blwyddyn yn ôl, ond heb ymateb).
Profi borgbackup
Fforch o atig yw Borgbackup, system arall sy'n debyg i zbackup. Wedi'i ysgrifennu yn python, mae ganddo restr o alluoedd tebyg i zbackup, ond gall hefyd:
- Gosod copïau wrth gefn trwy ffiws
- Gwiriwch gynnwys y storfa
- Gweithio yn y modd cleient-gweinydd
- Defnyddiwch gywasgwyr amrywiol ar gyfer data, yn ogystal â phenderfyniad hewristig o'r math o ffeil wrth ei chywasgu.
- 2 opsiwn amgryptio, aes a blake
- Offeryn adeiledig ar gyfer
gwiriadau perfformiad
borgbackup meincnod crud ssh://backup_server/repo/path local_dir
Roedd y canlyniadau fel a ganlyn:
CZ-MAWR 96.51 MB/s (10 Ffeiliau dim-100.00 MB: 10.36s)
RZ-BIG 57.22 MB/s (10 Ffeiliau dim-100.00 MB: 17.48s)
UZ-BIG 253.63 MB/s (10 Ffeiliau dim-100.00 MB: 3.94s)
DZ-BIG 351.06 MB/s (10 Ffeiliau dim-100.00 MB: 2.85s)
CR-MAWR 34.30 MB/s (10 Ffeiliau ar hap 100.00 MB: 29.15s)
RR- MAWR 60.69 MB/s (10 Ffeiliau ar hap 100.00 MB: 16.48s)
UR-BIG 311.06 MB/s (10 Ffeiliau ar hap 100.00 MB: 3.21s)
DR-BIG 72.63 MB/s (10 Ffeiliau ar hap 100.00 MB: 13.77s)
CZ-canolig 108.59 MB/s (1000 Ffeiliau dim-1.00 MB: 9.21s)
RZ-canolig 76.16 MB/s (1000 Ffeiliau dim-1.00 MB: 13.13s)
UZ-canolig 331.27 MB/s (1000 Ffeiliau dim-1.00 MB: 3.02s)
DZ-canolig 387.36 MB/s (1000 Ffeiliau dim-1.00 MB: 2.58s)
CR-canolig 37.80 MB/s (1000 Ffeiliau ar hap 1.00 MB: 26.45s)
RR-Canolig 68.90 MB/s (1000 Ffeiliau ar hap 1.00 MB: 14.51s)
UR-canolig 347.24 MB/s (1000 Ffeiliau ar hap 1.00 MB: 2.88s)
DR-canolig 48.80 MB/s (1000 Ffeiliau ar hap 1.00 MB: 20.49s)
CZ-BACH 11.72 MB/s (10000 Ffeiliau dim-10.00 kB: 8.53s)
RZ-BACH 32.57 MB/s (10000 Ffeiliau dim-10.00 kB: 3.07s)
UZ-BACH 19.37 MB/s (10000 Ffeiliau dim-10.00 kB: 5.16s)
DZ-BACH 33.71 MB/s (10000 Ffeiliau dim-10.00 kB: 2.97s)
CR-BACH 6.85 MB/s (10000 Ffeiliau ar hap 10.00 kB: 14.60s)
RR-BACH 31.27 MB/s (10000 Ffeiliau ar hap 10.00 kB: 3.20s)
UR-BACH 12.28 MB/s (10000 Ffeiliau ar hap 10.00 kB: 8.14s)
DR-BACH 18.78 MB/s (10000 Ffeiliau ar hap 10.00 kB: 5.32s)
Wrth brofi, defnyddir heuristics cywasgu i bennu'r math o ffeil (auto cywasgu), a bydd y canlyniadau fel a ganlyn:
Yn gyntaf, gadewch i ni wirio sut mae'n gweithio heb amgryptio:
Oriau:
Lansio 1
Lansio 2
Lansio 3
4m6s
4m10s
4m5s
56s
58s
54s
1m26s
1m34s
1m30s
Os ydych chi'n galluogi awdurdodiad ystorfa (modd dilys), bydd y canlyniadau'n agos:
Oriau:
Lansio 1
Lansio 2
Lansio 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
Pan weithredwyd amgryptio es, ni waethygodd y canlyniadau lawer:
Lansio 1
Lansio 2
Lansio 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
Ac os byddwch chi'n newid aes i blake, bydd y sefyllfa'n gwella'n llwyr:
Oriau:
Lansio 1
Lansio 2
Lansio 3
4m33s
4m43s
4m40s
59s
1m0s
1m0s
1m38s
1m43s
1m40s
Fel yn achos zbackup, maint y storfa oedd 13GB a hyd yn oed ychydig yn llai, a ddisgwylir yn gyffredinol. Roeddwn yn falch iawn gyda'r amser rhedeg; mae'n debyg i atebion sy'n seiliedig ar librsync, gan ddarparu galluoedd llawer mwy helaeth. Roeddwn hefyd yn falch o'r gallu i osod paramedrau amrywiol trwy newidynnau amgylchedd, sy'n rhoi mantais ddifrifol iawn wrth ddefnyddio borgbackup yn y modd awtomatig. Roeddwn hefyd yn falch o'r llwyth wrth gefn: a barnu yn ôl llwyth y prosesydd, mae borgbackup yn gweithio mewn 1 edefyn.
Nid oedd unrhyw anfanteision penodol wrth ei ddefnyddio.
profion restic
Er gwaethaf y ffaith bod restic yn ddatrysiad eithaf newydd (roedd y 2 ymgeisydd cyntaf yn hysbys yn ôl yn 2013 a hŷn), mae ganddo nodweddion eithaf da. Ysgrifennwyd yn Go.
O'i gymharu â zbackup, mae hefyd yn rhoi:
- Gwirio cywirdeb yr ystorfa (gan gynnwys gwirio mewn rhannau).
- Rhestr enfawr o brotocolau a darparwyr a gefnogir ar gyfer storio copïau wrth gefn, yn ogystal â chefnogaeth i rclone - rsync for cloud solutions .
- Cymharu 2 wrth gefn â'i gilydd.
- Mowntio'r ystorfa trwy ffiws.
Yn gyffredinol, mae'r rhestr o nodweddion yn eithaf agos at borgbackup, mewn rhai mannau yn fwy, mewn eraill yn llai. Un o'r nodweddion yw nad oes unrhyw ffordd i analluogi amgryptio, ac felly bydd copïau wrth gefn bob amser yn cael eu hamgryptio. Gadewch i ni weld yn ymarferol beth y gellir ei wasgu allan o'r feddalwedd hon:
Roedd y canlyniadau fel a ganlyn:
Oriau:
Lansio 1
Lansio 2
Lansio 3
5m25s
5m50s
5m38s
35s
38s
36s
1m54s
2m2s
1m58s
Mae'r canlyniadau perfformiad hefyd yn debyg i atebion sy'n seiliedig ar rsync ac, yn gyffredinol, yn agos iawn at borgbackup, ond mae'r llwyth CPU yn uwch (edau lluosog yn rhedeg) a sawtooth.
Yn fwyaf tebygol, mae'r rhaglen wedi'i chyfyngu gan berfformiad yr is-system ddisg ar y gweinydd storio data, fel oedd eisoes yn wir gyda rsync. Maint y storfa oedd 13GB, yn union fel zbackup neu borgbackup, nid oedd unrhyw anfanteision amlwg wrth ddefnyddio'r ateb hwn.
Canfyddiadau
Mewn gwirionedd, cyflawnodd pob ymgeisydd ganlyniadau tebyg, ond am brisiau gwahanol. Perfformiodd Borgbackup orau oll, roedd restic ychydig yn arafach, mae'n debyg nad yw'n werth dechrau defnyddio zbackup,
ac os yw eisoes yn cael ei ddefnyddio, ceisiwch ei newid i borgbackup neu restic.
Canfyddiadau
Ymddengys mai'r ateb mwyaf addawol yw restic, oherwydd ... Ef sydd â'r gymhareb orau o alluoedd i gyflymder gweithredu, ond gadewch inni beidio â rhuthro i gasgliadau cyffredinol am y tro.
Yn y bôn nid yw Borgbackup yn waeth, ond mae'n debyg y bydd yn well disodli zbackup. Yn wir, gellir dal i ddefnyddio zbackup i sicrhau bod y rheol 3-2-1 yn gweithio. Er enghraifft, yn ogystal â (lib)cyfleusterau wrth gefn yn seiliedig ar rsync.
Cyhoeddiad
Rhan Wrth Gefn 5: Profi bacula a veeam backup ar gyfer linux
Rhan Wrth Gefn 6: Cymharu Offer Wrth Gefn
Rhan Wrth Gefn 7: Casgliadau
Wedi'i bostio gan: Pavel Demkovich
Ffynhonnell: hab.com