Þessi grein mun fjalla um afritunarhugbúnað sem myndar geymslu með því að skipta gagnastraumnum í aðskilda hluti (klumpa).
Geymsluíhluti er hægt að þjappa og dulkóða frekar og síðast en ekki síst - í endurteknum öryggisafritunarferlum - endurnýta.
Öryggisafrit í slíkri geymslu er nefnd keðja af íhlutum sem eru tengdir hver öðrum, til dæmis, byggt á ýmsum kjötkássaaðgerðum.
Það eru nokkrar svipaðar lausnir, ég mun einbeita mér að 3: zbackup, borgbackup og restic.
Væntanlegur árangur
Þar sem allir umsækjendur krefjast stofnunar geymslu á einn eða annan hátt, mun einn mikilvægasti þátturinn vera mat á stærð geymslunnar. Helst ætti stærð þess ekki að vera meira en 13 GB samkvæmt viðurkenndri aðferðafræði, eða jafnvel minni - með fyrirvara um góða hagræðingu.
Það er líka mjög æskilegt að geta búið til öryggisafrit af skrám beint, án þess að nota skjalavörn eins og tar, auk þess að vinna með ssh/sftp án viðbótarverkfæra eins og rsync og sshfs.
Hegðun þegar öryggisafrit eru búin til:
- Stærð geymslunnar verður jöfn stærð breytinganna, eða minni.
- Búist er við miklu álagi á örgjörva þegar þjöppun og/eða dulkóðun er notuð og líklegt er að nokkuð mikið net- og diskálag sé ef geymslu- og/eða dulkóðunarferlið er í gangi á öryggisafritsgeymsluþjóni.
- Ef geymslan er skemmd er seinkuð villa líklega bæði þegar ný afrit eru búin til og þegar reynt er að endurheimta. Nauðsynlegt er að skipuleggja viðbótarráðstafanir til að tryggja heilleika geymslunnar eða nota innbyggð verkfæri til að athuga heilleika hennar.
Vinna með tjöru er tekin sem viðmiðunargildi eins og fram kom í einni af fyrri greinum.
Er að prófa zbackup
Almennt fyrirkomulag zbackup er að forritið finnur svæði í inntaksgagnastraumnum sem innihalda sömu gögnin, þjappar síðan saman og dulkóðar þau og vistar hvert svæði aðeins einu sinni.
Deduplication notar 64-bita hringjakássaaðgerð með renniglugga til að athuga hvort bæti fyrir bæti passi við núverandi gagnablokkir (svipað og rsync útfærir það).
Margþráður lzma og lzo eru notuð til þjöppunar og aes fyrir dulkóðun. Nýjustu útgáfurnar hafa möguleika á að eyða gömlum gögnum úr geymslunni í framtíðinni.
Forritið er skrifað í C++ með lágmarks ósjálfstæði. Höfundurinn var greinilega innblásinn af unix-leiðinni, þannig að forritið tekur við gögnum á stdin þegar búið er til afrit, framleiðir svipaðan gagnastraum á stdout við endurheimt. Þannig er hægt að nota zbackup sem mjög góðan „byggingarkloss“ þegar þú skrifar þínar eigin öryggisafritunarlausnir. Til dæmis hefur höfundur greinarinnar notað þetta forrit sem aðal öryggisafritunartæki fyrir heimilisvélar síðan um það bil 2014.
Gagnastraumurinn verður venjulegur tar nema annað sé tekið fram.
Við skulum sjá hverjar niðurstöðurnar eru:
Verkið var athugað í 2 valmöguleikum:
- geymsla er búin til og zbackup er ræst á þjóninum með upprunagögnunum, þá er innihald geymslunnar flutt yfir á varageymsluþjóninn.
- geymsla er búin til á afritunargeymsluþjóninum, zbackup er ræst í gegnum ssh á varageymsluþjóninum og gögn eru send til hans í gegnum pípu.
Niðurstöður fyrsta valmöguleikans voru sem hér segir: 43m11s - þegar ódulkóðuð geymsla er notuð og lzma þjöppu, 19m13s - þegar skipt er um þjöppu fyrir lzo.
Álagið á þjóninum með upprunalegu gögnunum var sem hér segir (dæmi með lzma er sýnt; með lzo var um það bil sama mynd, en hlutur rsync var um fjórðungur tímans):
Ljóst er að slíkt öryggisafritunarferli hentar aðeins tiltölulega sjaldgæfum og litlum breytingum. Það er líka mjög ráðlegt að takmarka zbackup við 1 þráð, annars verður mjög mikið CPU álag, vegna þess að Forritið er mjög gott að vinna í mörgum þráðum. Álagið á disknum var lítið, sem almennt væri ekki áberandi með nútíma ssd-undirstaða diska undirkerfi. Þú getur líka greinilega séð upphafið af því að samstilla gagnageymslugögn við ytri netþjón; rekstrarhraði er sambærilegur við venjulegt rsync og fer eftir afköstum diskundirkerfis öryggisafritunargeymsluþjónsins. Ókosturinn við þessa nálgun er geymsla staðbundinnar geymslu og þar af leiðandi tvíföldun gagna.
Áhugaverðari og viðeigandi í reynd er annar valkosturinn, sem keyrir zbackup beint á öryggisafritunargeymsluþjóninum.
Í fyrsta lagi munum við prófa aðgerðina án þess að nota dulkóðun með lzma þjöppunni:
Keyrslutími hvers prufuhlaups:
Ræsa 1
Ræsa 2
Ræsa 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
Ef þú kveikir á dulkóðun með aes eru niðurstöðurnar nokkuð nálægt:
Rekstrartími á sömu gögnum, með dulkóðun:
Ræsa 1
Ræsa 2
Ræsa 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
Ef dulkóðun er sameinuð þjöppun með lzo lítur það svona út:
Hours:
Ræsa 1
Ræsa 2
Ræsa 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
Stærð geymslunnar sem varð til var tiltölulega sú sama, 13GB. Þetta þýðir að tvítekning virkar rétt. Einnig, á þegar þjöppuðum gögnum, hefur notkun lzo áberandi áhrif; hvað varðar heildar notkunartíma, er zbackup nálægt tvíföldun/duplicati, en er 2-5 sinnum á eftir þeim sem byggjast á librsync.
Kostirnir eru augljósir - sparar pláss á afritageymsluþjóninum. Hvað varðar verkfæri til að athuga geymslur, þá útvegar höfundur zbackup þau ekki; það er mælt með því að nota bilunarþolið diskfylki eða skýjaveitu.
Á heildina litið mjög góð tilfinning, þrátt fyrir að verkefnið hafi staðið í stað í um 3 ár (síðasta beiðni um eiginleika var fyrir um ári síðan, en án svars).
Er að prófa borgbackup
Borgbackup er gaffal af háaloftinu, annað kerfi svipað zbackup. Skrifað í Python, það hefur lista yfir getu svipaða zbackup, en getur að auki:
- Settu öryggisafrit með öryggi
- Athugaðu innihald geymslunnar
- Vinna í biðlara-miðlara ham
- Notaðu ýmsar þjöppur fyrir gögn, svo og heuristic ákvörðun á skráargerðinni þegar þú þjappar þeim saman.
- 2 dulkóðunarvalkostir, aes og blake
- Innbyggt verkfæri fyrir
frammistöðuathuganir
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
Úrslitin urðu eftirfarandi:
CZ-BIG 96.51 MB/s (10 100.00 MB skrár sem eru núll: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB skrár sem eru núll: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB skrár sem eru núll: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB skrár sem eru núll: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB skrár af handahófi: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB skrár af handahófi: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB skrár af handahófi: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB skrár af handahófi: 13.77s)
CZ-MEDIUM 108.59 MB/s (1000 1.00 MB skrár sem eru núll: 9.21s)
RZ-MEDIUM 76.16 MB/s (1000 1.00 MB skrár sem eru núll: 13.13s)
UZ-MEDIUM 331.27 MB/s (1000 1.00 MB skrár sem eru núll: 3.02s)
DZ-MEDIUM 387.36 MB/s (1000 1.00 MB skrár sem eru núll: 2.58s)
CR-MEDIUM 37.80 MB/s (1000 1.00 MB skrár af handahófi: 26.45s)
RR-MEDIUM 68.90 MB/s (1000 1.00 MB skrár af handahófi: 14.51s)
UR-MEDIUM 347.24 MB/s (1000 1.00 MB skrár af handahófi: 2.88s)
DR-MEDIUM 48.80 MB/s (1000 1.00 MB skrár af handahófi: 20.49s)
CZ-SMALL 11.72 MB/s (10000 10.00 kB skrár sem eru núll: 8.53s)
RZ-SMALL 32.57 MB/s (10000 10.00 kB skrár sem eru núll: 3.07s)
UZ-SMALL 19.37 MB/s (10000 10.00 kB skrár sem eru núll: 5.16s)
DZ-SMALL 33.71 MB/s (10000 10.00 kB skrár sem eru núll: 2.97s)
CR-SMALL 6.85 MB/s (10000 10.00 kB skrár af handahófi: 14.60s)
RR-LITT 31.27 MB/s (10000 10.00 kB skrár af handahófi: 3.20s)
UR-SMALL 12.28 MB/s (10000 10.00 kB skrár af handahófi: 8.14s)
DR-SMALL 18.78 MB/s (10000 10.00 kB skrár af handahófi: 5.32s)
Við prófun verða þjöppunarheuristics notaðar til að ákvarða skráargerðina (compression auto) og niðurstöðurnar verða sem hér segir:
Fyrst skulum við athuga hvernig það virkar án dulkóðunar:
Hours:
Ræsa 1
Ræsa 2
Ræsa 3
4m6s
4m10s
4m5s
56s
58s
54s
1m26s
1m34s
1m30s
Ef þú virkjar geymsluheimild (vottauð háttur) munu niðurstöðurnar vera nálægt:
Hours:
Ræsa 1
Ræsa 2
Ræsa 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
Þegar aes dulkóðun var virkjuð versnuðu niðurstöðurnar ekki mikið:
Ræsa 1
Ræsa 2
Ræsa 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
Og ef þú breytir aes í blake, mun ástandið batna algjörlega:
Hours:
Ræsa 1
Ræsa 2
Ræsa 3
4m33s
4m43s
4m40s
59s
1m0s
1m0s
1m38s
1m43s
1m40s
Eins og í tilviki zbackup var stærð geymslunnar 13GB og jafnvel aðeins minni, sem almennt er búist við. Ég var mjög ánægður með keyrslutímann; hann er sambærilegur við lausnir byggðar á librsync, sem veitir miklu víðtækari möguleika. Ég var líka ánægður með hæfileikann til að stilla ýmsar breytur í gegnum umhverfisbreytur, sem gefur mjög alvarlegan kost þegar borgbackup er notað í sjálfvirkri stillingu. Ég var líka ánægður með álagið á meðan á öryggisafritinu stóð: miðað við örgjörvaálagið virkar borgbackup í 1 þræði.
Það voru engir sérstakir ókostir við notkun þess.
restic próf
Þrátt fyrir þá staðreynd að restic sé frekar ný lausn (fyrstu 2 frambjóðendurnir voru þekktir aftur árið 2013 og eldri) hefur hún nokkuð góða eiginleika. Skrifað í Go.
Í samanburði við zbackup gefur það að auki:
- Athugun á heilleika geymslunnar (þar á meðal innritun í hluta).
- Risastór listi yfir studdar samskiptareglur og veitendur til að geyma afrit, svo og stuðning við rclone - rsync fyrir skýjalausnir.
- Að bera saman 2 öryggisafrit sín á milli.
- Uppsetning geymslunnar með öryggi.
Almennt séð er listi yfir eiginleika nokkuð nálægt borgbackup, sums staðar meira, á öðrum minna. Einn af eiginleikunum er að það er engin leið til að slökkva á dulkóðun og því verða afrit alltaf dulkóðuð. Við skulum sjá í reynd hvað er hægt að kreista út úr þessum hugbúnaði:
Úrslitin urðu eftirfarandi:
Hours:
Ræsa 1
Ræsa 2
Ræsa 3
5m25s
5m50s
5m38s
35s
38s
36s
1m54s
2m2s
1m58s
Árangursniðurstöðurnar eru einnig sambærilegar við rsync-undirstaða lausnir og almennt mjög nálægt borgbackup, en örgjörvaálagið er hærra (margir þræðir í gangi) og sagtönn.
Líklega er forritið takmarkað af frammistöðu diska undirkerfisins á gagnageymsluþjóninum, eins og þegar var gert með rsync. Stærð geymslunnar var 13GB, rétt eins og zbackup eða borgbackup, það voru engir augljósir ókostir við notkun þessarar lausnar.
Niðurstöður
Reyndar náðu allir frambjóðendur svipuðum árangri, en á mismunandi verði. Borgbackup stóð sig best af öllu, restic var aðeins hægari, zbackup er líklega ekki þess virði að byrja að nota,
og ef það er þegar í notkun, reyndu að breyta því í borgbackup eða restic.
Niðurstöður
Efnilegasta lausnin virðist vera róleg, því... það er hann sem hefur besta hlutfallið milli getu og rekstrarhraða, en við skulum ekki flýta okkur að almennum ályktunum í bili.
Borgbackup er í rauninni ekkert verra, en zbackup er líklega betur skipt út. Að vísu er enn hægt að nota zbackup til að tryggja að 3-2-1 reglan virki. Til dæmis, auk (lib)rsync-undirstaða öryggisafritunaraðstöðu.
Tilkynning
Backup Part 5: Prófa bacula og veeam öryggisafrit fyrir Linux
Afritunarhluti 6: Samanburður á öryggisafritunarverkfærum
Afritunarhluti 7: Ályktanir
Sent af: Pavel Demkovich
Heimild: www.habr.com