Dan l-artikolu ser jikkunsidra softwer tal-backup li, billi jkisser il-fluss tad-dejta f'komponenti separati (biċċiet), jifforma repożitorju.
Il-komponenti tar-repożitorju jistgħu jiġu kkompressati u kkodifikati aktar, u l-aktar importanti - waqt proċessi ta' backup ripetuti - jerġgħu jintużaw.
Kopja ta 'backup f'repożitorju bħal dan hija katina msemmija ta' komponenti konnessi ma 'xulxin, pereżempju, ibbażata fuq diversi funzjonijiet ta' hash.
Hemm diversi soluzzjonijiet simili, ser niffoka fuq 3: zbackup, borgbackup u restic.
Riżultati mistennija
Peress li l-applikanti kollha jeħtieġu l-ħolqien ta’ repożitorju b’xi mod jew ieħor, wieħed mill-aktar fatturi importanti se jkun li jiġi stmat id-daqs tar-repożitorju. Idealment, id-daqs tiegħu m'għandux ikun aktar minn 13 GB skont il-metodoloġija aċċettata, jew saħansitra inqas - soġġett għal ottimizzazzjoni tajba.
Huwa wkoll mixtieq ħafna li tkun tista 'toħloq kopji ta' backup tal-fajls direttament, mingħajr ma tuża arkivji bħall-qatran, kif ukoll taħdem ma 'ssh/sftp mingħajr għodda addizzjonali bħal rsync u sshfs.
Imġieba meta toħloq backups:
- Id-daqs tar-repożitorju jkun ugwali għad-daqs tal-bidliet, jew inqas.
- Tagħbija tqila tas-CPU hija mistennija meta tuża kompressjoni u/jew encryption, u tagħbija pjuttost għolja tan-netwerk u tad-disk x'aktarx jekk il-proċess ta 'arkivjar u/jew encryption ikun qed jaħdem fuq server ta' ħażna ta 'backup.
- Jekk ir-repożitorju jkun bil-ħsara, x'aktarx żball ittardjat kemm meta toħloq backups ġodda kif ukoll meta tipprova tirrestawra. Huwa meħtieġ li jiġu ppjanati miżuri addizzjonali biex tiġi żgurata l-integrità tar-repożitorju jew jintużaw għodod integrati għall-iċċekkjar tal-integrità tiegħu.
Ix-xogħol bil-qatran jittieħed bħala valur ta' referenza, kif intwera f'wieħed mill-artikoli preċedenti.
Ittestjar zbackup
Il-mekkaniżmu ġenerali ta 'zbackup huwa li l-programm isib fl-input data stream żoni li fihom l-istess data, imbagħad b'mod fakultattiv jikkompressa u encrypts minnhom, iffrankar kull żona darba biss.
Id-deduplikazzjoni tuża funzjoni ta 'ring hash ta' 64 bit b'tieqa li tiżżerżaq biex tiċċekkja għal logħbiet byte b'byte ma 'blokki tad-dejta eżistenti (simili għal kif rsync jimplimentaha).
Multi-threaded lzma u lzo huma użati għall-kompressjoni, u aes għall-encryption. L-aħħar verżjonijiet għandhom il-kapaċità li jħassru data antika mir-repożitorju fil-futur.
Il-programm huwa miktub f'C++ b'dipendenzi minimi. L-awtur kien apparentement ispirat mill-unix-way, għalhekk il-programm jaċċetta data fuq stdin meta joħloq backups, jipproduċi fluss ta 'data simili fuq stdout meta jirrestawra. Għalhekk, zbackup jista 'jintuża bħala "blokk tal-bini" tajjeb ħafna meta tikteb is-soluzzjonijiet ta' backup tiegħek stess. Pereżempju, l-awtur tal-artiklu uża dan il-programm bħala l-għodda ewlenija ta 'backup għall-magni tad-dar minn madwar 2014.
Il-fluss tad-dejta se jkun qatran regolari sakemm ma jkunx iddikjarat mod ieħor.
Ejja naraw x'inhuma r-riżultati:
Ix-xogħol ġie ċċekkjat f'2 għażliet:
- jinħoloq repożitorju u zbackup jiġi mniedi fuq is-server bid-dejta tas-sors, imbagħad il-kontenut tar-repożitorju jiġi trasferit għas-server tal-ħażna tal-backup.
- jinħoloq repożitorju fuq is-server tal-ħażna tal-backup, zbackup jiġi mniedi permezz ta 'ssh fuq is-server tal-ħażna tal-backup, u d-data tintbagħat lilha permezz tal-pajp.
Ir-riżultati tal-ewwel għażla kienu kif ġej: 43m11s - meta tuża repożitorju mhux kriptat u l-kompressur lzma, 19m13s - meta tissostitwixxi l-kompressur ma lzo.
It-tagħbija fuq is-server bid-dejta oriġinali kienet kif ġej (jiġi muri eżempju b'lzma; b'lzo kien hemm bejn wieħed u ieħor l-istess stampa, iżda s-sehem ta' rsync kien madwar kwart tal-ħin):
Huwa ċar li proċess ta 'backup bħal dan huwa adattat biss għal bidliet relattivament rari u żgħar. Huwa wkoll rakkomandabbli ħafna li zbackup jiġi limitat għal ħajt 1, inkella jkun hemm tagħbija CPU għolja ħafna, minħabba li Il-programm huwa tajjeb ħafna biex jaħdem f'ħjut multipli. It-tagħbija fuq id-diska kienet żgħira, li b'mod ġenerali ma tkunx notevoli b'subsistema ta 'diska moderna bbażata fuq ssd. Tista 'wkoll tara b'mod ċar il-bidu tal-proċess tas-sinkronizzazzjoni tad-dejta tar-repożitorju għal server remot; il-veloċità tal-operazzjoni hija komparabbli ma' rsync regolari u tiddependi fuq il-prestazzjoni tas-subsistema tad-diska tas-server tal-ħażna tal-backup. L-iżvantaġġ ta 'dan l-approċċ huwa l-ħażna ta' repożitorju lokali u, bħala riżultat, id-duplikazzjoni tad-data.
Aktar interessanti u applikabbli fil-prattika hija t-tieni għażla, li tħaddem zbackup direttament fuq is-server tal-ħażna tal-backup.
L-ewwel, se nittestjaw l-operazzjoni mingħajr ma nużaw il-kriptaġġ bil-kompressur lzma:
Ħin ta' ġirja ta' kull prova:
Tnedija 1
Tnedija 2
Tnedija 3
39m45s
40m20s
40m3s
7m36s
8m3s
7m48s
15m35s
15m48s
15m38s
Jekk tippermetti l-kriptaġġ billi tuża aes, ir-riżultati huma pjuttost qrib:
Ħin operattiv fuq l-istess data, b'encryption:
Tnedija 1
Tnedija 2
Tnedija 3
43m40s
44m12s
44m3s
8m3s
8m15s
8m12s
15m0s
15m40s
15m25s
Jekk il-kriptaġġ huwa kkombinat mal-kompressjoni bl-użu ta 'lzo, jidher bħal dan:
Sigħat:
Tnedija 1
Tnedija 2
Tnedija 3
18m2s
18m15s
18m12s
5m13s
5m24s
5m20s
8m48s
9m3s
8m51s
Id-daqs tar-repożitorju li jirriżulta kien relattivament l-istess fi 13GB. Dan ifisser li d-deduplikazzjoni qed taħdem b'mod korrett. Ukoll, fuq dejta diġà kkompressata, l-użu ta 'lzo jagħti effett notevoli; f'termini ta' ħin operattiv totali, zbackup jersaq qrib id-dupliċità/duplicati, iżda jibqa 'bejn dawk ibbażati fuq librsync b'2-5 darbiet.
Il-vantaġġi huma ovvji - iffrankar tal-ispazju tad-diska fuq is-server tal-ħażna tal-backup. Fir-rigward tal-għodod għall-iċċekkjar tar-repożitorji, l-awtur ta 'zbackup ma jipprovdihomx; huwa rakkomandat li tuża firxa ta' disk tolleranti għall-ħsarat jew fornitur tas-sħab.
B'mod ġenerali, impressjoni tajba ħafna, minkejja l-fatt li l-proġett ilu wieqaf għal madwar 3 snin (l-aħħar talba għall-karatteristika kienet madwar sena ilu, iżda mingħajr tweġiba).
Ittestjar ta' borgbackup
Borgbackup huwa furketta ta 'attic, sistema oħra simili għal zbackup. Miktub f'python, għandu lista ta' kapaċitajiet simili għal zbackup, iżda barra minn hekk jista':
- Immonta backups permezz tal-fjus
- Iċċekkja l-kontenut tar-repożitorju
- Aħdem fil-modalità klijent-server
- Uża diversi kompressuri għad-dejta, kif ukoll determinazzjoni euristika tat-tip ta 'fajl meta tikkompressah.
- 2 għażliet ta 'encryption, aes u blake
- Għodda inkorporata għal
kontrolli tal-prestazzjoni
borgbackup benchmark crud ssh://backup_server/repo/path local_dir
Ir-riżultati kienu kif ġej:
CZ-BIG 96.51 MB/s (10 100.00 MB fajls kollha żero: 10.36s)
RZ-BIG 57.22 MB/s (10 100.00 MB fajls kollha żero: 17.48s)
UZ-BIG 253.63 MB/s (10 100.00 MB fajls kollha żero: 3.94s)
DZ-BIG 351.06 MB/s (10 100.00 MB fajls kollha żero: 2.85s)
CR-BIG 34.30 MB/s (10 100.00 MB fajls każwali: 29.15s)
RR-BIG 60.69 MB/s (10 100.00 MB fajls każwali: 16.48s)
UR-BIG 311.06 MB/s (10 100.00 MB fajls każwali: 3.21s)
DR-BIG 72.63 MB/s (10 100.00 MB fajls każwali: 13.77s)
CZ-MEDJU 108.59 MB/s (1000 1.00 MB fajls kollha żero: 9.21s)
RZ-MEDJU 76.16 MB/s (1000 1.00 MB fajls kollha żero: 13.13s)
UZ-MEDJU 331.27 MB/s (1000 1.00 MB fajls kollha żero: 3.02s)
DZ-MEDJU 387.36 MB/s (1000 1.00 MB fajls kollha żero: 2.58s)
CR-MEDJU 37.80 MB/s (1000 1.00 MB fajls każwali: 26.45s)
RR-MEJJU 68.90 MB/s (1000 1.00 MB fajls każwali: 14.51s)
UR-MEJJU 347.24 MB/s (1000 1.00 MB fajls każwali: 2.88s)
DR-MEJJU 48.80 MB/s (1000 1.00 MB fajls każwali: 20.49s)
CZ-ŻGĦAR 11.72 MB/s (10000 10.00 kB fajls kollha żero: 8.53s)
RZ-ŻGĦAR 32.57 MB/s (10000 10.00 kB fajls kollha żero: 3.07s)
UZ-ŻGĦAR 19.37 MB/s (10000 10.00 kB fajls kollha żero: 5.16s)
DZ-ŻGĦAR 33.71 MB/s (10000 10.00 kB fajls kollha żero: 2.97s)
CR-ŻGĦAR 6.85 MB/s (10000 10.00 kB fajls każwali: 14.60s)
RR-ŻGĦAR 31.27 MB/s (10000 10.00 kB fajls każwali: 3.20s)
UR-ŻGĦAR 12.28 MB/s (10000 10.00 kB fajls każwali: 8.14s)
DR-ŻGĦAR 18.78 MB/s (10000 10.00 kB fajls każwali: 5.32s)
Waqt l-ittestjar, l-euristika tal-kompressjoni se tintuża biex tiddetermina t-tip ta 'fajl (kompressjoni awtomatika), u r-riżultati se jkunu kif ġej:
L-ewwel, ejja niċċekkjaw kif taħdem mingħajr encryption:
Sigħat:
Tnedija 1
Tnedija 2
Tnedija 3
4m6s
4m10s
4m5s
56s
58s
54s
1m26s
1m34s
1m30s
Jekk tattiva l-awtorizzazzjoni tar-repożitorju (mod awtentikat), ir-riżultati jkunu qrib:
Sigħat:
Tnedija 1
Tnedija 2
Tnedija 3
4m11s
4m20s
4m12s
1m0s
1m3s
1m2s
1m30s
1m34s
1m31s
Meta l-encryption aes ġiet attivata, ir-riżultati ma ddeterjorawx ħafna:
Tnedija 1
Tnedija 2
Tnedija 3
4m55s
5m2s
4m58s
1m0s
1m2s
1m0s
1m49s
1m50s
1m50s
U jekk tibdel aes għal blake, is-sitwazzjoni titjieb kompletament:
Sigħat:
Tnedija 1
Tnedija 2
Tnedija 3
4m33s
4m43s
4m40s
59s
1m0s
1m0s
1m38s
1m43s
1m40s
Bħal fil-każ ta 'zbackup, id-daqs tar-repożitorju kien 13GB u anke ftit inqas, li huwa ġeneralment mistenni. Kont kuntent ħafna bil-ħin tat-tħaddim; huwa komparabbli ma 'soluzzjonijiet ibbażati fuq librsync, li jipprovdi kapaċitajiet ħafna usa'. Kont kuntent ukoll bil-kapaċità li nissettja diversi parametri permezz ta 'varjabbli ambjentali, li tagħti vantaġġ serju ħafna meta tuża borgbackup fil-mod awtomatiku. Kont kuntent ukoll bit-tagħbija waqt il-backup: ġġudikat mit-tagħbija tal-proċessur, borgbackup jaħdem f'ħajt 1.
Ma kien hemm l-ebda żvantaġġi partikolari meta tużah.
ittestjar retiku
Minkejja l-fatt li restic hija soluzzjoni pjuttost ġdida (l-ewwel 2 kandidati kienu magħrufa lura fl-2013 u aktar), għandu karatteristiċi pjuttost tajbin. Miktub f'Go.
Meta mqabbla ma' zbackup, tagħti wkoll:
- Iċċekkjar tal-integrità tar-repożitorju (inkluż verifika f'partijiet).
- Lista enormi ta 'protokolli u fornituri appoġġjati għall-ħażna ta' backups, kif ukoll appoġġ għal rclone - rsync for cloud solutions.
- Tqabbil 2 backups ma 'xulxin.
- Immuntar tar-repożitorju permezz tal-fjus.
B'mod ġenerali, il-lista ta 'karatteristiċi hija pjuttost qrib borgbackup, f'xi postijiet aktar, f'oħrajn inqas. Waħda mill-karatteristiċi hija li m'hemm l-ebda mod kif tiskonnettja l-encryption, u għalhekk il-backups dejjem ikunu encrypted. Ejja naraw fil-prattika x'jista' jingħafas minn dan is-software:
Ir-riżultati kienu kif ġej:
Sigħat:
Tnedija 1
Tnedija 2
Tnedija 3
5m25s
5m50s
5m38s
35s
38s
36s
1m54s
2m2s
1m58s
Ir-riżultati tal-prestazzjoni huma wkoll komparabbli ma 'soluzzjonijiet ibbażati fuq rsync u, b'mod ġenerali, qrib ħafna ta' borgbackup, iżda t-tagħbija tas-CPU hija ogħla (ħjut multipli jaħdmu) u sawtooth.
Probabbilment, il-programm huwa limitat mill-prestazzjoni tas-subsistema tad-disk fuq is-server tal-ħażna tad-dejta, kif kien diġà l-każ ma 'rsync. Id-daqs tar-repożitorju kien 13GB, bħal zbackup jew borgbackup, ma kien hemm l-ebda żvantaġġi ovvji meta tuża din is-soluzzjoni.
Sejbiet
Fil-fatt, il-kandidati kollha kisbu riżultati simili, iżda bi prezzijiet differenti. Borgbackup wettaq l-aħjar minn kollox, restic kien ftit aktar bil-mod, zbackup probabbilment ma jkunx ta' min jibda juża,
u jekk diġà qed jintuża, ipprova ibiddlu għal borgbackup jew restic.
Sejbiet
L-aktar soluzzjoni promettenti tidher li hija resttika, għax... huwa hu li għandu l-aħjar proporzjon ta 'kapaċitajiet għall-veloċità operattiva, iżda ejja ma ngħaġġlux għal konklużjonijiet ġenerali għalissa.
Borgbackup huwa bażikament mhux agħar, iżda zbackup huwa probabbilment sostitwit aħjar. Veru, zbackup xorta jista 'jintuża biex jiżgura li r-regola 3-2-1 taħdem. Pereżempju, minbarra faċilitajiet ta' backup bbażati fuq (lib)rsync.
Avviż
Backup Parti 5: Ittestjar ta 'bacula u veeam backup għal linux
Backup Parti 6: Tqabbil tal-Għodod tal-Backup
Backup Parti 7: Konklużjonijiet
Mibgħut minn: Pavel Demkovich
Sors: www.habr.com