Backup Parti 3: Reviżjoni u Ittestjar ta 'duplicity, duplicati

Din in-nota tiddiskuti għodod ta 'backup li jwettqu backups billi joħolqu arkivji fuq server backup.

Fost dawk li jissodisfaw ir-rekwiżiti hemm duplicity (li għandha interface sbieħ fil-forma ta 'deja dup) u duplicati.

Għodda oħra ta 'backup notevoli ħafna hija dar, iżda peress li għandha lista estensiva ħafna ta' għażliet - il-metodoloġija tal-ittestjar bilkemm tkopri 10% ta 'dak li hija kapaċi - aħna mhux qed nittestjawha bħala parti miċ-ċiklu attwali.

Riżultati mistennija

Peress li ż-żewġ kandidati joħolqu arkivji b'xi mod jew ieħor, il-qatran regolari jista 'jintuża bħala gwida.

Barra minn hekk, aħna se nevalwaw kemm il-ħażna tad-dejta fuq is-server tal-ħażna hija ottimizzata billi noħolqu kopji ta 'backup li fihom biss id-differenza bejn kopja sħiħa u l-istat attwali tal-fajls, jew bejn l-arkivji preċedenti u attwali (inkrementali, dekrementali, eċċ.) .

Imġieba meta toħloq backups:

1. Numru relattivament żgħir ta 'fajls fuq is-server ta' ħażna ta 'backup (komparabbli man-numru ta' kopji ta 'backup jew id-daqs tad-data f'GB), iżda d-daqs tagħhom huwa pjuttost kbir (għaxex sa mijiet ta' megabytes).
2. Id-daqs tar-repożitorju se jinkludi biss bidliet - l-ebda duplikat ma jkun maħżun, għalhekk id-daqs tar-repożitorju se jkun iżgħar milli b'softwer ibbażat fuq rsync.
3. Jistennew tagħbija tqila tas-CPU meta tuża kompressjoni u/jew encryption, u x'aktarx tagħbija pjuttost għolja tan-netwerk u tad-disk jekk il-proċess ta 'arkivjar u/jew encryption ikun qed jaħdem fuq server ta' ħażna ta 'backup.

Ejja nħaddmu l-kmand li ġej bħala valur ta' referenza:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

Ir-riżultati tal-eżekuzzjoni kienu kif ġej:

Ħin ta' eżekuzzjoni 3m12s. Jista 'jidher li l-veloċità hija limitata mis-subsistema disk tas-server tal-ħażna tal-backup, bħal fl-eżempju ma rsync. Biss ftit aktar malajr, għax... ir-reġistrazzjoni tmur għal fajl wieħed.

Ukoll, biex tevalwa l-kompressjoni, ejja nħaddmu l-istess għażla, iżda ppermetti l-kompressjoni fuq in-naħa tas-server tal-backup:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

Ir-riżultati huma:

Ħin ta’ eżekuzzjoni 10m11s. Ħafna probabbli l-konġestjoni hija l-kompressur ta 'fluss wieħed fuq it-tarf li jirċievi.

L-istess kmand, iżda bil-kompressjoni trasferita lis-server bid-dejta oriġinali biex tittestja l-ipoteżi li l-konġestjoni hija kompressur b'ħajt wieħed.

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

Irriżulta hekk:

Il-ħin tal-eżekuzzjoni kien 9m37s. It-tagħbija fuq qalba waħda mill-kompressur hija viżibbli b'mod ċar, għaliex Il-veloċità tat-trasferiment tan-netwerk u t-tagħbija fuq is-subsistema tad-disk tas-sors huma simili.

Biex tevalwa l-kriptaġġ, tista 'tuża openssl jew gpg billi tikkonnettja kmand addizzjonali openssl jew gpg fil-pajp. Għal referenza se jkun hemm kmand bħal dan:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

Ir-riżultati ħarġu hekk:

Il-ħin ta 'eżekuzzjoni rriżulta li kien 10m30s, peress li 2 proċessi kienu qed jaħdmu fuq in-naħa li tirċievi - il-konġestjoni hija għal darb'oħra kompressur b'kamin wieħed, flimkien ma' overhead ta 'encryption żgħir.

AĠĠORNAMENT: Fuq talba ta 'bliznezz qed inżid testijiet bil-pigz. Jekk tuża biss il-kompressur, ikun jieħu 6m30s, jekk iżżid ukoll encryption, ikun madwar 7m. Id-dip fil-graff tal-qiegħ huwa cache tad-diska mhux imlaħla:

Ittestjar duplikat

Duplicity huwa softwer python għall-backup billi joħloq arkivji kriptati f'format tar.

Għal arkivji inkrementali, jintuża librsync, sabiex tistenna l-imġieba deskritta fi post preċedenti fis-serje.

Il-backups jistgħu jiġu encrypted u ffirmati bl-użu ta 'gnupg, li huwa importanti meta jintużaw fornituri differenti għall-ħażna ta' backups (s3, backblaze, gdrive, eċċ.)

Ejja naraw x'inhuma r-riżultati:

Dawn huma r-riżultati li ksibna meta ħadmu mingħajr encryption

spoiler

Ħin ta' ġirja ta' kull prova:

Tnedija 1
Tnedija 2
Tnedija 3

16m33s
17m20s
16m30s

8m29s
9m3s
8m45s

5m21s
6m04s
5m53s

U hawn huma r-riżultati meta l-encryption gnupg hija attivata, b'daqs taċ-ċavetta ta '2048 bit:

Ħin operattiv fuq l-istess data, b'encryption:

Tnedija 1
Tnedija 2
Tnedija 3

17m22s
17m32s
17m28s

8m52s
9m13s
9m3s

5m48s
5m40s
5m30s

Id-daqs tal-blokk kien indikat - 512 megabytes, li jidher b'mod ċar fil-grafiċi; It-tagħbija tal-proċessur fil-fatt baqgħet f'50%, li jfisser li l-programm ma jużax aktar minn qalba waħda tal-proċessur.

Il-prinċipju tat-tħaddim tal-programm huwa wkoll viżibbli b'mod pjuttost ċar: ħadu biċċa data, ikkompressawha, u bagħtuha lil server ta 'ħażna ta' backup, li jista 'jkun pjuttost bil-mod.
Karatteristika oħra hija l-ħin tat-tħaddim prevedibbli tal-programm, li jiddependi biss fuq id-daqs tad-dejta mibdula.

L-abilitazzjoni tal-kriptaġġ ma żiedx b'mod sinifikanti l-ħin tat-tħaddim tal-programm, iżda żied it-tagħbija tal-proċessur b'madwar 10%, li jista 'jkun bonus pjuttost sabiħ.

Sfortunatament, dan il-programm ma setax jiskopri b'mod korrett is-sitwazzjoni bit-tismija tad-direttorju, u d-daqs tar-repożitorju li jirriżulta rriżulta li kien ugwali għad-daqs tal-bidliet (jiġifieri, 18GB kollha), iżda l-abbiltà li juża server mhux fdat għall-backup b'mod ċar tkopri din l-imġieba.

Ittestjar duplikat

Dan is-software huwa miktub f'C# u jaħdem bl-użu ta' sett ta' libreriji minn Mono. Hemm GUI kif ukoll verżjoni CLI.

Il-lista approssimattiva tal-karatteristiċi ewlenin hija simili għal dupliċità, inklużi diversi fornituri ta 'ħażna ta' backup, madankollu, b'differenza mid-dupliċità, il-biċċa l-kbira tal-karatteristiċi huma disponibbli mingħajr għodod ta 'parti terza. Jekk dan huwiex plus jew minus jiddependi fuq il-każ speċifiku, iżda għal dawk li jibdew, huwa probabbli aktar faċli li jkollok lista tal-karatteristiċi kollha quddiemhom f'daqqa, aktar milli jkollok tinstalla pakketti addizzjonali għal python, kif inhu. il-każ b'dupliċità.

Sfumatura żgħira oħra - il-programm jikteb b'mod attiv database sqlite lokali f'isem l-utent li jibda l-backup, għalhekk trid tiżgura wkoll li d-database meħtieġa tkun speċifikata b'mod korrett kull darba li l-proċess jinbeda bl-użu tal-cli. Meta taħdem permezz ta' GUI jew WEBGUI, id-dettalji jkunu moħbija mill-utent.

Ejja naraw x'indikaturi tista' tipproduċi din is-soluzzjoni:

Jekk itfi l-kriptaġġ (u WEBGUI ma jirrakkomandax li tagħmel dan), ir-riżultati huma kif ġej:

Sigħat:

Tnedija 1
Tnedija 2
Tnedija 3

20m43s
20m13s
20m28s

5m21s
5m40s
5m35s

7m36s
7m54s
7m49s

Bil-kriptaġġ attivat, bl-użu ta' aes, jidher bħal dan:

Sigħat:

Tnedija 1
Tnedija 2
Tnedija 3

29m9s
30m1s
29m54s

5m29s
6m2s
5m54s

8m44s
9m12s
9m1s

U jekk tuża l-programm estern gnupg, joħorġu r-riżultati li ġejjin:

Tnedija 1
Tnedija 2
Tnedija 3

26m6s
26m35s
26m17s

5m20s
5m48s
5m40s

8m12s
8m42s
8m15s

Kif tistgħu taraw, il-programm jista 'jaħdem f'diversi ħjut, iżda dan ma jagħmilx soluzzjoni aktar produttiva, u jekk tqabbel ix-xogħol ta' kriptaġġ, qed iniedi programm estern.
irriżulta li kien aktar mgħaġġel milli tuża l-librerija mis-sett Mono. Dan jista 'jkun minħabba l-fatt li l-programm estern huwa aktar ottimizzat.

Punt pjaċevoli kien ukoll il-fatt li d-daqs tar-repożitorju jieħu eżattament daqs id-data attwali mibdula, i.e. duplicati skopra isem ġdid tad-direttorju u mmaniġġja din is-sitwazzjoni b'mod korrett. Dan jista 'jidher meta jsir it-tieni test.

B'mod ġenerali, impressjonijiet pjuttost pożittivi tal-programm, inkluż li jkun pjuttost faċli għal newbies.

Sejbiet

Iż-żewġ kandidati ħadmu pjuttost bil-mod, iżda b'mod ġenerali, meta mqabbla ma 'qatran regolari, hemm progress, għall-inqas bi duplicati. Il-prezz ta' progress bħal dan huwa ċar ukoll - piż notevoli
proċessur. B'mod ġenerali, m'hemm l-ebda devjazzjonijiet speċjali fit-tbassir tar-riżultati.

Sejbiet

Jekk m'għandekx bżonn tgħaġġel kullimkien, u jkollok ukoll proċessur żejda, kwalunkwe mis-soluzzjonijiet ikkunsidrati se jagħmlu, fi kwalunkwe każ, sar ħafna xogħol li m'għandux jiġi ripetut billi tikteb skripts tal-wrapper fuq il-qatran. . Il-preżenza tal-kriptaġġ hija proprjetà meħtieġa ħafna jekk is-server għall-ħażna ta 'kopji ta' backup ma jistax jiġi fdat bis-sħiħ.

Meta mqabbel ma 'soluzzjonijiet ibbażati rsync - il-prestazzjoni tista 'tkun diversi drabi agħar, minkejja l-fatt li fil-forma pura tagħha qatran ħadem 20-30% aktar malajr minn rsync.
Hemm iffrankar fuq id-daqs tar-repożitorju, iżda biss bi duplicati.

Avviż

Backup, parti 1: Għaliex hija meħtieġa backup, ħarsa ġenerali lejn metodi, teknoloġiji
Backup Parti 2: Reviżjoni u ttestjar ta' għodod ta' backup bbażati fuq rsync
Backup Parti 3: Reviżjoni u ttestjar dupliċità, duplicati, deja dup
Backup Parti 4: Reviżjoni u ttestjar ta' zbackup, restic, borgbackup
Backup Parti 5: Ittestjar ta 'bacula u veeam backup għal linux
Backup Parti 6: Tqabbil tal-Għodod tal-Backup
Backup Parti 7: Konklużjonijiet

Mibgħut minn: Pavel Demkovich

Sors: www.habr.com