Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Ohar honek babeskopia-tresnak aztertzen ditu babeskopia-zerbitzari batean artxiboak sortuz babeskopiak egiten dituztenak.

Baldintzak betetzen dituztenen artean bikoiztasuna (deja dup moduan interfaze polita duena) eta bikoiztasuna daude.

Oso nabarmena den babeskopia tresna bat dar da, baina aukera-zerrenda oso zabala duenez -probaren metodologiak ez du gai denaren % 10 ia estaltzen- ez dugu probatzen ari egungo zikloaren barruan.

Espero ziren emaitzak

Bi hautagaiek modu batean edo bestean artxiboak sortzen dituztenez, tar arrunta gida gisa erabil daiteke.

Gainera, biltegiratze zerbitzarian datuen biltegiratzea zenbateraino den optimizatuta baloratuko dugu kopia oso baten eta fitxategien uneko egoeraren arteko aldea soilik duten babeskopiak sortuz, edo aurreko eta egungo artxiboen artean (inkrementalak, txikitzaileak, etab.) .

Jokaera babeskopiak sortzean:

  1. Fitxategi kopuru nahiko txikia babeskopien biltegiratze zerbitzarian (kopia kopien kopuruarekin edo datuen tamaina GBtan konparatuta), baina haien tamaina nahiko handia da (hamarkatik ehunka megabyte).
  2. Biltegiaren tamainak aldaketak bakarrik barne hartuko ditu - ez da bikoizturik gordeko, beraz, biltegiaren tamaina rsync-en oinarritutako softwarearekin baino txikiagoa izango da.
  3. Espero ezazu CPU karga handia konpresioa eta/edo enkriptatzea erabiltzean, eta litekeena da sare eta disko karga nahiko altua artxibatzeko eta/edo enkriptatzeko prozesua babeskopiko biltegiratze zerbitzari batean exekutatzen ari bada.

Exekutatu dezagun komando hau erreferentzia-balio gisa:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

Exekuzioaren emaitzak honako hauek izan ziren:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Gauzatzeko denbora 3m12s. Ikus daiteke abiadura babeskopia biltegiratze zerbitzariaren disko azpisistemak mugatzen duela, adibidean bezala rsync. Apur bat azkarrago, zeren... grabaketa fitxategi batera doa.

Gainera, konpresioa ebaluatzeko, exekutatu dezagun aukera bera, baina gaitu konpresioa babeskopia zerbitzariaren aldean:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

Emaitzak hauek dira:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Gauzatzeko denbora 10m11s. Seguruenik, botila-lepoa hartzailearen muturreko fluxu bakarreko konpresorea da.

Komando bera, baina jatorrizko datuekin zerbitzarira transferitutako konpresioarekin, botila-lepoa hari bakarreko konpresore bat dela dioen hipotesia probatzeko.

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

Honela atera zen:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Exekuzio denbora 9m37s izan zen. Konpresorearen nukleo baten karga argi ikusten da, zeren Sarearen transferentzia-abiadura eta iturburuko diskoaren azpisistemako karga antzekoak dira.

Enkriptatzea ebaluatzeko, openssl edo gpg erabil dezakezu komando gehigarri bat konektatuz openssl edo gpg hodian. Erreferentzia gisa, honelako komando bat egongo da:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

Emaitzak honela atera ziren:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Exekuzio-denbora 10m30s-koa izan zen, hartzailearen aldean 2 prozesu exekutatzen ari zirelako - botila-lepoa berriro hari bakarreko konpresore bat da, gehi enkriptazio txikia.

UPS: Bliznezz-ek eskatuta pigz-ekin probak gehitzen ari naiz. Konpresorea bakarrik erabiltzen baduzu, 6m30s beharko lirateke, enkriptatzea ere gehitzen baduzu, 7m ingurukoa izango litzateke. Beheko grafikoko hutsunea garbitu gabeko disko-cachea da:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Proba bikoiztuak

Duplicity python software bat da babeskopiak egiteko, artxibo zifratuak tar formatuan sortuz.

Artxibo inkrementaletarako, librsync erabiltzen da, beraz, bertan deskribatutako portaera espero dezakezu serieko aurreko mezua.

Babeskopiak gnupg erabiliz enkriptatu eta sinatu daitezke, eta hori garrantzitsua da babeskopiak gordetzeko hornitzaile desberdinak erabiltzean (s3, backblaze, gdrive, etab.)

Ikus dezagun zeintzuk diren emaitzak:

Hauek dira zifratu gabe exekutatzen ari ginenean lortu ditugun emaitzak

spoiler

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Proba bakoitzaren iraupena:

Abiarazi 1
Abiarazi 2
Abiarazi 3

16m33s
17m20s
16m30s

8m29s
9m3s
8m45s

5m21s
6m04s
5m53s

Eta hona hemen emaitzak gnupg enkriptatzea gaituta dagoenean, 2048 biteko gako-tamainarekin:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Datu berdinetan funtzionatzeko denbora, enkriptatzearekin:

Abiarazi 1
Abiarazi 2
Abiarazi 3

17m22s
17m32s
17m28s

8m52s
9m13s
9m3s

5m48s
5m40s
5m30s

Blokearen tamaina adierazi zen - 512 megabyte, grafikoetan argi ikusten dena; Prozesadorearen karga % 50ean geratu da, hau da, programak prozesadore nukleo bat baino gehiago ez duela erabiltzen.

Programaren funtzionamenduaren printzipioa ere nahiko argi ikusten da: datu bat hartu, konprimitu eta babeskopiko biltegiratze zerbitzari batera bidali zuten, nahiko motela izan daitekeena.
Beste ezaugarri bat programaren exekuzio denbora aurreikusgarria da, aldatutako datuen tamainaren araberakoa soilik.

Enkriptatzea gaitzeak ez zuen programaren exekuzio-denbora nabarmen handitu, baina prozesadorearen karga %10 inguru handitu zuen, eta hori nahiko bonus polita izan daiteke.

Zoritxarrez, programa honek ezin izan zuen egoera zuzen detektatu direktorioaren izena aldatzearekin, eta ondoriozko biltegiaren tamaina aldaketen tamainaren berdina izan zen (hau da, 18 GB guztiak), baina fidagarria ez den zerbitzari bat erabiltzeko aukera argi eta garbi babeskopia egiteko. portaera hori estaltzen du.

Proba bikoiztuak

Software hau C#-n idatzita dago eta Mono-ko liburutegi multzo bat erabiliz exekutatzen da. GUI bat dago eta baita CLI bertsio bat ere.

Ezaugarri nagusien gutxi gorabeherako zerrenda bikoiztasunaren antzekoa da, hainbat babeskopien biltegiratze hornitzaile barne, baina, bikoiztasuna ez bezala, funtzio gehienak hirugarrenen tresnarik gabe daude eskuragarri. Hau plus edo ken bat den kasu zehatzaren araberakoa da, baina hasiberrientzat, ziurrenik, errazagoa izango da ezaugarri guztien zerrenda aldi berean izatea, python-erako paketeak gehigarri instalatu behar izatea baino. bikoiztasunaren kasua.

Beste Γ±abardura txiki bat - programak aktiboki idazten du tokiko sqlite datu-base bat babeskopia abiarazten duen erabiltzailearen izenean, beraz, beharrezkoa den datu-basea behar bezala zehazten dela ziurtatu behar duzu prozesua cli erabiliz hasten den bakoitzean. GUI edo WEBGUI bidez lan egiten duzunean, xehetasunak ezkutatu egingo zaizkio erabiltzaileari.

Ikus dezagun zer adierazle sor ditzakeen irtenbide honek:

Enkriptatzea desaktibatzen baduzu (eta WEBGUI-k ez du hau egitea gomendatzen), emaitzak hauek dira:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Ordutegia:

Abiarazi 1
Abiarazi 2
Abiarazi 3

20m43s
20m13s
20m28s

5m21s
5m40s
5m35s

7m36s
7m54s
7m49s

Enkriptatzea gaituta, aes erabiliz, honelakoa da:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Ordutegia:

Abiarazi 1
Abiarazi 2
Abiarazi 3

29m9s
30m1s
29m54s

5m29s
6m2s
5m54s

8m44s
9m12s
9m1s

Eta kanpoko gnupg programa erabiltzen baduzu, emaitza hauek ateratzen dira:

Backup 3. zatia: bikoiztasunaren berrikuspena eta proba, bikoiztasunak

Abiarazi 1
Abiarazi 2
Abiarazi 3

26m6s
26m35s
26m17s

5m20s
5m48s
5m40s

8m12s
8m42s
8m15s

Ikus dezakezunez, programak hainbat haritan lan egin dezake, baina horrek ez du irtenbide produktiboagoa bihurtzen, eta enkriptazio lana konparatzen baduzu, kanpoko programa bat abiarazten ari da.
Mono multzoko liburutegia erabiltzea baino azkarragoa izan da. Kanpoko programa optimizatuago dagoelako izan daiteke hori.

Beste gauza polita izan zen biltegiaren tamainak benetako aldatutako datuak bezainbeste hartzen duela, hau da. duplicati-k direktorioaren izena aldatzea detektatu zuen eta egoera hau behar bezala kudeatu zuen. Bigarren proba exekutatzen denean ikus daiteke hori.

Orokorrean, programaren inpresio nahiko positiboak, hasiberriekin nahiko atsegina izatea barne.

Findings

Bi hautagaiek astiro samar lan egin zuten, baina, oro har, ohiko tarrekin alderatuta, aurrerapena dago, duplicati-rekin behintzat. Aurrerapen horren prezioa ere argia da - zama nabarmena
prozesadorea. Oro har, ez dago desbideratze berezirik emaitzak iragartzerakoan.

Findings

Inora presarik ibili beharrik ez baduzu, eta ordezko prozesadore bat ere baduzu, kontuan hartutako soluzioetako edozeinek egingo du, edonola ere, lan asko egin da, eta ez da errepikatu behar wrapper scriptak tarren gainean idatziz. . Zifraketaren presentzia oso beharrezkoa da segurtasun kopiak gordetzeko zerbitzaria ezin bada guztiz fidagarria izan.

Oinarritutako soluzioekin alderatuta rsync - Errendimendua hainbat aldiz okerragoa izan daiteke, bere forma hutsean tar rsync baino % 20-30 azkarrago funtzionatu arren.
Biltegiaren tamainan aurrezten da, baina bikoiztuarekin bakarrik.

Anuntzio

Babeskopia, 1. zatia: zergatik behar den babeskopia, metodo eta teknologien ikuspegi orokorra
Backup 2. zatia: rsync-en oinarritutako babeskopia tresnak berrikustea eta probatzea
Babeskopia 3. zatia: bikoiztasuna, bikoiztasuna, bikoiztasuna berrikustea eta probatzea
Backup 4. zatia: zbackup, restic, borgbackup berrikustea eta probatzea
Babeskopia 5. zatia: bacula eta veeam babeskopia probatzen linuxerako
6. babeskopia: babeskopia tresnak alderatzea
Backup 7. zatia: ondorioak

Nork argitaratua: Pavel Demkovitx

Iturria: www.habr.com

Gehitu iruzkin berria