Anamnézis, hogy úgy mondjam:
Fujitsu rx300 s6 szerver, 6 db 6TB-os RAID1, XenServer 6.2 telepítve, több szerver pörög, köztük Ubuntu több golyóval, 3,5 millió fájl, 1,5 TB adat, mindez fokozatosan nő és duzzad.
Feladat: adatmentés beállítása fájlszerverről, részben napi, részben heti rendszerességgel.
Van egy Windows biztonsági mentési gépünk RAID5-tel (gyenge szabványos rendszeregység, az alapba épített RAID vezérlővel), plusz egy külön 2 TB-os lemez a fájlok aktuális állapotának köztes másolására. Bármilyen Linux disztribúciót lehetett használni, de ez a gép már raid tömbbel és Windows licenccel is elérhető volt.
Telepítés egy tartalék szerverre , az ütemezőn keresztül futtatva naponta egyszer este 18 óra elteltével állítunk be egy „tükröt” mindenről sorban az összes fájlszerver megosztásból.
Egy fontos pont: kötegelt feladat mentésekor feltétlenül jelölje be a „Feladatablak bezárása, ha befejeződött” jelölőnégyzetet, különben a folyamatok szaporodnak és szaporodnak.
Ideiglenes fájlokat a maszkkivételek közé dobunk: *.dwl, *.dwl2, *.tmp.
A FreeFileSync rendkívül jól használja a hálózatot, a másolás több szálon zajlik, a sebesség nagy fájlok másolásakor eléri a 80 Mbps-t, a kis fájlok esetében nem találtak blokkolást.
Az archiválás a korábban használt helyett helyi biztonsági mentési szerveren történik hálózati archiválással. Egyébként a TheCopier remek! De ilyen mennyiségekkel egyszerűen nincs ideje mindent átvinni, annak ellenére, hogy a biztonsági másolat 1 Gbps-os interfésze és az első fájl 2 Gbps-os interfésze (két hálózati kártya köteléke).
Korábban is használt , de amikor a fájlok száma meghaladta az 1,5-2 milliót, leállt a normális működés, egyszerűen nem tudott megbirkózni.
A szükséges mappák archiválásához kötegfájlt írunk a számára :
beállítva most=%IDŐ:~0,-3%
set now=%most::=.%
beállítva most=%most: =0%
beállítva most=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%most%
C:"Programfájlok"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Programfájlok"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Programfájlok"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Programfájlok"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Programfájlok"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:„Programfájlok”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:„Programfájlok”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
::a - archívum létrehozása
:: -tzip vagy -t7z - archív típus (a zip 1.5-2-szer gyorsabb)
:: -mx=1 – tömörítési arány (1 minimum, 9 maximális érték x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - engedélyezi a többszálú átvitelt, ha nincs engedélyezve
:: -mtc=off - letiltja a fájlrendszer időbélyegeit (mentéskor, módosításkor stb.)
:: -ssw - az írásra megnyitott fájlokat is tömöríti
:: -xr!.Sync* - kizárja az ideiglenes BtSync fájlokat az archiválásból, így a véglegesek maradnak
A set now=% és így tovább konstrukciója lehetővé teszi a rögzítési idő formátumának fájlnévben történő elmentését anélkül, hogy problémák merülnének fel, ha a nap vagy a hónap száma kisebb volt 10-nél, azaz nullával helyettesítjük.
Comment -xr!.Sync* az eredetileg használt alapeleme .
500 GB-ig és 700-800 ezer fájlig a BTSync továbbra is jól működött, menet közben szinkronizált, de a jelenlegi kötetek mellett nagyon felemésztette a memóriát és a processzor erőforrásokat mind az Ubuntu fájlszerveren, mind a Windows biztonsági másolatán, ahol elindította. a szolgáltatást, és egyszerűen megerőszakolta a lemezrendszert állandó olvasással és írással.
Bár az archiváló 7-zip, a natív 7z helyett zip formátumban archiváljuk, mert sokkal gyorsabb, és gyakorlatilag nincs különbség a tömörítésben mx=1-nél, ezt számos kísérlet igazolta.
Az archívumok egyenként kerülnek végrehajtásra.
Az archívumokat tartalmazó mappát is megtisztítja egy ütemezett feladat az fpurge segédprogrammal, így az archívumok egy hétnél nem régebbiek maradnak.
Ennek eredményeként megvan az előző napi fájlok másolata, valamint az elmúlt hét archívuma, a FreeFileSync a törölt fájlokat a kukába helyezi.
Forrás: will.com