Anamnézis, mondhatni:
Fujitsu rx300 s6 szerver, RAID6 6 db 1TB-os lemezzel, XenServer 6.2 fut, több szerver működik, köztük Ubuntu több megosztással, 3,5 millió fájl, 1,5 TB adat, minden folyamatosan nő és terjed.
Feladat: adatmentés beállítása a fájlszerverről, részben naponta, részben hetente.
Van egy Windows gépünk a biztonsági mentéshez RAID5-tel (szegénység okán egy szokványos konfigurátor beépített RAID-vezérlővel) plussz egy külön 2TB háttértároló a fájlok aktuális állapotának ideiglenes mentésére. Bármely Linux disztribúciót használhattunk volna, de ez a gép már rendelkezésre állt RAID tömbbel és Windows licenccel.
Telepítjük a mentés szerverre , beállítjuk az összes megosztás tükrözését napi egyszer hétköznap este 6 óra után a feladatütemező indításával.
Fontos pont: batch feladat mentésekor mindig jelöljük be a 'Feladat ablakának bezárása befejezéskor' lehetőséget, különben a folyamatok sokszorozódnak.
A kivételek közé felveszünk mintát az ideiglenes fájlokra: *.dwl, *.dwl2, *.tmp.
A FreeFileSync rendkívül jól használja a hálózatot, a másolás több szálon zajlik, a nagy fájlok másolása elérheti a 80 MB/s sebességet, kisebb fájlokkal kapcsolatos problémát nem találtunk.
Az archiválást már a helyi mentés szerveren végezzük, a korábban használt -ral szemben az archiválás hálózaton keresztül. Egyébként a TheCopier nagyszerű! De ilyen mennyiségeknél egyszerűen nem tudja mindent átkonvertálni, annak ellenére, hogy 1 Gbps interfésze van a mentésnél és 2 Gbps a fájlszervernél (két hálózati kártya bundelése).
Korábban használták: , de 1,5-2 milliónál több fájl esetén már nem működött megfelelően, egyszerűen nem tudta kezelni.
A szükséges mappák archiválásához írnunk kell egy batch fájlt a következőhöz: :
set now=%TIME:~0,-3%
set now=%now::=.%
set now=%now: =0%
most \= TE:~-4%.TE:~3,2%.TE:~0,2%_%now%
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:"Program Files"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:„Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:„Program Files”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta
:: a — archiv létrehozása
:: -tzip vagy -t7z — az archiválás típusa ( zip 1,5-2-szer gyorsabb )
:: -mx=1 — tömörítési arány (1 minimum, 9 maximum x=[0 | 1 | 3 | 5 | 7 | 9] értékek)
:: -mmt=on — engedélyezi a több szálat, ahol esetleg nincs bekapcsolva
:: -mtc=off — letiltja a fájlrendszer időbelyegzőit (mikOR mentve, megváltoztatva stb.)
:: -ssw — a fájlok tömörítése is, amelyek írásra nyitva vannak
:: -xr!.Sync* — kizárja a BtSync ideiglenes fájljait az archiválásból, hagyva a véglegeseket
A set now=% konstrukció és így tovább lehetővé teszi az időbélyeg formátumának megőrzését a fájlnévben, elkerülve azokat a problémákat, amelyek akkor merültek fel, amikor a nap vagy hónap száma 10-nél kevesebb volt, azaz behelyettesítjük a nullát.
A megjegyzés -xr!.Sync* egy maradvány, ami az eredetileg használtból maradt hátra .
500 GB-ig és 700-800 ezer fájlig a BTSync jól működött, szinkronizálta valós időben, de a jelenlegi méretek mellett nagyon sok memóriát és CPU-erőforrást igényelt, akár ubuntus fájlszerveren, akár windows-os biztonsági másolásként futóbana, ahol szolgáltatásként volt elindítva, továbbá folyamatosan megterhelte a lemezrendszert állandó olvasásokkal-írásokkal.
Bár az archiváló 7-zip, de zip formátumba archiválunk a natív 7z helyett, mert ez sokkal gyorsabb, és az mx=1 tömörítési különbsége gyakorlatilag nincs, sok kísérlet igazolta.
Az archívumok sorban futnak.
Az archívumok mappájának tisztítása is ütemezett feladat révén történik az fpurge eszköz segítségével, az archiválásokat egy hétnél nem régebbieként hagyva.
Ennek eredményeként másolatot kapunk az előző napi fájlokról, valamint az elmúlt hét archívumairól, a törölt fájlokat a FreeFileSync a kukába helyezi.
Forrás: habr.com
