FreeFileSync ਅਤੇ 7-zip ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡਾਟਾ ਬੈਕਅੱਪ

Anamnesis, ਇਸ ਲਈ ਬੋਲਣ ਲਈ:

Fujitsu rx300 s6 ਸਰਵਰ, 6 6TB ਡਿਸਕਾਂ ਦਾ RAID1, XenServer 6.2 ਸਥਾਪਿਤ, ਕਈ ਸਰਵਰ ਸਪਿਨਿੰਗ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਈ ਗੇਂਦਾਂ ਵਾਲਾ ਉਬੰਟੂ, 3,5 ਮਿਲੀਅਨ ਫਾਈਲਾਂ, 1,5 TB ਡੇਟਾ, ਇਹ ਸਭ ਹੌਲੀ ਹੌਲੀ ਵਧ ਰਿਹਾ ਹੈ ਅਤੇ ਸੁੱਜ ਰਿਹਾ ਹੈ।

ਕੰਮ: ਇੱਕ ਫਾਈਲ ਸਰਵਰ ਤੋਂ ਡਾਟਾ ਬੈਕਅੱਪ ਸੈਟ ਅਪ ਕਰੋ, ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਰੋਜ਼ਾਨਾ, ਅੰਸ਼ਕ ਤੌਰ 'ਤੇ ਹਫ਼ਤਾਵਾਰੀ।
ਸਾਡੇ ਕੋਲ RAID5 ਵਾਲੀ ਇੱਕ ਵਿੰਡੋਜ਼ ਬੈਕਅੱਪ ਮਸ਼ੀਨ ਹੈ (ਇੱਕ ਮਾੜੀ ਸਟੈਂਡਰਡ ਸਿਸਟਮ ਯੂਨਿਟ ਜਿਸ ਵਿੱਚ ਰੇਡ ਕੰਟਰੋਲਰ ਬਣਾਇਆ ਗਿਆ ਹੈ) ਨਾਲ ਹੀ ਫਾਈਲਾਂ ਦੀ ਮੌਜੂਦਾ ਸਥਿਤੀ ਦੀ ਇੰਟਰਮੀਡੀਏਟ ਕਾਪੀ ਕਰਨ ਲਈ ਇੱਕ ਵੱਖਰੀ 2TB ਡਿਸਕ ਹੈ। ਕਿਸੇ ਵੀ ਲੀਨਕਸ ਡਿਸਟਰੀਬਿਊਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਸੀ, ਪਰ ਇਹ ਮਸ਼ੀਨ ਪਹਿਲਾਂ ਹੀ ਰੇਡ ਐਰੇ ਅਤੇ ਵਿੰਡੋਜ਼ ਲਾਇਸੈਂਸ ਨਾਲ ਉਪਲਬਧ ਸੀ।

ਇੱਕ ਬੈਕਅੱਪ ਸਰਵਰ 'ਤੇ ਇੰਸਟਾਲ ਕਰੋ ਫ੍ਰੀਫਾਈਲਸਿੰਕ, ਅਸੀਂ ਸ਼ਡਿਊਲਰ ਰਾਹੀਂ ਇਸਨੂੰ ਚਲਾ ਕੇ 18 ਘੰਟਿਆਂ ਬਾਅਦ ਸ਼ਾਮ ਨੂੰ ਇੱਕ ਵਾਰ ਸਾਰੇ ਫਾਈਲ ਸਰਵਰ ਸ਼ੇਅਰਾਂ ਤੋਂ ਇੱਕ ਕਤਾਰ ਵਿੱਚ ਹਰ ਚੀਜ਼ ਦਾ "ਸ਼ੀਸ਼ਾ" ਸਥਾਪਤ ਕਰਦੇ ਹਾਂ।

ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਨੁਕਤਾ: ਜਦੋਂ ਇੱਕ ਬੈਚ ਟਾਸਕ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਦੇ ਹੋ, ਤਾਂ "ਮੁਕੰਮਲ ਹੋਣ 'ਤੇ ਟਾਸਕ ਵਿੰਡੋ ਨੂੰ ਬੰਦ ਕਰੋ" ਦੀ ਜਾਂਚ ਕਰਨਾ ਯਕੀਨੀ ਬਣਾਓ, ਨਹੀਂ ਤਾਂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਗੁਣਾ ਅਤੇ ਗੁਣਾ ਹੋ ਜਾਣਗੀਆਂ।

ਅਸੀਂ ਅਸਥਾਈ ਫਾਈਲਾਂ ਨੂੰ ਮਾਸਕ ਅਪਵਾਦਾਂ ਵਿੱਚ ਸੁੱਟ ਦਿੰਦੇ ਹਾਂ: *.dwl, *.dwl2, *.tmp।

ਫ੍ਰੀਫਾਈਲਸਿੰਕ ਨੈਟਵਰਕ ਦੀ ਬਹੁਤ ਵਧੀਆ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਨਕਲ ਕਈ ਥਰਿੱਡਾਂ ਵਿੱਚ ਹੁੰਦੀ ਹੈ, ਵੱਡੀਆਂ ਫਾਈਲਾਂ ਦੀ ਨਕਲ ਕਰਨ ਵੇਲੇ ਸਪੀਡ 80 Mbps ਤੱਕ ਪਹੁੰਚ ਜਾਂਦੀ ਹੈ, ਛੋਟੀਆਂ ਫਾਈਲਾਂ ਤੇ ਕੋਈ ਬਲੌਕਿੰਗ ਨਹੀਂ ਮਿਲੀ।

ਆਰਕਾਈਵਿੰਗ ਪਹਿਲਾਂ ਵਰਤੇ ਗਏ ਇੱਕ ਦੀ ਬਜਾਏ ਇੱਕ ਸਥਾਨਕ ਬੈਕਅੱਪ ਸਰਵਰ 'ਤੇ ਕੀਤੀ ਜਾਵੇਗੀ ਕਾਪੀਅਰ ਨੈੱਟਵਰਕ ਪੁਰਾਲੇਖ ਦੇ ਨਾਲ. ਤਰੀਕੇ ਨਾਲ, TheCopier ਬਹੁਤ ਵਧੀਆ ਹੈ! ਪਰ ਅਜਿਹੇ ਵਾਲੀਅਮ ਦੇ ਨਾਲ, ਇਸ ਕੋਲ ਬੈਕਅੱਪ 'ਤੇ 1Gbps ਇੰਟਰਫੇਸ ਅਤੇ ਫਾਈਲ ਵਨ (ਦੋ ਨੈੱਟਵਰਕ ਕਾਰਡਾਂ ਦਾ ਬੰਧਨ) 'ਤੇ 2Gbps ਦੇ ਬਾਵਜੂਦ, ਸਭ ਕੁਝ ਟ੍ਰਾਂਸਫਰ ਕਰਨ ਦਾ ਸਮਾਂ ਨਹੀਂ ਹੁੰਦਾ।

ਪਹਿਲਾਂ ਵੀ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ SyncToy, ਪਰ ਜਦੋਂ ਫਾਈਲਾਂ ਦੀ ਸੰਖਿਆ 1,5-2 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੰਦੀ ਹੈ, ਇਹ ਸਹਿਣ ਨਹੀਂ ਕਰ ਸਕਦੀ ਸੀ।

ਲੋੜੀਂਦੇ ਫੋਲਡਰਾਂ ਨੂੰ ਆਰਕਾਈਵ ਕਰਨ ਲਈ, ਅਸੀਂ ਇਸ ਲਈ ਇੱਕ ਬੈਚ ਫਾਈਲ ਲਿਖਦੇ ਹਾਂ 7- ਜ਼ਿਪ:

ਹੁਣੇ ਸੈੱਟ ਕਰੋ=%TIME:~0,-3%
ਹੁਣ ਸੈੱਟ ਕਰੋ=%now::=.%
ਹੁਣ ਸੈੱਟ ਕਰੋ =% ਹੁਣ: = 0%
ਹੁਣ ਸੈੱਟ ਕਰੋ=%DATE:~-4%।%DATE:~3,2%।%DATE:~0,2%_%now%
C:"ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“ਪ੍ਰੋਗਰਾਮ ਫਾਈਲਾਂ”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - ਇੱਕ ਪੁਰਾਲੇਖ ਬਣਾਉਣਾ
:: -tzip ਜਾਂ -t7z - ਪੁਰਾਲੇਖ ਕਿਸਮ (ਜ਼ਿਪ 1.5-2 ਗੁਣਾ ਤੇਜ਼ ਹੈ)
:: -mx=1 — ਕੰਪਰੈਸ਼ਨ ਅਨੁਪਾਤ (1 ਨਿਊਨਤਮ, 9 ਅਧਿਕਤਮ ਮੁੱਲ x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - ਮਲਟੀਥ੍ਰੈਡਿੰਗ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ ਜਿੱਥੇ ਇਹ ਸਮਰੱਥ ਨਹੀਂ ਹੈ
:: -mtc=off - ਫਾਈਲ ਸਿਸਟਮ ਟਾਈਮਸਟੈਂਪਾਂ ਨੂੰ ਅਯੋਗ ਕਰਦਾ ਹੈ (ਜਦੋਂ ਸੰਭਾਲਿਆ, ਸੋਧਿਆ, ਆਦਿ)
:: -ssw - ਲਿਖਣ ਲਈ ਖੋਲ੍ਹੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਵੀ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ
:: -xr!.Sync* - ਆਰਕਾਈਵਿੰਗ ਤੋਂ ਅਸਥਾਈ BtSync ਫਾਈਲਾਂ ਨੂੰ ਸ਼ਾਮਲ ਨਹੀਂ ਕਰਦਾ, ਸਥਾਈ ਨੂੰ ਛੱਡਦਾ ਹੈ

ਸੈੱਟ ਹੁਣ=% ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਉਸਾਰੀ ਤੁਹਾਨੂੰ ਕਿਸੇ ਫਾਈਲ ਨਾਮ ਵਿੱਚ ਰਿਕਾਰਡਿੰਗ ਸਮੇਂ ਦੇ ਫਾਰਮੈਟ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਜੋ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ ਜਦੋਂ ਦਿਨ ਜਾਂ ਮਹੀਨੇ ਦੀ ਗਿਣਤੀ 10 ਤੋਂ ਘੱਟ ਸੀ, ਯਾਨੀ ਅਸੀਂ ਇੱਕ ਜ਼ੀਰੋ ਬਦਲਦੇ ਹਾਂ।

Comment -xr!.Sync* ਮੂਲ ਰੂਪ ਵਿੱਚ ਵਰਤੇ ਗਏ ਤੋਂ ਬਚਿਆ ਇੱਕ ਮੂਲ ਹੈ BTSync.

500 GB ਅਤੇ 700-800 ਹਜ਼ਾਰ ਫਾਈਲਾਂ ਤੱਕ, BTSync ਨੇ ਅਜੇ ਵੀ ਵਧੀਆ ਕੰਮ ਕੀਤਾ, ਫਲਾਈ 'ਤੇ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ ਕੀਤਾ, ਪਰ ਮੌਜੂਦਾ ਵਾਲੀਅਮ ਦੇ ਨਾਲ ਇਹ ਉਬੰਟੂ ਫਾਈਲ ਸਰਵਰ ਅਤੇ ਵਿੰਡੋਜ਼ ਬੈਕਅਪ ਦੋਵਾਂ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਮੈਮੋਰੀ ਅਤੇ ਪ੍ਰੋਸੈਸਰ ਸਰੋਤਾਂ ਦੀ ਖਪਤ ਕਰ ਰਿਹਾ ਸੀ, ਜਿੱਥੇ ਇਸਨੂੰ ਲਾਂਚ ਕੀਤਾ ਗਿਆ ਸੀ। ਸੇਵਾ, ਅਤੇ ਇਹ ਵੀ ਸਿਰਫ਼ ਲਗਾਤਾਰ ਪੜ੍ਹਨ ਅਤੇ ਲਿਖਣ ਦੁਆਰਾ ਡਿਸਕ ਸਿਸਟਮ ਨਾਲ ਬਲਾਤਕਾਰ.

ਹਾਲਾਂਕਿ ਆਰਕਾਈਵਰ 7-ਜ਼ਿਪ ਹੈ, ਅਸੀਂ ਇਸਨੂੰ ਨੇਟਿਵ 7z ਦੀ ਬਜਾਏ ਜ਼ਿਪ ਫਾਰਮੈਟ ਵਿੱਚ ਆਰਕਾਈਵ ਕਰਦੇ ਹਾਂ, ਕਿਉਂਕਿ ਇਹ ਬਹੁਤ ਤੇਜ਼ ਹੈ, ਅਤੇ mx=1 ਨਾਲ ਸੰਕੁਚਨ ਵਿੱਚ ਅਮਲੀ ਤੌਰ 'ਤੇ ਕੋਈ ਅੰਤਰ ਨਹੀਂ ਹੈ, ਇਹ ਬਹੁਤ ਸਾਰੇ ਪ੍ਰਯੋਗਾਂ ਦੁਆਰਾ ਪ੍ਰਮਾਣਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।

ਪੁਰਾਲੇਖਾਂ ਨੂੰ ਇੱਕ-ਇੱਕ ਕਰਕੇ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ।

ਪੁਰਾਲੇਖਾਂ ਵਾਲੇ ਫੋਲਡਰ ਨੂੰ fpurge ਉਪਯੋਗਤਾ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਨਿਯਤ ਕਾਰਜ ਦੁਆਰਾ ਵੀ ਸਾਫ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਪੁਰਾਲੇਖਾਂ ਨੂੰ ਇੱਕ ਹਫ਼ਤੇ ਤੋਂ ਵੱਧ ਪੁਰਾਣਾ ਨਹੀਂ ਛੱਡਦਾ।
ਨਤੀਜੇ ਵਜੋਂ, ਸਾਡੇ ਕੋਲ ਪਿਛਲੇ ਦਿਨ ਦੀਆਂ ਫਾਈਲਾਂ ਦੀ ਇੱਕ ਕਾਪੀ ਹੈ, ਨਾਲ ਹੀ ਪਿਛਲੇ ਹਫ਼ਤੇ ਲਈ ਪੁਰਾਲੇਖ; FreeFileSync ਮਿਟਾਈਆਂ ਗਈਆਂ ਫਾਈਲਾਂ ਨੂੰ ਰੱਦੀ ਵਿੱਚ ਪਾਉਂਦਾ ਹੈ।

ਸਰੋਤ: www.habr.com