FreeFileSync અને 7-zip નો ઉપયોગ કરીને ડેટા બેકઅપ

એનામેનેસિસ, તેથી વાત કરવા માટે:

Fujitsu rx300 s6 સર્વર, 6 6TB ડિસ્કનું RAID1, XenServer 6.2 ઇન્સ્ટોલ, કેટલાય સર્વર ફરતા, તેમાંથી ઘણા બોલ સાથે ઉબુન્ટુ, 3,5 મિલિયન ફાઇલો, 1,5 TB ડેટા, આ બધું ધીમે ધીમે વધી રહ્યું છે અને સોજો આવી રહ્યો છે.

કાર્ય: ફાઇલ સર્વરથી ડેટા બેકઅપ સેટ કરો, અંશતઃ દૈનિક, અંશતઃ સાપ્તાહિક.
અમારી પાસે RAID5 સાથે વિન્ડોઝ બેકઅપ મશીન છે (માતામાં બનેલા RAID નિયંત્રક સાથેનું નબળું પ્રમાણભૂત સિસ્ટમ યુનિટ) ઉપરાંત ફાઇલોની વર્તમાન સ્થિતિની મધ્યવર્તી નકલ કરવા માટે એક અલગ 2TB ડિસ્ક છે. કોઈપણ Linux વિતરણનો ઉપયોગ કરવો શક્ય હતું, પરંતુ આ મશીન પહેલેથી જ રેઇડ એરે અને Windows લાયસન્સ સાથે ઉપલબ્ધ હતું.

બેકઅપ સર્વર પર ઇન્સ્ટોલ કરો ફ્રીફાયલસિંક, અમે શેડ્યૂલર દ્વારા ચલાવીને 18 કલાક પછી દિવસમાં એકવાર બધા ફાઇલ સર્વર શેર્સમાંથી એક પંક્તિમાં દરેક વસ્તુનો "મિરર" સેટ કરીએ છીએ.

એક મહત્વપૂર્ણ મુદ્દો: જ્યારે બેચ કાર્યને સાચવતી વખતે, "પૂર્ણ થાય ત્યારે કાર્ય વિન્ડો બંધ કરો" ને તપાસવાનું ભૂલશો નહીં, અન્યથા પ્રક્રિયાઓ ગુણાકાર અને ગુણાકાર કરશે.

અમે કામચલાઉ ફાઇલોને માસ્ક અપવાદોમાં નાખીએ છીએ: *.dwl, *.dwl2, *.tmp.

FreeFileSync નેટવર્કનો ખૂબ જ સારી રીતે ઉપયોગ કરે છે, નકલ અનેક થ્રેડોમાં થાય છે, મોટી ફાઇલોની નકલ કરતી વખતે ઝડપ 80 Mbps સુધી પહોંચે છે, નાની ફાઇલો પર કોઈ અવરોધ જોવા મળ્યો નથી.

આર્કાઇવિંગ સ્થાનિક બેકઅપ સર્વર પર હાથ ધરવામાં આવશે, અગાઉ ઉપયોગમાં લેવાયેલ એકને બદલે કોપિયર નેટવર્ક આર્કાઇવિંગ સાથે. માર્ગ દ્વારા, TheCopier મહાન છે! પરંતુ આવા વોલ્યુમો સાથે, તેની પાસે બેકઅપ પર 1Gbps ઇન્ટરફેસ અને ફાઇલ વન (બે નેટવર્ક કાર્ડ્સનું બોન્ડ) પર 2Gbps હોવા છતાં, બધું સ્થાનાંતરિત કરવાનો સમય નથી.

અગાઉ પણ વપરાયેલ SyncToy, પરંતુ જ્યારે ફાઇલોની સંખ્યા 1,5-2 મિલિયનને વટાવી ગઈ, ત્યારે તેણે સામાન્ય રીતે કામ કરવાનું બંધ કરી દીધું, તે ફક્ત સામનો કરી શક્યું નહીં.

જરૂરી ફોલ્ડર્સને આર્કાઇવ કરવા માટે, અમે તેના માટે બેચ ફાઇલ લખીએ છીએ 7-Zip:

હમણાં સેટ કરો=%TIME:~0,-3%
હવે સેટ કરો=%now::=.%
હવે સેટ કરો=%હવે: =0%
હમણાં સેટ કરો=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%
C:"પ્રોગ્રામ ફાઇલો"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_10-04.zip E:10-04
C:"પ્રોગ્રામ ફાઇલો"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_35-110.zip E:35-110
C:"પ્રોગ્રામ ફાઇલો"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_asu.zip E:asu
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_director.zip E:director
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_gpr.zip E:gpr
C:"પ્રોગ્રામ ફાઇલો"7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_otiz.zip E:otiz
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_ps.zip E:ps
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_pto.zip E:pto
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_rza.zip E:rza
C:“પ્રોગ્રામ ફાઇલો”7-Zip7z.exe a -tzip -mx=1 -mmt=on -mtc=off -ssw D:backupsAll%now%_smeta.zip E:smeta

::a - આર્કાઇવ બનાવવું
:: -tzip અથવા -t7z - આર્કાઇવ પ્રકાર (ઝિપ 1.5-2 ગણી ઝડપી છે)
:: -mx=1 — કમ્પ્રેશન રેશિયો (1 ન્યૂનતમ, 9 મહત્તમ મૂલ્યો x=[0 | 1 | 3 | 5 | 7 | 9 ])
:: -mmt=on - જ્યાં તે સક્ષમ ન હોય ત્યાં મલ્ટિથ્રેડીંગને સક્રિય કરે છે
:: -mtc=off - ફાઇલ સિસ્ટમ ટાઇમસ્ટેમ્પને અક્ષમ કરે છે (જ્યારે સાચવવામાં આવે છે, સંશોધિત થાય છે, વગેરે.)
:: -ssw - લખવા માટે ખોલવામાં આવેલી ફાઇલોને પણ સંકુચિત કરે છે
:: -xr!.Sync* - અસ્થાયી BtSync ફાઇલોને આર્કાઇવિંગમાંથી બાકાત રાખે છે, કાયમી ફાઇલોને છોડી દે છે

સેટ Now=% અને તેથી વધુ નું નિર્માણ તમને ફાઇલ નામમાં રેકોર્ડિંગ સમયના ફોર્મેટને સાચવવા માટે પરવાનગી આપે છે જ્યારે દિવસ અથવા મહિનાની સંખ્યા 10 કરતાં ઓછી હોય ત્યારે ઊભી થતી સમસ્યાઓ વિના, એટલે કે, અમે શૂન્યને બદલીએ છીએ.

Comment -xr!.Sync* એ મૂળ રૂપે ઉપયોગમાં લેવાયેલ એક રુડિમેન્ટ છે BTSync.

500 GB અને 700-800 હજાર ફાઇલો સુધી, BTSync હજુ પણ બરાબર કામ કરે છે, ફ્લાય પર સિંક્રનાઇઝ થાય છે, પરંતુ વર્તમાન વોલ્યુમો સાથે તે ઉબુન્ટુ ફાઇલ સર્વર પર અને વિન્ડોઝ બેકઅપ બંને પર મેમરી અને પ્રોસેસર સંસાધનોનો ખૂબ જ વપરાશ કરતી હતી જ્યાં તેને લોન્ચ કરવામાં આવી હતી. સેવા, અને તે પણ સતત વાંચન અને લખવા દ્વારા ફક્ત ડિસ્ક સિસ્ટમ પર બળાત્કાર કરે છે.

આર્કાઇવર 7-ઝિપ હોવા છતાં, અમે તેને મૂળ 7z ને બદલે ઝિપ ફોર્મેટમાં આર્કાઇવ કરીએ છીએ, કારણ કે તે ખૂબ ઝડપી છે, અને mx=1 સાથે સંકોચનમાં વ્યવહારીક રીતે કોઈ તફાવત નથી, આ ઘણા પ્રયોગો દ્વારા ચકાસવામાં આવ્યું છે.

આર્કાઇવ્સ એક પછી એક ચલાવવામાં આવે છે.

આર્કાઇવ્સ સાથેના ફોલ્ડરને fpurge યુટિલિટીનો ઉપયોગ કરીને સુનિશ્ચિત કાર્ય દ્વારા પણ સાફ કરવામાં આવે છે, આર્કાઇવ્સ એક અઠવાડિયા કરતાં વધુ જૂના નથી.
પરિણામે, અમારી પાસે પાછલા દિવસની ફાઇલોની નકલ તેમજ છેલ્લા અઠવાડિયા માટેના આર્કાઇવ્સ છે; FreeFileSync કાઢી નાખેલી ફાઇલોને ટ્રેશમાં મૂકે છે.

સોર્સ: www.habr.com