બેકઅપ ભાગ 3: ડુપ્લીસીટી, ડુપ્લીકેટીની સમીક્ષા અને પરીક્ષણ

આ નોંધ બેકઅપ ટૂલ્સની ચર્ચા કરે છે જે બેકઅપ સર્વર પર આર્કાઇવ્સ બનાવીને બેકઅપ કરે છે.

જે જરૂરિયાતોને પૂર્ણ કરે છે તેમાં ડુપ્લીસીટી (જે ડીજા ડુપના રૂપમાં સરસ ઈન્ટરફેસ ધરાવે છે) અને ડુપ્લીકેટી છે.

બીજું ખૂબ જ નોંધપાત્ર બેકઅપ ટૂલ dar છે, પરંતુ તેની પાસે વિકલ્પોની ખૂબ જ વ્યાપક સૂચિ છે - પરીક્ષણ પદ્ધતિ તે સક્ષમ છે તેમાંથી માંડ 10% આવરી લે છે - અમે વર્તમાન ચક્રના ભાગ રૂપે તેનું પરીક્ષણ કરી રહ્યા નથી.

અપેક્ષિત પરિણામો

બંને ઉમેદવારો એક અથવા બીજી રીતે આર્કાઇવ્સ બનાવતા હોવાથી, નિયમિત ટારનો માર્ગદર્શક તરીકે ઉપયોગ કરી શકાય છે.

વધુમાં, અમે મૂલ્યાંકન કરીશું કે સ્ટોરેજ સર્વર પર ડેટા સ્ટોરેજ કેટલી સારી રીતે ઑપ્ટિમાઇઝ કરવામાં આવે છે તે બૅકઅપ કૉપિઝ બનાવીને ફક્ત સંપૂર્ણ કૉપિ અને ફાઇલોની વર્તમાન સ્થિતિ વચ્ચેનો તફાવત અથવા અગાઉના અને વર્તમાન આર્કાઇવ્સ (વૃદ્ધિશીલ, ઘટાડા, વગેરે) વચ્ચેનો તફાવત ધરાવે છે. .

બેકઅપ બનાવતી વખતે વર્તન:

1. બેકઅપ સ્ટોરેજ સર્વર પર પ્રમાણમાં નાની સંખ્યામાં ફાઇલો (બેકઅપ નકલોની સંખ્યા અથવા GB માં ડેટાના કદ સાથે તુલનાત્મક), પરંતુ તેમનું કદ ખૂબ મોટું છે (દસથી સેંકડો મેગાબાઇટ્સ).
2. રિપોઝીટરીના કદમાં ફક્ત ફેરફારોનો સમાવેશ થશે - કોઈ ડુપ્લિકેટ્સ સંગ્રહિત કરવામાં આવશે નહીં, તેથી રિપોઝીટરીનું કદ rsync-આધારિત સોફ્ટવેર કરતાં નાનું હશે.
3. કમ્પ્રેશન અને/અથવા એન્ક્રિપ્શનનો ઉપયોગ કરતી વખતે ભારે CPU લોડની અપેક્ષા રાખો, અને જો આર્કાઇવિંગ અને/અથવા એન્ક્રિપ્શન પ્રક્રિયા બેકઅપ સ્ટોરેજ સર્વર પર ચાલી રહી હોય, તો સંભવતઃ ખૂબ ઊંચા નેટવર્ક અને ડિસ્ક લોડની અપેક્ષા રાખો.

ચાલો નીચેના આદેશને સંદર્ભ મૂલ્ય તરીકે ચલાવીએ:

cd /src/dir; tar -cf - * | ssh backup_server "cat > /backup/dir/archive.tar"

અમલના પરિણામો નીચે મુજબ હતા:

અમલ સમય 3m12s. તે જોઈ શકાય છે કે ઝડપ બેકઅપ સ્ટોરેજ સર્વરની ડિસ્ક સબસિસ્ટમ દ્વારા મર્યાદિત છે, ઉદાહરણ તરીકે rsync. માત્ર થોડી ઝડપી, કારણ કે... રેકોર્ડિંગ એક ફાઇલમાં જાય છે.

ઉપરાંત, કમ્પ્રેશનનું મૂલ્યાંકન કરવા માટે, ચાલો તે જ વિકલ્પ ચલાવીએ, પરંતુ બેકઅપ સર્વર બાજુ પર કમ્પ્રેશન સક્ષમ કરીએ:

cd /src/dir; tar -cf - * | ssh backup_server "gzip > /backup/dir/archive.tgz"

પરિણામો છે:

અમલ સમય 10m11s. સંભવતઃ અડચણ પ્રાપ્તિ છેડે સિંગલ-ફ્લો કોમ્પ્રેસર છે.

સમાન આદેશ, પરંતુ અવરોધ એ સિંગલ-થ્રેડેડ કોમ્પ્રેસર છે તે પૂર્વધારણાને ચકાસવા માટે મૂળ ડેટા સાથે સર્વર પર સ્થાનાંતરિત કમ્પ્રેશન સાથે.

cd /src/dir; tar -czf - * | ssh backup_server "cat > /backup/dir/archive.tgz"

તે આના જેવું બહાર આવ્યું:

અમલનો સમય 9m37s હતો. કોમ્પ્રેસર દ્વારા એક કોર પરનો ભાર સ્પષ્ટપણે દેખાય છે, કારણ કે નેટવર્ક ટ્રાન્સફર સ્પીડ અને સોર્સ ડિસ્ક સબસિસ્ટમ પરનો લોડ સમાન છે.

એન્ક્રિપ્શનનું મૂલ્યાંકન કરવા માટે, તમે વધારાના આદેશને કનેક્ટ કરીને openssl અથવા gpg નો ઉપયોગ કરી શકો છો openssl અથવા gpg પાઇપમાં. સંદર્ભ માટે આના જેવો આદેશ હશે:

cd /src/dir; tar -cf - * | ssh backup_server "gzip | openssl enc -e -aes256 -pass pass:somepassword -out /backup/dir/archive.tgz.enc"

પરિણામો આ રીતે બહાર આવ્યા:

એક્ઝેક્યુશનનો સમય 10m30s હતો, કારણ કે 2 પ્રક્રિયાઓ પ્રાપ્ત કરવાની બાજુએ ચાલી રહી હતી - અડચણ ફરીથી સિંગલ-થ્રેડેડ કોમ્પ્રેસર છે, ઉપરાંત નાના એન્ક્રિપ્શન ઓવરહેડ છે.

યુપીડી: bliznezz ની વિનંતી પર હું pigz સાથે પરીક્ષણો ઉમેરી રહ્યો છું. જો તમે માત્ર કોમ્પ્રેસરનો ઉપયોગ કરો છો, તો તે 6m30s લેશે, જો તમે એન્ક્રિપ્શન પણ ઉમેરો છો, તો તે લગભગ 7m હશે. નીચેના ગ્રાફમાં ડૂબવું એ અનફ્લશ્ડ ડિસ્ક કેશ છે:

ડુપ્લિકેટ પરીક્ષણ

ડુપ્લીસીટી એ ટાર ફોર્મેટમાં એન્ક્રિપ્ટેડ આર્કાઇવ્સ બનાવીને બેકઅપ માટે પાયથોન સોફ્ટવેર છે.

વધારાના આર્કાઇવ્સ માટે, librsync નો ઉપયોગ કરવામાં આવે છે, જેથી તમે આમાં વર્ણવેલ વર્તનની અપેક્ષા રાખી શકો શ્રેણીમાં અગાઉની પોસ્ટ.

gnupg નો ઉપયોગ કરીને બેકઅપ્સ એનક્રિપ્ટ અને સહી કરી શકાય છે, જે બેકઅપ્સ (s3, બેકબ્લેઝ, gdrive, વગેરે) સ્ટોર કરવા માટે વિવિધ પ્રદાતાઓનો ઉપયોગ કરતી વખતે મહત્વપૂર્ણ છે.

ચાલો જોઈએ કે પરિણામો શું છે:

એન્ક્રિપ્શન વિના ચાલતી વખતે અમને મળેલા આ પરિણામો છે

બગાડનાર

દરેક ટેસ્ટ રનનો રનિંગ સમય:

1 લોન્ચ કરો
2 લોન્ચ કરો
3 લોન્ચ કરો

16m33 સે
17m20 સે
16m30 સે

8m29 સે
9m3 સે
8m45 સે

5m21 સે
6m04 સે
5m53 સે

અને 2048 બિટ્સના કી કદ સાથે, જ્યારે gnupg એન્ક્રિપ્શન સક્ષમ હોય ત્યારે પરિણામો અહીં છે:

એન્ક્રિપ્શન સાથે સમાન ડેટા પર ઓપરેટિંગ સમય:

1 લોન્ચ કરો
2 લોન્ચ કરો
3 લોન્ચ કરો

17m22 સે
17m32 સે
17m28 સે

8m52 સે
9m13 સે
9m3 સે

5m48 સે
5m40 સે
5m30 સે

બ્લોકનું કદ સૂચવવામાં આવ્યું હતું - 512 મેગાબાઇટ્સ, જે ગ્રાફમાં સ્પષ્ટપણે દૃશ્યમાન છે; પ્રોસેસર લોડ વાસ્તવમાં 50% પર રહ્યો, જેનો અર્થ છે કે પ્રોગ્રામ એક કરતાં વધુ પ્રોસેસર કોરનો ઉપયોગ કરતું નથી.

પ્રોગ્રામની કામગીરીનો સિદ્ધાંત પણ એકદમ સ્પષ્ટપણે દૃશ્યમાન છે: તેઓએ ડેટાનો ટુકડો લીધો, તેને સંકુચિત કર્યો અને તેને બેકઅપ સ્ટોરેજ સર્વર પર મોકલ્યો, જે ખૂબ ધીમું હોઈ શકે છે.
અન્ય વિશેષતા એ પ્રોગ્રામનો અનુમાનિત ચાલી રહેલ સમય છે, જે ફક્ત બદલાયેલ ડેટાના કદ પર આધારિત છે.

એન્ક્રિપ્શનને સક્ષમ કરવાથી પ્રોગ્રામના ચાલતા સમયમાં નોંધપાત્ર વધારો થયો નથી, પરંતુ તે પ્રોસેસર લોડમાં લગભગ 10% જેટલો વધારો કરે છે, જે ખૂબ સરસ બોનસ હોઈ શકે છે.

કમનસીબે, આ પ્રોગ્રામ ડાયરેક્ટરી નામ બદલવાની પરિસ્થિતિને યોગ્ય રીતે શોધી શક્યો ન હતો, અને પરિણામી રીપોઝીટરીનું કદ ફેરફારોના કદ (એટલે ​​​​કે, તમામ 18GB) જેટલું જ હોવાનું બહાર આવ્યું છે, પરંતુ બેકઅપ માટે અવિશ્વસનીય સર્વરનો સ્પષ્ટપણે ઉપયોગ કરવાની ક્ષમતા. આ વર્તનને આવરી લે છે.

ડુપ્લિકેટ પરીક્ષણ

આ સૉફ્ટવેર C# માં લખાયેલું છે અને મોનોમાંથી લાઇબ્રેરીઓના સેટનો ઉપયોગ કરીને ચાલે છે. ત્યાં એક GUI તેમજ CLI સંસ્કરણ છે.

મુખ્ય લક્ષણોની અંદાજિત સૂચિ વિવિધ બેકઅપ સ્ટોરેજ પ્રદાતાઓ સહિત ડુપ્લીસીટી જેવી જ છે, જો કે, ડુપ્લીસીટીથી વિપરીત, મોટાભાગની સુવિધાઓ તૃતીય-પક્ષ સાધનો વિના ઉપલબ્ધ છે. આ પ્લસ છે કે માઈનસ એ ચોક્કસ કેસ પર આધાર રાખે છે, પરંતુ નવા નિશાળીયા માટે, પાયથોન માટે વધારાના પેકેજો ઇન્સ્ટોલ કરવાને બદલે, તેમની સામે એક જ સમયે તમામ સુવિધાઓની સૂચિ રાખવાનું સૌથી સરળ છે, જેમ કે ડુપ્લીસીટી સાથેનો કેસ.

અન્ય એક નાનો ઘોંઘાટ - પ્રોગ્રામ સક્રિય રીતે બેકઅપ શરૂ કરનાર વપરાશકર્તા વતી સ્થાનિક sqlite ડેટાબેઝ લખે છે, તેથી તમારે વધુમાં ખાતરી કરવાની જરૂર છે કે દર વખતે cli નો ઉપયોગ કરીને પ્રક્રિયા શરૂ કરવામાં આવે ત્યારે જરૂરી ડેટાબેઝ યોગ્ય રીતે સ્પષ્ટ થયેલ છે. GUI અથવા WEBGUI દ્વારા કામ કરતી વખતે, વિગતો વપરાશકર્તાથી છુપાવવામાં આવશે.

ચાલો જોઈએ કે આ સોલ્યુશન કયા સંકેતો ઉત્પન્ન કરી શકે છે:

જો તમે એન્ક્રિપ્શન બંધ કરો છો (અને WEBGUI આ કરવાની ભલામણ કરતું નથી), તો પરિણામો નીચે મુજબ છે:

કાર્યકારી કલાકો:

1 લોન્ચ કરો
2 લોન્ચ કરો
3 લોન્ચ કરો

20m43 સે
20m13 સે
20m28 સે

5m21 સે
5m40 સે
5m35 સે

7m36 સે
7m54 સે
7m49 સે

એન્ક્રિપ્શન સક્ષમ સાથે, aes નો ઉપયોગ કરીને, તે આના જેવું દેખાય છે:

કાર્યકારી કલાકો:

1 લોન્ચ કરો
2 લોન્ચ કરો
3 લોન્ચ કરો

29m9 સે
30m1 સે
29m54 સે

5m29 સે
6m2 સે
5m54 સે

8m44 સે
9m12 સે
9m1 સે

અને જો તમે બાહ્ય પ્રોગ્રામ gnupg નો ઉપયોગ કરો છો, તો નીચેના પરિણામો બહાર આવશે:

1 લોન્ચ કરો
2 લોન્ચ કરો
3 લોન્ચ કરો

26m6 સે
26m35 સે
26m17 સે

5m20 સે
5m48 સે
5m40 સે

8m12 સે
8m42 સે
8m15 સે

જેમ તમે જોઈ શકો છો, પ્રોગ્રામ ઘણા થ્રેડોમાં કામ કરી શકે છે, પરંતુ આ તેને વધુ ઉત્પાદક સોલ્યુશન બનાવતું નથી, અને જો તમે એન્ક્રિપ્શન કાર્યની તુલના કરો છો, તો તે એક બાહ્ય પ્રોગ્રામ શરૂ કરી રહ્યું છે.
મોનો સેટમાંથી લાઇબ્રેરીનો ઉપયોગ કરતાં વધુ ઝડપી બન્યું. આ એ હકીકતને કારણે હોઈ શકે છે કે બાહ્ય પ્રોગ્રામ વધુ ઑપ્ટિમાઇઝ છે.

બીજી સરસ બાબત એ હતી કે રીપોઝીટરીનું કદ વાસ્તવિક બદલાયેલ ડેટા જેટલું જ લે છે, એટલે કે. ડુપ્લિકેટીએ ડિરેક્ટરીનું નામ બદલ્યું અને આ પરિસ્થિતિને યોગ્ય રીતે સંભાળી. બીજી ટેસ્ટ ચલાવતી વખતે આ જોઈ શકાય છે.

એકંદરે, નવોદિતો માટે એકદમ મૈત્રીપૂર્ણ હોવા સહિત, પ્રોગ્રામની એકદમ હકારાત્મક છાપ.

રિઝલ્ટ

બંને ઉમેદવારોએ ધીમે ધીમે કામ કર્યું, પરંતુ સામાન્ય રીતે, નિયમિત ટારની તુલનામાં, ત્યાં પ્રગતિ છે, ઓછામાં ઓછી ડુપ્લિકેટી સાથે. આવી પ્રગતિની કિંમત પણ સ્પષ્ટ છે - એક નોંધપાત્ર બોજ
પ્રોસેસર સામાન્ય રીતે, પરિણામોની આગાહી કરવામાં કોઈ ખાસ વિચલનો નથી.

તારણો

જો તમારે ગમે ત્યાં દોડી જવાની જરૂર ન હોય, અને તમારી પાસે સ્પેર પ્રોસેસર પણ હોય, તો ધ્યાનમાં લેવાયેલા કોઈપણ ઉકેલો કરશે, કોઈ પણ સંજોગોમાં, ટારની ટોચ પર રેપર સ્ક્રિપ્ટ લખીને પુનરાવર્તિત થવું જોઈએ નહીં. . એન્ક્રિપ્શનની હાજરી એ ખૂબ જ જરૂરી ગુણધર્મ છે જો બેકઅપ કોપી સ્ટોર કરવા માટેનું સર્વર સંપૂર્ણ રીતે વિશ્વાસપાત્ર ન હોય.

આધારિત ઉકેલો સરખામણીમાં rsync - તેના શુદ્ધ સ્વરૂપમાં ટાર rsync કરતાં 20-30% વધુ ઝડપથી કામ કરે છે તે હકીકત હોવા છતાં, પ્રદર્શન ઘણી વખત ખરાબ હોઈ શકે છે.
રિપોઝીટરીના કદ પર બચત છે, પરંતુ માત્ર ડુપ્લિકેટી સાથે.

ઘોષણા

બેકઅપ, ભાગ 1: શા માટે બેકઅપની જરૂર છે, પદ્ધતિઓ, તકનીકોની ઝાંખી
બેકઅપ ભાગ 2: rsync-આધારિત બેકઅપ સાધનોની સમીક્ષા અને પરીક્ષણ
બેકઅપ ભાગ 3: ડુપ્લીસીટીની સમીક્ષા અને પરીક્ષણ, ડુપ્લિકેટી, ડીજા ડુપ
બેકઅપ ભાગ 4: ઝેડબેકઅપ, રેસ્ટિક, બોર્ગબેકઅપની સમીક્ષા અને પરીક્ષણ
બેકઅપ ભાગ 5: લિનક્સ માટે બેક્યુલા અને વીમ બેકઅપનું પરીક્ષણ
બેકઅપ ભાગ 6: બેકઅપ સાધનોની સરખામણી
બેકઅપ ભાગ 7: તારણો

મોકલનાર: પાવેલ ડેમકોવિચ

સોર્સ: www.habr.com