હેશગેટ - તે મફત, ઓપન સોર્સ છે ડુપ્લિકેટર આર્કાઇવર જેવી જ યુટિલિટી છે જે તમને બેકઅપનું કદ નોંધપાત્ર રીતે ઘટાડવાની સાથે સાથે ઇન્ક્રીમેન્ટલ અને ડિફરન્શિયલ બેકઅપ સ્કીમ્સ અને વધુ ગોઠવવા દે છે.

લક્ષણોનું વર્ણન કરવા માટે આ એક વિહંગાવલોકન લેખ છે. હેશગેટનો વાસ્તવિક ઉપયોગ (એકદમ સરળ) માં વર્ણવેલ છે README પ્રોજેક્ટ અને વિકિ દસ્તાવેજીકરણ.

સરખામણી

શૈલીના કાયદા અનુસાર, હું તરત જ ષડયંત્ર સાથે પ્રારંભ કરીશ - પરિણામોની તુલના કરીને:

ડેટા નમૂના
unpacked size
.tar.gz
hashget .tar.gz

વર્ડપ્રેસ-5.1.1
43 Mb
11 Mb (26%)
155 Kb ( 0.3% )

લિનક્સ કર્નલ 5.0.4
934 Mb
161 Mb (20%)
4.7 Mb ( 0.5% )

ડેબિયન 9 (LAMP) LXC VM
724 Mb
165 Mb (23%)
4.1 Mb ( 0.5% )

આદર્શ અને અસરકારક બેકઅપ શું હોવું જોઈએ તેની પૃષ્ઠભૂમિ

દર વખતે જ્યારે મેં તાજા બનાવેલા વર્ચ્યુઅલ મશીનનો બેકઅપ લીધો, ત્યારે હું કંઈક ખોટું કરી રહ્યો હોવાની લાગણીથી ત્રાસી ગયો હતો. શા માટે મને સિસ્ટમમાંથી ભારે બેકઅપ મળે છે, જ્યાં મારી અમૂલ્ય, અવિનાશી સર્જનાત્મકતા "હેલો વર્લ્ડ" ટેક્સ્ટ સાથેની એક-લાઇન index.html છે?

મારા બેકઅપમાં 16 MB /usr/sbin/mysqld શા માટે છે? શું ખરેખર એવું શક્ય છે કે આ દુનિયામાં મને આ મહત્વપૂર્ણ ફાઇલ રાખવાનું સન્માન મળે અને જો હું નિષ્ફળ જાઉં તો તે માનવતા માટે ખોવાઈ જાય? મોટે ભાગે ના. તે અત્યંત ભરોસાપાત્ર ડેબિયન સર્વર્સ પર સંગ્રહિત છે (જેની વિશ્વસનીયતા અને અપટાઇમ હું જે પ્રદાન કરી શકું તેની સાથે સરખાવી શકાતો નથી), તેમજ અન્ય એડમિન્સના બેકઅપ્સમાં (તેમાંથી લાખો) સંગ્રહિત છે. શું વિશ્વસનીયતા સુધારવા માટે આપણે ખરેખર આ મહત્વપૂર્ણ ફાઇલની 10+ 000લી નકલ બનાવવાની જરૂર છે?

સામાન્ય રીતે હેશગેટ и решает эту проблему. При запаковке — он создает очень маленький бэкап. При распаковке — полностью распакованную систему, аналогичную той, которая была бы при tar -c / tar -x. (Иными словами, это lossless упаковка)

Как работает hashget

В hashget есть понятия Package и HashPackage, с их помощью он выполняет дедупликацию.

પેકેજ (пакет). Файл (обычно архив .deb или .tar.gz), который можно надежно скачать из сети, и из которого можно получить один или более файлов.

હેશપેકેજ — એક નાની JSON ફાઇલ જે પેકેજનું પ્રતિનિધિત્વ કરે છે, જેમાં પેકેજ URL અને હેશ રકમ (sha256) ફાઇલોનો સમાવેશ થાય છે. ઉદાહરણ તરીકે, 5 મેગાબાઈટ mariadb-server-core પેકેજ માટે, હેશપેકેજનું કદ માત્ર 6 કિલોબાઈટ છે. લગભગ હજાર ગણું ઓછું.

ડુપ્લિકેશન — ડુપ્લિકેટ ફાઇલો વિના આર્કાઇવ બનાવવું (જો ડીડુપ્લિકેટરને ખબર હોય કે મૂળ પેકેજ ક્યાં ડાઉનલોડ કરી શકાય છે, તો તે આર્કાઇવમાંથી ડુપ્લિકેટ ઘટાડે છે).

પેકેજીંગ

પેક કરતી વખતે, પેક કરવામાં આવેલી ડિરેક્ટરીમાંથી બધી ફાઇલો સ્કેન કરવામાં આવે છે, તેમના હેશ સરવાળાની ગણતરી કરવામાં આવે છે, અને જો રકમ જાણીતા હેશપેકેજમાંથી એકમાં જોવા મળે છે, તો ફાઇલ વિશેનો મેટાડેટા (નામ, હેશ, ઍક્સેસ અધિકારો, વગેરે) સાચવવામાં આવે છે. ખાસ ફાઇલ .hashget-restore.json માં, જે આર્કાઇવમાં પણ શામેલ કરવામાં આવશે.

સૌથી સરળ કિસ્સામાં, પેકેજિંગ પોતે ટાર કરતાં વધુ જટિલ લાગતું નથી:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

અનપેક કરી રહ્યું છે

અનપેકિંગ બે તબક્કામાં કરવામાં આવે છે. પ્રથમ સામાન્ય ટાર અનપેકિંગ:

tar -xf mybackup.tar.gz -C /path/to/data

પછી નેટવર્કમાંથી પુનઃસ્થાપિત કરો:

hashget -u /path/to/data

પુનઃસ્થાપિત કરતી વખતે, હેશગેટ .hashget-restore.json ફાઇલને વાંચે છે, જરૂરી પેકેજો ડાઉનલોડ કરે છે, તેને અનપૅક કરે છે અને જરૂરી ફાઇલોને એક્સ્ટ્રેક્ટ કરે છે, જરૂરી માલિક/જૂથ/પરમિશન સાથે જરૂરી પાથમાં ઇન્સ્ટોલ કરે છે.

વધુ મુશ્કેલ વસ્તુઓ

ઉપર વર્ણવેલ છે તે લોકો માટે પહેલેથી જ પૂરતું છે જેઓ "ટારની જેમ ઇચ્છે છે, પરંતુ મારા ડેબિયનને 4 મેગાબાઇટ્સમાં પેક કરવા માટે." ચાલો પછીથી વધુ જટિલ વસ્તુઓ જોઈએ.

અનુક્રમણિકા

જો હેશજેટ પાસે એક પણ હેશપેકેજ ન હોય, તો તે ફક્ત કોઈ પણ વસ્તુની નકલ કરી શકશે નહીં.

તમે મેન્યુઅલી હેશપેકેજ પણ બનાવી શકો છો (માત્ર: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), પરંતુ ત્યાં એક વધુ અનુકૂળ રીત છે.

જરૂરી હેશપેકેજ મેળવવા માટે, એક સ્ટેજ છે અનુક્રમણિકા (он автоматически выполняется при команде --pack) અને હ્યુરિસ્ટિક્સ. ઇન્ડેક્સીંગ કરતી વખતે, હેશગેટ દરેક ફાઈલને તેમાં રુચિ ધરાવતા તમામ ઉપલબ્ધ હ્યુરિસ્ટિક્સને "ફીડ" આપે છે. હ્યુરિસ્ટિક્સ પછી હેશપેકેજ બનાવવા માટે કોઈપણ પેકેજને અનુક્રમિત કરી શકે છે.

ઉદાહરણ તરીકે, ડેબિયન હ્યુરિસ્ટિક ફાઇલ /var/lib/dpkg/status ને પસંદ કરે છે અને ઇન્સ્ટોલ કરેલા ડેબિયન પેકેજો શોધે છે, અને જો તે અનુક્રમિત ન હોય (ત્યાં તેમના માટે કોઈ હેશપેકેજ બનાવવામાં આવ્યું નથી), તો તેને ડાઉનલોડ અને અનુક્રમિત કરે છે. પરિણામ ખૂબ જ સરસ અસર છે - હેશગેટ હંમેશા અસરકારક રીતે ડેબિયન ઓએસની નકલ કરશે, પછી ભલે તેની પાસે નવીનતમ પેકેજો હોય.

સંકેત ફાઇલો

જો તમારું નેટવર્ક તમારા કેટલાક માલિકીના પેકેજો અથવા જાહેર પેકેજનો ઉપયોગ કરે છે જે હેશગેટ હ્યુરિસ્ટિક્સમાં શામેલ નથી, તો તમે તેમાં આ રીતે એક સરળ hashget-hint.json હિંટ ફાઇલ ઉમેરી શકો છો:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

આગળ, દરેક વખતે જ્યારે આર્કાઇવ બનાવવામાં આવે છે, ત્યારે પેકેજ અનુક્રમિત કરવામાં આવશે (જો તે અગાઉ ન હોય તો), અને પેકેજ ફાઇલો આર્કાઇવમાંથી ડિડુપ્લિકેટ કરવામાં આવશે. કોઈ પ્રોગ્રામિંગની જરૂર નથી, બધું વિમથી કરી શકાય છે અને દરેક બેકઅપમાં સાચવી શકાય છે. મહેરબાની કરીને નોંધ કરો કે હેશ સમ અભિગમ માટે આભાર, જો પેકેજમાંથી કેટલીક ફાઇલો સ્થાનિક રીતે બદલાઈ જાય છે (ઉદાહરણ તરીકે, રૂપરેખાંકન ફાઇલ બદલાઈ છે), તો બદલાયેલ ફાઈલો "જેમ છે તેમ" આર્કાઇવમાં સાચવવામાં આવશે અને તેને કાપવામાં આવશે નહીં.

જો તમારા પોતાના કેટલાક પેકેજો સમયાંતરે અપડેટ કરવામાં આવે છે, પરંતુ ફેરફારો ખૂબ મોટા નથી, તો તમે ફક્ત મુખ્ય સંસ્કરણો માટે સંકેત આપી શકો છો. ઉદાહરણ તરીકે, વર્ઝન 1.0 માં તેઓએ mypackage-1.0.tar.gz તરફ ઈશારો કર્યો હતો, અને તે સંપૂર્ણપણે ડીડુપ્લિકેટ થશે, પછી તેઓએ વર્ઝન 1.1 રીલીઝ કર્યું, જે થોડું અલગ છે, પરંતુ સંકેત અપડેટ કરવામાં આવ્યો ન હતો. ઠીક છે. વર્ઝન 1.0 સાથે મેળ ખાતી (પુનઃસ્થાપિત કરી શકાય છે) ફાઈલો જ ડુપ્લિકેટ કરવામાં આવે છે.

હ્યુરિસ્ટિક્સ કેવી રીતે કાર્ય કરે છે તેની આંતરિક પદ્ધતિને સમજવા માટે સંકેત ફાઇલ પર પ્રક્રિયા કરે છે તે એક સારું ઉદાહરણ છે. તે માત્ર hashget-hint.json ફાઇલો પર પ્રક્રિયા કરે છે (અથવા ડોટ સાથે .hashget-hint.json) અને અન્ય તમામને અવગણે છે. આ ફાઇલમાંથી, તે નક્કી કરે છે કે કયા પેકેજ URL ને અનુક્રમિત કરવું જોઈએ, અને હેશગેટ તેને અનુક્રમિત કરે છે (જો તેણે પહેલાથી આવું કર્યું નથી)

HashServer

બેકઅપ બનાવતી વખતે સંપૂર્ણ અનુક્રમણિકા કરવા માટે તે ખૂબ શ્રમ-સઘન હશે. આ કરવા માટે, તમારે દરેક પેકેજ ડાઉનલોડ કરવાની, તેને અનપેક કરવાની અને તેને અનુક્રમિત કરવાની જરૂર છે. તેથી હેશગેટ સાથે સ્કીમનો ઉપયોગ કરે છે HashServer. જ્યારે ઇન્સ્ટોલ કરેલ ડેબિયન પેકેજ શોધાય છે, જો તે સ્થાનિક હેશપેકેજમાં ન મળે, તો પ્રથમ હેશ સર્વરમાંથી હેશપેકેજ ડાઉનલોડ કરવાનો પ્રયાસ કરવામાં આવે છે. અને જો આ કામ ન કરે તો જ, હેશગેટ પોતે પેકેજને ડાઉનલોડ કરે છે અને હેશ કરે છે (અને તેને હેશસર્વર પર અપલોડ કરે છે, જેથી તે હેશસર્વર ભવિષ્યમાં તેને પ્રદાન કરે).

HashServer એ સ્કીમનું વૈકલ્પિક ઘટક છે, મહત્વપૂર્ણ નથી, તે ફક્ત રીપોઝીટરીઝ પરના ભારને ઝડપી બનાવવા અને ઘટાડવા માટે સેવા આપે છે. સરળતાથી અક્ષમ (વૈકલ્પિક --hashserver પરિમાણો વિના). વધુમાં, તમે સરળતાથી કરી શકો છો તમારું પોતાનું હેશસર્વર બનાવો.

ઇન્ક્રીમેન્ટલ અને ડિફરન્શિયલ બેકઅપ્સ, આયોજિત અપ્રચલિતતા

હેશગેટ ડાયાગ્રામ બનાવવાનું ખૂબ જ સરળ બનાવે છે વધારો અને વિભેદક બેકઅપ. શા માટે આપણે અમારું બેકઅપ પોતે જ (અમારી બધી અનન્ય ફાઇલો સાથે) ઇન્ડેક્સ નથી કરતા? એક ટીમ --submit અને તમે પૂર્ણ કરી લો! હેશજેટ જે આગામી બેકઅપ બનાવે છે તેમાં આ આર્કાઇવમાંથી ફાઇલો શામેલ હશે નહીં.

પરંતુ આ ખૂબ સારો અભિગમ નથી, કારણ કે તે બહાર આવી શકે છે કે પુનઃસ્થાપિત કરતી વખતે આપણે સમગ્ર ઇતિહાસમાં બધા હેશગેટ બેકઅપ્સ ખેંચવા પડશે (જો દરેકમાં ઓછામાં ઓછી એક અનન્ય ફાઇલ હોય તો). આ માટે એક મિકેનિઝમ છે બેકઅપની આયોજિત અપ્રચલિતતા. При индексировании можно указать дату устаревания HashPackage --expires 2019-06-01, અને આ તારીખ પછી (00:00 થી), તેનો ઉપયોગ કરવામાં આવશે નહીં. આ તારીખ પછી આર્કાઇવ પોતે જ કાઢી શકાશે નહીં (જોકે હેશગેટ સહેલાઇથી તમામ બેકઅપના URL બતાવી શકે છે જે આ ક્ષણે અથવા કોઈપણ તારીખે સડેલા/સડેલા હશે).

ઉદાહરણ તરીકે, જો આપણે 1લી તારીખે સંપૂર્ણ બેકઅપ લઈએ અને મહિનાના અંત સુધી તેને જીવનકાળ સાથે અનુક્રમિત કરીએ, તો અમને એક વિભેદક બેકઅપ યોજના મળશે.

જો આપણે એ જ રીતે નવા બેકઅપને ઇન્ડેક્સ કરીએ, તો ઇન્ક્રીમેન્ટલ બેકઅપની સ્કીમ હશે.

પરંપરાગત યોજનાઓથી વિપરીત, હેશગેટ તમને બહુવિધ અંતર્ગત સ્ત્રોતોનો ઉપયોગ કરવાની મંજૂરી આપે છે. અગાઉના બેકઅપ્સ (જો કોઈ હોય તો) અને સાર્વજનિક ફાઇલો (શું ડાઉનલોડ કરી શકાય છે) માંથી ફાઇલો ઘટાડીને બેકઅપ બંનેમાં ઘટાડો થશે.

જો કોઈ કારણોસર અમે ડેબિયન સંસાધનોની વિશ્વસનીયતા પર વિશ્વાસ કરતા નથી (https://snapshot.debian.org/) અથવા અન્ય વિતરણનો ઉપયોગ કરીએ છીએ, અમે બધા પેકેજો સાથે એકવાર સંપૂર્ણ બેકઅપ બનાવી શકીએ છીએ, અને પછી તેના પર આધાર રાખી શકીએ છીએ (отключив эвристику). હવે, જો અમારા ડિસ્ટ્રિબ્યુશનના બધા સર્વર અમને અનુપલબ્ધ હોવાનું બહાર આવે છે (સંભારણું ઇન્ટરનેટ પર અથવા ઝોમ્બી એપોકેલિપ્સ દરમિયાન), પરંતુ અમારા બેકઅપ્સ ક્રમમાં છે, તો અમે કોઈપણ ટૂંકા ડિફ બેકઅપમાંથી પુનઃપ્રાપ્ત કરી શકીએ છીએ જે ફક્ત અમારા અગાઉના બેકઅપ પર આધાર રાખે છે. .

Hashget опирается только на надежные источники восстановления по ВАШЕМУ усмотрению. Какие вы считаете надежными — те и будут использованы.

ફાઇલપૂલ અને ગ્લેશિયર

મિકેનિઝમ ફાઇલપુલ તમને પેકેજો ડાઉનલોડ કરવા માટે સતત બાહ્ય સર્વર્સનો સંપર્ક કરવાની પરવાનગી આપે છે, પરંતુ સ્થાનિક ડિરેક્ટરી અથવા કોર્પોરેટ સર્વરમાંથી પેકેજોનો ઉપયોગ કરો, ઉદાહરણ તરીકે:

$ hashget -u . --pool /tmp/pool

અથવા

$ hashget -u . --pool http://myhashdb.example.com/

સ્થાનિક ડિરેક્ટરીમાં પૂલ બનાવવા માટે, તમારે ફક્ત એક ડિરેક્ટરી બનાવવાની અને તેમાં ફાઇલો ફેંકવાની જરૂર છે, હેશગેટ પોતે હેશનો ઉપયોગ કરીને તેને જે જોઈએ છે તે શોધી કાઢશે. પૂલને HTTP દ્વારા સુલભ બનાવવા માટે, તમારે ખાસ રીતે સિમલિંક બનાવવાની જરૂર છે; આ એક આદેશ સાથે કરવામાં આવે છે (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). Сам HTTP FilePool — это статичные файлы, так что обслуживать его может любой простейший вебсервер, нагрузка на сервер почти нулевая.

FilePool માટે આભાર, તમે માત્ર http(s) સંસાધનોનો ઉપયોગ આધાર સંસાધન તરીકે જ નહીં, પણ કરી શકો છો દાખ્લા તરીકે, Amazon Glacier.

ગ્લેશિયર પર બેકઅપ અપલોડ કર્યા પછી, અમને તેનું અપલોડ ID મળે છે અને તેનો URL તરીકે ઉપયોગ કરીએ છીએ. દાખ્લા તરીકે:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

હવે નવા (વિભેદક) બેકઅપ આ બેકઅપ પર આધારિત હશે અને ટૂંકા હશે. ડિફબેકઅપને ટાર અનપેક કર્યા પછી, અમે જોઈ શકીએ છીએ કે તે કયા સંસાધનો પર આધાર રાખે છે:

hashget --info /tmp/unpacked/ list

અને આ બધી ફાઇલોને ગ્લેશિયરથી પૂલ પર ડાઉનલોડ કરવા અને સામાન્ય પુનઃપ્રાપ્તિ ચલાવવા માટે ફક્ત શેલ સ્ક્રિપ્ટનો ઉપયોગ કરો: hashget -u /tmp/unpacked —pool /tmp/pool

શું આ રમત મીણબત્તીની કિંમતની છે?

В простейшем случае — вы просто будете меньше платить за бэкапы (если вы их храните где-то в облаке за деньги). Может быть — гораздо-гораздо меньше.

પરંતુ તે એકમાત્ર વસ્તુ નથી. જથ્થો ગુણવત્તામાં ફેરવાય છે. તમે આનો ઉપયોગ તમારી બેકઅપ સ્કીમમાં ઉચ્ચ-ગુણવત્તા અપગ્રેડ મેળવવા માટે કરી શકો છો. ઉદાહરણ તરીકે, અમારા બેકઅપ હવે ટૂંકા હોવાથી, અમે માસિક નહીં, પરંતુ દૈનિક બેકઅપ બનાવી શકીએ છીએ. તેમને પહેલાની જેમ છ મહિના માટે નહીં, પરંતુ 5 વર્ષ માટે સ્ટોર કરો. પહેલાં, તમે તેને ધીમું પરંતુ સસ્તા "કોલ્ડ" સ્ટોરેજ (ગ્લેશિયર) માં સંગ્રહિત કર્યું હતું, હવે તમે તેને હોટ સ્ટોરેજમાં સંગ્રહિત કરી શકો છો, જ્યાંથી તમે હંમેશા ઝડપથી બેકઅપ ડાઉનલોડ કરી શકો છો અને તેને મિનિટોમાં પુનઃસ્થાપિત કરી શકો છો, એક દિવસમાં નહીં.

તમે બેકઅપ સ્ટોરેજની વિશ્વસનીયતા વધારી શકો છો. જો આપણે હાલમાં તેને એક સ્ટોરેજ ફેસિલિટીમાં સ્ટોર કરીએ છીએ, તો બેકઅપનું પ્રમાણ ઘટાડીને, અમે તેને 2-3 સ્ટોરેજ ફેસિલિટીમાં સ્ટોર કરી શકીશું અને જો તેમાંથી કોઈ એકને નુકસાન થાય તો પીડારહિત રહી શકીશું.

Как попробовать и начать пользоваться?

ગિટલેબ પેજ પર જાઓ https://gitlab.com/yaroslaff/hashget, устанавливаем одной командой (pip3 install hashget[plugins]) и просто читаем-выполняем quick-start. Думаю, все простые вещи сделать — займет минут 10-15. Затем можно попробовать пожать свои виртуалки, сделать, если надо, хинт-файлы, чтобы ужималось сильнее, поиграться с пулами, локальной базой хешей и хешсервером, если интересно будет, а на следующий день посмотреть, каков будет размер инкрементального бэкапа поверх вчерашнего.

સોર્સ: www.habr.com