हैशगेट - यह मुफ़्त, खुला स्रोत है डिडुप्लिकेटर एक संग्रहकर्ता के समान एक उपयोगिता है जो आपको बैकअप के आकार को महत्वपूर्ण रूप से कम करने के साथ-साथ वृद्धिशील और विभेदक बैकअप योजनाओं को व्यवस्थित करने और बहुत कुछ करने की अनुमति देती है।

सुविधाओं का वर्णन करने के लिए यह एक सिंहावलोकन आलेख है. हैशगेट का वास्तविक उपयोग (काफी सरल) में वर्णित है README प्रोजेक्ट और विकी दस्तावेज़ीकरण.

तुलना

शैली के नियम के अनुसार, मैं तुरंत साज़िश से शुरुआत करूँगा - परिणामों की तुलना करना:

डेटा नमूना
अनपॅक आकार
.tar.gz
hashget.tar.gz

वर्डप्रेस-5.1.1
43 एमबी
11 एमबी (26%)
155 केबी ( 0.3% तक )

लिनक्स कर्नेल 5.0.4
934 एमबी
161 एमबी (20%)
4.7 एमबी ( 0.5% तक )

डेबियन 9 (एलएएमपी) एलएक्ससी वीएम
724 एमबी
165 एमबी (23%)
4.1 एमबी ( 0.5% तक )

एक आदर्श और प्रभावी बैकअप कैसा होना चाहिए इसकी पृष्ठभूमि

जब भी मैंने किसी ताज़ा बनी वर्चुअल मशीन का बैकअप बनाया, मुझे यह अहसास सता रहा था कि मैं कुछ गलत कर रहा हूँ। मुझे उस सिस्टम से भारी बैकअप क्यों मिलता है, जहां मेरी अमूल्य, अविनाशी रचनात्मकता "हैलो वर्ल्ड" टेक्स्ट के साथ एक-पंक्ति वाली Index.html है?

मेरे बैकअप में 16 एमबी /usr/sbin/mysqld क्यों है? क्या यह वास्तव में संभव है कि इस दुनिया में मुझे इस महत्वपूर्ण फ़ाइल को रखने का सम्मान मिले, और यदि मैं असफल हो जाऊँ, तो यह मानवता के लिए खो जाएगी? सबसे अधिक संभावना नहीं. इसे अत्यधिक विश्वसनीय डेबियन सर्वर (जिसकी विश्वसनीयता और अपटाइम की तुलना मैं जो प्रदान कर सकता हूं उससे नहीं की जा सकती), साथ ही अन्य व्यवस्थापकों के बैकअप (उनमें से लाखों) पर संग्रहीत किया जाता है। क्या विश्वसनीयता में सुधार के लिए हमें वास्तव में इस महत्वपूर्ण फ़ाइल की 10+ पहली प्रति बनाने की आवश्यकता है?

आम तौर पर हैशगेट और इस समस्या का समाधान करता है। पैक होने पर, यह बहुत छोटा बैकअप बनाता है। अनपॅकिंग करते समय - एक पूरी तरह से अनपॅक किया गया सिस्टम, जैसा कि होता तो वैसा ही होता tar -c / tar -x. (दूसरे शब्दों में, यह दोषरहित पैकेजिंग है)

हैशगेट कैसे काम करता है

हैशगेट में पैकेज और हैशपैकेज की अवधारणाएं हैं, उनकी मदद से यह डिडुप्लीकेशन करता है।

पैकेज (प्लास्टिक बैग)। एक फ़ाइल (आमतौर पर एक .deb या .tar.gz संग्रह) जिसे इंटरनेट से सुरक्षित रूप से डाउनलोड किया जा सकता है, और जिससे एक या अधिक फ़ाइलें प्राप्त की जा सकती हैं।

हैशपैकेज - पैकेज का प्रतिनिधित्व करने वाली एक छोटी JSON फ़ाइल, जिसमें पैकेज URL और उससे फ़ाइलों का हैश योग (sha256) शामिल है। उदाहरण के लिए, 5 मेगाबाइट मारियाडीबी-सर्वर-कोर पैकेज के लिए, हैशपैकेज का आकार केवल 6 किलोबाइट है। लगभग एक हजार गुना कम.

डिडुप्लीकेशन - डुप्लिकेट फ़ाइलों के बिना एक संग्रह बनाना (यदि डिडुप्लिकेटर को पता है कि मूल पैकेज कहां से डाउनलोड किया जा सकता है, तो यह संग्रह से डुप्लिकेट को कम कर देता है)।

पैकेजिंग

पैकिंग करते समय, पैक की जा रही निर्देशिका की सभी फाइलों को स्कैन किया जाता है, उनके हैश योग की गणना की जाती है, और यदि योग ज्ञात हैशपैकेज में से किसी एक में पाया जाता है, तो फ़ाइल के बारे में मेटाडेटा (नाम, हैश, एक्सेस अधिकार, आदि) सहेजा जाता है। एक विशेष फ़ाइल .hashget-restore.json में, जिसे संग्रह में भी शामिल किया जाएगा।

सबसे सरल मामले में, पैकेजिंग स्वयं टार से अधिक जटिल नहीं लगती है:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

अनपैक

अनपैकिंग दो चरणों में की जाती है। सबसे पहले सामान्य टार अनपैकिंग:

tar -xf mybackup.tar.gz -C /path/to/data

फिर नेटवर्क से पुनर्स्थापित करें:

hashget -u /path/to/data

पुनर्स्थापित करते समय, हैशगेट .hashget-restore.json फ़ाइल को पढ़ता है, आवश्यक पैकेज डाउनलोड करता है, उन्हें अनपैक करता है, और आवश्यक फ़ाइलों को निकालता है, उन्हें आवश्यक स्वामी/समूह/अनुमतियों के साथ आवश्यक पथों में स्थापित करता है।

अधिक कठिन बातें

ऊपर जो वर्णित है वह पहले से ही उन लोगों के लिए पर्याप्त है जो "इसे टार की तरह चाहते हैं, लेकिन मेरे डेबियन को 4 मेगाबाइट में पैक करने के लिए।" आइए बाद में और अधिक जटिल चीजों को देखें।

इंडेक्सिंग

यदि हैशगेट के पास एक भी हैशपैकेज नहीं है, तो वह कुछ भी डीडुप्लिकेट करने में सक्षम नहीं होगा।

आप मैन्युअल रूप से हैशपैकेज भी बना सकते हैं (बस: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), लेकिन एक अधिक सुविधाजनक तरीका है।

आवश्यक हैशपैकेज प्राप्त करने के लिए, एक चरण है अनुक्रमण (यह स्वचालित रूप से कमांड के साथ निष्पादित होता है --pack) और heuristics. अनुक्रमणित करते समय, हैशगेट प्रत्येक फ़ाइल को उन सभी उपलब्ध अनुमानों को "फ़ीड" करता है जो उसमें रुचि रखते हैं। हैशपैकेज बनाने के लिए ह्यूरिस्टिक्स किसी भी पैकेज को अनुक्रमित कर सकता है।

उदाहरण के लिए, डेबियन अनुमानी फ़ाइल /var/lib/dpkg/status को पसंद करता है और स्थापित डेबियन पैकेजों का पता लगाता है, और यदि उन्हें अनुक्रमित नहीं किया गया है (उनके लिए कोई हैशपैकेज नहीं बनाया गया है), तो उन्हें डाउनलोड और अनुक्रमित करता है। परिणाम एक बहुत अच्छा प्रभाव है - हैशगेट हमेशा डेबियन ओएस को प्रभावी ढंग से डीडुप्लिकेट करेगा, भले ही उनके पास नवीनतम पैकेज हों।

संकेत फ़ाइलें

यदि आपका नेटवर्क आपके कुछ मालिकाना पैकेज या सार्वजनिक पैकेज का उपयोग करता है जो हैशगेट ह्यूरिस्टिक्स में शामिल नहीं है, तो आप इसमें इस तरह एक सरल हैशगेट-हिंट.जेसन संकेत फ़ाइल जोड़ सकते हैं:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

इसके बाद, हर बार जब कोई संग्रह बनाया जाता है, तो पैकेज को अनुक्रमित किया जाएगा (यदि यह पहले नहीं किया गया है), और पैकेज फ़ाइलों को संग्रह से हटा दिया जाएगा। किसी प्रोग्रामिंग की आवश्यकता नहीं है, सब कुछ विम से किया जा सकता है और प्रत्येक बैकअप में सेव किया जा सकता है। कृपया ध्यान दें कि हैश सम दृष्टिकोण के लिए धन्यवाद, यदि पैकेज से कुछ फ़ाइलें स्थानीय रूप से बदली जाती हैं (उदाहरण के लिए, एक कॉन्फ़िगरेशन फ़ाइल बदली जाती है), तो बदली हुई फ़ाइलें "जैसा है" संग्रह में सहेजी जाएंगी और काटी नहीं जाएंगी।

यदि आपके कुछ पैकेज समय-समय पर अपडेट किए जाते हैं, लेकिन परिवर्तन बहुत बड़े नहीं हैं, तो आप केवल प्रमुख संस्करणों के लिए संकेत दे सकते हैं। उदाहरण के लिए, संस्करण 1.0 में उन्होंने mypackage-1.0.tar.gz की ओर इशारा करते हुए एक संकेत दिया था, और इसे पूरी तरह से हटा दिया जाएगा, फिर उन्होंने संस्करण 1.1 जारी किया, जो थोड़ा अलग है, लेकिन संकेत अद्यतन नहीं किया गया था। कोई बात नहीं। केवल वे फ़ाइलें जो संस्करण 1.0 से मेल खाती हैं (पुनर्स्थापित की जा सकती हैं) डुप्लिकेट की जाती हैं।

संकेत फ़ाइल को संसाधित करने वाला अनुमान अनुमान कैसे काम करता है इसके आंतरिक तंत्र को समझने के लिए एक अच्छा उदाहरण है। यह केवल hashget-hint.json फ़ाइलों (या एक बिंदु के साथ .hashget-hint.json) को संसाधित करता है और अन्य सभी को अनदेखा करता है। इस फ़ाइल से, यह निर्धारित करता है कि किस पैकेज यूआरएल को अनुक्रमित किया जाना चाहिए, और हैशगेट इसे अनुक्रमित करता है (यदि उसने पहले से ऐसा नहीं किया है)

हैशसर्वर

बैकअप बनाते समय पूर्ण अनुक्रमण करना काफी श्रमसाध्य होगा। ऐसा करने के लिए, आपको प्रत्येक पैकेज को डाउनलोड करना होगा, उसे अनपैक करना होगा और उसे अनुक्रमित करना होगा। इसलिए हैशगेट एक स्कीम का उपयोग करता है हैशसर्वर. जब एक स्थापित डेबियन पैकेज का पता चलता है, यदि यह स्थानीय हैशपैकेज में नहीं मिलता है, तो सबसे पहले हैश सर्वर से हैशपैकेज को डाउनलोड करने का प्रयास किया जाता है। और केवल अगर यह काम नहीं करता है, तो हैशगेट स्वयं पैकेज को डाउनलोड और हैश करता है (और इसे हैशसर्वर पर अपलोड करता है, ताकि हैशसर्वर इसे भविष्य में प्रदान कर सके)।

हैशसर्वर योजना का एक वैकल्पिक तत्व है, महत्वपूर्ण नहीं, यह केवल रिपॉजिटरी पर लोड को गति देने और कम करने के लिए कार्य करता है। आसानी से अक्षम (वैकल्पिक)। --hashserver बिना पैरामीटर के)। इसके अलावा, आप आसानी से कर सकते हैं अपना खुद का हैशसर्वर बनाएं.

वृद्धिशील और विभेदक बैकअप, नियोजित अप्रचलन

हैशगेट इससे आरेख बनाना बहुत आसान हो जाता है वृद्धिशील और विभेदक बैकअप. हम अपने बैकअप को स्वयं (अपनी सभी अनूठी फ़ाइलों के साथ) अनुक्रमित क्यों नहीं करते? एक टीम --submit और आपने कल लिया! हैशगेट जो अगला बैकअप बनाएगा उसमें इस संग्रह की फ़ाइलें शामिल नहीं होंगी।

लेकिन यह बहुत अच्छा तरीका नहीं है, क्योंकि ऐसा हो सकता है कि पुनर्स्थापित करते समय हमें पूरे इतिहास में सभी हैशगेट बैकअप खींचने होंगे (यदि प्रत्येक में कम से कम एक अद्वितीय फ़ाइल हो)। इसके लिए एक तंत्र है बैकअप का नियोजित अप्रचलन. अनुक्रमणित करते समय, आप हैशपैकेज की समाप्ति तिथि निर्दिष्ट कर सकते हैं --expires 2019-06-01, और इस तिथि के बाद (00:00 बजे से) इसका उपयोग नहीं किया जाएगा। इस तिथि के बाद संग्रह को स्वयं हटाया नहीं जा सकता है (हालांकि हैशगेट आसानी से उन सभी बैकअप के यूआरएल दिखा सकता है जो इस समय या किसी भी तारीख को खराब हो गए हैं/हो जाएंगे)।

उदाहरण के लिए, यदि हम पहली तारीख को पूर्ण बैकअप बनाते हैं और इसे महीने के अंत तक जीवनकाल के साथ अनुक्रमित करते हैं, तो हमें एक अंतर बैकअप योजना मिलेगी।

यदि हम नए बैकअप को इसी तरह अनुक्रमित करते हैं, तो वृद्धिशील बैकअप की एक योजना होगी।

पारंपरिक योजनाओं के विपरीत, हैशगेट आपको कई अंतर्निहित स्रोतों का उपयोग करने की अनुमति देता है। बैकअप को पिछले बैकअप (यदि कोई हो) से फ़ाइलों को कम करके और सार्वजनिक फ़ाइलों (जो डाउनलोड किया जा सकता है) दोनों द्वारा कम किया जाएगा।

यदि किसी कारण से हम डेबियन संसाधनों की विश्वसनीयता पर भरोसा नहीं करते हैं (https://snapshot.debian.org/) या किसी अन्य वितरण का उपयोग करता है, हम बस सभी पैकेजों के साथ एक बार पूर्ण बैकअप बना सकते हैं, और फिर उस पर भरोसा कर सकते हैं (ह्यूरिस्टिक्स को अक्षम करके). अब, यदि हमारे वितरण के सभी सर्वर हमारे लिए अनुपलब्ध हो जाते हैं (स्मारिका इंटरनेट पर या ज़ोंबी सर्वनाश के दौरान), लेकिन हमारे बैकअप क्रम में हैं, तो हम किसी भी छोटे अंतर बैकअप से पुनर्प्राप्त कर सकते हैं जो केवल हमारे पिछले बैकअप पर निर्भर करता है .

हैशगेट आपके विवेक पर केवल विश्वसनीय पुनर्प्राप्ति स्रोतों पर निर्भर करता है। जिन्हें आप विश्वसनीय समझेंगे उनका उपयोग किया जाएगा।

फाइलपूल और ग्लेशियर

तंत्र फाइलपूल आपको पैकेज डाउनलोड करने के लिए लगातार बाहरी सर्वर से संपर्क नहीं करने की अनुमति देता है, बल्कि स्थानीय निर्देशिका या कॉर्पोरेट सर्वर से पैकेज का उपयोग करने की अनुमति देता है, उदाहरण के लिए:

$ hashget -u . --pool /tmp/pool

या

$ hashget -u . --pool http://myhashdb.example.com/

स्थानीय निर्देशिका में एक पूल बनाने के लिए, आपको बस एक निर्देशिका बनाने और उसमें फ़ाइलें फेंकने की आवश्यकता है, हैशगेट स्वयं ही हैश का उपयोग करके वह खोज लेगा जिसकी उसे आवश्यकता है। HTTP के माध्यम से पूल को सुलभ बनाने के लिए, आपको एक विशेष तरीके से सिम्लिंक बनाने की आवश्यकता है; यह एक कमांड के साथ किया जाता है (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP FilePool स्वयं स्थिर फ़ाइलें है, इसलिए कोई भी साधारण वेब सर्वर इसकी सेवा कर सकता है, सर्वर पर लोड लगभग शून्य है।

फ़ाइलपूल के लिए धन्यवाद, आप न केवल http(s) संसाधनों का उपयोग आधार संसाधनों के रूप में कर सकते हैं, बल्कि इसका उपयोग आधार संसाधनों के रूप में भी कर सकते हैं उदाहरण के लिए,अमेज़ॅन ग्लेशियर।

ग्लेशियर पर बैकअप अपलोड करने के बाद, हमें इसकी अपलोड आईडी मिलती है और इसे यूआरएल के रूप में उपयोग किया जाता है। उदाहरण के लिए:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

अब नए (डिफरेंशियल) बैकअप इसी बैकअप पर आधारित होंगे और छोटे होंगे। डिफबैकअप को टार अनपैक करने के बाद, हम देख सकते हैं कि यह किन संसाधनों पर निर्भर करता है:

hashget --info /tmp/unpacked/ list

और ग्लेशियर से पूल में इन सभी फ़ाइलों को डाउनलोड करने और सामान्य पुनर्प्राप्ति चलाने के लिए बस एक शेल स्क्रिप्ट का उपयोग करें: hashget -u /tmp/unpacked —pool /tmp/pool

क्या खेल मोमबत्ती के लायक है?

सबसे सरल मामले में, आप बैकअप के लिए कम भुगतान करेंगे (यदि आप उन्हें पैसे के लिए क्लाउड में कहीं संग्रहीत करते हैं)। शायद बहुत, बहुत कम.

लेकिन सिर्फ यही बात नहीं है. मात्रा गुणवत्ता में बदल जाती है. आप इसका उपयोग अपनी बैकअप योजना में उच्च गुणवत्ता वाला अपग्रेड प्राप्त करने के लिए कर सकते हैं। उदाहरण के लिए, चूंकि हमारे बैकअप अब छोटे हो गए हैं, हम मासिक बैकअप नहीं, बल्कि दैनिक बैकअप बना सकते हैं। इन्हें पहले की तरह छह महीने के लिए नहीं, बल्कि 5 साल के लिए स्टोर करें। पहले, आप इसे धीमे लेकिन सस्ते "कोल्ड" स्टोरेज (ग्लेशियर) में संग्रहीत करते थे, अब आप इसे हॉट स्टोरेज में संग्रहीत कर सकते हैं, जहां से आप हमेशा बैकअप डाउनलोड कर सकते हैं और इसे एक दिन में नहीं बल्कि मिनटों में पुनर्स्थापित कर सकते हैं।

आप बैकअप स्टोरेज की विश्वसनीयता बढ़ा सकते हैं। यदि हम वर्तमान में उन्हें एक भंडारण सुविधा में संग्रहीत करते हैं, तो बैकअप की मात्रा कम करके, हम उन्हें 2-3 भंडारण सुविधाओं में संग्रहीत करने में सक्षम होंगे और उनमें से एक के क्षतिग्रस्त होने पर दर्द रहित रूप से जीवित रह सकेंगे।

कैसे प्रयास करें और उपयोग शुरू करें?

गिटलैब पेज पर जाएं https://gitlab.com/yaroslaff/hashget, एक कमांड के साथ इंस्टॉल करें (pip3 install hashget[plugins]) और बस पढ़ें और क्विक-स्टार्ट निष्पादित करें। मुझे लगता है कि सभी साधारण चीजें करने में 10-15 मिनट लगेंगे। फिर आप अपनी वर्चुअल मशीनों को संपीड़ित करने का प्रयास कर सकते हैं, यदि संपीड़न को मजबूत बनाने के लिए आवश्यक हो तो संकेत फ़ाइलें बनाएं, यदि आप रुचि रखते हैं तो पूल, एक स्थानीय हैश डेटाबेस और एक हैश सर्वर के साथ खेलें, और अगले दिन देखें कि वृद्धिशील बैकअप का आकार क्या है कल के शीर्ष पर होगा.

स्रोत: www.habr.com