ह्यासगेट - यो नि: शुल्क, खुला स्रोत हो डुप्लिकेटर आर्काइभर जस्तै एक उपयोगिता हो जसले तपाईंलाई ब्याकअपको साइज उल्लेखनीय रूपमा घटाउन, साथै वृद्धिशील र विभेदक ब्याकअप योजनाहरू र थप कुराहरू व्यवस्थित गर्न अनुमति दिन्छ।

यो सुविधाहरू वर्णन गर्न एक सिंहावलोकन लेख हो। ह्यासगेटको वास्तविक प्रयोग (धेरै सरल) मा वर्णन गरिएको छ पढ्नुहोस् परियोजना र विकि दस्तावेज.

तुलना

विधाको कानून अनुसार, म तुरुन्तै षड्यन्त्रको साथ सुरु गर्नेछु - परिणामहरू तुलना गर्दै:

डाटा नमूना
अनप्याक गरिएको आकार
.tar.gz
hashget.tar.gz

WordPress-5.1.1
43 एमबी
11 Mb (26%)
१५५ Kb ( 0.3% )

लिनक्स कर्नेल 5.0.4
934 एमबी
161 Mb (20%)
4.7 Mb ( 0.5% )

डेबियन 9 (LAMP) LXC VM
724 एमबी
165 Mb (23%)
4.1 Mb ( 0.5% )

एक आदर्श र प्रभावकारी ब्याकअप कस्तो हुनुपर्छ भन्ने पृष्ठभूमि

हरेक चोटि मैले भर्चुअल मेसिनको जगेडा बनाउँदा, म केहि गलत गरिरहेको छु भन्ने भावनाले सताएको थिएँ। मेरो अमूल्य, अविनाशी रचनात्मकता "हेलो संसार" पाठको साथ एक-लाइन index.html भएको प्रणालीबाट मैले किन ठूलो ब्याकअप पाउँछु?

मेरो ब्याकअपमा किन 16 MB /usr/sbin/mysqld छ? के यो साँच्चै सम्भव छ कि यस संसारमा मलाई यो महत्त्वपूर्ण फाइल राख्ने सम्मान छ, र यदि म असफल भएमा, यो मानवताको लागि हराउनेछ? सम्भवतः छैन। यो अत्यधिक भरपर्दो डेबियन सर्भरहरूमा भण्डार गरिएको छ (जसको विश्वसनीयता र अपटाइम मैले प्रदान गर्न सक्ने कुरासँग तुलना गर्न सकिँदैन), साथै अन्य प्रशासकहरूको ब्याकअपहरूमा (तिनीहरूमध्ये लाखौं)। के हामीले साँच्चै विश्वसनीयता सुधार गर्न यो महत्त्वपूर्ण फाइलको 10+ 000st प्रतिलिपि बनाउन आवश्यक छ?

साधारणतया ह्यासगेट र यो समस्या समाधान गर्छ। प्याक गर्दा, यसले धेरै सानो ब्याकअप सिर्जना गर्दछ। अनप्याक गर्दा - एक पूर्ण रूपमा अनप्याक गरिएको प्रणाली, यदि यो हुनेछ भने जस्तै tar -c / tar -x। (अर्को शब्दमा, यो हानिरहित प्याकेजिङ हो)

ह्यासगेटले कसरी काम गर्छ

hashget सँग प्याकेज र HashPackage को अवधारणाहरू छन्, तिनीहरूको मद्दतले यसले डुप्लिकेशन कार्य गर्दछ।

प्याकेज (प्लास्टिक झोला)। एउटा फाइल (सामान्यतया .deb वा .tar.gz अभिलेख) जुन इन्टरनेटबाट सुरक्षित रूपमा डाउनलोड गर्न सकिन्छ, र जसबाट एक वा बढी फाइलहरू प्राप्त गर्न सकिन्छ।

ह्यासप्याकेज — प्याकेजको प्रतिनिधित्व गर्ने एउटा सानो JSON फाइल, प्याकेज URL र यसबाट फाइलहरूको ह्यास सम (sha256) सहित। उदाहरणका लागि, 5 मेगाबाइट mariadb-सर्भर-कोर प्याकेजको लागि, ह्यासप्याकेज साइज मात्र 6 किलोबाइट हो। करिब एक हजार गुणा कम ।

डुप्लिकेशन - डुप्लिकेट फाइलहरू बिना अभिलेख सिर्जना गर्दै (यदि डुप्लिकेटकर्तालाई थाहा छ कि मूल प्याकेज कहाँ डाउनलोड गर्न सकिन्छ, यसले अभिलेखबाट नक्कलहरू कम गर्दछ)।

प्याकेजिङ

प्याक गर्दा, प्याक गरिएको डाइरेक्टरीबाट सबै फाइलहरू स्क्यान गरिन्छ, तिनीहरूको ह्यास रकमहरू गणना गरिन्छ, र यदि योग ज्ञात ह्यासप्याकेजहरू मध्ये एकमा फेला पर्यो भने, फाइलको बारेमा मेटाडेटा (नाम, ह्यास, पहुँच अधिकार, आदि) बचत गरिन्छ। विशेष फाइल .hashget-restore.json मा, जुन अभिलेखमा पनि समावेश गरिनेछ।

सरल अवस्थामा, प्याकेजिङ्ग आफैं टार भन्दा बढी जटिल देखिँदैन:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

अनप्याक गर्दै

अनप्याकिंग दुई चरणहरूमा गरिन्छ। पहिले सामान्य टार अनप्याकिंग:

tar -xf mybackup.tar.gz -C /path/to/data

त्यसपछि नेटवर्कबाट पुनर्स्थापना गर्नुहोस्:

hashget -u /path/to/data

पुनर्स्थापना गर्दा, hashget ले .hashget-restore.json फाइल पढ्छ, आवश्यक प्याकेजहरू डाउनलोड गर्छ, तिनीहरूलाई अनप्याक गर्छ, र आवश्यक फाइलहरू निकाल्छ, आवश्यक मार्गहरूमा आवश्यक मालिक/समूह/अनुमतिहरू सहित स्थापना गर्दछ।

अझ गाह्रो कुरा

माथि वर्णन गरिएको कुरा पहिले नै पर्याप्त छ जो "टार जस्तै चाहन्छन्, तर मेरो डेबियनलाई 4 मेगाबाइटमा प्याक गर्न।" थप जटिल कुराहरू पछि हेरौं।

अनुक्रमणिका

यदि ह्यासगेटसँग एकल ह्यासप्याकेज छैन भने, त्यसोभए यसले केहि पनि डुप्लिकेट गर्न सक्षम हुने छैन।

तपाईं म्यानुअल रूपमा ह्यासप्याकेज पनि सिर्जना गर्न सक्नुहुन्छ (बस: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), तर त्यहाँ थप सुविधाजनक तरिका छ।

आवश्यक ह्यासप्याकेज प्राप्त गर्न, त्यहाँ एक चरण छ अनुक्रमणिका (यो स्वचालित रूपमा आदेशको साथ कार्यान्वयन हुन्छ --pack) र heuristics। अनुक्रमणिका गर्दा, ह्यासगेटले "फिडहरू" प्रत्येक फाइललाई यसमा रुचि राख्ने सबै उपलब्ध हेराइस्टिकहरूमा फेला पार्छ। Heuristics त्यसपछि HashPackage सिर्जना गर्न कुनै पनि प्याकेज अनुक्रमणिका गर्न सक्नुहुन्छ।

उदाहरणका लागि, डेबियन ह्युरिस्टिकले फाइल /var/lib/dpkg/status लाई माया गर्छ र स्थापित डेबियन प्याकेजहरू पत्ता लगाउँदछ, र यदि तिनीहरू अनुक्रमित छैनन् (त्यहाँ तिनीहरूका लागि HashPackage सिर्जना गरिएको छैन), तिनीहरूलाई डाउनलोड र अनुक्रमणिका गर्दछ। नतिजा एक धेरै राम्रो प्रभाव हो - ह्यासगेटले सँधै प्रभावकारी रूपमा डेबियन ओएसहरू डुप्लिकेट गर्नेछ, भले पनि तिनीहरूसँग नवीनतम प्याकेजहरू छन्।

सङ्केत फाइलहरू

यदि तपाइँको नेटवर्कले तपाइँको केहि स्वामित्व प्याकेजहरू वा सार्वजनिक प्याकेजहरू प्रयोग गर्दछ जुन ह्यासगेट हेरिस्टिक्समा समावेश छैन, तपाइँ यसमा एक साधारण hashget-hint.json hint फाइल यसरी थप्न सक्नुहुन्छ:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

अर्को, प्रत्येक पटक एउटा अभिलेख सिर्जना गर्दा, प्याकेज अनुक्रमणिका हुनेछ (यदि यो पहिले भएको छैन), र प्याकेज फाइलहरू अभिलेखबाट डुप्लिकेट गरिनेछ। कुनै प्रोग्रामिङ आवश्यक छैन, सबै कुरा vim बाट गर्न सकिन्छ र प्रत्येक ब्याकअपमा बचत गर्न सकिन्छ। कृपया ध्यान दिनुहोस् कि ह्यास योग दृष्टिकोणको लागि धन्यवाद, यदि प्याकेजबाट केही फाइलहरू स्थानीय रूपमा परिवर्तन गरिएका छन् (उदाहरणका लागि, कन्फिगरेसन फाइल परिवर्तन गरिएको छ), तब परिवर्तन गरिएका फाइलहरू अभिलेखमा "जस्तो छ" बचत हुनेछन् र काटिने छैनन्।

यदि तपाइँका केहि प्याकेजहरू आवधिक रूपमा अद्यावधिक हुन्छन्, तर परिवर्तनहरू धेरै ठूलो छैनन् भने, तपाइँ केवल प्रमुख संस्करणहरूको लागि संकेत गर्न सक्नुहुन्छ। उदाहरणका लागि, संस्करण 1.0 मा तिनीहरूले mypackage-1.0.tar.gz मा संकेत गर्दै संकेत गरे, र यो पूर्ण रूपमा डुप्लिकेट हुनेछ, त्यसपछि तिनीहरूले संस्करण 1.1 जारी गरे, जुन अलि फरक छ, तर सङ्केत अद्यावधिक गरिएको थिएन। ठिकै छ। संस्करण १.० सँग मेल खाने फाइलहरू मात्र डुप्लिकेट गरिएका छन् (पुनर्स्थापित गर्न सकिन्छ)।

हिन्ट फाइललाई प्रशोधन गर्ने ह्युरिस्टिक कसरी काम गर्ने आन्तरिक संयन्त्र बुझ्नको लागि राम्रो उदाहरण हो। यसले hashget-hint.json फाइलहरू (वा .hashget-hint.json डटसहित) मात्र प्रक्रिया गर्छ र अरू सबैलाई बेवास्ता गर्छ। यो फाइलबाट, यसले कुन प्याकेज URL लाई अनुक्रमणिका हुनुपर्छ निर्धारण गर्छ, र ह्यासगेटले यसलाई अनुक्रमणिका बनाउँछ (यदि यसले पहिले नै गरेको छैन भने)

ह्याससर्भर

ब्याकअपहरू सिर्जना गर्दा पूर्ण अनुक्रमणिका प्रदर्शन गर्न यो धेरै श्रम-गहन हुनेछ। यो गर्नको लागि, तपाईंले प्रत्येक प्याकेज डाउनलोड गर्न आवश्यक छ, यसलाई अनप्याक गर्नुहोस्, र यसलाई अनुक्रमणिका गर्नुहोस्। त्यसैले ह्यासगेटले एउटा योजना प्रयोग गर्दछ ह्याससर्भर। जब स्थापित डेबियन प्याकेज पत्ता लगाइन्छ, यदि यो स्थानीय ह्यासप्याकेजमा फेला परेन भने, ह्यास सर्भरबाट ह्यासप्याकेज डाउनलोड गर्न पहिलो प्रयास गरिन्छ। र यदि यसले काम गर्दैन भने, ह्यासगेट आफैले प्याकेज डाउनलोड र ह्यास गर्दछ (र यसलाई hashserver मा अपलोड गर्दछ, ताकि hashserver भविष्यमा यसलाई प्रदान गर्दछ)।

HashServer योजना को एक वैकल्पिक तत्व हो, महत्वपूर्ण छैन, यो केवल गति बढाउन र भण्डार मा लोड कम गर्न को लागी सेवा गर्दछ। सजिलै असक्षम (वैकल्पिक --hashserver प्यारामिटर बिना)। साथै, तपाईं सजिलै गर्न सक्नुहुन्छ आफ्नो ह्याशसर्भर बनाउनुहोस्.

वृद्धिशील र विभेदक ब्याकअप, योजनाबद्ध अप्रचलितता

ह्यासगेट रेखाचित्र बनाउन धेरै सजिलो बनाउँछ वृद्धिशील र विभेदक ब्याकअप। हामी किन हाम्रो ब्याकअप आफैं अनुक्रमणिका गर्दैनौं (हाम्रा सबै अद्वितीय फाइलहरूसँग)? एउटा टोली --submit र तपाईं सकियो! ह्यासगेटले सिर्जना गर्ने अर्को ब्याकअपले यस अभिलेखबाट फाइलहरू समावेश गर्दैन।

तर यो एक धेरै राम्रो दृष्टिकोण होइन, किनकि यो बाहिर आउन सक्छ कि पुनर्स्थापना गर्दा हामीले सम्पूर्ण इतिहासमा सबै ह्यासगेट ब्याकअपहरू तान्नु पर्छ (यदि प्रत्येकमा कम्तिमा एउटा अद्वितीय फाइल समावेश छ)। यसका लागि संयन्त्र छ ब्याकअपको योजनाबद्ध अप्रचलितता। अनुक्रमणिका गर्दा, तपाईंले HashPackage को म्याद सकिने मिति निर्दिष्ट गर्न सक्नुहुन्छ --expires 2019-06-01, र यो मिति पछि (00:00 देखि), यो प्रयोग गरिने छैन। यस मिति पछि अभिलेख आफैं मेटाउन सकिँदैन (यद्यपि ह्यासगेटले सबै ब्याकअपहरूको URL हरू सजिलै देखाउन सक्छ जुन क्षण वा कुनै पनि मितिमा सडेको छ)।

उदाहरणका लागि, यदि हामीले 1 मा पूर्ण ब्याकअप बनायौं र महिनाको अन्त्यसम्म यसलाई जीवनभर अनुक्रमणिका बनायौं भने, हामीले एक भिन्न ब्याकअप योजना पाउनेछौं।

यदि हामीले नयाँ ब्याकअपहरू त्यसै गरी अनुक्रमणिका गर्छौं भने, त्यहाँ वृद्धिशील ब्याकअपहरूको योजना हुनेछ।

परम्परागत योजनाहरूको विपरीत, ह्यासगेटले तपाईंलाई धेरै अन्तर्निहित स्रोतहरू प्रयोग गर्न अनुमति दिन्छ। ब्याकअप अघिल्लो ब्याकअप (यदि कुनै हो भने) र सार्वजनिक फाइलहरू (के डाउनलोड गर्न सकिन्छ) बाट फाइलहरू घटाएर दुवै घटाइनेछ।

यदि कुनै कारणले हामी डेबियन स्रोतहरूको विश्वसनीयतामा विश्वास गर्दैनौं (https://snapshot.debian.org/(heuristics असक्षम गरेर)। अब, यदि हाम्रा वितरणका सबै सर्भरहरू हामीलाई अनुपलब्ध भएमा (स्मारिका इन्टरनेटमा वा जोम्बी एपोकेलिप्सको समयमा), तर हाम्रो ब्याकअपहरू क्रमबद्ध छन्, हामी कुनै पनि छोटो डिफ ब्याकअपबाट पुन: प्राप्ति गर्न सक्छौं जुन हाम्रो पहिलेको ब्याकअपहरूमा मात्र निर्भर हुन्छ। ।

Hashget तपाईको विवेकमा भरपर्दो रिकभरी स्रोतहरूमा मात्र निर्भर गर्दछ। तपाईंले भरपर्दो ठान्नुभएको प्रयोग गरिनेछ।

फाइलपूल र ग्लेशियर

तंत्र फाइलपुल तपाईंलाई प्याकेजहरू डाउनलोड गर्न बाह्य सर्भरहरूलाई निरन्तर सम्पर्क गर्न अनुमति दिन्छ, तर स्थानीय डाइरेक्टरी वा कर्पोरेट सर्भरबाट प्याकेजहरू प्रयोग गर्नुहोस्, उदाहरणका लागि:

$ hashget -u . --pool /tmp/pool

वा

$ hashget -u . --pool http://myhashdb.example.com/

स्थानीय डाइरेक्टरीमा पूल बनाउनको लागि, तपाईंले केवल डाइरेक्टरी सिर्जना गर्न आवश्यक छ र यसमा फाइलहरू फ्याँक्नु पर्छ, ह्यासगेटले ह्यासहरू प्रयोग गरेर आवश्यक पर्ने कुराहरू फेला पार्नेछ। पूललाई ​​HTTP मार्फत पहुँचयोग्य बनाउनको लागि, तपाईंले विशेष तरिकामा सिम्लिङ्कहरू सिर्जना गर्न आवश्यक छ; यो एउटा आदेश (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool)। HTTP फाइलपुल आफैं स्थिर फाइलहरू हो, त्यसैले कुनै पनि साधारण वेब सर्भरले यसलाई सेवा गर्न सक्छ, सर्भरमा लोड लगभग शून्य छ।

फाइलपुललाई धन्यवाद, तपाईले http(हरू) स्रोतहरू आधार स्रोतको रूपमा मात्र प्रयोग गर्न सक्नुहुन्छ, तर पनि उदाहरणका लागि, अमेजन ग्लेशियर।

ग्लेशियरमा ब्याकअप अपलोड गरेपछि, हामीले यसको अपलोड ID पाउँछौं र यसलाई URL को रूपमा प्रयोग गर्छौं। उदाहरणका लागि:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

अब नयाँ (भिन्न) ब्याकअपहरू यस ब्याकअपमा आधारित हुनेछन् र छोटो हुनेछन्। टार डिफब्याकअप अनप्याक गरेपछि, हामी यो कुन स्रोतहरूमा निर्भर छ भनेर देख्न सक्छौं:

hashget --info /tmp/unpacked/ list

र यी सबै फाइलहरू ग्लेशियरबाट पूलमा डाउनलोड गर्न र सामान्य रिकभरी चलाउनको लागि शेल स्क्रिप्ट प्रयोग गर्नुहोस्: hashget -u /tmp/unpacked —pool /tmp/pool

के खेल मैनबत्तीको लायक छ?

सरल अवस्थामा, तपाईले ब्याकअपको लागि कम तिर्नु हुनेछ (यदि तपाइँ तिनीहरूलाई पैसाको लागि क्लाउडमा भण्डार गर्नुहुन्छ भने)। सायद धेरै, धेरै कम।

तर त्यो मात्र कुरा होइन। मात्रा गुणस्तरमा परिणत हुन्छ। तपाइँ यसलाई तपाइँको ब्याकअप योजनामा ​​उच्च-गुणस्तर अपग्रेड प्राप्त गर्न प्रयोग गर्न सक्नुहुन्छ। उदाहरणका लागि, हाम्रो ब्याकअपहरू अब छोटो भएकाले, हामी मासिक ब्याकअपहरू होइन, तर दैनिक बनाउन सक्छौं। तिनीहरूलाई छ महिनाको लागि भण्डारण गर्नुहोस्, पहिलेको रूपमा, तर 5 वर्षको लागि। पहिले, तपाईंले यसलाई ढिलो तर सस्तो "चिसो" भण्डारण (ग्लेशियर) मा भण्डारण गर्नुहुन्थ्यो, अब तपाइँ यसलाई तातो भण्डारणमा भण्डारण गर्न सक्नुहुन्छ, जहाँबाट तपाइँ जहिले पनि छिटो ब्याकअप डाउनलोड गर्न सक्नुहुन्छ र मिनेटमा पुनर्स्थापना गर्न सक्नुहुन्छ, एक दिनमा होइन।

तपाईले ब्याकअप भण्डारणको विश्वसनीयता बढाउन सक्नुहुन्छ। यदि हामीले हाल तिनीहरूलाई एउटै भण्डारण सुविधामा भण्डारण गर्छौं भने, ब्याकअपको मात्रा घटाएर, हामी तिनीहरूलाई २-३ भण्डारण सुविधाहरूमा भण्डारण गर्न सक्षम हुनेछौं र तिनीहरूमध्ये एउटा बिग्रियो भने पीडारहित रूपमा बाँच्न सक्नेछौं।

कसरी प्रयास गर्ने र प्रयोग गर्न सुरु गर्ने?

Gitlab पृष्ठमा जानुहोस् https://gitlab.com/yaroslaff/hashget, एक आदेश संग स्थापना (pip3 install hashget[plugins]) र केवल पढ्नुहोस् र द्रुत-सुरु कार्यान्वयन गर्नुहोस्। मलाई लाग्छ कि सबै साधारण चीजहरू गर्न 10-15 मिनेट लाग्नेछ। त्यसपछि तपाइँ तपाइँको भर्चुअल मेशिनहरू कम्प्रेस गर्न प्रयास गर्न सक्नुहुन्छ, कम्प्रेसन बलियो बनाउन आवश्यक भएमा संकेत फाइलहरू बनाउन सक्नुहुन्छ, पूलहरूसँग खेल्नुहोस्, स्थानीय ह्यास डाटाबेस र यदि तपाइँ रुचि राख्नुहुन्छ भने एक ह्यास सर्भर, र अर्को दिन हेर्नुहोस् वृद्धिशील ब्याकअपको आकार कस्तो छ। हिजोको माथि हुनेछ।

स्रोत: www.habr.com