हॅशगेट - हे विनामूल्य, मुक्त स्रोत आहे डुप्लिकेटर आर्काइव्हर सारखीच एक उपयुक्तता आहे जी तुम्हाला बॅकअपचा आकार लक्षणीयरीत्या कमी करण्यास, तसेच वाढीव आणि विभेदक बॅकअप योजना आणि बरेच काही आयोजित करण्यास अनुमती देते.

वैशिष्ट्यांचे वर्णन करण्यासाठी हा एक विहंगावलोकन लेख आहे. हॅशगेटचा प्रत्यक्ष वापर (अगदी सोपा) मध्ये वर्णन केले आहे मला वाचा प्रकल्प आणि विकी दस्तऐवजीकरण.

तुलना

शैलीच्या कायद्यानुसार, मी ताबडतोब कारस्थान सुरू करेन - परिणामांची तुलना करा:

डेटा नमुना
अनपॅक केलेला आकार
.tar.gz
hashget.tar.gz

वर्डप्रेस-5.1.1
43 एमबी
11 Mb (26%)
१५५ Kb ( 0.3% )

लिनक्स कर्नल 5.0.4
934 एमबी
161 Mb (20%)
4.7 Mb ( 0.5% )

डेबियन 9 (LAMP) LXC VM
724 एमबी
165 Mb (23%)
4.1 Mb ( 0.5% )

एक आदर्श आणि प्रभावी बॅकअप काय असावा याची पार्श्वभूमी

प्रत्येक वेळी मी नव्याने तयार केलेल्या व्हर्च्युअल मशीनचा बॅकअप घेतो तेव्हा मी काहीतरी चुकीचे करत आहोत या भावनेने मला पछाडले होते. माझी अमूल्य, अविनाशी सर्जनशीलता ही “हॅलो वर्ल्ड” या मजकुरासह एक ओळीची अनुक्रमणिका आहे.

माझ्या बॅकअपमध्ये 16 MB /usr/sbin/mysqld का आहे? ही महत्त्वाची फाईल ठेवण्याचा मान मला या जगात मिळावा आणि मी अयशस्वी झालो तर ती मानवतेच्या हातून निघून जाण्याची शक्यता आहे का? बहुधा नाही. हे अत्यंत विश्वासार्ह डेबियन सर्व्हरवर (ज्याची विश्वासार्हता आणि अपटाइम मी देऊ शकतो त्याशी तुलना केली जाऊ शकत नाही), तसेच इतर प्रशासकांच्या बॅकअपमध्ये (त्यापैकी लाखो) संग्रहित आहे. विश्वासार्हता सुधारण्यासाठी आम्हाला खरोखरच या महत्त्वाच्या फाइलच्या 10+ 000 प्रती तयार करण्याची गरज आहे का?

साधारणपणे हॅशगेट आणि या समस्येचे निराकरण करते. पॅक केल्यावर, ते खूप लहान बॅकअप तयार करते. अनपॅक करताना - एक पूर्णपणे अनपॅक केलेली प्रणाली, जर ती असेल तशीच tar -c / tar -x. (दुसऱ्या शब्दात, हे लॉसलेस पॅकेजिंग आहे)

हॅशगेट कसे कार्य करते

हॅशगेटमध्ये पॅकेज आणि हॅशपॅकेजच्या संकल्पना आहेत, त्यांच्या मदतीने ते डीडुप्लिकेशन करते.

पॅकेज (प्लास्टिकची पिशवी). एक फाइल (सामान्यत: .deb किंवा .tar.gz संग्रहण) जी इंटरनेटवरून सुरक्षितपणे डाउनलोड केली जाऊ शकते आणि ज्यातून एक किंवा अधिक फाइल्स मिळवता येतात.

हॅशपॅकेज — पॅकेजचे प्रतिनिधित्व करणारी एक छोटी JSON फाइल, त्यात पॅकेज URL आणि हॅश सम्स (sha256) फाइल्सचा समावेश आहे. उदाहरणार्थ, 5 मेगाबाइट mariadb-server-core पॅकेजसाठी, हॅशपॅकेज आकार फक्त 6 किलोबाइट्स आहे. सुमारे हजार पट कमी.

डुप्लिकेशन — डुप्लिकेट फायलींशिवाय संग्रहण तयार करणे (जर डुप्लिकेटरला मूळ पॅकेज कुठे डाउनलोड केले जाऊ शकते हे माहित असल्यास, ते संग्रहणातील डुप्लिकेट कमी करते).

पॅकेजिंग

पॅक करताना, पॅक केलेल्या डिरेक्टरीमधील सर्व फायली स्कॅन केल्या जातात, त्यांच्या हॅश बेरीजची गणना केली जाते आणि जर एखाद्या ज्ञात हॅशपॅकेजमध्ये बेरीज आढळली, तर फाइलबद्दलचा मेटाडेटा (नाव, हॅश, प्रवेश अधिकार इ.) जतन केला जातो. एक विशेष फाइल .hashget-restore.json मध्ये, जी संग्रहणात देखील समाविष्ट केली जाईल.

सर्वात सोप्या प्रकरणात, पॅकेजिंग स्वतःच टारपेक्षा अधिक क्लिष्ट दिसत नाही:

hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data

अनपॅक करत आहे

अनपॅकिंग दोन टप्प्यात केले जाते. प्रथम नेहमीच्या डांबर अनपॅकिंग:

tar -xf mybackup.tar.gz -C /path/to/data

नंतर नेटवर्कवरून पुनर्संचयित करा:

hashget -u /path/to/data

पुनर्संचयित करताना, हॅशगेट .hashget-restore.json फाईल वाचते, आवश्यक पॅकेजेस डाउनलोड करते, ते अनपॅक करते आणि आवश्यक फाइल्स काढते, आवश्यक मार्गांवर, आवश्यक मालक/गट/परवानग्यांसह स्थापित करते.

अधिक कठीण गोष्टी

जे वर वर्णन केले आहे त्यांच्यासाठी आधीच पुरेसे आहे ज्यांना "टारसारखे हवे आहे, परंतु माझे डेबियन 4 मेगाबाइट्समध्ये पॅक करण्यासाठी." चला अधिक जटिल गोष्टी नंतर पाहू.

अनुक्रमणिका

जर हॅशगेटमध्ये एकच हॅशपॅकेज नसेल, तर ते काहीही डुप्लिकेट करू शकणार नाही.

तुम्ही मॅन्युअली हॅशपॅकेज देखील तयार करू शकता (फक्त: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my), परंतु एक अधिक सोयीस्कर मार्ग आहे.

आवश्यक हॅशपॅकेज मिळविण्यासाठी, एक टप्पा आहे अनुक्रमणिका (ते आदेशाने आपोआप कार्यान्वित होते --pack) आणि ह्युरिस्टिक. अनुक्रमणिका करताना, हॅशगेट प्रत्येक फाईलमध्ये स्वारस्य असलेल्या सर्व उपलब्ध हेरिस्टिक्सना "फीड" देते. Heuristics नंतर हॅशपॅकेज तयार करण्यासाठी कोणतेही पॅकेज अनुक्रमित करू शकते.

उदाहरणार्थ, डेबियन ह्युरिस्टिकला फाइल /var/lib/dpkg/status आवडते आणि स्थापित डेबियन पॅकेजेस शोधतात, आणि जर ते अनुक्रमित केले नसतील (त्यांच्यासाठी कोणतेही हॅशपॅकेज तयार केलेले नाही), त्यांना डाउनलोड आणि अनुक्रमित करते. परिणाम खूप छान प्रभाव आहे - हॅशगेट नेहमीच प्रभावीपणे डेबियन OSes ची डुप्लिकेट करेल, जरी त्यांच्याकडे नवीनतम पॅकेजेस असतील.

संकेत फायली

तुमचे नेटवर्क तुमची काही प्रोप्रायटरी पॅकेजेस किंवा हॅशगेट हेरिस्टिक्समध्ये समाविष्ट नसलेले सार्वजनिक पॅकेज वापरत असल्यास, तुम्ही त्यात याप्रमाणे एक साधी हॅशगेट-हिंट.जेसन हिंट फाइल जोडू शकता:

{
    "project": "wordpress.org",
    "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip"
}

पुढे, प्रत्येक वेळी संग्रहण तयार केल्यावर, पॅकेज अनुक्रमित केले जाईल (जर ते पूर्वी केले नसेल तर), आणि पॅकेज फायली संग्रहणातून डुप्लिकेट केल्या जातील. कोणत्याही प्रोग्रामिंगची आवश्यकता नाही, सर्वकाही vim वरून केले जाऊ शकते आणि प्रत्येक बॅकअपमध्ये जतन केले जाऊ शकते. कृपया लक्षात घ्या की हॅश सम पध्दतीबद्दल धन्यवाद, जर पॅकेजमधील काही फायली स्थानिक पातळीवर बदलल्या गेल्या असतील (उदाहरणार्थ, कॉन्फिगरेशन फाइल बदलली असेल), तर बदललेल्या फायली संग्रहणात "जशा आहेत तसे" जतन केल्या जातील आणि त्या कापल्या जाणार नाहीत.

जर तुमची स्वतःची काही पॅकेजेस अधूनमधून अपडेट होत असतील, परंतु बदल फार मोठे नसतील, तर तुम्ही फक्त प्रमुख आवृत्त्यांसाठी इशारा देऊ शकता. उदाहरणार्थ, आवृत्ती 1.0 मध्ये त्यांनी mypackage-1.0.tar.gz कडे निर्देश करत एक इशारा दिला आणि तो पूर्णपणे डुप्लिकेट केला जाईल, नंतर त्यांनी आवृत्ती 1.1 जारी केली, जी थोडी वेगळी आहे, परंतु इशारा अद्यतनित केला गेला नाही. ठीक आहे. आवृत्ती 1.0 शी जुळणार्‍या (पुनर्संचयित केल्या जाऊ शकतात) फक्त फाइल्स डुप्लिकेट केल्या आहेत.

हिंट फाइलवर प्रक्रिया करणारे ह्युरिस्टिक हे ह्युरिस्टिक कसे कार्य करते याची अंतर्गत यंत्रणा समजून घेण्यासाठी एक उत्तम उदाहरण आहे. हे फक्त hashget-hint.json फाइल्सवर प्रक्रिया करते (किंवा डॉटसह .hashget-hint.json) आणि इतर सर्वांकडे दुर्लक्ष करते. या फाइलवरून, कोणती पॅकेज URL अनुक्रमित केली जावी हे निर्धारित करते आणि हॅशगेट ते अनुक्रमित करते (जर त्याने आधीच तसे केले नसेल तर)

हॅशसर्व्हर

बॅकअप तयार करताना पूर्ण इंडेक्सिंग करणे खूप श्रम-केंद्रित असेल. हे करण्यासाठी, तुम्हाला प्रत्येक पॅकेज डाउनलोड करणे, ते अनपॅक करणे आणि अनुक्रमित करणे आवश्यक आहे. म्हणून हॅशगेट एक योजना वापरते हॅशसर्व्हर. जेव्हा स्थापित डेबियन पॅकेज आढळले, ते स्थानिक हॅशपॅकेजमध्ये आढळले नाही तर, प्रथम हॅश सर्व्हरवरून हॅशपॅकेज डाउनलोड करण्याचा प्रयत्न केला जातो. आणि हे कार्य करत नसेल तरच, हॅशगेट स्वतः पॅकेज डाउनलोड करते आणि हॅश करते (आणि हॅशसर्व्हरवर अपलोड करते, जेणेकरून हॅशसर्व्हर भविष्यात ते प्रदान करेल).

हॅशसर्व्हर हा योजनेचा एक पर्यायी घटक आहे, गंभीर नाही, तो केवळ रेपॉजिटरीजवरील भार वेग वाढवण्यासाठी आणि कमी करण्यासाठी काम करतो. सहज अक्षम (पर्यायी --hashserver पॅरामीटर्सशिवाय). याव्यतिरिक्त, आपण सहजपणे करू शकता तुमचा स्वतःचा हॅशसर्व्हर बनवा.

वाढीव आणि विभेदक बॅकअप, नियोजित अप्रचलितता

हॅशगेट आकृती बनवणे खूप सोपे करते वाढीव आणि विभेदक बॅकअप. आम्ही आमचा बॅकअप स्वतःच (आमच्या सर्व अनन्य फाइल्ससह) का अनुक्रमित करत नाही? एक संघ --submit आणि तुम्ही पूर्ण केले! हॅशगेट तयार करत असलेल्या पुढील बॅकअपमध्ये या संग्रहणातील फायली समाविष्ट होणार नाहीत.

परंतु हा एक चांगला दृष्टीकोन नाही, कारण असे होऊ शकते की पुनर्संचयित करताना आपल्याला संपूर्ण इतिहासातील सर्व हॅशगेट बॅकअप खेचावे लागतील (जर प्रत्येकामध्ये किमान एक अद्वितीय फाइल असेल). यासाठी यंत्रणा आहे बॅकअपची नियोजित अप्रचलितता. अनुक्रमणिका करताना, तुम्ही हॅशपॅकेजची कालबाह्यता तारीख निर्दिष्ट करू शकता --expires 2019-06-01, आणि या तारखेनंतर (00:00 पासून), ते वापरले जाणार नाही. या तारखेनंतर संग्रहण स्वतः हटवले जाऊ शकत नाही (जरी हॅशगेट त्या क्षणी किंवा कोणत्याही तारखेला कुजलेल्या/सोडलेल्या सर्व बॅकअपचे URL सोयीस्करपणे दर्शवू शकते).

उदाहरणार्थ, जर आम्ही 1 ला पूर्ण बॅकअप घेतला आणि महिन्याच्या शेवटपर्यंत ते आयुष्यभर अनुक्रमित केले तर आम्हाला एक भिन्न बॅकअप योजना मिळेल.

जर आम्ही नवीन बॅकअप त्याच प्रकारे अनुक्रमित केले, तर वाढीव बॅकअपची योजना असेल.

पारंपारिक योजनांच्या विपरीत, हॅशगेट तुम्हाला अनेक अंतर्निहित स्रोत वापरण्याची परवानगी देते. मागील बॅकअपमधील फायली (असल्यास) आणि सार्वजनिक फायली (काय डाउनलोड करता येईल) कमी करून बॅकअप कमी केला जाईल.

काही कारणास्तव आम्हाला डेबियन संसाधनांच्या विश्वासार्हतेवर विश्वास नसल्यास (https://snapshot.debian.org/(heuristics अक्षम करून). आता, जर आमच्या वितरणाचे सर्व सर्व्हर आमच्यासाठी अनुपलब्ध ठरले (स्मरणिका इंटरनेटवर किंवा झोम्बी एपोकॅलिप्स दरम्यान), परंतु आमचे बॅकअप व्यवस्थित आहेत, आम्ही कोणत्याही लहान भिन्न बॅकअपमधून पुनर्प्राप्त करू शकतो जो आमच्या पूर्वीच्या बॅकअपवर अवलंबून असतो. .

हॅशगेट आपल्या विवेकबुद्धीनुसार केवळ विश्वसनीय पुनर्प्राप्ती स्त्रोतांवर अवलंबून असते. ज्यांना तुम्ही विश्वसनीय मानता ते वापरले जातील.

फाइलपूल आणि ग्लेशियर

यंत्रणा फाइलपूल तुम्हाला पॅकेजेस डाउनलोड करण्यासाठी बाह्य सर्व्हरशी सतत संपर्क साधण्याची परवानगी देते, परंतु स्थानिक निर्देशिका किंवा कॉर्पोरेट सर्व्हरवरून पॅकेजेस वापरण्याची परवानगी देते, उदाहरणार्थ:

$ hashget -u . --pool /tmp/pool

किंवा

$ hashget -u . --pool http://myhashdb.example.com/

स्थानिक डिरेक्टरीमध्ये पूल बनवण्यासाठी, तुम्हाला फक्त एक डिरेक्टरी तयार करावी लागेल आणि त्यामध्ये फाइल्स टाकाव्या लागतील, हॅश वापरून हॅशगेट स्वतःच त्याला काय हवे आहे ते शोधेल. एचटीटीपी द्वारे पूलमध्ये प्रवेश करण्यायोग्य बनवण्यासाठी, तुम्हाला एका खास पद्धतीने सिमलिंक्स तयार करणे आवश्यक आहे; हे एका आदेशाने केले जाते (hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool). HTTP फाइलपूल स्वतःच स्थिर फाइल्स आहे, त्यामुळे कोणताही साधा वेब सर्व्हर तो सर्व्ह करू शकतो, सर्व्हरवरील लोड जवळजवळ शून्य आहे.

FilePool बद्दल धन्यवाद, तुम्ही फक्त http(s) संसाधने बेस रिसोर्सेस म्हणून वापरू शकत नाही तर वापरू शकता उदाहरणार्थ, ऍमेझॉन ग्लेशियर.

ग्लेशियरवर बॅकअप अपलोड केल्यानंतर, आम्हाला त्याचा अपलोड आयडी मिळतो आणि तो URL म्हणून वापरतो. उदाहरणार्थ:

hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01

आता नवीन (विभेदक) बॅकअप या बॅकअपवर आधारित असतील आणि ते लहान असतील. टार डिफबॅकअप अनपॅक केल्यानंतर, ते कोणत्या संसाधनांवर अवलंबून आहे ते आम्ही पाहू शकतो:

hashget --info /tmp/unpacked/ list

आणि या सर्व फायली ग्लेशियर ते पूलमध्ये डाउनलोड करण्यासाठी फक्त शेल स्क्रिप्ट वापरा आणि नेहमीची पुनर्प्राप्ती चालवा: हॅशगेट -u /tmp/unpacked —pool /tmp/pool

खेळ मेणबत्ती किमतीची आहे?

सर्वात सोप्या प्रकरणात, आपण बॅकअपसाठी कमी पैसे द्याल (जर आपण ते पैशासाठी क्लाउडमध्ये कुठेतरी साठवले तर). कदाचित खूप, खूप कमी.

पण तेवढीच गोष्ट नाही. प्रमाण गुणवत्तेत बदलते. तुम्ही तुमच्या बॅकअप योजनेत उच्च-गुणवत्तेचे अपग्रेड मिळवण्यासाठी याचा वापर करू शकता. उदाहरणार्थ, आमचे बॅकअप आता लहान असल्याने, आम्ही मासिक बॅकअप नाही तर रोजचे बॅकअप घेऊ शकतो. त्यांना पूर्वीप्रमाणे सहा महिन्यांसाठी नाही तर 5 वर्षांसाठी साठवा. पूर्वी, तुम्ही ते स्लो पण स्वस्त “कोल्ड” स्टोरेज (ग्लेशियर) मध्ये साठवले होते, आता तुम्ही ते हॉट स्टोरेजमध्ये साठवू शकता, तेथून तुम्ही नेहमी बॅकअप पटकन डाउनलोड करू शकता आणि एका दिवसात नाही तर काही मिनिटांत पुनर्संचयित करू शकता.

तुम्ही बॅकअप स्टोरेजची विश्वासार्हता वाढवू शकता. जर आम्ही ते सध्या एका स्टोरेज सुविधेत साठवले, तर बॅकअपचे प्रमाण कमी करून, आम्ही त्यांना 2-3 स्टोरेज सुविधांमध्ये साठवून ठेवू शकू आणि त्यापैकी एक खराब झाल्यास वेदनारहित जगू.

कसे वापरायचे आणि वापरणे सुरू करायचे?

gitlab पृष्ठावर जा https://gitlab.com/yaroslaff/hashget, एका आदेशाने स्थापित करा (pip3 install hashget[plugins]) आणि फक्त वाचा आणि द्रुत-प्रारंभ कार्यान्वित करा. मला वाटते की सर्व साध्या गोष्टी करण्यासाठी 10-15 मिनिटे लागतील. मग तुम्ही तुमची व्हर्च्युअल मशीन कॉम्प्रेस करण्याचा प्रयत्न करू शकता, कॉम्प्रेशन मजबूत करण्यासाठी आवश्यक असल्यास संकेत फायली बनवू शकता, पूलसह खेळू शकता, स्थानिक हॅश डेटाबेस आणि तुम्हाला स्वारस्य असल्यास हॅश सर्व्हर, आणि दुसऱ्या दिवशी वाढीव बॅकअपचा आकार काय आहे ते पहा. कालच्या वर असेल.

स्त्रोत: www.habr.com