🥇एक और बैकअप - एक स्क्रिप्ट से अधिक, एक सिस्टम से अधिक आसान

कई बैकअप प्रणालियाँ हैं, लेकिन क्या होगा यदि सेवित सर्वर विभिन्न क्षेत्रों और ग्राहकों में बिखरे हुए हों और आपको ऑपरेटिंग सिस्टम टूल का उपयोग करके प्रबंधित करने की आवश्यकता हो?

नमस्कार, हबर!
मेरा नाम नताल्या है. मैं एनपीओ क्रिस्टा में एप्लिकेशन प्रशासक समूह का एक टीम लीडर हूं। हम अपनी कंपनी की प्रोजेक्ट टीम का चयन करते हैं। हमारे पास एक अजीब स्थिति है: हम अपने सॉफ़्टवेयर को अपनी कंपनी के सर्वर और ग्राहकों की साइटों पर स्थित सर्वर दोनों पर स्थापित और रखरखाव करते हैं। इस स्थिति में, पूरे सर्वर का बैकअप लेने की कोई आवश्यकता नहीं है। केवल "आवश्यक डेटा" महत्वपूर्ण है: डीबीएमएस और फ़ाइल सिस्टम की व्यक्तिगत निर्देशिकाएँ। बेशक, ग्राहकों के पास अपनी स्वयं की बैकअप नीतियां होती हैं (या नहीं होती हैं), और अक्सर वहां बैकअप संग्रहीत करने के लिए किसी प्रकार का बाहरी भंडारण प्रदान करते हैं। इस मामले में, बैकअप बनाने के बाद, हम यह सुनिश्चित करते हैं कि इसे बाहरी स्टोरेज में भेजा जाए।

कुछ समय के लिए, बैकअप के प्रयोजनों के लिए, हमने एक बैश स्क्रिप्ट के साथ काम किया, लेकिन जैसे-जैसे सेटिंग्स के विकल्प बढ़ते गए, इस स्क्रिप्ट की जटिलता आनुपातिक रूप से बढ़ती गई, और एक अच्छे क्षण में हमें इसे "जमीन पर नष्ट करने" की आवश्यकता आ गई , और तब ...."।

तैयार समाधान विभिन्न कारणों से फिट नहीं हुए: बैकअप को विकेंद्रीकृत करने की आवश्यकता, क्लाइंट पर स्थानीय स्तर पर बैकअप संग्रहीत करने की बाध्यता, सेटिंग्स की जटिलता, आयात प्रतिस्थापन, पहुंच प्रतिबंध।

हमें ऐसा लगा कि अपना कुछ लिखना आसान है। साथ ही, हम कुछ ऐसा पाना चाहते थे जो अगले एन वर्षों के लिए हमारी स्थिति के लिए पर्याप्त हो, लेकिन संभावित रूप से दायरे का विस्तार करने की संभावना के साथ।

कार्य की शर्तें इस प्रकार थीं:

बेस बैकअप इंस्टेंस ऑफ़लाइन है, स्थानीय रूप से चल रहा है
बैकअप और लॉग का भंडारण हमेशा क्लाइंट के नेटवर्क के भीतर होता है
उदाहरण में मॉड्यूल शामिल हैं - इस प्रकार का "कन्स्ट्रक्टर"
अप्रचलित सहित उपयोग किए गए लिनक्स वितरण के साथ संगतता, संभावित क्रॉस-प्लेटफ़ॉर्म वांछनीय है
इंस्टेंस के साथ काम करने के लिए ssh एक्सेस पर्याप्त है, अतिरिक्त पोर्ट खोलना वैकल्पिक है
सेटअप और संचालन में अधिकतम आसानी
एक अलग उदाहरण होना संभव है (लेकिन आवश्यक नहीं) जो आपको विभिन्न सर्वरों से बैकअप की स्थिति को केंद्रीय रूप से देखने की अनुमति देता है

हमें जो मिला वह यहां देखा जा सकता है: github.com/javister/krista-backup
सॉफ़्टवेयर Python3 में लिखा गया है; डेबियन, उबंटू, सेंटओएस, एस्ट्रालिनक्स 1.6 पर काम करता है।

दस्तावेज़ भंडार की दस्तावेज़ निर्देशिका में पोस्ट किया गया है।

मुख्य अवधारणाएँ जिन पर सिस्टम संचालित होता है:
क्रिया - एक क्रिया जो एक परमाणु ऑपरेशन (डेटाबेस बैकअप, निर्देशिका बैकअप, निर्देशिका ए से निर्देशिका बी में स्थानांतरण, आदि) को लागू करती है। मौजूदा क्रियाएं कोर/क्रिया निर्देशिका में हैं
कार्य - एक कार्य, क्रियाओं का एक सेट जो एक तार्किक "बैकअप कार्य" का वर्णन करता है
शेड्यूल - शेड्यूल, कार्य निष्पादन समय के वैकल्पिक संकेत के साथ कार्य सेट

बैकअप कॉन्फ़िगरेशन को yaml फ़ाइल में संग्रहीत किया जाता है; सामान्य कॉन्फ़िगरेशन संरचना:

सामान्य सेटिंग्स
क्रियाएँ अनुभाग: इस सर्वर पर प्रयुक्त क्रियाओं का विवरण
शेड्यूल अनुभाग: सभी कार्यों का विवरण (कार्यों का सेट) और क्रॉन द्वारा उनके लॉन्च के लिए शेड्यूल, यदि ऐसे लॉन्च की आवश्यकता है

कॉन्फ़िगरेशन का एक उदाहरण यहां पाया जा सकता है

इस समय एप्लिकेशन क्या कर सकता है:

हमारे लिए मुख्य संचालन समर्थित हैं: pg_dump के माध्यम से PostgreSQL बैकअप, tar के माध्यम से फ़ाइल सिस्टम निर्देशिका बैकअप; बाह्य भंडारण के साथ संचालन; निर्देशिकाओं के बीच rsync; बैकअप रोटेशन (पुरानी प्रतियाँ हटाना)
किसी बाहरी स्क्रिप्ट को कॉल करना
किसी एक कार्य का मैन्युअल निष्पादन
```
/opt/KristaBackup/KristaBackup.py run make_full_dump
```
आप crontab में एक व्यक्तिगत कार्य या संपूर्ण शेड्यूल जोड़ (या हटा) सकते हैं
```
/opt/KristaBackup/KristaBackup.py enable all
```
बैकअप परिणामों के आधार पर फ़ाइल निर्माण को ट्रिगर करें। यह सुविधा बैकअप की निगरानी के लिए ज़ैबिक्स के साथ मिलकर उपयोगी है।
वेबएपी या वेब मोड में पृष्ठभूमि में काम कर सकता है
```
/opt/KristaBackup/KristaBackup.py web start [--api]
```

मोड के बीच अंतर यह है कि वेबपी में स्वयं एक वेब इंटरफ़ेस नहीं है, लेकिन एप्लिकेशन किसी अन्य उदाहरण से अनुरोधों का जवाब देता है। वेब मोड के लिए, आपको फ्लास्क और कुछ अतिरिक्त पैकेज स्थापित करने की आवश्यकता है, और यह हर जगह स्वीकार्य नहीं है, उदाहरण के लिए, प्रमाणित एस्ट्रालिनक्स एसई में।

वेब इंटरफ़ेस के माध्यम से, आप कनेक्टेड सर्वर के बैकअप की स्थिति और लॉग देख सकते हैं: "वेब इंस्टेंस" एपीआई के माध्यम से "बैकअप इंस्टेंस" से डेटा का अनुरोध करता है। वेब एक्सेस के लिए प्राधिकरण की आवश्यकता होती है, वेबएपी एक्सेस के लिए नहीं।

गलत तरीके से पिछले बैकअप के लॉग को एक रंग से चिह्नित किया जाता है: चेतावनी - पीला, त्रुटि - लाल।

यदि व्यवस्थापक को मापदंडों पर चीट शीट की आवश्यकता नहीं है और सर्वर ऑपरेटिंग सिस्टम सजातीय हैं, तो आप फ़ाइल संकलित कर सकते हैं और तैयार पैकेज वितरित कर सकते हैं।

हम इस उपयोगिता को मुख्य रूप से Ansible के माध्यम से वितरित करते हैं, इसे पहले कुछ कम महत्वपूर्ण सर्वरों में रोल आउट करते हैं, और परीक्षण के बाद बाकी सभी सर्वरों पर वितरित करते हैं।

अंतिम परिणाम एक कॉम्पैक्ट स्टैंड-अलोन कॉपी उपयोगिता है जिसे स्वचालित किया जा सकता है और यहां तक कि अनुभवहीन प्रशासकों द्वारा भी इसका उपयोग किया जा सकता है। यह हमारे लिए सुविधाजनक है - शायद यह आपके लिए भी उपयोगी होगा?

स्रोत: www.habr.com

एक अन्य बैकअप - एक स्क्रिप्ट से अधिक, सिस्टम से सरल

एक टिप्पणी जोड़ें उत्तर रद्द