दुसरा बॅकअप - स्क्रिप्टपेक्षा अधिक, सिस्टमपेक्षा सोपे

बर्‍याच बॅकअप सिस्टम आहेत, परंतु सर्व्ह केलेले सर्व्हर वेगवेगळ्या प्रदेशांमध्ये आणि क्लायंटमध्ये विखुरलेले असल्यास आणि आपल्याला ऑपरेटिंग सिस्टमसह करण्याची आवश्यकता असल्यास काय करावे?

शुभ दुपार, हब्र!
माझे नाव नताल्या आहे. मी एनपीओ क्रिस्टा येथे ऍप्लिकेशन प्रशासक गटाचा संघ प्रमुख आहे. आम्ही आमच्या कंपनीच्या प्रकल्प गटासाठी Ops आहोत. आमच्याकडे एक अद्वितीय परिस्थिती आहे: आम्ही आमच्या कंपनीच्या सर्व्हरवर आणि क्लायंटच्या साइटवर असलेल्या सर्व्हरवर आमचे सॉफ्टवेअर स्थापित आणि देखरेख करतो. या प्रकरणात, संपूर्ण सर्व्हरचा बॅकअप घेण्याची आवश्यकता नाही. फक्त "आवश्यक डेटा" महत्वाचा आहे: DBMS आणि वैयक्तिक फाइल सिस्टम निर्देशिका. अर्थात, क्लायंटकडे त्यांचे स्वतःचे बॅकअप नियम असतात (किंवा नसतात) आणि अनेकदा तेथे बॅकअप संचयित करण्यासाठी काही प्रकारचे बाह्य संचयन प्रदान करतात. या प्रकरणात, बॅकअप तयार केल्यानंतर, आम्ही बाह्य संचयनावर पाठवणे सुनिश्चित करतो.

काही काळासाठी, बॅकअपच्या उद्देशाने, आम्ही बॅश स्क्रिप्टचा वापर केला, परंतु जसजसे कॉन्फिगरेशनचे पर्याय वाढत गेले, तसतसे या स्क्रिप्टची जटिलता प्रमाणानुसार वाढत गेली आणि एका क्षणी आम्हाला "ते जमिनीवर नष्ट करण्याची गरज निर्माण झाली आणि नंतर ..."

विविध कारणांसाठी रेडीमेड सोल्यूशन्स योग्य नव्हते: बॅकअप विकेंद्रित करण्याची गरज, क्लायंटवर स्थानिक पातळीवर बॅकअप संचयित करण्याची आवश्यकता, सेटअपची जटिलता, आयात प्रतिस्थापन, प्रवेश प्रतिबंध.

आपलं काहीतरी लिहिणं सोपं आहे असं वाटलं. त्याच वेळी, मला असे काहीतरी मिळवायचे होते जे पुढील N वर्षांसाठी आमच्या परिस्थितीसाठी पुरेसे असेल, परंतु संभाव्यपणे व्याप्ती वाढवण्याच्या शक्यतेसह.

कार्याच्या अटी खालीलप्रमाणे होत्या:

1. मूलभूत बॅकअप उदाहरण स्वायत्त आहे आणि स्थानिक पातळीवर चालते
2. बॅकअप आणि लॉगचे स्टोरेज नेहमी क्लायंटच्या नेटवर्कमध्ये असते
3. उदाहरणामध्ये मॉड्यूल्स असतात - एक प्रकारचा "कन्स्ट्रक्टर"
4. सध्याच्या लिनक्स वितरणासह सुसंगतता आवश्यक आहे, कालबाह्यांसह, संभाव्य क्रॉस-प्लॅटफॉर्म इष्ट आहे
5. उदाहरणासह कार्य करण्यासाठी, ssh द्वारे प्रवेश पुरेसा आहे; अतिरिक्त पोर्ट उघडणे आवश्यक नाही
6. सेटअप आणि ऑपरेशनची कमाल सुलभता
7. एक वेगळे उदाहरण असणे शक्य आहे (परंतु आवश्यक नाही) जे तुम्हाला वेगवेगळ्या सर्व्हरवरील बॅकअपची स्थिती मध्यवर्तीपणे पाहण्याची परवानगी देते.

आम्ही काय घेऊन आलो ते तुम्ही येथे पाहू शकता: github.com/javister/krista-backup
सॉफ्टवेअर python3 मध्ये लिहिलेले आहे; Debian, Ubuntu, CentOS, AstraLinux 1.6 वर कार्य करते.

दस्तऐवजीकरण रेपॉजिटरीच्या डॉक्स निर्देशिकेत पोस्ट केले आहे.

मूलभूत संकल्पना ज्या सिस्टम चालवतात:
क्रिया – एक क्रिया जी एक अणु ऑपरेशन लागू करते (डेटाबेस बॅकअप, निर्देशिका बॅकअप, निर्देशिका A मधून निर्देशिका B मध्ये हस्तांतरण इ.). विद्यमान क्रिया कोर/क्रिया निर्देशिकेत स्थित आहेत
कार्य - कार्य, एका तार्किक "बॅकअप कार्य" चे वर्णन करणार्‍या क्रियांचा संच
शेड्यूल - शेड्यूल, कार्य अंमलबजावणी वेळेच्या वैकल्पिक संकेतासह कार्यांचा संच

बॅकअप कॉन्फिगरेशन yaml फाइलमध्ये साठवले जाते; सामान्य कॉन्फिगरेशन संरचना:

• सामान्य सेटिंग्ज
• क्रिया विभाग: या सर्व्हरवर वापरलेल्या क्रियांचे वर्णन
• शेड्यूल विभाग: सर्व कार्यांचे वर्णन (कृतींचे संच) आणि क्रॉनद्वारे त्यांच्या लॉन्चचे वेळापत्रक, जर असे प्रक्षेपण आवश्यक असेल तर

एक उदाहरण कॉन्फिगरेशन येथे आढळू शकते

अनुप्रयोग सध्या काय करू शकतो:

• आमच्यासाठी मुख्य ऑपरेशन्स समर्थित आहेत: pg_dump द्वारे PostgreSQL बॅकअप, tar द्वारे फाइल सिस्टम निर्देशिका बॅकअप; बाह्य स्टोरेजसह ऑपरेशन्स; डिरेक्टरी दरम्यान rsync; बॅकअप रोटेशन (जुन्या प्रती हटवणे)
• बाह्य स्क्रिप्ट कॉल करणे
• स्वतंत्र कार्याची मॅन्युअल अंमलबजावणी

  /opt/KristaBackup/KristaBackup.py run make_full_dump

• तुम्ही क्रॉन्टॅबमध्ये एकच कार्य किंवा संपूर्ण वेळापत्रक जोडू शकता (किंवा काढू शकता).

  /opt/KristaBackup/KristaBackup.py enable all

• बॅकअप परिणामांवर आधारित ट्रिगर फाइल व्युत्पन्न करणे. हे कार्य Zabbix च्या संयोगाने बॅकअपचे निरीक्षण करण्यासाठी उपयुक्त आहे
• वेबॅपी किंवा वेब मोडमध्ये बॅकग्राउंडमध्ये काम करू शकते

  /opt/KristaBackup/KristaBackup.py web start [--api]

मोडमधील फरक: webapi कडे स्वतः वेब इंटरफेस नाही, परंतु अनुप्रयोग दुसर्‍या प्रसंगातून आलेल्या विनंत्यांना प्रतिसाद देतो. वेब मोडसाठी, तुम्हाला फ्लास्क आणि अनेक अतिरिक्त पॅकेजेस स्थापित करणे आवश्यक आहे आणि हे सर्वत्र स्वीकार्य नाही, उदाहरणार्थ प्रमाणित AstraLinux SE मध्ये.

वेब इंटरफेसद्वारे, तुम्ही कनेक्ट केलेल्या सर्व्हरच्या बॅकअपची स्थिती आणि लॉग पाहू शकता: “वेब उदाहरण” API द्वारे “बॅकअप उदाहरणे” वरून डेटाची विनंती करते. वेबवर प्रवेश करण्यासाठी अधिकृतता आवश्यक आहे, वेबॅपीमध्ये प्रवेश नाही.

चुकीच्या बॅकअपचे लॉग रंगात चिन्हांकित केले आहेत: चेतावणी – पिवळा, त्रुटी – लाल.

प्रशासकास पॅरामीटर्सवर फसवणूक पत्रकाची आवश्यकता नसल्यास आणि सर्व्हर ऑपरेटिंग सिस्टम एकसंध असल्यास, आपण फाइल संकलित करू शकता आणि तयार पॅकेज वितरित करू शकता.

आम्ही ही उपयुक्तता मुख्यतः Ansible द्वारे वितरीत करतो, ती प्रथम काही महत्त्वाच्या सर्व्हरवर आणतो आणि बाकीच्या सर्वांसाठी चाचणी घेतो.

परिणामी, आम्हाला एक कॉम्पॅक्ट, स्टँड-अलोन कॉपी युटिलिटी प्राप्त झाली जी स्वयंचलित केली जाऊ शकते आणि अगदी अननुभवी प्रशासकांद्वारे देखील वापरली जाऊ शकते. हे आमच्यासाठी सोयीचे आहे - कदाचित ते तुमच्यासाठी देखील उपयुक्त ठरेल?

स्त्रोत: www.habr.com