बॅकअप भाग 7: निष्कर्ष

ही नोट बॅकअप बद्दलचे चक्र पूर्ण करते. हे समर्पित सर्व्हर (किंवा VPS) च्या तार्किक संस्थेवर चर्चा करेल, बॅकअपसाठी सोयीस्कर आहे, आणि आपत्तीच्या परिस्थितीत जास्त डाउनटाइम न करता बॅकअपमधून सर्व्हर द्रुतपणे पुनर्संचयित करण्याचा पर्याय देखील प्रदान करेल.

स्रोत डेटा

समर्पित सर्व्हरमध्ये बहुतेक वेळा किमान दोन हार्ड ड्राइव्ह असतात जे प्रथम-स्तरीय RAID ॲरे (मिरर) आयोजित करण्यासाठी सेवा देतात. एक डिस्क अयशस्वी झाल्यास सर्व्हर चालू ठेवण्यासाठी हे आवश्यक आहे. हा नियमित समर्पित सर्व्हर असल्यास, SSD वर सक्रिय कॅशिंग तंत्रज्ञानासह एक वेगळा हार्डवेअर RAID कंट्रोलर असू शकतो, जेणेकरून नियमित हार्ड ड्राइव्हस् व्यतिरिक्त, एक किंवा अधिक SSD कनेक्ट केले जाऊ शकतात. काहीवेळा समर्पित सर्व्हर ऑफर केले जातात, ज्यामध्ये फक्त स्थानिक डिस्क्स SATADOM (लहान डिस्क, स्ट्रक्चरल फ्लॅश ड्राइव्ह SATA पोर्टशी जोडलेली असते), किंवा अगदी सामान्य लहान (8-16GB) फ्लॅश ड्राइव्ह विशेष अंतर्गत पोर्टशी जोडलेली असते, आणि डेटा स्टोरेज सिस्टममधून घेतला जातो, एका समर्पित स्टोरेज नेटवर्कद्वारे (इथरनेट 10G, FC, इ.) कनेक्ट केलेला असतो आणि तेथे समर्पित सर्व्हर असतात जे थेट स्टोरेज सिस्टमवरून लोड केले जातात. मी अशा पर्यायांचा विचार करणार नाही, कारण अशा प्रकरणांमध्ये सर्व्हरचा बॅकअप घेण्याचे काम स्टोरेज सिस्टमची देखरेख करणाऱ्या तज्ञाकडे जाते; सहसा स्नॅपशॉट तयार करण्यासाठी विविध मालकी तंत्रज्ञान, अंगभूत डीडुप्लिकेशन आणि सिस्टम प्रशासकाचे इतर आनंद असतात. , या मालिकेच्या मागील भागांमध्ये चर्चा केली आहे. सर्व्हरशी कनेक्ट केलेल्या डिस्कच्या संख्येवर आणि आकारानुसार, समर्पित सर्व्हरच्या डिस्क ॲरेचा आवाज अनेक टेराबाइट्सपर्यंत पोहोचू शकतो. VPS च्या बाबतीत, व्हॉल्यूम अधिक विनम्र आहेत: सहसा 100GB पेक्षा जास्त नसतात (परंतु तेथे बरेच काही असतात), आणि अशा VPS साठी दर समान होस्टरच्या सर्वात स्वस्त समर्पित सर्व्हरपेक्षा सहजपणे अधिक महाग असू शकतात. VPS मध्ये बहुतेकदा एक डिस्क असते, कारण त्याच्या खाली स्टोरेज सिस्टम (किंवा काहीतरी हायपरकन्व्हर्ज्ड) असते. काहीवेळा व्हीपीएसमध्ये भिन्न वैशिष्ट्यांसह अनेक डिस्क असतात, भिन्न हेतूंसाठी:

• लहान प्रणाली - ऑपरेटिंग सिस्टम स्थापित करण्यासाठी;
• मोठा - वापरकर्ता डेटा संचयित करणे.

जेव्हा आपण नियंत्रण पॅनेल वापरून सिस्टम पुन्हा स्थापित करता, तेव्हा वापरकर्ता डेटा असलेली डिस्क अधिलिखित होत नाही, परंतु सिस्टम डिस्क पूर्णपणे रीफिल केली जाते. तसेच, VPS च्या बाबतीत, होस्ट एक बटण देऊ शकतो जे VPS (किंवा डिस्क) च्या स्थितीचा स्नॅपशॉट घेते, परंतु जर तुम्ही तुमची स्वतःची ऑपरेटिंग सिस्टम स्थापित केली किंवा VPS मध्ये इच्छित सेवा सक्रिय करण्यास विसरल्यास, काही डेटा अद्याप गमावला जाऊ शकतो. बटणाव्यतिरिक्त, डेटा स्टोरेज सेवा सहसा ऑफर केली जाते, बहुतेकदा खूप मर्यादित असते. सामान्यत: हे FTP किंवा SFTP द्वारे प्रवेश असलेले खाते आहे, काहीवेळा SSH सोबत, स्ट्रिप-डाउन शेल (उदाहरणार्थ, rbash), किंवा अधिकृत_keys (ForcedCommand द्वारे) द्वारे आदेश चालवण्यावरील निर्बंध.

एक समर्पित सर्व्हर 1 Gbps च्या स्पीडसह दोन पोर्टद्वारे नेटवर्कशी कनेक्ट केलेला असतो, काहीवेळा ही 10 Gbps च्या गतीची कार्ड असू शकतात. VPS मध्ये बहुतेकदा एक नेटवर्क इंटरफेस असतो. बऱ्याचदा, डेटा सेंटर डेटा सेंटरमधील नेटवर्क गती मर्यादित करत नाहीत, परंतु ते इंटरनेट प्रवेशाची गती मर्यादित करतात.

अशा समर्पित सर्व्हरचा किंवा व्हीपीएसचा ठराविक भार म्हणजे वेब सर्व्हर, डेटाबेस आणि ॲप्लिकेशन सर्व्हर. कधीकधी वेब सर्व्हर किंवा डेटाबेससह विविध अतिरिक्त सहाय्यक सेवा स्थापित केल्या जाऊ शकतात: शोध इंजिन, मेल सिस्टम इ.

खास तयार केलेला सर्व्हर बॅकअप प्रती साठवण्यासाठी जागा म्हणून काम करतो; आम्ही त्याबद्दल नंतर अधिक तपशीलवार लिहू.

डिस्क सिस्टमची तार्किक संस्था

जर तुमच्याकडे RAID कंट्रोलर असेल, किंवा एका डिस्कसह व्हीपीएस असेल आणि डिस्क सबसिस्टमच्या ऑपरेशनसाठी कोणतीही विशेष प्राधान्ये नसल्यास (उदाहरणार्थ, डेटाबेससाठी वेगळी फास्ट डिस्क), सर्व मोकळी जागा खालीलप्रमाणे विभागली जाईल: एक विभाजन तयार केले जाते, आणि त्याच्या वर एक LVM व्हॉल्यूम ग्रुप तयार केला जातो, त्यामध्ये अनेक व्हॉल्यूम तयार केले जातात: 2 समान आकाराचे लहान, रूट फाइल सिस्टम म्हणून वापरले जातात (त्वरित रोलबॅकच्या शक्यतेसाठी अद्यतनांदरम्यान एक-एक बदलले जातात, कॅल्क्युलेट लिनक्स डिस्ट्रिब्युशनमधून कल्पना उचलली गेली होती), आणखी एक स्वॅप विभाजनासाठी आहे, उर्वरित मोकळी जागा लहान खंडांमध्ये विभागली गेली आहे, पूर्ण कंटेनरसाठी रूट फाइल सिस्टम म्हणून वापरली जाते, आभासी मशीनसाठी डिस्क, फाइल /home मधील खात्यांसाठी प्रणाली (प्रत्येक खात्याची स्वतःची फाइल प्रणाली असते), अनुप्रयोग कंटेनरसाठी फाइल प्रणाली.

महत्वाची टीप: खंड पूर्णपणे स्वयंपूर्ण असणे आवश्यक आहे, उदा. एकमेकांवर किंवा रूट फाइल सिस्टमवर अवलंबून नसावे. व्हर्च्युअल मशीन किंवा कंटेनरच्या बाबतीत, हा बिंदू आपोआप पाळला जातो. जर हे ऍप्लिकेशन कंटेनर किंवा होम डिरेक्टरी असतील, तर तुम्ही वेब सर्व्हर आणि इतर सेवांच्या कॉन्फिगरेशन फाइल्स अशा प्रकारे विभक्त करण्याचा विचार केला पाहिजे की व्हॉल्यूममधील अवलंबित्व शक्य तितक्या दूर करता येईल. उदाहरणार्थ, प्रत्येक साइट स्वतःच्या वापरकर्त्याकडून चालते, साइट कॉन्फिगरेशन फाइल्स वापरकर्त्याच्या होम डिरेक्टरीमध्ये असतात, वेब सर्व्हर सेटिंग्जमध्ये, साइट कॉन्फिगरेशन फाइल्स /etc/nginx/conf.d/ द्वारे समाविष्ट केल्या जात नाहीत..conf, आणि, उदाहरणार्थ, /home//configs/nginx/*.conf

अनेक डिस्क्स असल्यास, तुम्ही सॉफ्टवेअर RAID ॲरे तयार करू शकता (आणि गरज आणि संधी असल्यास SSD वर त्याचे कॅशिंग कॉन्फिगर करू शकता), ज्याच्या वर तुम्ही वर प्रस्तावित नियमांनुसार LVM तयार करू शकता. तसेच या प्रकरणात, तुम्ही ZFS किंवा BtrFS वापरू शकता, परंतु तुम्ही याबद्दल दोनदा विचार केला पाहिजे: दोन्हीसाठी संसाधनांसाठी अधिक गंभीर दृष्टीकोन आवश्यक आहे, आणि याशिवाय, ZFS Linux कर्नलमध्ये समाविष्ट नाही.

वापरलेल्या योजनेची पर्वा न करता, डिस्कमध्ये बदल लिहिण्याच्या अंदाजे गतीचा आगाऊ अंदाज लावणे आणि नंतर स्नॅपशॉट्स तयार करण्यासाठी राखीव असलेल्या मोकळ्या जागेचे प्रमाण मोजणे नेहमीच योग्य आहे. उदाहरणार्थ, जर आमचा सर्व्हर 10 मेगाबाइट प्रति सेकंद वेगाने डेटा लिहित असेल आणि संपूर्ण डेटा ॲरेचा आकार 10 टेराबाइट असेल तर - सिंक्रोनाइझेशनची वेळ एका दिवसापर्यंत पोहोचू शकते (22 तास - हे इतके व्हॉल्यूम हस्तांतरित केले जाईल. नेटवर्कवर 1 Gbps) - सुमारे 800 GB आरक्षित करणे योग्य आहे. प्रत्यक्षात, आकृती लहान असेल; आपण त्यास तार्किक खंडांच्या संख्येने सुरक्षितपणे विभाजित करू शकता.

बॅकअप स्टोरेज सर्व्हर डिव्हाइस

बॅकअप प्रती संचयित करण्यासाठी सर्व्हरमधील मुख्य फरक म्हणजे त्याची मोठी, स्वस्त आणि तुलनेने मंद डिस्क. आधुनिक HDD ने आधीच एका डिस्कमध्ये 10TB बार ओलांडला असल्याने, चेकसमसह फाइल सिस्टम किंवा RAID वापरणे आवश्यक आहे, कारण ॲरेच्या पुनर्बांधणीदरम्यान किंवा फाइल सिस्टमच्या पुनर्संचयित दरम्यान (अनेक दिवस!) दुसरी डिस्क अयशस्वी होऊ शकते. वाढीव लोड करण्यासाठी. 1TB पर्यंत क्षमतेच्या डिस्कवर हे इतके संवेदनशील नव्हते. वर्णनाच्या साधेपणासाठी, मी असे गृहीत धरतो की डिस्क स्पेस अंदाजे समान आकाराच्या दोन भागांमध्ये विभागली गेली आहे (पुन्हा, उदाहरणार्थ, LVM वापरून):

• वापरकर्ता डेटा संचयित करण्यासाठी वापरल्या जाणाऱ्या सर्व्हरशी संबंधित व्हॉल्यूम (सत्यापनासाठी तयार केलेला शेवटचा बॅकअप त्यांच्यावर तैनात केला जाईल);
• BorgBackup रेपॉजिटरीज म्हणून वापरलेले खंड (बॅकअपसाठी डेटा थेट येथे जाईल).

ऑपरेशनचे तत्त्व असे आहे की BorgBackup रेपॉजिटरीजसाठी प्रत्येक सर्व्हरसाठी स्वतंत्र व्हॉल्यूम तयार केले जातात, जेथे लढाऊ सर्व्हरचा डेटा जाईल. रेपॉजिटरीज केवळ-अपेंड मोडमध्ये कार्य करतात, जे हेतुपुरस्सर डेटा हटवण्याची शक्यता काढून टाकते आणि जुन्या बॅकअपमधून रिपॉझिटरीजची डुप्लिकेशन आणि नियतकालिक साफसफाईमुळे (वार्षिक प्रती राहतात, गेल्या वर्षासाठी मासिक, गेल्या महिन्यासाठी साप्ताहिक, दररोज गेल्या आठवड्यात, शक्यतो विशेष प्रकरणांमध्ये - शेवटच्या दिवसासाठी प्रति तास: एकूण 24 + 7 + 4 + 12 + वार्षिक - प्रत्येक सर्व्हरसाठी अंदाजे 50 प्रती).
BorgBackup रेपॉजिटरीज केवळ-अपेंड मोड सक्षम करत नाहीत; त्याऐवजी, .ssh/authorized_keys मधील ForcedCommand असे काहीतरी वापरले जाते:

from="адрес сервера",command="/usr/local/bin/borg serve --append-only --restrict-to-path /home/servername/borgbackup/",no-pty,no-agent-forwarding,no-port-forwarding,no-X11-forwarding,no-user-rc AAAAA.......

निर्दिष्ट मार्गामध्ये बोर्गच्या शीर्षस्थानी एक रॅपर स्क्रिप्ट आहे, जी पॅरामीटर्ससह बायनरी लाँच करण्याव्यतिरिक्त, डेटा काढून टाकल्यानंतर बॅकअप कॉपी पुनर्संचयित करण्याची प्रक्रिया देखील सुरू करते. हे करण्यासाठी, रॅपर स्क्रिप्ट संबंधित रेपॉजिटरीजवळ एक टॅग फाइल तयार करते. डेटा भरण्याची प्रक्रिया पूर्ण झाल्यानंतर तयार केलेला शेवटचा बॅकअप आपोआप संबंधित लॉजिकल व्हॉल्यूममध्ये पुनर्संचयित केला जातो.

हे डिझाइन आपल्याला वेळोवेळी अनावश्यक बॅकअप साफ करण्यास अनुमती देते आणि बॅकअप स्टोरेज सर्व्हरवरील काहीही हटविण्यापासून लढाऊ सर्व्हरला प्रतिबंधित करते.

बॅकअप प्रक्रिया

बॅकअपचा आरंभकर्ता स्वतः समर्पित सर्व्हर किंवा VPS असतो, कारण ही योजना या सर्व्हरच्या भागावरील बॅकअप प्रक्रियेवर अधिक नियंत्रण देते. प्रथम, सक्रिय रूट फाइल सिस्टमच्या स्थितीचा स्नॅपशॉट घेतला जातो, जो बॅकअप स्टोरेज सर्व्हरवर BorgBackup वापरून माउंट आणि अपलोड केला जातो. डेटा कॅप्चर पूर्ण झाल्यानंतर, स्नॅपशॉट अनमाउंट केला जातो आणि हटविला जातो.

लहान डेटाबेस असल्यास (प्रत्येक साइटसाठी 1 GB पर्यंत), डेटाबेस डंप तयार केला जातो, जो योग्य लॉजिकल व्हॉल्यूममध्ये जतन केला जातो, जेथे त्याच साइटसाठी उर्वरित डेटा स्थित असतो, परंतु डंप म्हणून वेब सर्व्हरद्वारे प्रवेश करण्यायोग्य नाही. डेटाबेस मोठे असल्यास, तुम्ही "हॉट" डेटा काढणे कॉन्फिगर केले पाहिजे, उदाहरणार्थ, MySQL साठी xtrabackup वापरून, किंवा PostgreSQL मध्ये archive_command सह WAL सह कार्य करा. या प्रकरणात, डेटाबेस साइट डेटापासून स्वतंत्रपणे पुनर्संचयित केला जाईल.

कंटेनर किंवा व्हर्च्युअल मशीन वापरल्यास, तुम्ही qemu-गेस्ट-एजंट, CRIU किंवा इतर आवश्यक तंत्रज्ञान कॉन्फिगर केले पाहिजे. इतर प्रकरणांमध्ये, अतिरिक्त सेटिंग्जची आवश्यकता नसते - आम्ही फक्त लॉजिकल व्हॉल्यूमचे स्नॅपशॉट तयार करतो, ज्यावर रूट फाइल सिस्टमच्या स्थितीच्या स्नॅपशॉट प्रमाणेच प्रक्रिया केली जाते. डेटा घेतल्यानंतर, चित्रे हटविली जातात.

पुढील कार्य बॅकअप स्टोरेज सर्व्हरवर केले जाते:

• प्रत्येक रेपॉजिटरीमध्ये तयार केलेला शेवटचा बॅकअप तपासला जातो,
• मार्क फाईलची उपस्थिती तपासली जाते, जे सूचित करते की डेटा संकलन प्रक्रिया पूर्ण झाली आहे,
• डेटा संबंधित स्थानिक व्हॉल्यूममध्ये विस्तारित केला जातो,
• टॅग फाइल हटवली आहे

सर्व्हर पुनर्प्राप्ती प्रक्रिया

जर मुख्य सर्व्हरचा मृत्यू झाला, तर एक समान समर्पित सर्व्हर लॉन्च केला जातो, जो काही मानक प्रतिमेवरून बूट होतो. बहुधा डाउनलोड नेटवर्कवर होईल, परंतु सर्व्हर सेट करणारे डेटा सेंटर तंत्रज्ञ ही मानक प्रतिमा त्वरित एका डिस्कवर कॉपी करू शकतात. डाउनलोड RAM मध्ये होते, त्यानंतर पुनर्प्राप्ती प्रक्रिया सुरू होते:

• iscsinbd द्वारे ब्लॉक उपकरण किंवा अन्य समान प्रोटोकॉलला मृत सर्व्हरच्या रूट फाइल प्रणाली असलेल्या लॉजिकल व्हॉल्यूमशी जोडण्यासाठी विनंती केली जाते; रूट फाइल सिस्टम लहान असणे आवश्यक असल्याने, ही पायरी काही मिनिटांत पूर्ण करणे आवश्यक आहे. बूटलोडर देखील पुनर्संचयित केले आहे;
• स्थानिक लॉजिकल व्हॉल्यूमची रचना पुन्हा तयार केली जाते, लॉजिकल व्हॉल्यूम बॅकअप सर्व्हरवरून dm_clone कर्नल मॉड्यूल वापरून संलग्न केले जातात: डेटा पुनर्प्राप्ती सुरू होते, आणि बदल त्वरित स्थानिक डिस्कवर लिहिले जातात
• एक कंटेनर सर्व उपलब्ध भौतिक डिस्कसह लॉन्च केला जातो - सर्व्हरची कार्यक्षमता पूर्णपणे पुनर्संचयित केली जाते, परंतु कमी कामगिरीसह;
• डेटा सिंक्रोनाइझेशन पूर्ण झाल्यानंतर, बॅकअप सर्व्हरवरील तार्किक खंड डिस्कनेक्ट केले जातात, कंटेनर बंद केला जातो आणि सर्व्हर रीबूट केला जातो;

रीबूट केल्यानंतर, सर्व्हरकडे बॅकअप तयार करताना तेथे असलेला सर्व डेटा असेल आणि पुनर्संचयित प्रक्रियेदरम्यान केलेले सर्व बदल देखील समाविष्ट असतील.

मालिकेतील इतर लेख

बॅकअप, भाग 1: बॅकअप का आवश्यक आहे, पद्धती, तंत्रज्ञान यांचे विहंगावलोकन
बॅकअप भाग 2: rsync-आधारित बॅकअप साधनांचे पुनरावलोकन आणि चाचणी
बॅकअप भाग 3: डुप्लिसीटीचे पुनरावलोकन आणि चाचणी, डुप्लिकेट
बॅकअप भाग 4: zbackup, restic, borgbackup चे पुनरावलोकन आणि चाचणी
बॅकअप भाग 5: लिनक्ससाठी बॅकुला आणि वीम बॅकअपची चाचणी करणे
बॅकअप: वाचकांच्या विनंतीनुसार भाग: AMANDA, UrBackup, BackupPC चे पुनरावलोकन
बॅकअप भाग 6: बॅकअप साधनांची तुलना करणे
बॅकअप भाग 7: निष्कर्ष

मी तुम्हाला टिप्पण्यांमध्ये प्रस्तावित पर्यायावर चर्चा करण्यासाठी आमंत्रित करतो, तुमचे लक्ष दिल्याबद्दल धन्यवाद!

स्त्रोत: www.habr.com