ऑब्जेक्ट स्टोरेज में बैकअप के स्टोरेज को 90% तक कैसे कॉम्पैक्ट करें

हमारे तुर्की ग्राहकों ने हमसे उनके डेटा सेंटर के लिए बैकअप को ठीक से कॉन्फ़िगर करने के लिए कहा। हम रूस में इसी तरह की परियोजनाएं कर रहे हैं, लेकिन यहां कहानी इस शोध के बारे में थी कि इसे सर्वोत्तम तरीके से कैसे किया जाए।

दिया गया: एक स्थानीय एस3 स्टोरेज है, वेरिटास नेटबैकअप है, जिसने डेटा को ऑब्जेक्ट स्टोरेज में ले जाने के लिए नई विस्तारित कार्यक्षमता हासिल कर ली है, अब डिडुप्लीकेशन के लिए समर्थन के साथ, और इस स्थानीय स्टोरेज में खाली स्थान की समस्या है।

कार्य: सब कुछ बनाना ताकि बैकअप प्रतियों को संग्रहीत करने की प्रक्रिया तेज़ और सस्ती हो।

दरअसल, इससे पहले, S3 में सब कुछ केवल फ़ाइलें थीं, और ये डेटा सेंटर की महत्वपूर्ण मशीनों की पूरी कास्ट थीं। यानी, यह बहुत अनुकूलित नहीं है, लेकिन शुरुआत में सब कुछ ठीक रहा। अब इसका पता लगाने और इसे सही तरीके से करने का समय आ गया है।

चित्र दिखाता है कि हम क्या करने आए हैं:

जैसा कि आप देख सकते हैं, पहला बैकअप धीरे-धीरे (70 एमबी/सेकेंड) बनाया गया था, और उसी सिस्टम के बाद के बैकअप बहुत तेज़ थे।

दरअसल, इसमें क्या विशेषताएं हैं, इसके बारे में आगे थोड़ा और विवरण दिया गया है।

उन लोगों के लिए बैकअप लॉग जो डंप का आधा पृष्ठ पढ़ने के लिए तैयार हैंपुनः स्कैन के साथ पूर्ण
दिसंबर 18, 2018 12:09:43 अपराह्न - जानकारी बीपीबीकर (पीआईडी=4452) एक्सेलेरेटर ने 14883996160 बाइट्स में से 14883994624 बाइट्स सर्वर को भेजे, अनुकूलन 0.0%
18 दिसंबर, 2018 12:10:07 अपराह्न - जानकारी एनबीसीसी (पीआईडी=23002) स्टोरेजसर्वर=प्योरडिस्क_rhceph_rawd:s3.cloud.ngn.com.tr; रिपोर्ट = (एनबीसीसी) के लिए पीडीडीओ आँकड़े (बहु-थ्रेडेड स्ट्रीम का उपयोग किया गया): स्कैन किया गया: 14570817 केबी, सीआर भेजा गया: 1760761 केबी, सीआर एफसी पर भेजा गया: 0 केबी, डेडअप: 87.9%, कैश अक्षम

पूर्ण
दिसंबर 18, 2018 12:13:18 अपराह्न - जानकारी बीपीबीकर (पीआईडी=2864) एक्सेलेरेटर ने 181675008 बाइट्स में से 14884060160 बाइट्स सर्वर को भेजे, अनुकूलन 98.8%
दिसंबर 18, 2018 12:13:40 अपराह्न - जानकारी एनबीसीसी (पीआईडी=23527) स्टोरेजसर्वर=प्योरडिस्क_rhceph_rawd:s3.cloud.ngn.com.tr; रिपोर्ट=(एनबीसीसी) के लिए पीडीडीओ आँकड़े: स्कैन किया गया: 14569706 केबी, सीआर भेजा गया: 45145 केबी, एफसी के ऊपर सीआर भेजा गया: 0 केबी, डेडअप: 99.7%, कैश अक्षम

इंक्रीमेंटल
दिसंबर 18, 2018 12:15:32 अपराह्न - जानकारी बीपीबीकर (पीआईडी=792) एक्सेलेरेटर ने 9970688 बाइट्स में से 14726108160 बाइट्स सर्वर को भेजे, अनुकूलन 99.9%
दिसंबर 18, 2018 12:15:53 अपराह्न - जानकारी एनबीसीसी (पीआईडी=23656) स्टोरेजसर्वर=प्योरडिस्क_rhceph_rawd:s3.cloud.ngn.com.tr; रिपोर्ट=(एनबीसीसी) के लिए पीडीडीओ आँकड़े: स्कैन किया गया: 14383788 केबी, सीआर भेजा गया: 15700 केबी, एफसी के ऊपर सीआर भेजा गया: 0 केबी, डेडअप: 99.9%, कैश अक्षम

पूर्ण
दिसंबर 18, 2018 12:18:02 अपराह्न - जानकारी बीपीबीकर (पीआईडी=3496) एक्सेलेरेटर ने 171746816 बाइट्स में से 14884093952 बाइट्स सर्वर को भेजे, अनुकूलन 98.8%
दिसंबर 18, 2018 12:18:24 अपराह्न - जानकारी एनबीसीसी (पीआईडी=23878) स्टोरेजसर्वर=प्योरडिस्क_rhceph_rawd:s3.cloud.ngn.com.tr; रिपोर्ट=(एनबीसीसी) के लिए पीडीडीओ आँकड़े: स्कैन किया गया: 14569739 केबी, सीआर भेजा गया: 34120 केबी, एफसी के ऊपर सीआर भेजा गया: 0 केबी, डेडअप: 99.8%, कैश अक्षम

समस्या क्या है

ग्राहक जितनी बार संभव हो बैकअप बनाना चाहते हैं और उन्हें यथासंभव सस्ते में संग्रहीत करना चाहते हैं। उन्हें S3 जैसे ऑब्जेक्ट स्टोरेज में सस्ते में स्टोर करना सबसे अच्छा है, क्योंकि वे प्रति मेगाबाइट सेवा की लागत पर सबसे सस्ते हैं जहां से आप उचित समय में बैकअप वापस ले सकते हैं। जब बहुत अधिक बैकअप होता है, तो यह बहुत सस्ता नहीं होता है, क्योंकि अधिकांश स्टोरेज पर उसी डेटा की प्रतियां होती हैं। तुर्की सहयोगियों के HaaS के मामले में, भंडारण को लगभग 80-90% तक सघन किया जा सकता है। यह स्पष्ट है कि यह विशेष रूप से उनकी विशिष्टताओं से संबंधित है, लेकिन मैं निश्चित रूप से कम से कम 50% दादाजी पर भरोसा करूंगा।

समस्या को हल करने के लिए, मुख्य विक्रेताओं ने लंबे समय से अमेज़ॅन S3 के लिए प्रवेश द्वार बनाए हैं। जब तक वे अमेज़न एपीआई का समर्थन करते हैं, तब तक उनकी सभी विधियाँ स्थानीय S3 के साथ संगत हैं। तुर्की डेटा सेंटर में, हमारे S3 के साथ-साथ रूस में T-III "कंप्रेसर" का बैकअप बनाया जाता है, क्योंकि इस कार्य योजना ने हमारे लिए अच्छा काम किया है।

और हमारा S3 Amazon S3 बैकअप विधियों के साथ पूरी तरह से संगत है। अर्थात्, इन विधियों का समर्थन करने वाले सभी बैकअप उपकरण आपको ऐसे भंडारण में "बॉक्स से बाहर" सब कुछ कॉपी करने की अनुमति देते हैं।

वेरिटास नेटबैकअप ने क्लाउडकैटलिस्ट सुविधा जोड़ी:

अर्थात्, जिन मशीनों को बैकअप लेने की आवश्यकता होती है और गेटवे के बीच, एक मध्यवर्ती लिनक्स सर्वर होता है जिसके माध्यम से एसआरके एजेंटों से बैकअप ट्रैफ़िक गुजरता है और इसे एस 3 में स्थानांतरित करने से पहले फ्लाई पर डुप्लिकेट किया जाता है। यदि पहले कम्प्रेशन के साथ 30 जीबी के 20 बैकअप थे, तो अब (मशीनों की समानता के कारण) उनकी मात्रा 90% छोटी हो गई है। डीडुप्लीकेशन इंजन का उपयोग उसी तरह किया जाता है जैसे नेटबैकअप का उपयोग करके नियमित डिस्क पर भंडारण करते समय किया जाता है।

मध्यवर्ती सर्वर से पहले क्या होता है यह यहां दिया गया है:

हमने परीक्षण किया और इस निष्कर्ष पर पहुंचे कि जब इसे हमारे डेटा केंद्रों में लागू किया जाता है, तो यह हमारे और ग्राहकों के लिए S3 स्टोरेज में जगह बचाता है। वाणिज्यिक डेटा केंद्रों के मालिक के रूप में, बेशक, हम कब्जे वाली मात्रा के अनुसार शुल्क लेते हैं, लेकिन यह अभी भी हमारे लिए बहुत लाभदायक है - क्योंकि हम सॉफ्टवेयर में अधिक स्केलेबल स्थानों पर पैसा कमाना शुरू करते हैं, न कि हार्डवेयर किराए पर लेने पर। खैर, और यह आंतरिक लागत में कमी है।

लॉग228 नौकरियाँ (0 कतारबद्ध 0 सक्रिय 0 पुनः प्रयास की प्रतीक्षा में 0 निलंबित 0 अपूर्ण 228 पूर्ण - 13 चयनित)
(फ़िल्टर लागू [13])

जॉब आईडी प्रकार राज्य राज्य विवरण स्थिति जॉब नीति जॉब शेड्यूल क्लाइंट मीडिया सर्वर प्रारंभ समय बीता हुआ समय समाप्ति समय स्टोरेज यूनिट प्रयास ऑपरेशन किलोबाइट्स फ़ाइलें पथनाम % पूर्ण (अनुमानित) जॉब पीआईडी ​​स्वामी कॉपी पैरेंट जॉब आईडी केबी/सेक सक्रिय प्रारंभ सक्रिय बीता हुआ रोबोट वॉल्ट प्रोफ़ाइल सत्र डेटा मूवमेंट को बाहर निकालने के लिए आईडी मीडिया ऑफ-होस्ट प्रकार मास्टर प्राथमिकता डिडुप्लीकेशन दर ट्रांसपोर्ट एक्सेलेरेटर ऑप्टिमाइज़ेशन इंस्टेंस या डेटाबेस शेयर होस्ट
— 1358 स्नैपशॉट पूर्ण 0 वीएमवेयर — एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 12:16:19 अपराह्न 00:02:18 दिसंबर 18, 2018 12:18:37 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1358 दिसंबर 18, 2018 12 :16:27 अपराह्न 00:02:10 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1360 बैकअप हो गया 0 वीएमवेयर पूर्ण एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर 2018 12:16:48 अपराह्न 00:01:39 18 दिसंबर 2018 12:18:27 अपराह्न STU_DP_S3_****बैकअप 1 14,535,248 149654 100% 23858 रूट 1358 335,098 दिसंबर 18 , 2018 12:16:48 PM 00:01:39 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0 99.8% 99%
1352 स्नैपशॉट हो गया 0 वीएमवेयर - एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 12:14:04 अपराह्न 00:02:01 दिसंबर 18, 2018 12:16:05 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1352 दिसंबर 18, 2018 12: 14:14 अपराह्न 00:01:51 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1354 बैकअप हो गया 0 वीएमवेयर इंक्रीमेंटल एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 12:14:34 अपराह्न 00:01:21 दिसंबर 18, 2018 12:15:55 अपराह्न STU_DP_S3_****बैकअप 1 14,380,965 147 100% 23617 रूट 1352 500,817 दिसंबर 18 , 2018 12:14:34 PM 00:01:21 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0 99.9% 100%
1347 स्नैपशॉट हो गया 0 वीएमवेयर - एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 12:11:45 अपराह्न 00:02:08 दिसंबर 18, 2018 12:13:53 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1347 दिसंबर 18, 2018 12: 11:45 अपराह्न 00:02:08 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1349 बैकअप हो गया 0 वीएमवेयर पूर्ण एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर 2018 12:12:02 अपराह्न 00:01:41 18 दिसंबर 2018 12:13:43 अपराह्न STU_DP_S3_****बैकअप 1 14,535,215 149653 100% 23508 रूट 1347 316,319 दिसंबर 18 , 2018 12:12:02 PM 00:01:41 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0 99.7% 99%
1341 स्नैपशॉट हो गया 0 वीएमवेयर - एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 12:05:28 अपराह्न 00:04:53 दिसंबर 18, 2018 12:10:21 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1341 दिसंबर 18, 2018 12: 05:28 अपराह्न 00:04:53 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1342 बैकअप हो गया 0 VMware Full_Rescan NGNCloudADC NBCC दिसंबर 18, 2018 12:05:47 अपराह्न 00:04:24 दिसंबर 18, 2018 12:10:11 अपराह्न STU_DP_S3_****बैकअप 1 14,535,151 149653 100% 22999 रूट 1341 70,380 18 दिसंबर 2018, 12 05:47:00 अपराह्न 04:24:0 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 87.9 0% XNUMX%

1339 स्नैपशॉट पूर्ण 150 वीएमवेयर - एनजीएनक्लाउडएडीसी एनबीसीसी 18 दिसंबर, 2018 11:05:46 पूर्वाह्न 00:00:53 दिसंबर 18, 2018 11:06:39 पूर्वाह्न STU_DP_S3_****बैकअप 1 100% रूट 1339 दिसंबर 18, 2018 11: 05:46 पूर्वाह्न 00:00:53 त्वरित पुनर्प्राप्ति डिस्क मानक जीत-*********** 0
1327 स्नैपशॉट हो गया 0 वीएमवेयर - *******.********.क्लाउड एनबीसीसी दिसंबर 17, 2018 12:54:42 अपराह्न 05:51:38 दिसंबर 17, 2018 6:46:20 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1327 दिसंबर 17, 2018 12:54:42 अपराह्न 05:51:38 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1328 बैकअप हो गया 0 वीएमवेयर पूर्ण *******.********.क्लाउड एनबीसीसी दिसंबर 17, 2018 12:55:10 अपराह्न 05:29:21 दिसंबर 17, 2018 6:24:31 अपराह्न STU_DP_S3_****बैकअप 1 222,602,719 258932 100% 12856 रूट 1327 11,326 दिसंबर 17, 2018 12:55:10 अपराह्न 05:29:21 त्वरित रिकवरी डिस्क मानक जीत-*********** 0 87.9% 0%
1136 स्नैपशॉट हो गया 0 वीएमवेयर - *******.********.क्लाउड एनबीसीसी दिसंबर 14, 2018 4:48:22 अपराह्न 04:05:16 दिसंबर 14, 2018 8:53:38 अपराह्न STU_DP_S3_****बैकअप 1 100% रूट 1136 दिसंबर 14, 2018 4:48:22 अपराह्न 04:05:16 इंस्टेंट रिकवरी डिस्क स्टैंडर्ड विन-*********** 0
1140 बैकअप हो गया 0 वीएमवेयर फुल_स्कैन *******.********.क्लाउड एनबीसीसी दिसंबर 14, 2018 4:49:14 अपराह्न 03:49:58 दिसंबर 14, 2018 8:39:12 अपराह्न STU_DP_S3_****बैकअप 1 217,631,332 255465 100% 26438 रूट 1136 15,963 दिसंबर 14, 2018 4:49:14 अपराह्न 03:49:58 त्वरित रिकवरी डिस्क मानक जीत-*********** 0 45.2% 0%

त्वरक आपको एजेंटों से ट्रैफ़िक कम करने की अनुमति देता है, क्योंकि केवल डेटा परिवर्तन प्रसारित होते हैं, यानी, पूर्ण बैकअप भी पूरी तरह से अपलोड नहीं किए जाते हैं, क्योंकि मीडिया सर्वर वृद्धिशील बैकअप से बाद के पूर्ण बैकअप एकत्र करता है।

मध्यवर्ती सर्वर का अपना भंडारण होता है, जहां यह डेटा का "कैश" लिखता है और डिडुप्लीकेशन के लिए एक डेटाबेस बनाए रखता है।

संपूर्ण वास्तुकला इस प्रकार दिखती है:

1. मास्टर सर्वर कॉन्फ़िगरेशन, अपडेट आदि का प्रबंधन करता है और क्लाउड में स्थित होता है।
2. मीडिया सर्वर (इंटरमीडिएट *निक्स मशीन) नेटवर्क पहुंच के मामले में अनावश्यक सिस्टम के सबसे करीब स्थित होना चाहिए। यहां, सभी आरक्षित मशीनों से बैकअप का डिडुप्लीकेशन किया जाता है।
3. बैकअप मशीनों पर ऐसे एजेंट होते हैं जो आम तौर पर मीडिया सर्वर को केवल वही भेजते हैं जो उसके स्टोरेज में नहीं होता है।

यह सब एक पूर्ण स्कैन के साथ शुरू होता है - यह एक पूर्ण विकसित बैकअप है। इस बिंदु पर, मीडिया सर्वर सब कुछ लेता है, इसे डीडुप्लिकेट करता है और इसे S3 में स्थानांतरित करता है। मीडिया सर्वर की गति कम है, लेकिन उससे अधिक है। मुख्य सीमा सर्वर की कंप्यूटिंग शक्ति है।

निम्नलिखित बैकअप सभी प्रणालियों के दृष्टिकोण से पूर्ण बनाए गए हैं, लेकिन वास्तव में वे सिंथेटिक पूर्ण बैकअप की तरह हैं। अर्थात्, मीडिया सर्वर पर वास्तविक स्थानांतरण और रिकॉर्डिंग केवल उन डेटा ब्लॉकों की होती है जिनका पहले वीएम बैकअप में सामना नहीं हुआ है। और केवल वे डेटा ब्लॉक जिनका हैश मीडिया सर्वर के डिडुप्लीकेशन डेटाबेस में नहीं है, उन्हें S3 में स्थानांतरित और रिकॉर्ड किया जाता है। सरल शब्दों में, यह कुछ ऐसा है जिसे पहले कभी किसी एकल वीएम के बैकअप में नहीं देखा गया है।

पुनर्स्थापित करने के दौरान, मीडिया सर्वर S3 से आवश्यक डुप्लिकेट ऑब्जेक्ट का अनुरोध करता है, उन्हें पुनः हाइड्रेट करता है और उन्हें IRB एजेंटों को स्थानांतरित करता है, अर्थात। पुनर्स्थापित करते समय ट्रैफ़िक की मात्रा को ध्यान में रखना आवश्यक है, जो पुनर्स्थापित किए जा रहे डेटा की वास्तविक मात्रा के बराबर होगा।

यहाँ यह कैसा दिखता है:

और यहाँ लॉग का एक और टुकड़ा है169 नौकरियाँ (0 कतारबद्ध 0 सक्रिय 0 पुनः प्रयास की प्रतीक्षा में 0 निलंबित 0 अपूर्ण 169 पूर्ण - 1 चयनित)

जॉब आईडी प्रकार राज्य राज्य विवरण स्थिति जॉब नीति जॉब शेड्यूल क्लाइंट मीडिया सर्वर प्रारंभ समय बीता हुआ समय समाप्ति समय स्टोरेज यूनिट प्रयास ऑपरेशन किलोबाइट्स फ़ाइलें पथनाम % पूर्ण (अनुमानित) जॉब पीआईडी ​​स्वामी कॉपी पैरेंट जॉब आईडी केबी/सेक सक्रिय प्रारंभ सक्रिय बीता हुआ रोबोट वॉल्ट प्रोफ़ाइल सत्र डेटा मूवमेंट को बाहर निकालने के लिए आईडी मीडिया ऑफ-होस्ट प्रकार मास्टर प्राथमिकता डिडुप्लीकेशन दर ट्रांसपोर्ट एक्सेलेरेटर ऑप्टिमाइज़ेशन इंस्टेंस या डेटाबेस शेयर होस्ट
- 1372 पुनर्स्थापित हुआ 0 एनबीपीआर01 एनबीसीसी दिसंबर 19, 2018 1:05:58 अपराह्न 00:04:32 दिसंबर 19, 2018 1:10:30 अपराह्न 1 14,380,577 1 100% 8548 रूट 1372 70,567 दिसंबर 19, 2018 1:06 :00 अपराह्न 00:04:30 जीत-************* 90000

डेटा अखंडता को S3 की सुरक्षा द्वारा ही सुनिश्चित किया जाता है - डेड हार्ड ड्राइव स्पिंडल जैसी हार्डवेयर विफलताओं से बचाने के लिए वहां अच्छी अतिरेक है।

मीडिया सर्वर को 4 टीबी कैश की आवश्यकता है - यह वेरिटास की न्यूनतम आकार की अनुशंसा है। अधिक बेहतर है, लेकिन हमने यही किया।

संपूर्ण

जब एक भागीदार ने हमारे S3 में 20 जीबी डाला, तो हमने 60 जीबी संग्रहीत किया, क्योंकि हम डेटा का ट्रिपल जियो-आरक्षण प्रदान करते हैं। अब ट्रैफिक बहुत कम है, जो चैनल और स्टोरेज टैरिफ दोनों के लिए अच्छा है।

इस मामले में, मार्ग "बड़े इंटरनेट" से पहले बंद हो जाते हैं, लेकिन आप इंटरनेट पर वीपीएन एल2 के माध्यम से ट्रैफ़िक चला सकते हैं, लेकिन प्रदाता के प्रवेश से पहले मीडिया सर्वर स्थापित करना बेहतर है।

यदि आप हमारे रूसी डेटा केंद्रों में इन सुविधाओं के बारे में जानने में रुचि रखते हैं या घर पर कार्यान्वयन के बारे में प्रश्न हैं, तो टिप्पणियों में या ईमेल द्वारा पूछें [ईमेल संरक्षित].

स्रोत: www.habr.com