Oracle RAC और AccelStor Shared-Nothing आर्किटेक्चर पर आधारित दोष-सहिष्णु समाधान का निर्माण

बड़ी संख्या में एंटरप्राइज एप्लिकेशन और वर्चुअलाइजेशन सिस्टम के पास दोष-सहिष्णु समाधान बनाने के लिए अपने स्वयं के तंत्र हैं। विशेष रूप से, Oracle RAC (Oracle Real एप्लिकेशन क्लस्टर) दो या दो से अधिक Oracle डेटाबेस सर्वरों का एक क्लस्टर है जो लोड को संतुलित करने और सर्वर/एप्लिकेशन स्तर पर दोष सहनशीलता प्रदान करने के लिए एक साथ काम करते हैं। इस मोड में काम करने के लिए, आपको एक साझा स्टोरेज की आवश्यकता होती है, जो आमतौर पर एक स्टोरेज सिस्टम होता है।

जैसा कि हम पहले ही अपने एक में चर्चा कर चुके हैं सामग्री, भंडारण प्रणाली में, डुप्लिकेट घटकों (नियंत्रकों सहित) की उपस्थिति के बावजूद, अभी भी विफलता के बिंदु हैं - मुख्य रूप से डेटा के एकल सेट के रूप में। इसलिए, बढ़ी हुई विश्वसनीयता आवश्यकताओं के साथ Oracle समाधान बनाने के लिए, "एन सर्वर - एक स्टोरेज सिस्टम" योजना को जटिल बनाने की आवश्यकता है।

सबसे पहले, निश्चित रूप से, हमें यह तय करने की आवश्यकता है कि हम किन जोखिमों के विरुद्ध बीमा कराने का प्रयास कर रहे हैं। इस लेख में, हम "उल्कापिंड आ गया है" जैसे खतरों से सुरक्षा पर विचार नहीं करेंगे। इसलिए भौगोलिक रूप से बिखरे हुए आपदा पुनर्प्राप्ति समाधान का निर्माण निम्नलिखित लेखों में से एक का विषय रहेगा। यहां हम तथाकथित क्रॉस-रैक आपदा पुनर्प्राप्ति समाधान को देखेंगे, जब सुरक्षा सर्वर कैबिनेट के स्तर पर बनाई जाती है। अलमारियाँ स्वयं एक ही कमरे में या अलग-अलग कमरों में स्थित हो सकती हैं, लेकिन आमतौर पर एक ही इमारत के भीतर।

इन अलमारियाँ में उपकरण और सॉफ़्टवेयर का संपूर्ण आवश्यक सेट होना चाहिए जो "पड़ोसी" की स्थिति की परवाह किए बिना ओरेकल डेटाबेस के संचालन की अनुमति देगा। दूसरे शब्दों में, क्रॉस-रैक आपदा पुनर्प्राप्ति समाधान का उपयोग करके, हम विफलता के जोखिमों को समाप्त करते हैं:

• ओरेकल एप्लिकेशन सर्वर
• भंडारण प्रणाली
• स्विचिंग सिस्टम
• कैबिनेट में सभी उपकरणों की पूर्ण विफलता:
  • शक्ति से इनकार
  • शीतलन प्रणाली की विफलता
  • बाहरी कारक (मानव, प्रकृति, आदि)

Oracle सर्वर का डुप्लिकेशन Oracle RAC के संचालन सिद्धांत को दर्शाता है और इसे एक एप्लिकेशन के माध्यम से कार्यान्वित किया जाता है। स्विचिंग सुविधाओं का दोहराव भी कोई समस्या नहीं है। लेकिन भंडारण प्रणाली के दोहराव के साथ, सब कुछ इतना सरल नहीं है।

सबसे सरल विकल्प मुख्य भंडारण प्रणाली से बैकअप तक डेटा प्रतिकृति है। सिंक्रोनस या एसिंक्रोनस, भंडारण प्रणाली की क्षमताओं पर निर्भर करता है। अतुल्यकालिक प्रतिकृति के साथ, Oracle के संबंध में डेटा स्थिरता सुनिश्चित करने का प्रश्न तुरंत उठता है। लेकिन भले ही एप्लिकेशन के साथ सॉफ़्टवेयर एकीकरण हो, किसी भी स्थिति में, मुख्य स्टोरेज सिस्टम पर विफलता की स्थिति में, क्लस्टर को बैकअप स्टोरेज में स्विच करने के लिए प्रशासकों द्वारा मैन्युअल हस्तक्षेप की आवश्यकता होगी।

एक अधिक जटिल विकल्प सॉफ्टवेयर और/या हार्डवेयर स्टोरेज "वर्चुअलाइज़र" है जो स्थिरता की समस्याओं और मैन्युअल हस्तक्षेप को खत्म कर देगा। लेकिन तैनाती और उसके बाद के प्रशासन की जटिलता, साथ ही ऐसे समाधानों की बहुत ही अशोभनीय लागत, कई लोगों को डराती है।

AccelStor NeoSapphire™ ऑल फ़्लैश ऐरे समाधान क्रॉस-रैक आपदा पुनर्प्राप्ति जैसे परिदृश्यों के लिए एकदम सही है H710 शेयर्ड-नथिंग आर्किटेक्चर का उपयोग करना। यह मॉडल एक दो-नोड स्टोरेज सिस्टम है जो फ्लैश ड्राइव के साथ काम करने के लिए मालिकाना FlexiRemap® तकनीक का उपयोग करता है। करने के लिए धन्यवाद फ्लेक्सीरेमैप® NeoSapphire™ H710 600K IOPS@4K रैंडम राइट और 1M+ IOPS@4K रैंडम रीड तक प्रदर्शन देने में सक्षम है, जो क्लासिक RAID-आधारित स्टोरेज सिस्टम का उपयोग करते समय अप्राप्य है।

लेकिन NeoSapphire™ H710 की मुख्य विशेषता अलग-अलग मामलों के रूप में दो नोड्स का निष्पादन है, जिनमें से प्रत्येक के पास डेटा की अपनी प्रति है। नोड्स का सिंक्रनाइज़ेशन बाहरी InfiniBand इंटरफ़ेस के माध्यम से किया जाता है। इस वास्तुकला के लिए धन्यवाद, 100 मीटर तक की दूरी पर विभिन्न स्थानों पर नोड्स वितरित करना संभव है, जिससे क्रॉस-रैक आपदा पुनर्प्राप्ति समाधान प्रदान किया जा सकता है। दोनों नोड पूरी तरह से समकालिक रूप से काम करते हैं। मेज़बान की ओर से, H710 एक साधारण दोहरे नियंत्रक भंडारण प्रणाली की तरह दिखता है। इसलिए, किसी अतिरिक्त सॉफ़्टवेयर या हार्डवेयर विकल्प या विशेष रूप से जटिल सेटिंग्स को निष्पादित करने की कोई आवश्यकता नहीं है।

यदि हम ऊपर वर्णित सभी क्रॉस-रैक आपदा पुनर्प्राप्ति समाधानों की तुलना करते हैं, तो एक्सेलस्टोर का विकल्प बाकियों से अलग दिखता है:

AccelStor NeoSapphire™ शेयर्ड नथिंग आर्किटेक्चर
सॉफ़्टवेयर या हार्डवेयर "वर्चुअलाइज़र" भंडारण प्रणाली
प्रतिकृति आधारित समाधान

उपलब्धता

सर्वर विफलता
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं

स्विच विफलता
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं

भंडारण प्रणाली की विफलता
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं
स्र्कना

पूरी कैबिनेट फेल
कोई डाउनटाइम नहीं
कोई डाउनटाइम नहीं
स्र्कना

लागत और जटिलता

समाधान लागत
कम*
उच्च
उच्च

परिनियोजन जटिलता
कम
उच्च
उच्च

*AccelStor NeoSapphire™ अभी भी एक ऑल फ्लैश ऐरे है, जिसकी परिभाषा के अनुसार लागत "3 कोपेक" नहीं है, खासकर क्योंकि इसमें दोगुनी क्षमता आरक्षित है। हालाँकि, जब इसके आधार पर किसी समाधान की अंतिम लागत की तुलना अन्य विक्रेताओं के समान समाधानों से की जाती है, तो लागत को कम माना जा सकता है।

एप्लिकेशन सर्वर और सभी फ़्लैश ऐरे नोड्स को जोड़ने के लिए टोपोलॉजी इस तरह दिखेगी:

टोपोलॉजी की योजना बनाते समय, डुप्लिकेट प्रबंधन स्विच और इंटरकनेक्ट सर्वर की भी अत्यधिक अनुशंसा की जाती है।

यहां आगे हम फ़ाइबर चैनल के माध्यम से जुड़ने के बारे में बात करेंगे। यदि आप iSCSI का उपयोग करते हैं, तो सब कुछ समान होगा, उपयोग किए गए स्विच के प्रकार और थोड़ी अलग सरणी सेटिंग्स के लिए समायोजित किया जाएगा।

सरणी पर प्रारंभिक कार्य

प्रयुक्त उपकरण एवं सॉफ्टवेयर

सर्वर और स्विच विशिष्टताएँ

अवयव
विवरण

Oracle डेटाबेस 11g सर्वर
दो

सर्वर ऑपरेटिंग सिस्टम
ओरेकल लिनक्स

ओरेकल डेटाबेस संस्करण
11 ग्राम (आरएसी)

प्रति सर्वर प्रोसेसर
दो 16 कोर Intel® Xeon® CPU E5-2667 v2 @ 3.30GHz

प्रति सर्वर भौतिक मेमोरी
128GB

एफसी नेटवर्क
मल्टीपाथिंग के साथ 16 जीबी/एस एफसी

एफसी एचबीए
एमुलेक्स एलपीई-16002बी

क्लस्टर प्रबंधन के लिए समर्पित सार्वजनिक 1GbE पोर्ट
इंटेल ईथरनेट एडाप्टर RJ45

16जीबी/एस एफसी स्विच
ब्रोकेड 6505

डेटा सिंक्रोनाइज़ेशन के लिए समर्पित निजी 10GbE पोर्ट
इंटेल X520

AccelStor NeoSapphire™ सभी फ़्लैश ऐरे विशिष्टता

अवयव
विवरण

भंडारण की व्यवस्था
NeoSapphire™ उच्च उपलब्धता मॉडल: H710

छवि संस्करण
4.0.1

ड्राइव की कुल संख्या
48

ड्राइव का आकार
1.92TB

ड्राइव प्रकार
एसएसडी

एफसी लक्ष्य बंदरगाह
16x 16 जीबी पोर्ट (8 प्रति नोड)

प्रबंधन बंदरगाह
ईथरनेट स्विच के माध्यम से होस्ट से कनेक्ट होने वाली 1GbE ईथरनेट केबल

दिल की धड़कन बंदरगाह
1GbE ईथरनेट केबल दो स्टोरेज नोड्स के बीच जुड़ती है

डेटा सिंक्रनाइज़ेशन पोर्ट
56 जीबी/एस इनफिनीबैंड केबल

इससे पहले कि आप किसी सरणी का उपयोग कर सकें, आपको इसे प्रारंभ करना होगा। डिफ़ॉल्ट रूप से, दोनों नोड्स का नियंत्रण पता समान है (192.168.1.1)। आपको उनसे एक-एक करके कनेक्ट करने और नए (पहले से अलग) प्रबंधन पते सेट करने और समय सिंक्रनाइज़ेशन सेट करने की आवश्यकता है, जिसके बाद प्रबंधन पोर्ट को एक ही नेटवर्क से जोड़ा जा सकता है। बाद में, इंटरलिंक कनेक्शन के लिए सबनेट निर्दिष्ट करके नोड्स को HA जोड़ी में जोड़ दिया जाता है।

आरंभीकरण पूरा होने के बाद, आप किसी भी नोड से सरणी का प्रबंधन कर सकते हैं।

इसके बाद, हम आवश्यक वॉल्यूम बनाते हैं और उन्हें एप्लिकेशन सर्वर पर प्रकाशित करते हैं।

Oracle ASM के लिए कई वॉल्यूम बनाने की अत्यधिक अनुशंसा की जाती है क्योंकि इससे सर्वर के लिए लक्ष्यों की संख्या बढ़ जाएगी, जिससे अंततः समग्र प्रदर्शन में सुधार होगा (दूसरे में कतारों पर अधिक जानकारी) लेख).

परीक्षण विन्यास

संग्रहण वॉल्यूम नाम
आयतन का आकार

Data01
200GB

Data02
200GB

Data03
200GB

Data04
200GB

Data05
200GB

Data06
200GB

Data07
200GB

Data08
200GB

Data09
200GB

Data10
200GB

Grid01
1GB

Grid02
1GB

Grid03
1GB

Grid04
1GB

Grid05
1GB

Grid06
1GB

पुनः करें01
100GB

पुनः करें02
100GB

पुनः करें03
100GB

पुनः करें04
100GB

पुनः करें05
100GB

पुनः करें06
100GB

पुनः करें07
100GB

पुनः करें08
100GB

पुनः करें09
100GB

पुनः करें10
100GB

सरणी के ऑपरेटिंग मोड और आपातकालीन स्थितियों में होने वाली प्रक्रियाओं के बारे में कुछ स्पष्टीकरण

प्रत्येक नोड के डेटा सेट में एक "संस्करण संख्या" पैरामीटर होता है। प्रारंभिक आरंभीकरण के बाद, यह वही है और 1 के बराबर है। यदि किसी कारण से संस्करण संख्या भिन्न है, तो डेटा हमेशा पुराने संस्करण से छोटे संस्करण में सिंक्रनाइज़ किया जाता है, जिसके बाद छोटे संस्करण की संख्या संरेखित की जाती है, यानी। इसका मतलब है कि प्रतियां समान हैं। संस्करण भिन्न क्यों हो सकते हैं इसके कारण:

• किसी एक नोड का शेड्यूल किया गया रीबूट
• अचानक बंद होने (बिजली आपूर्ति, अधिक गर्मी, आदि) के कारण किसी एक नोड पर दुर्घटना।
• सिंक्रनाइज़ करने में असमर्थता के कारण InfiniBand कनेक्शन खो गया
• डेटा भ्रष्टाचार के कारण एक नोड पर क्रैश। यहां आपको एक नया HA समूह बनाने और डेटा सेट का पूर्ण सिंक्रनाइज़ेशन करने की आवश्यकता होगी।

किसी भी स्थिति में, जो नोड ऑनलाइन रहता है वह जोड़ी के साथ कनेक्शन बहाल होने के बाद अपने डेटा सेट को सिंक्रनाइज़ करने के लिए अपने संस्करण संख्या को एक से बढ़ा देता है।

यदि ईथरनेट लिंक पर कनेक्शन खो जाता है, तो हार्टबीट अस्थायी रूप से इनफिनीबैंड पर स्विच हो जाता है और बहाल होने पर 10 सेकंड के भीतर वापस आ जाता है।

मेजबानों की स्थापना

दोष सहनशीलता सुनिश्चित करने और प्रदर्शन में सुधार करने के लिए, आपको सरणी के लिए MPIO समर्थन सक्षम करना होगा। ऐसा करने के लिए, आपको /etc/multipath.conf फ़ाइल में लाइनें जोड़नी होंगी और फिर मल्टीपाथ सेवा को पुनरारंभ करना होगा

छिपा हुआ पाठउपकरण {
उपकरण {
विक्रेता "एस्टोर"
path_grouping_policy "group_by_prio"
पथ_चयनकर्ता "कतार-लंबाई 0"
पाथ_चेकर "तूर"
विशेषताएँ "0"
हार्डवेयर_हैंडलर "0"
प्रियो "स्थिरांक"
फ़ेलबैक तत्काल
fast_io_fail_tmo 5
डेव_लॉस_टीएमओ 60
उपयोगकर्ता_अनुकूल_नाम हाँ
डिटेक्ट_प्रियो हाँ
rr_min_io_rq 1
no_path_retry 0
}
}

इसके बाद, ASM को ASMLib के माध्यम से MPIO के साथ काम करने के लिए, आपको /etc/sysconfig/oracleasm फ़ाइल को बदलना होगा और फिर /etc/init.d/oracleasm scandisks चलाना होगा

छिपा हुआ पाठ

# ORACLEASM_SCANORDER: डिस्क स्कैनिंग का आदेश देने के लिए मिलान पैटर्न
ORACLEASM_SCANORDER='dm'

# ORACLEASM_SCANEXCLUDE: डिस्क को स्कैन से बाहर करने के लिए मिलान पैटर्न
ORACLEASM_SCANEXCLUDE='sd'

नोट

यदि आप ASMLib का उपयोग नहीं करना चाहते हैं, तो आप UDEV नियमों का उपयोग कर सकते हैं, जो ASMLib का आधार हैं।

Oracle डेटाबेस के संस्करण 12.1.0.2 से शुरू होकर, विकल्प ASMFD सॉफ़्टवेयर के भाग के रूप में इंस्टॉलेशन के लिए उपलब्ध है।

यह सुनिश्चित करना अनिवार्य है कि Oracle ASM के लिए बनाई गई डिस्क उस ब्लॉक आकार के साथ संरेखित हैं जिसके साथ सरणी भौतिक रूप से संचालित होती है (4K)। अन्यथा, प्रदर्शन संबंधी समस्याएँ उत्पन्न हो सकती हैं. इसलिए, उपयुक्त मापदंडों के साथ वॉल्यूम बनाना आवश्यक है:

पार्टेड /डेव/मैपर/डिवाइस-नाम एमकेलेबल जीपीटी एमकेपार्ट प्राइमरी 2048एस 100% अलाइन-चेक ऑप्टिमल 1

हमारे परीक्षण कॉन्फ़िगरेशन के लिए निर्मित वॉल्यूम में डेटाबेस का वितरण

संग्रहण वॉल्यूम नाम
आयतन का आकार
वॉल्यूम LUN मैपिंग
एएसएम वॉल्यूम डिवाइस विवरण
आवंटन यूनिट आकार

Data01
200GB
सभी स्टोरेज वॉल्यूम को स्टोरेज सिस्टम के सभी डेटा पोर्ट पर मैप करें
अतिरेक: सामान्य
नाम:डीजीडेटा
उद्देश्य:डेटा फ़ाइलें

4MB

Data02
200GB

Data03
200GB

Data04
200GB

Data05
200GB

Data06
200GB

Data07
200GB

Data08
200GB

Data09
200GB

Data10
200GB

Grid01
1GB
अतिरेक: सामान्य
नाम: DGGRID1
उद्देश्य: ग्रिड: सीआरएस और वोटिंग

4MB

Grid02
1GB

Grid03
1GB

Grid04
1GB
अतिरेक: सामान्य
नाम: DGGRID2
उद्देश्य: ग्रिड: सीआरएस और वोटिंग

4MB

Grid05
1GB

Grid06
1GB

पुनः करें01
100GB
अतिरेक: सामान्य
नाम: DGREDO1
उद्देश्य: थ्रेड 1 का लॉग फिर से करें

4MB

पुनः करें02
100GB

पुनः करें03
100GB

पुनः करें04
100GB

पुनः करें05
100GB

पुनः करें06
100GB
अतिरेक: सामान्य
नाम: DGREDO2
उद्देश्य: थ्रेड 2 का लॉग फिर से करें

4MB

पुनः करें07
100GB

पुनः करें08
100GB

पुनः करें09
100GB

पुनः करें10
100GB

डेटाबेस सेटिंग्स

• ब्लॉक का आकार = 8K
• स्वैप स्थान = 16जीबी
• एएमएम (स्वचालित मेमोरी प्रबंधन) अक्षम करें
• पारदर्शी विशाल पृष्ठ अक्षम करें

अन्य सेटिंग

# vi /etc/sysctl.conf
✓ fs.aio-max-nr = 1048576
✓ fs.file-max = 6815744
✓ कर्नेल.शममैक्स 103079215104
✓ कर्नेल.शमॉल 31457280
✓ कर्नेल.शम्मन 4096
✓ कर्नेल.सेम = 250 32000 100 128
✓ Net.ipv4.ip_local_port_range = 9000 65500
✓ नेट.कोर.आरएमईएम_डिफॉल्ट = 262144
✓ नेट.कोर.आरएमईएम_मैक्स = 4194304
✓ नेट.कोर.wmem_default = 262144
✓ नेट.कोर.डब्ल्यूएमईएम_मैक्स = 1048586
✓vm.swappiness=10
✓ vm.min_free_kbytes=524288 # यदि आप Linux x86 का उपयोग कर रहे हैं तो इसे सेट न करें
✓ vm.vfs_cache_pressure=200
✓ vm.nr_hugepages = 57000

# vi /etc/security/limits.conf
✓ ग्रिड सॉफ्ट एनप्रोक 2047
✓ ग्रिड हार्ड एनप्रोसी 16384
✓ ग्रिड सॉफ्ट नोफाइल 1024
✓ ग्रिड हार्ड नोफाइल 65536
✓ ग्रिड सॉफ्ट स्टैक 10240
✓ ग्रिड हार्ड स्टैक 32768
✓ ओरेकल सॉफ्ट एनप्रोक 2047
✓ ओरेकल हार्ड एनप्रोक 16384
✓ ओरेकल सॉफ्ट नोफाइल 1024
✓ ओरेकल हार्ड नोफाइल 65536
✓ ओरेकल सॉफ्ट स्टैक 10240
✓ ओरेकल हार्ड स्टैक 32768
✓ सॉफ्ट मेमलॉक 120795954
✓ हार्ड मेमलॉक 120795954

एसक्यूएलप्लस "/as sysdba"
सिस्टम सेट प्रक्रियाएँ बदलें=2000 स्कोप=स्पफ़ाइल;
सिस्टम सेट बदलें open_cursors=2000 scope=spfile;
सिस्टम सेट बदलें session_cached_cursors=300 स्कोप=spfile;
सिस्टम सेट बदलें db_files=8192 स्कोप=spfile;

असफलता परीक्षण

प्रदर्शन उद्देश्यों के लिए, HammerDB का उपयोग OLTP लोड का अनुकरण करने के लिए किया गया था। हैमरडीबी कॉन्फ़िगरेशन:

गोदामों की संख्या
256

प्रति उपयोगकर्ता कुल लेनदेन
1000000000000

आभासी उपयोगकर्ता
256

परिणाम 2.1एम टीपीएम था, जो सरणी की प्रदर्शन सीमा से बहुत दूर है H710, लेकिन सर्वर के वर्तमान हार्डवेयर कॉन्फ़िगरेशन (मुख्य रूप से प्रोसेसर के कारण) और उनकी संख्या के लिए एक "छत" है। इस परीक्षण का उद्देश्य अभी भी समग्र रूप से समाधान की दोष सहनशीलता को प्रदर्शित करना है, न कि अधिकतम प्रदर्शन प्राप्त करना। इसलिए, हम बस इस आंकड़े पर निर्माण करेंगे।

किसी एक नोड की विफलता के लिए परीक्षण करें

मेजबानों ने भंडारण के कुछ पथ खो दिए, शेष पथों के माध्यम से दूसरे नोड के साथ काम करना जारी रखा। पथों के पुनर्निर्माण के कारण प्रदर्शन कुछ सेकंड के लिए गिरा, और फिर सामान्य हो गया। सेवा में कोई रुकावट नहीं आई।

सभी उपकरणों के साथ कैबिनेट विफलता परीक्षण

इस मामले में, पथों के पुनर्गठन के कारण प्रदर्शन भी कुछ सेकंड के लिए गिर गया, और फिर मूल मान के आधे पर वापस आ गया। एक एप्लिकेशन सर्वर को संचालन से बाहर करने के कारण परिणाम प्रारंभिक से आधा हो गया था। सेवा में भी कोई रुकावट नहीं आई।

यदि उचित लागत पर और कम तैनाती/प्रशासन प्रयास के साथ Oracle के लिए दोष-सहिष्णु क्रॉस-रैक आपदा पुनर्प्राप्ति समाधान लागू करने की आवश्यकता है, तो Oracle RAC और आर्किटेक्चर एक साथ काम करते हैं AccelStor साझा-कुछ नहीं सर्वोत्तम विकल्पों में से एक होगा. Oracle RAC के बजाय, कोई अन्य सॉफ़्टवेयर हो सकता है जो क्लस्टरिंग प्रदान करता है, उदाहरण के लिए वही DBMS या वर्चुअलाइज़ेशन सिस्टम। समाधान के निर्माण का सिद्धांत वही रहेगा. और आरटीओ और आरपीओ के लिए अंतिम सीमा शून्य है।

स्रोत: www.habr.com