रिआक क्लाउड स्टोरेज। भाग 1: रीक केवी की स्थापना

रीक सीएस (क्लाउड स्टोरेज) - ऑब्जेक्ट भंडारण को व्यवस्थित करने के लिए उपयोग में आसान सॉफ़्टवेयर, Riak KV के शीर्ष पर चल रहा है। Riak (KV) एक वितरित NoSQL कुंजी-मूल्य डेटाबेस है। Riak CS को किसी भी पैमाने के क्लाउड स्टोरेज की सादगी, उपलब्धता, वितरण प्रदान करने के लिए डिज़ाइन किया गया है, और इसका उपयोग क्लाउड आर्किटेक्चर बनाने के लिए किया जा सकता है - सार्वजनिक और निजी दोनों - या अत्यधिक लोड किए गए अनुप्रयोगों और सेवाओं के लिए बुनियादी ढांचे के भंडारण के रूप में। Riak CS API Amazon S3 के साथ संगत है और विभिन्न स्थितियों पर रिपोर्ट प्राप्त करने की क्षमता का समर्थन करता है।

यह आलेख Riak CS सिस्टम संस्करण 2.1.1 के लिए आधिकारिक मैनुअल का निःशुल्क अनुवाद है

Riak CS भंडारण प्रणाली में, तीन घटक एक दूसरे के साथ मिलकर काम करते हैं, जिसका अर्थ है कि प्रत्येक घटक को अन्य घटकों के साथ काम करने के लिए कॉन्फ़िगर किया जाना चाहिए:

• रियाक (केवी) - एक डेटाबेस प्रणाली जो अंतिम प्रणाली के रूप में कार्य करती है।
• रियाक सी.एस - Riak के शीर्ष पर एक क्लाउड स्टोरेज परत जो स्टोरेज और एपीआई क्षमताएं प्रदान करती है, Riak में फ़ाइलों और मेटाडेटा को संग्रहीत करती है, और फिर उन्हें अंतिम उपयोगकर्ताओं को वितरित करती है।
• डंडा - Riak उदाहरण में विश्व स्तर पर अद्वितीय संस्थाओं जैसे बकेट और उपयोगकर्ताओं से जुड़े प्रश्नों का प्रबंधन करता है। उदाहरण के लिए, उपयोगकर्ता बनाना, बकेट बनाना या हटाना।

इसके अतिरिक्त, आप Riak CS सिस्टम के साथ मैसेजिंग में उपयोग के लिए S3 क्लाइंट को भी कॉन्फ़िगर कर सकते हैं।

आपको अपने सिस्टम पर प्रत्येक Riak CS नोड के लिए एक Riak नोड रखने की योजना बनानी चाहिए। Riak और Riak CS नोड्स को अलग-अलग भौतिक मशीनों पर चलाया जा सकता है, लेकिन ज्यादातर मामलों में एक Riak नोड और एक Riak CS नोड को एक ही भौतिक मशीन पर चलाना बेहतर होता है। यह मानते हुए कि एक भौतिक मशीन में Riak और Riak CS दोनों नोड्स की जरूरतों को पूरा करने के लिए पर्याप्त शक्ति है, आप आम तौर पर कम नेटवर्क विलंबता के कारण बेहतर प्रदर्शन देखेंगे।

यदि आपके सिस्टम में कई नोड हैं, तो कॉन्फ़िगरेशन मुख्य रूप से घटकों के बीच संचार स्थापित करने के बारे में है। अन्य सेटिंग्स, जैसे कि लॉग फ़ाइलें कहाँ संग्रहीत की जाएंगी, में डिफ़ॉल्ट मान हैं और यदि आप गैर-मानक मानों का उपयोग करना चाहते हैं तो केवल उन्हें बदलने की आवश्यकता है।

सिस्टम घटकों की स्थापना. सीएस के लिए रीक केवी की स्थापना

चूँकि Riak CS, Riak के शीर्ष पर निर्मित एक एप्लिकेशन है, इसलिए Riak CS चलाते समय अपने Riak कॉन्फ़िगरेशन पर ध्यान देना बहुत महत्वपूर्ण है। यह दस्तावेज़ एक Riak कॉन्फ़िगरेशन गाइड और महत्वपूर्ण कॉन्फ़िगरेशन मापदंडों का वर्णन करने वाला एक संदर्भ दस्तावेज़ दोनों है।

सेटअप से पहले, सुनिश्चित करें कि आपके क्लस्टर में प्रत्येक नोड पर Riak KV और Riak CS स्थापित हैं। दूसरी ओर, स्टैंचियन को पूरे क्लस्टर में केवल एक नोड पर स्थापित किया जाना चाहिए।

रिआक सीएस के लिए बैकएंड

Riak द्वारा उपयोग किया जाने वाला डिफ़ॉल्ट बैकएंड Bitcask है, लेकिन Riak CS पैकेज में एक विशेष बैकएंड शामिल है जिसका उपयोग Riak क्लस्टर द्वारा किया जाना चाहिए जो Riak CS सिस्टम का हिस्सा है। नियमित संस्करण में मानक मल्टी बैकएंड होता है जो Riak के साथ आता है।

Riak CS के अंदर उपयोग की जाने वाली समान Riak बकेट सेकेंडरी इंडेक्स का उपयोग करती है, जिसके लिए अब लेवलडीबी बैकएंड की आवश्यकता होती है। Riak CS प्रणाली के अन्य भाग Bticask बैकएंड के उपयोग से लाभान्वित हो सकते हैं। प्रदर्शन और कार्यक्षमता का सर्वोत्तम संयोजन प्राप्त करने के लिए इन दोनों बैकएंड का लाभ उठाने के लिए Riak CS में एक नमूना मल्टी बैकएंड का उपयोग शामिल है। अगला अनुभाग बताता है कि इस मल्टी-बैकएंड का उपयोग करने के लिए Riak को ठीक से कैसे कॉन्फ़िगर किया जाए।

बैकएंड Riak डेटा को बचाने के लिए इसका उपयोग करेगा। Riak KV के शस्त्रागार में कई बैकएंड हैं: बिटकैस्क, लेवलडीबी, मेमोरी और मल्टी।

इसके अतिरिक्त, भंडारण गणना प्रणाली फ़ाइलों को बकेट में एकत्रित करने के लिए Riak MapReduse का उपयोग करती है। इसका मतलब यह है कि आपको भंडारण की गणना करने से पहले सभी Riak नोड्स को बताना होगा कि तैयार Riak CS फ़ाइलों को कहां देखना है।

Riak CS सिस्टम के हिस्से के रूप में Riak नोड को कॉन्फ़िगर करने के लिए कई अन्य मापदंडों को बदला जाना चाहिए, जैसे कि IP पता और IP पता और प्रोटोकॉल बफ़र्स के माध्यम से संदेश भेजने के लिए पोर्ट। यदि आवश्यक हो तो अन्य सेटिंग्स बदली जा सकती हैं। निम्नलिखित अनुभाग वर्णन करते हैं कि Riak CS सिस्टम के भाग के रूप में संचालित करने के लिए Riak नोड को कैसे कॉन्फ़िगर किया जाए।

रिआक बैकएंड की स्थापना

सबसे पहले, riak.conf या Advanced.config/app.config कॉन्फ़िगरेशन फ़ाइलें संपादित की जाती हैं। ये फ़ाइलें /etc/riak या /opt/riak/etc निर्देशिकाओं में स्थित हो सकती हैं। डिफ़ॉल्ट रूप से, Riak Bitcask बैकएंड का उपयोग करता है। पहली चीज़ जो हमें करने की ज़रूरत है वह निम्न पंक्ति को हटाकर कॉन्फ़िगरेशन फ़ाइल को बदलना है:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

उन्नत.कॉन्फिग

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

एपीपी.कॉन्फिग

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

इसके बाद, हमें Riak के लिए RiakCS मॉड्यूल की आवश्यकता को प्रदर्शित करना होगा और Riak को Riak CS प्रदान करने वाले कॉन्फ़िगर किए गए बैकएंड का उपयोग करने का निर्देश देना होगा। इसके लिए हमें Advanced.config या app.config फ़ाइल का उपयोग करना होगा और निम्नलिखित विकल्प जोड़ने होंगे:

उन्नत.कॉन्फिग

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

एपीपी.कॉन्फिग

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

यह ध्यान रखना बहुत महत्वपूर्ण है कि इनमें से कई मान आपके ऑपरेटिंग सिस्टम के लिए विशिष्ट निर्देशिका विविधताओं पर निर्भर होंगे, इसलिए तदनुसार निर्देशों का पालन करें। उदाहरण के लिए, add_paths विकल्प मानता है कि Riak CS /usr/lib/riak-cs में स्थापित है, जबकि data_root विकल्प मानता है कि Riak /var/lib में स्थापित है। (नोट: मेरे मामले में यह add_paths - /usr/lib64/riak-cs/ था)।

यह कॉन्फ़िगरेशन मानता है कि Riak CS, Riak जैसी ही मशीन पर स्थापित है। यदि नहीं, तो पैकेज को एक अलग होस्ट पर कॉपी करना होगा।

सहोदर सृजन की स्थापना

अब, हमेंallow_mult पैरामीटर को सत्य पर सेट करने की आवश्यकता है। हम riak.conf कॉन्फ़िगरेशन फ़ाइल में एक पंक्ति, या Advanced.config या app.config में एक riak_core अनुभाग जोड़ सकते हैं।

RIAK.CONF

buckets.default.allow_mult = true

उन्नत.कॉन्फिग

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

एपीपी.कॉन्फिग

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

यह Riak को भाई-बहन बनाने की अनुमति देगा जो Riak CS के कार्य करने के लिए आवश्यक हैं। यदि आप क्लाइंट लाइब्रेरी का उपयोग करके Riak CS से जुड़ते हैं, तो चिंता न करें: आपको विवादों को हल नहीं करना पड़ेगा, क्योंकि सभी Riak CS ऑपरेशन परिभाषित रूप से सख्ती से सुसंगत हैं।

भाई बहन एक कुंजी में एकाधिक ऑब्जेक्ट्स को संग्रहीत करने का एक तरीका है ताकि ऑब्जेक्ट के अलग-अलग नोड्स पर अलग-अलग मान हों।

ध्यान दें:allow_mult
कोई भी Riak नोड जो Riak CS का भी समर्थन करता है, उसके पास हमेशा follow_mult सत्य पर सेट होगा। यदि मान गलत है तो Riak CS लॉन्च को रीसेट कर देगा।

होस्टनाम और आईपी पता सेट करना

प्रत्येक Riak नोड का एक नाम होता है, जिसे riak.conf में नोडनाम विकल्प में निर्दिष्ट किया जा सकता है। यदि आप ऐप.कॉन्फिग कॉन्फ़िगरेशन फ़ाइल का उपयोग कर रहे हैं, तो आपको ऐप.कॉन्फिग के समान निर्देशिका में vm.args नामक एक फ़ाइल बनाने और -नाम ध्वज का उपयोग करके होस्ट नाम निर्दिष्ट करने की आवश्यकता है। हम @ प्रारूप में नोड नाम निर्दिष्ट करने की अनुशंसा करते हैं। और इसलिए यदि आपके पास एक होस्ट 100.0.0.1 पर तीन नोड चल रहे हैं, तो आप उन्हें कॉल कर सकते हैं [ईमेल संरक्षित], [ईमेल संरक्षित]और [ईमेल संरक्षित] या आप अधिक विशिष्ट नाम दे सकते हैं, जैसे [ईमेल संरक्षित], [ईमेल संरक्षित] और इसी तरह। नीचे दिया गया उदाहरण होस्ट नाम को बदलने को दर्शाता है [ईमेल संरक्षित], जो लोकलहोस्ट पर चलेगा।

RIAK.CONF

 nodename = [email protected] 

वीएम.एआरजीएस

 -name [email protected]

आपको सभी नोड्स को शुरू करने और क्लस्टर में शामिल होने से पहले उन्हें नाम देना होगा।

सेटअप परीक्षण

अब जब सभी आवश्यक नोड सेटिंग्स पूरी हो गई हैं, तो हम Riak को लॉन्च करने का प्रयास कर सकते हैं:

शेल

 riak start 

टिप्पणी मेरे मामले में उत्तर:

यहां आपको थोड़ा इंतजार करने की जरूरत है. फिर आप चल रहे नोड का परीक्षण शुरू कर सकते हैं।

शेल

 riak ping

यदि प्रतिक्रिया पोंग है, तो रिआक चल रहा है; यदि प्रतिक्रिया है कि नोड पिंग का जवाब नहीं दे रहा है, तो कुछ गलत हो गया है।

टिप्पणी मेरे मामले में उत्तर:

यदि नोड सही ढंग से प्रारंभ नहीं हुआ, तो समस्या की पहचान होने पर नोड की /लॉग निर्देशिका में erlang.log.1 लॉग को देखें। सबसे आम त्रुटियों में से एक अमान्य_स्टोरेज_बैकएंड है। जो इंगित करता है कि Advanced.config या app.config में Riak CS लाइब्रेरी का पथ गलत है (या Riak CS सर्वर पर स्थापित नहीं है)। इस त्रुटि के बावजूद, सुनिश्चित करें कि आपने riak_cs_kv_multi_backend से riak_kv_multi_backend में परिवर्तन नहीं किया है।

प्रोटोकॉल बफ़र्स का उपयोग करने के लिए Riak को कॉन्फ़िगर करना

Riak प्रोटोकॉल बफ़र सेटिंग्स riak.conf में या Advanced.config या app.config फ़ाइलों में riak_api अनुभाग में स्थित हैं, जो /etc/riak/ निर्देशिका में स्थित हैं। डिफ़ॉल्ट रूप से, होस्ट का IP पता 127.0.0.1 और पोर्ट 8087 है। यदि आप गैर-स्थानीय वातावरण में Riak और Riak CS चलाने की योजना बना रहे हैं तो आपको इन्हें बदलना होगा। 127.0.0.1 को रिआक होस्ट आईपी पते से बदलें और पोर्ट 8087 को एक उपयुक्त पते से बदलें।

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

उन्नत.कॉन्फ़

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

एपीपी.कॉन्फिग

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

नोट:Riak.conf में श्रोता.protobuf.internal पैरामीटर का मान (या Advanced.conf/app.config में pb पैरामीटर का मान) Riak CS riak-cs.config में riak_host के मानों से मेल खाना चाहिए और स्टैन्चियन stanchion.conf (या उन्नत .config/app.config में क्रमशः riak_host) फ़ाइलें।

पोर्ट नंबर के बारे में एक नोट
यदि पोर्ट किसी अन्य एप्लिकेशन द्वारा उपयोग किए गए पोर्ट के साथ विरोध करता है या यदि आप लोड बैलेंसर या प्रॉक्सी सर्वर का उपयोग कर रहे हैं तो एक अलग पोर्ट नंबर की आवश्यकता हो सकती है।

यह भी अनुशंसा की जाती है कि उपयोगकर्ता यह सुनिश्चित करें कि Riak protobuf.backlog आकार (या Advanced.config/app.config फ़ाइलों में यह pb_backlog है) Riak-cs में Riak CS के लिए निर्दिष्ट पूल.request.size के बराबर या उससे अधिक है। config (या Advanced.config/ app.conf फ़ाइलों में request_pool_size)।

यदि Riak CS में पूल.request.size का मान बदल दिया गया है, तो Riak में protobuf.backlog का मान भी अद्यतन किया जाना चाहिए।

अन्य रिआक सेटिंग्स

Riak.conf और Advanced.config फ़ाइलों में अन्य सेटिंग्स शामिल हैं जो लॉग फ़ाइलों के निर्माण और उन्हें सहेजे जाने के स्थान को कॉन्फ़िगर करती हैं। इन सेटिंग्स में डिफ़ॉल्ट मान हैं और इन्हें अधिकांश मामलों में काम करना चाहिए। अधिक जानकारी के लिए, हम कॉन्फ़िगरेशन फ़ाइलों के बारे में हमारे दस्तावेज़ को पढ़ने की सलाह देते हैं।

Riak के लिए एक IP पता सेट करना

Riak के लिए IP पता सेट करते समय, आपको यह सुनिश्चित करना चाहिए कि Riak नोड्स का एक अद्वितीय IP पता हो, चाहे आप केवल एक नोड के साथ काम कर रहे हों या सिस्टम में अधिक नोड्स जोड़ रहे हों। Riak IP पता riak.conf में निहित है या - यदि आप ऐप.config फ़ाइल का उपयोग कर रहे हैं - vm.args कॉन्फ़िगरेशन फ़ाइल में, जो वहां /etc/riak निर्देशिका (या /opt/riak/etc/) में स्थित है अन्य ऑपरेटिंग सिस्टम पर)।

प्रारंभ में, रिआक आईपी पते वाली लाइन इस स्थान पर लोकलहोस्ट को इंगित करती है:

RIAK.CONF

 nodename = [email protected]

वीएम.एआरजीएस

 -name [email protected]

127.0.0.1 को अपने पसंदीदा आईपी पते या रिआक नोड के होस्टनाम से बदलें।

प्रदर्शन और बैंडविड्थ सेटिंग्स

प्रदर्शन कारणों से, हम /etc/riak/ या /opt/riak/etc निर्देशिका में स्थित Riak कॉन्फ़िगरेशन फ़ाइलों riak.conf या vm.args में मान जोड़ने की दृढ़ता से अनुशंसा करते हैं।

RIAK.CONF

 erlang.max_ports = 65536

वीएम.एआरजीएस

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

जावास्क्रिप्ट MapReduce को अक्षम करना

यह अनुशंसा की जाती है कि Riak CS के किसी भी संस्करण के साथ लीगेसी JavaScript MapReduce का उपयोग न करें। प्रदर्शन कारणों से, आपको riak.conf कॉन्फ़िगरेशन फ़ाइल में, या Advanced.conf या app.config के riak_kv अनुभाग में सेटिंग करके जावास्क्रिप्ट MapReduce संचालन करने वाली वर्चुअल मशीन को अक्षम करना चाहिए:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

उन्नत.कॉन्फिग

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

एपीपी.कॉन्फिग

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

आगे हमें Riak CS सिस्टम के शेष घटकों को कॉन्फ़िगर करने की आवश्यकता है।

मूल मैनुअल.

स्रोत: www.habr.com