Riak क्लाउड भण्डारण। भाग १: Riak KV सेटअप गर्दै

Riak CS (क्लाउड भण्डारण) - Riak KV को शीर्षमा चलिरहेको वस्तु भण्डारण व्यवस्थित गर्न प्रयोग गर्न सजिलो सफ्टवेयर। Riak (KV) एक वितरित NoSQL कुञ्जी-मान डाटाबेस हो। Riak CS लाई कुनै पनि स्केलको क्लाउड भण्डारणको सरलता, उपलब्धता, वितरण प्रदान गर्न डिजाइन गरिएको हो, र क्लाउड आर्किटेक्चरहरू निर्माण गर्न प्रयोग गर्न सकिन्छ - सार्वजनिक र निजी दुवै - वा अत्यधिक लोड गरिएका अनुप्रयोगहरू र सेवाहरूको लागि पूर्वाधार भण्डारणको रूपमा। Riak CS API Amazon S3 सँग उपयुक्त छ र विभिन्न परिस्थितिहरूमा रिपोर्टहरू प्राप्त गर्ने क्षमतालाई समर्थन गर्दछ।

यो लेख Riak CS प्रणाली संस्करण २.१.१ को लागि आधिकारिक म्यानुअलको नि:शुल्क अनुवाद हो

Riak CS भण्डारण प्रणालीमा, तीनवटा कम्पोनेन्टहरू एकअर्कासँग संयोजनमा काम गर्छन्, जसको अर्थ प्रत्येक कम्पोनेन्टलाई अन्य कम्पोनेन्टहरूसँग काम गर्न कन्फिगर गरिएको हुनुपर्छ:

• रियाक (KV) - एक डाटाबेस प्रणाली जसले अन्त्य प्रणालीको रूपमा कार्य गर्दछ।
• रियाक सीएस - Riak को शीर्षमा क्लाउड भण्डारण तह जसले भण्डारण र API क्षमताहरू प्रदान गर्दछ, Riak मा फाइलहरू र मेटाडेटा भण्डारण गर्दछ, र त्यसपछि तिनीहरूलाई अन्त प्रयोगकर्ताहरूमा वितरण गर्दछ।
• स्ट्यान्चियन - रियाक उदाहरणमा बाल्टिन र प्रयोगकर्ताहरू जस्ता विश्वव्यापी रूपमा अद्वितीय संस्थाहरू समावेश गर्ने प्रश्नहरू प्रबन्ध गर्दछ। उदाहरणका लागि, प्रयोगकर्ताहरू सिर्जना गर्ने, बाल्टीहरू सिर्जना गर्ने वा मेटाउने।

थप रूपमा, तपाईं Riak CS प्रणालीसँग सन्देश पठाउन प्रयोगको लागि S3 क्लाइन्ट कन्फिगर गर्न सक्नुहुन्छ।

तपाइँ तपाइँको प्रणाली मा प्रत्येक Riak CS नोड को लागी एक Riak नोड को योजना बनाउनु पर्छ। Riak र Riak CS नोडहरू विभिन्न भौतिक मेसिनहरूमा चलाउन सकिन्छ, तर धेरैजसो अवस्थामा एउटै भौतिक मेसिनमा एउटा Riak नोड र एउटा Riak CS नोडहरू चलाउन उपयुक्त हुन्छ। एउटा भौतिक मेसिनसँग Riak र Riak CS नोडहरू दुवैको आवश्यकताहरू पूरा गर्न पर्याप्त शक्ति छ भनी मान्दै, तपाइँ सामान्यतया कम नेटवर्क विलम्बताको कारणले राम्रो प्रदर्शन देख्नुहुनेछ।

यदि तपाईंको प्रणालीमा धेरै नोडहरू छन् भने, कन्फिगरेसन मुख्य रूपमा कम्पोनेन्टहरू बीच सञ्चार सेटअप गर्ने बारे हो। अन्य सेटिङहरू, जस्तै जहाँ लग फाइलहरू भण्डारण गरिनेछ, पूर्वनिर्धारित मानहरू छन् र यदि तपाईं गैर-मानक मानहरू प्रयोग गर्न चाहनुहुन्छ भने मात्र परिवर्तन गर्न आवश्यक छ।

प्रणाली घटकहरू सेट अप गर्दै। CS को लागि Riak KV सेटअप गर्दै

रियाक सीएस रियाकको शीर्षमा बनेको एप्लिकेसन भएको हुनाले, रियाक सीएस चलाउँदा तपाईंको रियाक कन्फिगरेसनमा ध्यान दिनु धेरै महत्त्वपूर्ण छ। यो कागजात दुबै Riak कन्फिगरेसन गाइड र महत्त्वपूर्ण कन्फिगरेसन प्यारामिटरहरू वर्णन गर्ने सन्दर्भ कागजात हो।

सेटअप गर्नु अघि, सुनिश्चित गर्नुहोस् कि Riak KV र Riak CS तपाईको क्लस्टरको प्रत्येक नोडमा स्थापना गरिएको छ। Stanchion, अर्कोतर्फ, सम्पूर्ण क्लस्टरमा एक नोडमा मात्र स्थापना हुनुपर्छ।

Riak CS को लागि ब्याकएन्ड

Riak द्वारा प्रयोग गरिएको पूर्वनिर्धारित ब्याकइन्ड Bitcask हो, तर Riak CS प्याकेजले Riak CS प्रणालीको अंश रियाक क्लस्टरले प्रयोग गर्नुपर्ने विशेष ब्याकइन्ड समावेश गर्दछ। नियमित संस्करणमा मानक बहु ब्याकइन्ड छ जुन रियाकसँग आउँछ।

Riak CS भित्र प्रयोग गरिएका उही रियाक बकेटहरूले माध्यमिक अनुक्रमणिकाहरू प्रयोग गर्छन्, जसलाई अब LevelDB ब्याकइन्ड चाहिन्छ। Riak CS प्रणालीका अन्य भागहरूले Bticask ब्याकइन्ड प्रयोग गरेर लाभ उठाउन सक्छ। प्रदर्शन र कार्यक्षमताको उत्कृष्ट संयोजन प्राप्त गर्न यी दुवै ब्याकइन्डहरूको फाइदा लिनको लागि नमूना बहु ब्याकइन्डको प्रयोग Riak CS मा समावेश गरिएको छ। अर्को खण्डले यो बहु-ब्याकेन्ड प्रयोग गर्न Riak लाई कसरी ठीकसँग कन्फिगर गर्ने भनेर वर्णन गर्दछ।

ब्याकइन्ड रियाकले डाटा बचत गर्न प्रयोग गर्नेछ। Riak KV सँग यसको शस्त्रागारमा धेरै ब्याकएन्डहरू छन्: Bitcask, LevelDB, मेमोरी र मल्टि।

थप रूपमा, भण्डारण गणना प्रणालीले फाईलहरूलाई बाल्टिनमा जम्मा गर्न Riak MapReduse प्रयोग गर्दछ। यसको मतलब तपाईले सबै रियाक नोडहरूलाई भन्नुपर्छ कि भण्डारण कम्प्युट गर्नु अघि तयार रियाक सीएस फाइलहरू कहाँ खोज्ने।

Riak CS प्रणालीको भागको रूपमा Riak नोड कन्फिगर गर्न धेरै अन्य प्यारामिटरहरू परिवर्तन गर्नुपर्छ, जस्तै IP ठेगाना र IP ठेगाना र प्रोटोकल बफरहरू मार्फत सन्देश पठाउनको लागि पोर्ट। आवश्यक भएमा अन्य सेटिङहरू परिवर्तन गर्न सकिन्छ। निम्न खण्डहरूले Riak CS प्रणालीको भागको रूपमा सञ्चालन गर्न Riak नोडलाई कसरी कन्फिगर गर्ने भनेर वर्णन गर्दछ।

Riak ब्याकइन्ड सेट अप गर्दै

पहिले, riak.conf वा advanced.config/app.config कन्फिगरेसन फाइलहरू सम्पादन गरिएका छन्। यी फाइलहरू /etc/riak वा /opt/riak/etc डाइरेक्टरीहरूमा अवस्थित हुन सक्छन्। पूर्वनिर्धारित रूपमा, रियाकले बिटकास्क ब्याकइन्ड प्रयोग गर्दछ। हामीले गर्नु पर्ने पहिलो कुरा निम्न रेखा हटाएर कन्फिगरेसन फाइल परिवर्तन गर्नु हो:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

ADVANCED.CONFIG

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

APP.CONFIG

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

अर्को, हामीले Riak को लागि RiakCS मोड्युलहरूको आवश्यकता देखाउन र Riak CS प्रदान गर्ने कन्फिगर गरिएको ब्याकइन्ड प्रयोग गर्न रियाकलाई निर्देशन दिनु पर्छ। हामीले यसको लागि advanced.config वा app.config फाइल प्रयोग गर्न र निम्न विकल्पहरू थप्न आवश्यक छ:

ADVANCED.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

APP.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

यो नोट गर्न धेरै महत्त्वपूर्ण छ कि यी मध्ये धेरै मानहरू तपाईंको अपरेटिङ सिस्टममा निर्दिष्ट डाइरेक्टरी भिन्नताहरूमा निर्भर हुनेछ, त्यसैले निर्देशनहरू तदनुसार पालना गर्नुहोस्। उदाहरणका लागि, add_paths विकल्पले Riak CS /usr/lib/riak-cs मा स्थापित छ भनी मान्दछ, जबकि data_root विकल्पहरूले Riak /var/lib मा स्थापना भएको मान्दछ। (नोट: मेरो केसमा यो add_paths - /usr/lib64/riak-cs/) थियो।

यो कन्फिगरेसनले Riak CS Riak को रूपमा एउटै मेसिनमा स्थापना भएको मान्दछ। यदि होइन भने, प्याकेजलाई छुट्टै होस्टमा प्रतिलिपि गर्न आवश्यक छ।

भाइबहिनी सिर्जना सेट अप गर्दै

अब, हामीले allow_mult प्यारामिटरलाई true मा सेट गर्न आवश्यक छ। हामी riak.conf कन्फिगरेसन फाइलमा लाइन थप्न सक्छौं, वा advanced.config वा app.config मा riak_core खण्ड।

RIAK.CONF

buckets.default.allow_mult = true

ADVANCED.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

APP.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

यसले Riak लाई Riak CS को लागि आवश्यक भाइबहिनीहरू सिर्जना गर्न अनुमति दिनेछ। यदि तपाइँ क्लाइन्ट लाइब्रेरी प्रयोग गरेर Riak CS मा जडान गर्नुहुन्छ भने, चिन्ता नगर्नुहोस्: तपाइँले विवादहरू समाधान गर्नु पर्दैन, किनकि सबै Riak CS अपरेशनहरू परिभाषित गरिए अनुसार कडा रूपमा एकरूप हुन्छन्।

दाजुभाइ एउटै कुञ्जीमा धेरै वस्तुहरू भण्डारण गर्ने तरिका हो ताकि वस्तुको फरक नोडहरूमा फरक मानहरू हुन्छन्।

नोट: allow_mult
Riak CS लाई समर्थन गर्ने कुनै पनि Riak नोडमा सधैं true मा allow_mult सेट हुनेछ। यदि मान गलत छ भने Riak CS ले सुरुवात रिसेट गर्नेछ।

होस्टनाम र आईपी ठेगाना सेट गर्दै

प्रत्येक Riak नोडको नाम हुन्छ, जुन riak.conf मा नोडनाम विकल्पमा निर्दिष्ट गर्न सकिन्छ। यदि तपाइँ app.config कन्फिगरेसन फाइल प्रयोग गर्दै हुनुहुन्छ भने, तपाइँले app.config को समान डाइरेक्टरीमा vm.args भनिने फाइल सिर्जना गर्न आवश्यक छ र -name फ्ल्याग प्रयोग गरेर होस्ट नाम निर्दिष्ट गर्नुहोस्। हामी @ ढाँचामा नोड नामहरू निर्दिष्ट गर्न सिफारिस गर्छौं। र त्यसोभए यदि तपाइँसँग एउटा होस्ट 100.0.0.1 मा चलिरहेको तीन नोडहरू छन् भने, तपाइँ तिनीहरूलाई कल गर्न सक्नुहुन्छ [ईमेल सुरक्षित], [ईमेल सुरक्षित]र [ईमेल सुरक्षित] वा तपाईं थप विशिष्ट नामहरू दिन सक्नुहुन्छ, जस्तै [ईमेल सुरक्षित], [ईमेल सुरक्षित] र यस्तै। तलको उदाहरणले होस्ट नाम परिवर्तन गर्न देखाउँछ [ईमेल सुरक्षित], जुन लोकलहोस्टमा चल्नेछ।

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

तपाईंले तिनीहरूलाई सुरु गर्नु अघि र क्लस्टरमा सामेल हुनु अघि सबै नोडहरू नाम गर्नुपर्छ।

सेटअप परीक्षण

अब सबै आवश्यक नोड सेटिङहरू पूरा भइसकेका छन्, हामी Riak सुरू गर्न प्रयास गर्न सक्छौं:

SHELL

 riak start 

नोट मेरो मामला मा जवाफ:

यहाँ तपाईं एक सानो प्रतीक्षा गर्न आवश्यक छ। त्यसपछि तपाइँ चलिरहेको नोड परीक्षण सुरु गर्न सक्नुहुन्छ।

SHELL

 riak ping

यदि प्रतिक्रिया पोंग हो भने, रियाक चलिरहेको छ; यदि प्रतिक्रिया नोडले पिंगहरूमा प्रतिक्रिया दिइरहेको छैन भने, केहि गलत भयो।

नोट मेरो मामला मा जवाफ:

यदि नोड ठीकसँग सुरु भएन भने, नोडको /log डाइरेक्टरीमा erlang.log.1 लग हेर्नुहोस् यदि समस्या पहिचान गर्न सकिन्छ। सबैभन्दा सामान्य त्रुटि मध्ये एक invalid_storage_backend हो। जसले Advanced.config वा app.config मा Riak CS पुस्तकालयमा जाने बाटो गलत छ (वा Riak CS सर्भरमा स्थापना गरिएको छैन) भन्ने संकेत गर्छ। यस त्रुटिको बावजुद, तपाईंले riak_cs_kv_multi_backend बाट riak_kv_multi_backend मा परिवर्तन गर्नुभएको छैन भनेर सुनिश्चित गर्नुहोस्।

प्रोटोकल बफरहरू प्रयोग गर्न Riak कन्फिगर गर्दै

Riak प्रोटोकल बफर सेटिङहरू riak.conf मा वा riak_api खण्डमा उन्नत.config वा app.config फाइलहरूमा अवस्थित छन्, जुन /etc/riak/ डाइरेक्टरीमा अवस्थित छन्। पूर्वनिर्धारित रूपमा, होस्टसँग 127.0.0.1 र पोर्ट 8087 को IP ठेगाना छ। यदि तपाईंले गैर-स्थानीय वातावरणमा Riak र Riak CS चलाउने योजना बनाउनुहुन्छ भने तपाईंले यी परिवर्तन गर्न आवश्यक हुनेछ। 127.0.0.1 लाई Riak होस्ट IP ठेगाना र पोर्ट 8087 लाई उपयुक्त ठेगानासँग बदल्नुहोस्।

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

ADVANCED.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

APP.CONFIG

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

नोट:riak.conf (वा advanced.conf/app.config मा pb प्यारामिटरको मान) फाइलमा listener.protobuf.internal प्यारामिटरको मान Riak CS riak-cs.config मा riak_host का मानहरूसँग मिल्नुपर्छ र Stanchion stanchion.conf (वा riak_host क्रमशः उन्नत .config/app.config) फाइलहरू।

पोर्ट नम्बर बारे एक नोट
यदि पोर्ट अर्को एप्लिकेसनले प्रयोग गरेको पोर्टसँग बाझिन्छ वा यदि तपाइँ लोड ब्यालेन्सर वा प्रोक्सी सर्भर प्रयोग गर्दै हुनुहुन्छ भने फरक पोर्ट नम्बर आवश्यक हुन सक्छ।

यो पनि सिफारिस गरिन्छ कि प्रयोगकर्ताहरूले Riak protobuf.backlog आकार (वा advanced.config/app.config फाइलहरूमा यो pb_backlog हो) riak-cs मा Riak CS को लागि निर्दिष्ट गरिएको pool.request.size भन्दा बराबर वा ठूलो छ भनेर सुनिश्चित गर्न सिफारिस गरिन्छ। config (वा request_pool_size मा advanced.config/ app.conf फाइलहरू)।

यदि Riak CS मा pool.request.size को मान परिवर्तन गरिएको छ भने, protobuf.backlog को मान पनि Riak मा अद्यावधिक गर्नुपर्छ।

अन्य Riak सेटिङहरू

riak.conf र advanced.config फाइलहरूले लग फाइलहरूको सिर्जना कन्फिगर गर्ने र तिनीहरू कहाँ सुरक्षित हुन्छन् भन्ने अन्य सेटिङहरू समावेश गर्दछ। यी सेटिङहरू पूर्वनिर्धारित मानहरू छन् र धेरै अवस्थामा काम गर्नुपर्छ। थप जानकारीको लागि, हामी कन्फिगरेसन फाइलहरूको बारेमा हाम्रो कागजातहरू पढ्न सिफारिस गर्छौं।

Riak को लागि IP ठेगाना सेट अप गर्दै

रियाकको लागि आईपी ठेगाना सेटअप गर्दा, तपाइँ निश्चित हुनुपर्दछ कि रियाक नोडहरूमा एक अद्वितीय आईपी ठेगाना छ, चाहे तपाइँ केवल एउटा नोडसँग काम गर्दै हुनुहुन्छ वा प्रणालीमा थप नोडहरू थप्दै हुनुहुन्छ। Riak IP ठेगाना riak.conf मा समावेश छ वा - यदि तपाइँ app.config फाइल प्रयोग गर्दै हुनुहुन्छ - vm.args कन्फिगरेसन फाइलमा, जुन त्यहाँ /etc/riak डाइरेक्टरी (वा /opt/riak/etc/) मा अवस्थित छ। अन्य अपरेटिङ सिस्टमहरूमा)।

प्रारम्भमा, रियाक आईपी ठेगाना समावेश भएको रेखाले यस स्थानमा स्थानीयहोस्टलाई संकेत गर्छ:

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

127.0.0.1 लाई आफ्नो मनपर्ने IP ठेगाना वा Riak नोडको होस्टनामसँग बदल्नुहोस्।

प्रदर्शन र ब्यान्डविथ सेटिङहरू

कार्यसम्पादन कारणहरूका लागि, हामी /etc/riak/ वा /opt/riak/etc डाइरेक्टरीमा अवस्थित रियाक कन्फिगरेसन फाइलहरू riak.conf वा vm.args मा मानहरू थप्न सिफारिस गर्छौं।

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce असक्षम गर्दै

Riak CS को कुनै पनि संस्करणको साथ लिगेसी JavaScript MapReduce प्रयोग नगर्न सिफारिस गरिन्छ। कार्यसम्पादन कारणहरूका लागि, तपाईंले riak.conf कन्फिगरेसन फाइलमा, वा advanced.conf वा app.config को riak_kv खण्डमा सेट गरेर JavaScript MapReduce सञ्चालन गर्ने भर्चुअल मेसिनलाई असक्षम गर्नुपर्छ:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

ADVANCED.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

APP.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

अर्को हामीले Riak CS प्रणालीको बाँकी घटकहरू कन्फिगर गर्न आवश्यक छ।

मूल म्यानुअल।

स्रोत: www.habr.com