Riak क्लाउड स्टोरेज. भाग 1: Riak KV सेट करणे

Riak CS (क्लाउड स्टोरेज) - Riak KV वर चालणारे ऑब्जेक्ट स्टोरेज आयोजित करण्यासाठी वापरण्यास सोपे सॉफ्टवेअर. Riak (KV) एक वितरित NoSQL की-व्हॅल्यू डेटाबेस आहे. Riak CS ची रचना साधेपणा, उपलब्धता, कोणत्याही स्केलच्या क्लाउड स्टोरेजचे वितरण प्रदान करण्यासाठी केली गेली आहे आणि क्लाउड आर्किटेक्चर तयार करण्यासाठी वापरली जाऊ शकते - सार्वजनिक आणि खाजगी दोन्ही - किंवा उच्च लोड केलेले अनुप्रयोग आणि सेवांसाठी पायाभूत सुविधा स्टोरेज म्हणून. Riak CS API Amazon S3 शी सुसंगत आहे आणि विविध परिस्थितींवरील अहवाल प्राप्त करण्याच्या क्षमतेस समर्थन देते.

हा लेख Riak CS सिस्टम आवृत्ती २.१.१ साठी अधिकृत मॅन्युअलचा विनामूल्य अनुवाद आहे

Riak CS स्टोरेज सिस्टीममध्ये, तीन घटक एकमेकांच्या संयोगाने कार्य करतात, याचा अर्थ प्रत्येक घटक इतर घटकांसह कार्य करण्यासाठी कॉन्फिगर केलेला असणे आवश्यक आहे:

• रियाक (केव्ही) - एक डेटाबेस सिस्टम जी एंड सिस्टम म्हणून कार्य करते.
• रियाक सीएस - Riak वर एक क्लाउड स्टोरेज स्तर जो स्टोरेज आणि API क्षमता प्रदान करतो, Riak मध्ये फाइल्स आणि मेटाडेटा संग्रहित करतो आणि नंतर अंतिम वापरकर्त्यांना वितरित करतो.
• स्टॅंचिओन - रियाक उदाहरणातील बकेट्स आणि वापरकर्त्यांसारख्या जागतिक स्तरावर अद्वितीय संस्थांचा समावेश असलेल्या क्वेरी व्यवस्थापित करते. उदाहरणार्थ, वापरकर्ते तयार करणे, बकेट तयार करणे किंवा हटवणे.

याव्यतिरिक्त, तुम्ही Riak CS सिस्टीमसह मेसेजिंगमध्ये वापरण्यासाठी S3 क्लायंट देखील कॉन्फिगर करू शकता.

तुम्ही तुमच्या सिस्टीमवर प्रत्येक Riak CS नोडसाठी एक Riak नोड असण्याची योजना आखली पाहिजे. Riak आणि Riak CS नोड वेगवेगळ्या भौतिक मशीनवर चालवता येतात, परंतु बहुतेक प्रकरणांमध्ये एकाच भौतिक मशीनवर एक Riak नोड आणि एक Riak CS नोड चालवणे श्रेयस्कर आहे. एका भौतिक मशीनमध्ये Riak आणि Riak CS दोन्ही नोड्सच्या गरजा पूर्ण करण्यासाठी पुरेशी शक्ती आहे असे गृहीत धरून, नेटवर्क लेटन्सी कमी झाल्यामुळे तुम्हाला सामान्यतः चांगली कामगिरी दिसेल.

तुमच्‍या सिस्‍टममध्‍ये अनेक नोडस् असल्‍यास, कॉन्फिगरेशन हे प्रामुख्याने घटकांमध्‍ये संप्रेषण सेट करण्‍याबद्दल असते. इतर सेटिंग्ज, जसे की लॉग फाइल्स कोठे संग्रहित केल्या जातील, त्यांची डीफॉल्ट मूल्ये आहेत आणि जर तुम्हाला गैर-मानक मूल्ये वापरायची असतील तरच ती बदलणे आवश्यक आहे.

सिस्टम घटक सेट अप करत आहे. CS साठी Riak KV सेट करत आहे

रियाक सीएस हे रियाकच्या वर तयार केलेले अॅप्लिकेशन असल्याने, रियाक सीएस चालवताना तुमच्या रियाक कॉन्फिगरेशनकडे लक्ष देणे खूप महत्त्वाचे आहे. हा दस्तऐवज Riak कॉन्फिगरेशन मार्गदर्शक आणि महत्त्वाच्या कॉन्फिगरेशन पॅरामीटर्सचे वर्णन करणारा संदर्भ दस्तऐवज दोन्ही आहे.

सेटअप करण्यापूर्वी, तुमच्या क्लस्टरमधील प्रत्येक नोडवर Riak KV आणि Riak CS स्थापित असल्याची खात्री करा. दुसरीकडे, स्टॅन्चियन संपूर्ण क्लस्टरमध्ये केवळ एका नोडवर स्थापित केले जावे.

Riak CS साठी बॅकएंड

Riak द्वारे वापरलेले डीफॉल्ट बॅकएंड बिटकास्क आहे, परंतु Riak CS पॅकेजमध्ये एक विशेष बॅकएंड समाविष्ट आहे जो Riak CS प्रणालीचा भाग असलेल्या Riak क्लस्टरद्वारे वापरला जाणे आवश्यक आहे. नियमित आवृत्तीमध्ये मानक मल्टी बॅकएंड आहे जो रियाकसह येतो.

Riak CS मध्ये वापरलेले समान Riak buckets दुय्यम निर्देशांक वापरतात, ज्यांना आता LevelDB बॅकएंड आवश्यक आहे. Riak CS प्रणालीच्या इतर भागांना Bticask बॅकएंड वापरून फायदा होऊ शकतो. कार्यप्रदर्शन आणि कार्यक्षमतेचा उत्कृष्ट संयोजन प्राप्त करण्यासाठी या दोन्ही बॅकएंडचा लाभ घेण्यासाठी नमुना मल्टी बॅकएंडचा वापर Riak CS मध्ये समाविष्ट केला आहे. पुढील विभागात हे मल्टी-बॅकएंड वापरण्यासाठी Riak योग्यरित्या कॉन्फिगर कसे करायचे याचे वर्णन केले आहे.

बॅकएंड रियाक डेटा जतन करण्यासाठी वापरेल. Riak KV च्या शस्त्रागारात अनेक बॅकएंड आहेत: बिटकास्क, लेव्हलडीबी, मेमरी आणि मल्टी.

याव्यतिरिक्त, स्टोरेज कॅल्क्युलेशन सिस्टीम फायली बकेटमध्ये एकत्रित करण्यासाठी Riak MapReduse वापरते. याचा अर्थ असा की तुम्ही सर्व रियाक नोड्सना सांगणे आवश्यक आहे की तयार केलेल्या रियाक सीएस फाइल्स कोठे शोधायच्या आहेत स्टोरेजची गणना करण्यापूर्वी.

Riak CS प्रणालीचा भाग म्हणून Riak नोड कॉन्फिगर करण्यासाठी इतर अनेक पॅरामीटर्स बदलणे आवश्यक आहे, जसे की IP पत्ता आणि IP पत्ता आणि प्रोटोकॉल बफरद्वारे संदेश पाठवण्यासाठी पोर्ट. आवश्यक असल्यास इतर सेटिंग्ज बदलल्या जाऊ शकतात. Riak CS प्रणालीचा भाग म्हणून ऑपरेट करण्यासाठी Riak नोड कसे कॉन्फिगर करावे याचे खालील विभाग वर्णन करतात.

Riak बॅकएंड सेट करत आहे

प्रथम, riak.conf किंवा advanced.config/app.config कॉन्फिगरेशन फाइल्स संपादित केल्या जातात. या फाइल्स /etc/riak किंवा /opt/riak/etc डिरेक्टरीमध्ये स्थित असू शकतात. डीफॉल्टनुसार, रियाक बिटकास्क बॅकएंड वापरतो. खालील ओळ काढून कॉन्फिगरेशन फाइल बदलणे आवश्यक आहे:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

ADVANCED.CONFIG

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

APP.CONFIG

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

पुढे, आम्हाला Riak साठी RiakCS मॉड्युल्सची गरज दाखवायची आहे आणि Riak CS प्रदान करणारा कॉन्फिगर केलेला बॅकएंड वापरण्याची सूचना रियाकला करायची आहे. यासाठी Advanced.config किंवा app.config फाईल वापरणे आवश्यक आहे आणि खालील पर्याय जोडणे आवश्यक आहे:

ADVANCED.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

APP.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

हे लक्षात घेणे फार महत्वाचे आहे की यापैकी बरीच मूल्ये तुमच्या ऑपरेटिंग सिस्टमच्या निर्देशिकेतील फरकांवर अवलंबून असतील, त्यामुळे त्यानुसार सूचनांचे अनुसरण करा. उदाहरणार्थ, add_paths पर्याय असे गृहीत धरतो की Riak CS /usr/lib/riak-cs मध्ये स्थापित केले आहे, तर data_root पर्याय गृहीत धरतात की Riak /var/lib मध्ये स्थापित केले आहे. (टीप: माझ्या बाबतीत ते add_paths होते - /usr/lib64/riak-cs/).

हे कॉन्फिगरेशन असे गृहीत धरते की Riak CS हे Riak सारख्याच मशीनवर स्थापित केले आहे. नसल्यास, पॅकेज वेगळ्या होस्टवर कॉपी करणे आवश्यक आहे.

भावंड निर्मिती सेट करणे

आता, आम्हाला allow_mult पॅरामीटर सत्य वर सेट करणे आवश्यक आहे. आम्ही riak.conf कॉन्फिगरेशन फाईलमध्ये एक ओळ किंवा advanced.config किंवा app.config मध्ये riak_core विभाग जोडू शकतो.

RIAK.CONF

buckets.default.allow_mult = true

ADVANCED.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

APP.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

हे रियाकला रियाक सीएस कार्य करण्यासाठी आवश्यक असलेली भावंड तयार करण्यास अनुमती देईल. तुम्ही क्लायंट लायब्ररी वापरून Riak CS शी कनेक्ट केल्यास, काळजी करू नका: तुम्हाला विवाद सोडवावे लागणार नाहीत, कारण सर्व Riak CS ऑपरेशन्स परिभाषित केल्याप्रमाणे काटेकोरपणे सुसंगत आहेत.

भावंड एका की मध्ये अनेक ऑब्जेक्ट्स संचयित करण्याचा एक मार्ग आहे जेणेकरून ऑब्जेक्टची वेगवेगळ्या नोड्सवर भिन्न मूल्ये असतील.

टीप: allow_mult
Riak CS ला देखील समर्थन देणारे कोणतेही Riak नोड नेहमी अनुमत_mult सत्य वर सेट केलेले असेल. मूल्य असत्य असल्यास Riak CS लाँच रीसेट करेल.

होस्टनाव आणि IP पत्ता सेट करत आहे

प्रत्येक रियाक नोडला एक नाव असते, जे riak.conf मधील नोडनेम पर्यायामध्ये नमूद केले जाऊ शकते. तुम्ही app.config कॉन्फिगरेशन फाइल वापरत असल्यास, तुम्हाला app.config सारख्या डिरेक्टरीमध्ये vm.args नावाची फाइल तयार करावी लागेल आणि -name फ्लॅग वापरून होस्टचे नाव निर्दिष्ट करावे लागेल. आम्ही @ स्वरूपात नोड नावे निर्दिष्ट करण्याची शिफारस करतो. आणि म्हणून जर तुमच्याकडे एका होस्ट 100.0.0.1 वर तीन नोड चालू असतील तर तुम्ही त्यांना कॉल करू शकता [ईमेल संरक्षित], [ईमेल संरक्षित]आणि [ईमेल संरक्षित] किंवा तुम्ही अधिक विशिष्ट नावे देऊ शकता, जसे की [ईमेल संरक्षित], [ईमेल संरक्षित] आणि असेच. खालील उदाहरण यजमानाचे नाव बदलून दाखवते [ईमेल संरक्षित], जे लोकलहोस्टवर चालेल.

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

तुम्ही सर्व नोड्स सुरू करण्यापूर्वी आणि क्लस्टरमध्ये सामील होण्यापूर्वी त्यांना नाव देणे आवश्यक आहे.

सेटअप चाचणी

आता सर्व आवश्यक नोड सेटिंग्ज पूर्ण झाल्या आहेत, आम्ही Riak लाँच करण्याचा प्रयत्न करू शकतो:

शेल

 riak start 

नोंद माझ्या बाबतीत उत्तरः

येथे आपल्याला थोडी प्रतीक्षा करावी लागेल. मग तुम्ही चालू नोडची चाचणी सुरू करू शकता.

शेल

 riak ping

जर प्रतिसाद पॉंग असेल तर रियाक चालू आहे; जर प्रतिसाद नोड पिंगला प्रतिसाद देत नसेल तर काहीतरी चूक झाली आहे.

नोंद माझ्या बाबतीत उत्तरः

नोड योग्यरितीने सुरू न झाल्यास, समस्या ओळखता येत असल्यास नोडच्या /log निर्देशिकेतील erlang.log.1 लॉग पहा. सर्वात सामान्य त्रुटींपैकी एक म्हणजे invalid_storage_backend. जो Advanced.config किंवा app.config मधील Riak CS लायब्ररीचा मार्ग चुकीचा असल्याचे सूचित करतो (किंवा Riak CS सर्व्हरवर स्थापित केलेला नाही). ही त्रुटी असूनही, तुम्ही riak_cs_kv_multi_backend वरून riak_kv_multi_backend मध्ये बदलले नसल्याचे सुनिश्चित करा.

प्रोटोकॉल बफर वापरण्यासाठी Riak कॉन्फिगर करत आहे

Riak प्रोटोकॉल बफर सेटिंग्ज riak.conf मध्ये किंवा riak_api विभागात advanced.config किंवा app.config फाइल्समध्ये स्थित आहेत, जे /etc/riak/ निर्देशिकेत आहेत. डीफॉल्टनुसार, होस्टकडे 127.0.0.1 आणि पोर्ट 8087 चा IP पत्ता आहे. जर तुम्ही स्थानिक नसलेल्या वातावरणात Riak आणि Riak CS चालवण्याची योजना आखत असाल तर तुम्हाला ते बदलावे लागतील. 127.0.0.1 रियाक होस्ट आयपी पत्त्याने आणि पोर्ट 8087 योग्य पत्त्याने बदला.

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

ADVANCED.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

APP.CONFIG

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

टीप:riak.conf मधील listener.protobuf.internal पॅरामीटरचे मूल्य (किंवा advanced.conf/app.config मधील pb पॅरामीटरचे मूल्य) Riak CS riak-cs.config मधील riak_host च्या मूल्यांशी जुळले पाहिजे आणि Stanchion stanchion.conf (किंवा प्रगत .config/app.config मध्ये अनुक्रमे riak_host) फायली.

पोर्ट नंबरबद्दल एक टीप
दुसर्‍या ऍप्लिकेशनद्वारे वापरल्या जाणार्‍या पोर्टशी पोर्टचा विरोध असल्यास किंवा तुम्ही लोड बॅलन्सर किंवा प्रॉक्सी सर्व्हर वापरत असल्यास वेगळ्या पोर्ट क्रमांकाची आवश्यकता असू शकते.

वापरकर्त्यांनी Riak protobuf.backlog आकार (किंवा advanced.config/app.config फाइल्समध्ये हा pb_backlog आहे) riak-cs मधील Riak CS साठी निर्दिष्ट केलेल्या pool.request.size पेक्षा समान किंवा जास्त आहे याची खात्री करण्याची शिफारस देखील केली जाते. कॉन्फिगरेशन (किंवा advanced.config/ app.conf फाइल्समध्ये request_pool_size).

Riak CS मधील pool.request.size चे मूल्य बदलले असल्यास, protobuf.backlog चे मूल्य देखील Riak मध्ये अपडेट केले जाणे आवश्यक आहे.

इतर Riak सेटिंग्ज

riak.conf आणि advanced.config फाइल्समध्ये इतर सेटिंग्ज समाविष्ट आहेत जी लॉग फाइल्सची निर्मिती आणि त्या कुठे सेव्ह केल्या आहेत हे कॉन्फिगर करतात. या सेटिंग्जमध्ये डीफॉल्ट मूल्ये आहेत आणि बहुतेक प्रकरणांमध्ये कार्य करतात. अधिक माहितीसाठी, आम्ही कॉन्फिगरेशन फाइल्सबद्दल आमचे दस्तऐवज वाचण्याची शिफारस करतो.

Riak साठी IP पत्ता सेट करत आहे

रियाकसाठी आयपी अॅड्रेस सेट करताना, तुम्‍हाला खात्री असणे आवश्‍यक आहे की रियाक नोडस्चा एक अद्वितीय IP पत्ता आहे, तुम्ही फक्त एका नोडसह काम करत असाल किंवा सिस्टीममध्ये आणखी नोड जोडत असाल. Riak IP पत्ता riak.conf मध्ये समाविष्ट आहे किंवा - जर तुम्ही app.config फाइल वापरत असाल तर - vm.args कॉन्फिगरेशन फाइलमध्ये, जी तेथे /etc/riak निर्देशिकेत आहे (किंवा /opt/riak/etc/) इतर ऑपरेटिंग सिस्टमवर).

सुरुवातीला, Riak IP पत्ता असलेली ओळ या स्थानावरील लोकलहोस्टकडे निर्देश करते:

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

तुमच्या पसंतीच्या IP पत्त्याने किंवा Riak नोडच्या होस्टनावाने 127.0.0.1 बदला.

कार्यप्रदर्शन आणि बँडविड्थ सेटिंग्ज

कार्यक्षमतेच्या कारणास्तव, आम्ही /etc/riak/ किंवा /opt/riak/etc निर्देशिकेत असलेल्या Riak कॉन्फिगरेशन फाइल्स riak.conf किंवा vm.args मध्ये मूल्ये जोडण्याची जोरदार शिफारस करतो.

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce अक्षम करत आहे

Riak CS च्या कोणत्याही आवृत्तीसह लेगसी JavaScript MapReduce न वापरण्याची शिफारस केली जाते. कार्यक्षमतेच्या कारणास्तव, तुम्ही riak.conf कॉन्फिगरेशन फाइलमध्ये किंवा advanced.conf किंवा app.config च्या riak_kv विभागात सेट करून JavaScript MapReduce ऑपरेशन्स करणारी आभासी मशीन अक्षम केली पाहिजे:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

ADVANCED.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

APP.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

पुढे आपल्याला Riak CS प्रणालीचे उर्वरित घटक कॉन्फिगर करावे लागतील.

मूळ मॅन्युअल.

स्त्रोत: www.habr.com