রিয়াক ক্লাউড স্টোরেজ। পার্ট 1: Riak KV সেট আপ করা

রিয়াক সিএস (ক্লাউড স্টোরেজ) - Riak KV এর উপরে চলমান অবজেক্ট স্টোরেজ সংগঠিত করার জন্য সহজে ব্যবহারযোগ্য সফ্টওয়্যার। Riak (KV) একটি বিতরণ করা NoSQL কী-মান ডাটাবেস। Riak CS-কে সরলতা, প্রাপ্যতা, যেকোনো স্কেলের ক্লাউড স্টোরেজের বিতরণের জন্য ডিজাইন করা হয়েছে এবং ক্লাউড আর্কিটেকচার তৈরি করতে ব্যবহার করা যেতে পারে - পাবলিক এবং প্রাইভেট উভয়ই - বা অত্যন্ত লোড করা অ্যাপ্লিকেশন এবং পরিষেবাগুলির জন্য অবকাঠামো স্টোরেজ হিসাবে। Riak CS API Amazon S3 এর সাথে সামঞ্জস্যপূর্ণ এবং বিভিন্ন পরিস্থিতিতে রিপোর্ট পাওয়ার ক্ষমতা সমর্থন করে।

এই নিবন্ধটি Riak CS সিস্টেম সংস্করণ 2.1.1 এর জন্য অফিসিয়াল ম্যানুয়ালটির একটি বিনামূল্যে অনুবাদ

রিয়াক সিএস স্টোরেজ সিস্টেমে, তিনটি উপাদান একে অপরের সাথে একত্রে কাজ করে, যার মানে প্রতিটি উপাদানকে অন্য উপাদানগুলির সাথে কাজ করার জন্য কনফিগার করা আবশ্যক:

• রিয়াক (কেভি) - একটি ডাটাবেস সিস্টেম যা শেষ সিস্টেম হিসাবে কাজ করে।
• রিয়াক সিএস - রিয়াকের উপরে একটি ক্লাউড স্টোরেজ স্তর যা স্টোরেজ এবং API ক্ষমতা প্রদান করে, রিয়াকে ফাইল এবং মেটাডেটা সঞ্চয় করে এবং তারপরে শেষ ব্যবহারকারীদের কাছে বিতরণ করে।
• স্ট্যাঞ্চিয়ন - রিয়াক দৃষ্টান্তে বালতি এবং ব্যবহারকারীদের মতো বিশ্বব্যাপী অনন্য সত্তা জড়িত প্রশ্নগুলি পরিচালনা করে। উদাহরণস্বরূপ, ব্যবহারকারী তৈরি করা, বালতি তৈরি করা বা মুছে ফেলা।

উপরন্তু, আপনি Riak CS সিস্টেমের সাথে বার্তা পাঠানোর জন্য S3 ক্লায়েন্ট কনফিগার করতে পারেন।

আপনার সিস্টেমে প্রতিটি Riak CS নোডের জন্য একটি Riak নোড রাখার পরিকল্পনা করা উচিত। রিয়াক এবং রিয়াক সিএস নোডগুলি বিভিন্ন ফিজিক্যাল মেশিনে চালানো যেতে পারে, তবে বেশিরভাগ ক্ষেত্রে একই ফিজিক্যাল মেশিনে একটি রিয়াক নোড এবং একটি রিয়াক সিএস নোড চালানো পছন্দনীয়। ধরে নিচ্ছি যে একটি ফিজিক্যাল মেশিনে রিয়াক এবং রিয়াক সিএস নোড উভয়ের চাহিদা পূরণ করার জন্য পর্যাপ্ত শক্তি রয়েছে, আপনি সাধারণত নেটওয়ার্ক লেটেন্সি হ্রাসের কারণে আরও ভাল কর্মক্ষমতা দেখতে পাবেন।

আপনার সিস্টেমে একাধিক নোড থাকলে, কনফিগারেশন মূলত উপাদানগুলির মধ্যে যোগাযোগ স্থাপনের বিষয়ে। অন্যান্য সেটিংস, যেমন লগ ফাইলগুলি কোথায় সংরক্ষণ করা হবে, এর ডিফল্ট মান রয়েছে এবং আপনি যদি অ-মানক মান ব্যবহার করতে চান তবেই পরিবর্তন করতে হবে।

সিস্টেম উপাদান সেট আপ করা হচ্ছে. CS এর জন্য Riak KV সেট আপ করা হচ্ছে

যেহেতু Riak CS হল Riak-এর উপরে নির্মিত একটি অ্যাপ্লিকেশন, তাই Riak CS চালানোর সময় আপনার Riak কনফিগারেশনে মনোযোগ দেওয়া খুবই গুরুত্বপূর্ণ। এই নথিটি একটি Riak কনফিগারেশন গাইড এবং গুরুত্বপূর্ণ কনফিগারেশন পরামিতি বর্ণনাকারী একটি রেফারেন্স নথি উভয়ই।

সেটআপ করার আগে, নিশ্চিত করুন যে আপনার ক্লাস্টারের প্রতিটি নোডে Riak KV এবং Riak CS ইনস্টল করা আছে। অন্যদিকে, স্ট্যাঞ্চিয়ন পুরো ক্লাস্টারে শুধুমাত্র একটি নোডে ইনস্টল করা উচিত।

রিয়াক সিএসের জন্য ব্যাকএন্ড

Riak দ্বারা ব্যবহৃত ডিফল্ট ব্যাকএন্ড হল Bitcask, কিন্তু Riak CS প্যাকেজে একটি বিশেষ ব্যাকএন্ড রয়েছে যা Riak CS সিস্টেমের অংশ রিয়াক ক্লাস্টার দ্বারা ব্যবহার করা আবশ্যক। নিয়মিত সংস্করণে স্ট্যান্ডার্ড মাল্টি ব্যাকএন্ড রয়েছে যা রিয়াকের সাথে আসে।

Riak CS এর ভিতরে ব্যবহৃত একই Riak buckets সেকেন্ডারি ইনডেক্স ব্যবহার করে, যার জন্য এখন LevelDB ব্যাকএন্ড প্রয়োজন। রিয়াক সিএস সিস্টেমের অন্যান্য অংশগুলি বিটিকাস্ক ব্যাকএন্ড ব্যবহার করে উপকৃত হতে পারে। পারফরম্যান্স এবং কার্যকারিতার সর্বোত্তম সমন্বয় অর্জনের জন্য এই দুটি ব্যাকএন্ডের সুবিধা নেওয়ার জন্য একটি নমুনা মাল্টি ব্যাকএন্ডের ব্যবহার Riak CS-এ অন্তর্ভুক্ত করা হয়েছে। পরবর্তী বিভাগে এই মাল্টি-ব্যাকএন্ড ব্যবহার করার জন্য রিয়াককে কীভাবে সঠিকভাবে কনফিগার করতে হয় তা বর্ণনা করে।

ব্যাকএন্ড রিয়াক ডেটা সংরক্ষণ করতে ব্যবহার করবে। Riak KV এর অস্ত্রাগারে বেশ কয়েকটি ব্যাকএন্ড রয়েছে: বিটকাস্ক, লেভেলডিবি, মেমরি এবং মাল্টি।

অতিরিক্তভাবে, স্টোরেজ ক্যালকুলেশন সিস্টেমটি ফাইলগুলিকে বালতিতে একত্রিত করতে Riak MapReduse ব্যবহার করে। এর মানে হল যে কম্পিউটিং স্টোরেজের আগে আপনাকে অবশ্যই সমস্ত Riak নোডকে জানাতে হবে যেখানে প্রস্তুত Riak CS ফাইলগুলি সন্ধান করতে হবে।

Riak CS সিস্টেমের অংশ হিসাবে রিয়াক নোডকে কনফিগার করার জন্য বেশ কিছু অন্যান্য প্যারামিটার পরিবর্তন করতে হবে, যেমন IP ঠিকানা এবং IP ঠিকানা এবং প্রোটোকল বাফারের মাধ্যমে বার্তা পাঠানোর জন্য পোর্ট। প্রয়োজনে অন্যান্য সেটিংস পরিবর্তন করা যেতে পারে। নিম্নলিখিত বিভাগগুলি বর্ণনা করে যে কীভাবে Riak CS সিস্টেমের অংশ হিসাবে কাজ করার জন্য একটি Riak নোড কনফিগার করতে হয়।

Riak ব্যাকএন্ড সেট আপ করা হচ্ছে

প্রথমে, riak.conf বা advanced.config/app.config কনফিগারেশন ফাইলগুলি সম্পাদনা করা হয়। এই ফাইলগুলি /etc/riak বা /opt/riak/etc ডিরেক্টরিতে অবস্থিত হতে পারে। ডিফল্টরূপে, রিয়াক বিটকাস্ক ব্যাকএন্ড ব্যবহার করে। আমাদের প্রথমে যা করতে হবে তা হল নিম্নলিখিত লাইনটি সরিয়ে কনফিগারেশন ফাইলটি পরিবর্তন করা:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

ADVANCED.CONFIG

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

APP.CONFIG

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

এর পরে, আমাদের Riak-এর জন্য RiakCS মডিউলের প্রয়োজনীয়তা প্রদর্শন করতে হবে এবং Riak CS প্রদানকারী কনফিগার করা ব্যাকএন্ড ব্যবহার করতে রিয়াককে নির্দেশ দিতে হবে। আমাদের এটির জন্য advanced.config বা app.config ফাইলটি ব্যবহার করতে হবে এবং নিম্নলিখিত বিকল্পগুলি যোগ করতে হবে:

ADVANCED.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

APP.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

এটা মনে রাখা খুবই গুরুত্বপূর্ণ যে এই মানগুলির অনেকগুলি আপনার অপারেটিং সিস্টেমের জন্য নির্দিষ্ট ডিরেক্টরি বৈচিত্রের উপর নির্ভর করবে, তাই সেই অনুযায়ী নির্দেশাবলী অনুসরণ করুন। উদাহরণস্বরূপ, add_paths বিকল্পটি ধরে নেয় যে Riak CS /usr/lib/riak-cs-এ ইনস্টল করা আছে, যখন data_root বিকল্পগুলি ধরে নেয় যে Riak /var/lib-এ ইনস্টল করা আছে। (দ্রষ্টব্য: আমার ক্ষেত্রে এটি ছিল add_paths - /usr/lib64/riak-cs/)।

এই কনফিগারেশনটি অনুমান করে যে Riak CS একই মেশিনে Riak এর মতো ইনস্টল করা আছে। যদি না হয়, তাহলে প্যাকেজটিকে একটি পৃথক হোস্টে অনুলিপি করতে হবে।

ভাইবোন সৃষ্টি সেট আপ করা

এখন, আমাদের allow_mult প্যারামিটারটিকে সত্যে সেট করতে হবে। আমরা riak.conf কনফিগারেশন ফাইলে একটি লাইন যোগ করতে পারি, অথবা advanced.config বা app.config-এ একটি riak_core বিভাগ যোগ করতে পারি।

RIAK.CONF

buckets.default.allow_mult = true

ADVANCED.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

APP.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

এটি রিয়াককে ভাইবোন তৈরি করার অনুমতি দেবে যা Riak CS এর কাজ করার জন্য প্রয়োজনীয়। আপনি যদি ক্লায়েন্ট লাইব্রেরি ব্যবহার করে Riak CS এর সাথে সংযোগ করেন, চিন্তা করবেন না: আপনাকে দ্বন্দ্ব সমাধান করতে হবে না, যেহেতু সমস্ত Riak CS অপারেশন সংজ্ঞায়িত হিসাবে কঠোরভাবে সামঞ্জস্যপূর্ণ।

ভাইবোন একটি কীতে একাধিক বস্তু সংরক্ষণ করার একটি উপায় যাতে বস্তুর বিভিন্ন নোডে বিভিন্ন মান থাকে।

দ্রষ্টব্য: allow_mult
যেকোন রিয়াক নোড যা Riak CS কে সমর্থন করে তার সব সময়ে allow_mult সেট করা থাকবে। মান মিথ্যা হলে Riak CS লঞ্চ রিসেট করবে।

হোস্টনেম এবং আইপি ঠিকানা সেট করা হচ্ছে

প্রতিটি রিয়াক নোডের একটি নাম রয়েছে, যা riak.conf-এর নোডেনাম বিকল্পে নির্দিষ্ট করা যেতে পারে। আপনি যদি app.config কনফিগারেশন ফাইলটি ব্যবহার করেন, তাহলে আপনাকে app.config-এর মতো একই ডিরেক্টরিতে vm.args নামে একটি ফাইল তৈরি করতে হবে এবং -name পতাকা ব্যবহার করে হোস্টের নাম উল্লেখ করতে হবে। আমরা @ বিন্যাসে নোডের নাম উল্লেখ করার পরামর্শ দিই। এবং তাই যদি আপনার একটি হোস্ট 100.0.0.1 এ চলমান তিনটি নোড থাকে তবে আপনি তাদের কল করতে পারেন [ইমেল সুরক্ষিত], [ইমেল সুরক্ষিত]এবং [ইমেল সুরক্ষিত] অথবা আপনি আরো নির্দিষ্ট নাম দিতে পারেন, যেমন [ইমেল সুরক্ষিত], [ইমেল সুরক্ষিত] এবং তাই নীচের উদাহরণটি হোস্টের নাম পরিবর্তন করে দেখায় [ইমেল সুরক্ষিত], যা লোকালহোস্টে চলবে।

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

সেগুলি শুরু করার এবং ক্লাস্টারে যোগদান করার আগে আপনাকে অবশ্যই সমস্ত নোডের নাম দিতে হবে।

সেটআপ পরীক্ষা

এখন যেহেতু সমস্ত প্রয়োজনীয় নোড সেটিংস সম্পন্ন হয়েছে, আমরা রিয়াক চালু করার চেষ্টা করতে পারি:

শেল

 riak start 

বিঃদ্রঃ আমার ক্ষেত্রে উত্তর:

এখানে আপনাকে একটু অপেক্ষা করতে হবে। তারপর আপনি চলমান নোড পরীক্ষা শুরু করতে পারেন।

শেল

 riak ping

যদি প্রতিক্রিয়া পং হয়, তাহলে রিয়াক চলছে; যদি প্রতিক্রিয়া নোড পিংগুলিতে প্রতিক্রিয়া না জানায়, তাহলে কিছু ভুল হয়েছে।

বিঃদ্রঃ আমার ক্ষেত্রে উত্তর:

নোডটি সঠিকভাবে শুরু না হলে, নোডের /log ডিরেক্টরিতে erlang.log.1 লগটি দেখুন যদি সমস্যাটি সনাক্ত করা যায়। সবচেয়ে সাধারণ ত্রুটিগুলির মধ্যে একটি হল invalid_storage_backend। যা নির্দেশ করে যে Advanced.config বা app.config-এ Riak CS লাইব্রেরির পথটি ভুল (বা Riak CS সার্ভারে ইনস্টল করা নেই)। এই ত্রুটি সত্ত্বেও, নিশ্চিত করুন যে আপনি riak_cs_kv_multi_backend থেকে riak_kv_multi_backend এ পরিবর্তন করেননি।

প্রোটোকল বাফার ব্যবহার করতে Riak কনফিগার করা হচ্ছে

Riak প্রোটোকল বাফার সেটিংস riak.conf-এ বা riak_api বিভাগে অগ্রসর.config বা app.config ফাইলগুলির মধ্যে অবস্থিত, যা /etc/riak/ ডিরেক্টরিতে অবস্থিত। ডিফল্টরূপে, হোস্টের একটি আইপি ঠিকানা রয়েছে 127.0.0.1 এবং পোর্ট 8087৷ আপনি যদি একটি অ-স্থানীয় পরিবেশে রিয়াক এবং রিয়াক সিএস চালানোর পরিকল্পনা করেন তবে আপনাকে এগুলি পরিবর্তন করতে হবে৷ 127.0.0.1 রিয়াক হোস্ট আইপি অ্যাড্রেস এবং পোর্ট 8087 একটি উপযুক্ত একটি দিয়ে প্রতিস্থাপন করুন।

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

ADVANCED.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

APP.CONFIG

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

দ্রষ্টব্য:riak.conf-এ listener.protobuf.internal প্যারামিটারের মান (অথবা advanced.conf/app.config-এ pb প্যারামিটারের মান) অবশ্যই Riak CS riak-cs.config-এ riak_host-এর মানগুলির সাথে মিলতে হবে এবং Stanchion stanchion.conf (অথবা riak_host যথাক্রমে উন্নত .config/app.config) ফাইল।

পোর্ট নম্বর সম্পর্কে একটি নোট
যদি অন্য অ্যাপ্লিকেশন দ্বারা ব্যবহৃত পোর্টের সাথে পোর্টের বিরোধ বা আপনি লোড ব্যালেন্সার বা প্রক্সি সার্ভার ব্যবহার করেন তবে একটি ভিন্ন পোর্ট নম্বরের প্রয়োজন হতে পারে।

এটিও সুপারিশ করা হয় যে ব্যবহারকারীরা নিশ্চিত করুন যে Riak protobuf.backlog সাইজ (অথবা advanced.config/app.config ফাইলে এটি pb_backlog) রিয়াক-সিএস-এ Riak CS-এর জন্য নির্দিষ্ট করা pool.request.size-এর সমান বা বেশি। config (বা advanced.config/ app.conf ফাইলে request_pool_size)।

যদি Riak CS-এ pool.request.size-এর মান পরিবর্তন করা হয়, তাহলে protobuf.backlog-এর মানও Riak-এ আপডেট করতে হবে।

অন্যান্য Riak সেটিংস

riak.conf এবং advanced.config ফাইলগুলির মধ্যে অন্যান্য সেটিংস অন্তর্ভুক্ত রয়েছে যা লগ ফাইল তৈরি করতে কনফিগার করে এবং সেগুলি কোথায় সংরক্ষণ করা হয়। এই সেটিংসের ডিফল্ট মান রয়েছে এবং বেশিরভাগ ক্ষেত্রেই কাজ করা উচিত। আরও তথ্যের জন্য, আমরা কনফিগারেশন ফাইল সম্পর্কে আমাদের ডকুমেন্টেশন পড়ার পরামর্শ দিই।

রিয়াকের জন্য একটি আইপি ঠিকানা সেট আপ করা হচ্ছে

রিয়াকের জন্য একটি আইপি ঠিকানা সেট আপ করার সময়, আপনাকে অবশ্যই নিশ্চিত হতে হবে যে রিয়াক নোডগুলির একটি অনন্য আইপি ঠিকানা রয়েছে, আপনি কেবল একটি নোডের সাথে কাজ করছেন বা সিস্টেমে আরও নোড যুক্ত করছেন কিনা। Riak IP ঠিকানাটি riak.conf-এ থাকে বা - আপনি যদি app.config ফাইলটি ব্যবহার করেন - vm.args কনফিগারেশন ফাইলে, যা সেখানে /etc/riak ডিরেক্টরিতে অবস্থিত (বা /opt/riak/etc/) অন্যান্য অপারেটিং সিস্টেমে)।

প্রাথমিকভাবে, রিয়াক আইপি ঠিকানা ধারণকারী লাইনটি এই অবস্থানের লোকালহোস্টকে নির্দেশ করে:

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

আপনার পছন্দের IP ঠিকানা বা Riak নোডের হোস্টনাম দিয়ে 127.0.0.1 প্রতিস্থাপন করুন।

কর্মক্ষমতা এবং ব্যান্ডউইথ সেটিংস

পারফরম্যান্সের কারণে, আমরা দৃঢ়ভাবে রিয়াক কনফিগারেশন ফাইল riak.conf বা vm.args-এ মান যোগ করার সুপারিশ করছি, যা /etc/riak/ বা /opt/riak/etc ডিরেক্টরিতে অবস্থিত।

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce নিষ্ক্রিয় করা হচ্ছে

Riak CS-এর কোনো সংস্করণের সাথে লিগ্যাসি JavaScript MapReduce ব্যবহার না করার পরামর্শ দেওয়া হচ্ছে। পারফরম্যান্সের কারণে, আপনার riak.conf কনফিগারেশন ফাইলে, অথবা advanced.conf বা app.config-এর riak_kv বিভাগে সেট করে JavaScript MapReduce অপারেশন সম্পাদনকারী ভার্চুয়াল মেশিনটি নিষ্ক্রিয় করা উচিত:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

ADVANCED.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

APP.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

পরবর্তীতে আমাদের রিয়াক সিএস সিস্টেমের অবশিষ্ট উপাদানগুলি কনফিগার করতে হবে।

মূল ম্যানুয়াল।

উত্স: www.habr.com