Riak Cloud Storage. ნაწილი 1: Riak KV-ის დაყენება

Riak CS (Cloud Storage) – ადვილად გამოსაყენებელი პროგრამული უზრუნველყოფა ობიექტების შენახვის ორგანიზებისთვის, რომელიც მუშაობს Riak KV-ზე. Riak (KV) არის განაწილებული NoSQL გასაღები-მნიშვნელობის მონაცემთა ბაზა. Riak CS შექმნილია ნებისმიერი მასშტაბის ღრუბლოვანი საცავის სიმარტივის, ხელმისაწვდომობის, განაწილების უზრუნველსაყოფად და შეიძლება გამოყენებულ იქნას ღრუბლოვანი არქიტექტურის შესაქმნელად - როგორც საჯარო, ისე კერძო - ან როგორც ინფრასტრუქტურის საცავი მაღალი დატვირთული აპლიკაციებისა და სერვისებისთვის. Riak CS API თავსებადია Amazon S3-თან და მხარს უჭერს სხვადასხვა სიტუაციების შესახებ მოხსენებების მიღების შესაძლებლობას.

ეს სტატია არის Riak CS სისტემის 2.1.1 ვერსიის ოფიციალური სახელმძღვანელოს უფასო თარგმანი

Riak CS შენახვის სისტემაში სამი კომპონენტი მუშაობს ერთმანეთთან ერთად, რაც ნიშნავს, რომ თითოეული კომპონენტი უნდა იყოს კონფიგურირებული სხვა კომპონენტებთან მუშაობისთვის:

• Riak (KV) – მონაცემთა ბაზის სისტემა, რომელიც მოქმედებს როგორც საბოლოო სისტემა.
• Riak CS - ღრუბლოვანი საცავის ფენა Riak-ის თავზე, რომელიც უზრუნველყოფს შენახვისა და API შესაძლებლობებს, ინახავს ფაილებსა და მეტამონაცემებს Riak-ში და შემდეგ ანაწილებს მათ საბოლოო მომხმარებლებს.
• სტანჩიონი - მართავს შეკითხვებს, რომლებიც მოიცავს გლობალურად უნიკალურ ერთეულებს, როგორიცაა თაიგულები და მომხმარებლები Riak ინსტანციაში. მაგალითად, მომხმარებლების შექმნა, თაიგულების შექმნა ან წაშლა.

გარდა ამისა, თქვენ ასევე შეგიძლიათ S3 კლიენტის კონფიგურაცია Riak CS სისტემით შეტყობინებებში გამოსაყენებლად.

თქვენ უნდა დაგეგმოთ, რომ გქონდეთ ერთი Riak კვანძი თქვენს სისტემაში თითოეული Riak CS კვანძისთვის. Riak და Riak CS კვანძების გაშვება შესაძლებელია სხვადასხვა ფიზიკურ აპარატზე, მაგრამ უმეტეს შემთხვევაში სასურველია ერთი Riak კვანძის და ერთი Riak CS კვანძის გაშვება იმავე ფიზიკურ მანქანაზე. თუ ვივარაუდებთ, რომ ერთ ფიზიკურ მანქანას აქვს საკმარისი სიმძლავრე Riak და Riak CS კვანძების მოთხოვნილებების დასაკმაყოფილებლად, თქვენ ზოგადად უკეთეს შესრულებას ნახავთ ქსელის შეფერხების შემცირების გამო.

თუ თქვენი სისტემა შედგება რამდენიმე კვანძისგან, კონფიგურაცია, პირველ რიგში, ეხება კომპონენტებს შორის კომუნიკაციის დაყენებას. სხვა პარამეტრებს, როგორიცაა ჟურნალის ფაილების შენახვა, აქვთ ნაგულისხმევი მნიშვნელობები და უნდა შეიცვალოს მხოლოდ იმ შემთხვევაში, თუ გსურთ გამოიყენოთ არასტანდარტული მნიშვნელობები.

სისტემის კომპონენტების დაყენება. Riak KV-ის დაყენება CS-სთვის

ვინაიდან Riak CS არის Riak-ზე აგებული აპლიკაცია, ძალიან მნიშვნელოვანია Riak CS-ის გაშვებისას ყურადღება მიაქციოთ თქვენს Riak კონფიგურაციას. ეს დოკუმენტი არის Riak-ის კონფიგურაციის სახელმძღვანელოც და საცნობარო დოკუმენტი, რომელიც აღწერს კონფიგურაციის მნიშვნელოვან პარამეტრებს.

დაყენებამდე დარწმუნდით, რომ Riak KV და Riak CS დაინსტალირებულია თქვენი კლასტერის ყველა კვანძზე. Stanchion, მეორეს მხრივ, უნდა იყოს დაინსტალირებული მხოლოდ ერთ კვანძზე მთელ კლასტერში.

Backends Riak CS-ისთვის

Riak-ის მიერ გამოყენებული ნაგულისხმევი backend არის Bitcask, მაგრამ Riak CS პაკეტი მოიცავს სპეციალურ ბექენდს, რომელიც უნდა გამოიყენოს Riak კლასტერმა, რომელიც არის Riak CS სისტემის ნაწილი. რეგულარულ ვერსიას აქვს სტანდარტული Multi backend, რომელიც მოყვება Riak-ს.

იგივე Riak თაიგულები, რომლებიც გამოიყენება Riak CS-ში, იყენებენ მეორად ინდექსებს, რომლებიც ახლა საჭიროებენ LevelDB backend-ს. Riak CS სისტემის სხვა ნაწილებს შეუძლიათ ისარგებლონ Bticask backend-ის გამოყენებით. Multi backend-ის ნიმუშის გამოყენება ჩართულია Riak CS-ში, რათა ისარგებლოს ამ ორივე საყრდენით, რათა მიაღწიოთ შესრულებისა და ფუნქციონალურობის საუკეთესო კომბინაციას. შემდეგი განყოფილება აღწერს, თუ როგორ უნდა სწორად დააკონფიგურიროთ Riak ამ Multi-backend-ის გამოსაყენებლად.

Backend არის ის, რასაც Riak გამოიყენებს მონაცემების შესანახად. Riak KV-ს აქვს რამდენიმე backends თავის არსენალში: Bitcask, LevelDB, Memory და Multi.

გარდა ამისა, შენახვის გაანგარიშების სისტემა იყენებს Riak MapReduse-ს ფაილების თაიგულებში შესაკრებად. ეს ნიშნავს, რომ თქვენ უნდა უთხრათ Riak-ის ყველა კვანძს, სად უნდა მოძებნონ მომზადებული Riak CS ფაილები, სანამ გამოთვლით მეხსიერებას.

რამდენიმე სხვა პარამეტრი უნდა შეიცვალოს Riak კვანძის, როგორც Riak CS სისტემის ნაწილის კონფიგურაციისთვის, როგორიცაა IP მისამართი და IP მისამართი და პორტი პროტოკოლის ბუფერების მეშვეობით შეტყობინებებისთვის. საჭიროების შემთხვევაში სხვა პარამეტრები შეიძლება შეიცვალოს. შემდეგი სექციები აღწერს, თუ როგორ უნდა დააკონფიგურიროთ Riak კვანძი, რომ იმუშაოს Riak CS სისტემის ნაწილად.

Riak backend-ის დაყენება

პირველი, riak.conf ან advanced.config/app.config კონფიგურაციის ფაილები რედაქტირდება. ეს ფაილები შეიძლება განთავსდეს /etc/riak ან /opt/riak/etc დირექტორიებში. ნაგულისხმევად, Riak იყენებს Bitcask backend-ს. პირველი რაც უნდა გავაკეთოთ არის კონფიგურაციის ფაილის შეცვლა შემდეგი ხაზის ამოღებით:

RIAK.CONF

## Delete this line:
storage_backend = bitcask

ADVANCED.CONFIG

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

APP.CONFIG

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

შემდეგი, ჩვენ უნდა ვაჩვენოთ RiakCS მოდულების საჭიროება Riak-ისთვის და დავავალოთ Riak-ს გამოიყენოს კონფიგურირებული backend, რომელიც უზრუნველყოფს Riak CS-ს. ამისათვის ჩვენ უნდა გამოვიყენოთ advanced.config ან app.config ფაილი და დავამატოთ შემდეგი პარამეტრები:

ADVANCED.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

APP.CONFIG

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

ძალიან მნიშვნელოვანია აღინიშნოს, რომ ამ მნიშვნელობებიდან ბევრი დამოკიდებული იქნება თქვენი ოპერაციული სისტემის სპეციფიკურ დირექტორიაში არსებულ ვარიაციებზე, ამიტომ მიჰყევით ინსტრუქციებს შესაბამისად. მაგალითად, add_paths ვარიანტი ვარაუდობს, რომ Riak CS დაინსტალირებულია /usr/lib/riak-cs-ში, ხოლო data_root პარამეტრები ვარაუდობს, რომ Riak დაინსტალირებულია /var/lib-ში. (შენიშვნა: ჩემს შემთხვევაში ეს იყო add_paths - /usr/lib64/riak-cs/).

ეს კონფიგურაცია ვარაუდობს, რომ Riak CS დაინსტალირებულია იმავე აპარატზე, როგორც Riak. თუ არა, მაშინ პაკეტი უნდა დაკოპირდეს ცალკე ჰოსტში.

და-ძმის შექმნის დაყენება

ახლა ჩვენ უნდა დავაყენოთ allow_mult პარამეტრი true. ჩვენ შეგვიძლია დავამატოთ ხაზი riak.conf კონფიგურაციის ფაილში, ან riak_core განყოფილება advanced.config ან app.config.

RIAK.CONF

buckets.default.allow_mult = true

ADVANCED.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

APP.CONFIG

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

ეს საშუალებას მისცემს Riak-ს შექმნას და-ძმები, რომლებიც აუცილებელია Riak CS-ის ფუნქციონირებისთვის. თუ თქვენ დაუკავშირდებით Riak CS-ს კლიენტის ბიბლიოთეკის გამოყენებით, არ ინერვიულოთ: თქვენ არ მოგიწევთ კონფლიქტების მოგვარება, რადგან Riak CS-ის ყველა ოპერაცია მკაცრად თანმიმდევრულია, როგორც ეს განსაზღვრულია.

ძმა არის მრავალი ობიექტის ერთ კლავიშში შენახვის საშუალება ისე, რომ ობიექტს ჰქონდეს განსხვავებული მნიშვნელობები სხვადასხვა კვანძზე.

შენიშვნა: allow_mult
ნებისმიერ Riak კვანძს, რომელიც ასევე მხარს უჭერს Riak CS-ს, ყოველთვის ექნება allow_mult დაყენებული true-ზე. Riak CS აღადგენს გაშვებას, თუ მნიშვნელობა არასწორია.

ჰოსტის სახელის და IP მისამართის დაყენება

თითოეულ Riak კვანძს აქვს სახელი, რომელიც შეიძლება მითითებული იყოს nodename ოფციაში riak.conf. თუ თქვენ იყენებთ app.config კონფიგურაციის ფაილს, თქვენ უნდა შექმნათ ფაილი სახელწოდებით vm.args იმავე დირექტორიაში, როგორც app.config და მიუთითოთ ჰოსტის სახელი -name დროშის გამოყენებით. ჩვენ გირჩევთ მიუთითოთ კვანძების სახელები @ ფორმატში. ასე რომ, თუ თქვენ გაქვთ სამი კვანძი, რომელიც მუშაობს ერთ ჰოსტზე 100.0.0.1, შეგიძლიათ დარეკოთ მათ [ელ.ფოსტით დაცულია], [ელ.ფოსტით დაცულია]და [ელ.ფოსტით დაცულია] ან შეგიძლიათ დაასახელოთ უფრო კონკრეტული სახელები, მაგ [ელ.ფოსტით დაცულია], [ელ.ფოსტით დაცულია] და ასე შემდეგ. ქვემოთ მოყვანილი მაგალითი გვიჩვენებს ჰოსტის სახელის შეცვლას [ელ.ფოსტით დაცულია], რომელიც იმუშავებს localhost-ზე.

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

თქვენ უნდა დაასახელოთ ყველა კვანძი მათ დაწყებამდე და კლასტერთან შეერთებამდე.

დაყენების ტესტი

ახლა, როდესაც კვანძის ყველა საჭირო პარამეტრი დასრულებულია, შეგვიძლია ვცადოთ Riak-ის გაშვება:

SHELL

 riak start 

შენიშვნა პასუხი ჩემს შემთხვევაში:

აქ თქვენ უნდა დაელოდოთ ცოტა. შემდეგ შეგიძლიათ დაიწყოთ გაშვებული კვანძის ტესტირება.

SHELL

 riak ping

თუ პასუხი არის პონგი, მაშინ Riak გაშვებულია; თუ პასუხი არის Node არ პასუხობს პინგებს, მაშინ რაღაც შეფერხდა.

შენიშვნა პასუხი ჩემს შემთხვევაში:

თუ კვანძი სწორად არ დაიწყო, გადახედეთ erlang.log.1 ჟურნალს კვანძის /log დირექტორიაში, თუ პრობლემის იდენტიფიცირება შესაძლებელია. ერთ-ერთი ყველაზე გავრცელებული შეცდომაა invalid_storage_backend. რაც მიუთითებს იმაზე, რომ Riak CS ბიბლიოთეკისკენ მიმავალი გზა advanced.config-ში ან app.config-ში არასწორია (ან Riak CS არ არის დაინსტალირებული სერვერზე). მიუხედავად ამ შეცდომისა, დარწმუნდით, რომ არ შეცვლილხართ riak_cs_kv_multi_backend-დან riak_kv_multi_backend-ზე.

Riak-ის კონფიგურაცია პროტოკოლის ბუფერების გამოსაყენებლად

Riak პროტოკოლის ბუფერული პარამეტრები განლაგებულია riak.conf-ში ან riak_api განყოფილებაში advanced.config ან app.config ფაილებში, რომლებიც მდებარეობს /etc/riak/ დირექტორიაში. ნაგულისხმევად, ჰოსტს აქვს IP მისამართი 127.0.0.1 და პორტი 8087. თქვენ უნდა შეცვალოთ ისინი, თუ გეგმავთ Riak და Riak CS გაშვებას არალოკალურ გარემოში. შეცვალეთ 127.0.0.1 Riak ჰოსტის IP მისამართით და პორტი 8087 შესაბამისით.

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

ADVANCED.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

APP.CONFIG

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

შენიშვნა:listener.protobuf.შიდა პარამეტრის მნიშვნელობა riak.conf (ან pb პარამეტრის მნიშვნელობა advanced.conf/app.config) ფაილში უნდა ემთხვეოდეს riak_host-ის მნიშვნელობებს Riak CS riak-cs.config და Stanchion stanchion.conf (ან riak_host შესაბამისად გაფართოებულ .config/app.config) ფაილებში.

შენიშვნა პორტის ნომრის შესახებ
შეიძლება საჭირო გახდეს სხვა პორტის ნომერი, თუ პორტი ეწინააღმდეგება სხვა აპლიკაციის მიერ გამოყენებულ პორტებს ან თუ იყენებთ დატვირთვის ბალანსერს ან პროქსი სერვერს.

ასევე რეკომენდებულია, რომ მომხმარებლებმა უზრუნველყონ, რომ Riak protobuf.backlog ზომა (ან advanced.config/app.config ფაილებში ეს არის pb_backlog) უდრის ან აღემატება pool.request.size-ს, რომელიც მითითებულია Riak CS-სთვის riak-cs-ში. config (ან request_pool_size advanced.config/ app.conf ფაილებში).

თუ Riak CS-ში pool.request.size მნიშვნელობა შეიცვალა, მაშინ protobuf.backlog-ის მნიშვნელობა ასევე უნდა განახლდეს Riak-ში.

Riak-ის სხვა პარამეტრები

riak.conf და advanced.config ფაილები მოიცავს სხვა პარამეტრებს, რომლებიც აკონფიგურირებენ ჟურნალის ფაილების შექმნას და მათი შენახვის ადგილს. ამ პარამეტრებს აქვს ნაგულისხმევი მნიშვნელობები და უმეტეს შემთხვევაში უნდა იმუშაოს. დამატებითი ინფორმაციისთვის გირჩევთ წაიკითხოთ ჩვენი დოკუმენტაცია კონფიგურაციის ფაილების შესახებ.

Riak-ისთვის IP მისამართის დაყენება

Riak-ისთვის IP მისამართის დაყენებისას, დარწმუნებული უნდა იყოთ, რომ Riak კვანძებს აქვთ უნიკალური IP მისამართი, მიუხედავად იმისა, მუშაობთ მხოლოდ ერთ კვანძთან, თუ ამატებთ სისტემაში მეტ კვანძს. Riak IP მისამართი შეიცავს riak.conf ან - თუ თქვენ იყენებთ app.config ფაილს - vm.args კონფიგურაციის ფაილში, რომელიც მდებარეობს იქ /etc/riak დირექტორიაში (ან /opt/riak/etc/ სხვა ოპერაციულ სისტემებზე).

თავდაპირველად, ხაზი, რომელიც შეიცავს Riak IP მისამართს, მიუთითებს ლოკალჰოსტზე ამ ადგილას:

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

შეცვალეთ 127.0.0.1 თქვენი სასურველი IP მისამართით ან Riak კვანძის ჰოსტის სახელით.

შესრულების და გამტარუნარიანობის პარამეტრები

შესრულების მიზეზების გამო, ჩვენ გირჩევთ დაამატოთ მნიშვნელობები Riak კონფიგურაციის ფაილებს riak.conf ან vm.args, რომლებიც მდებარეობს /etc/riak/ ან /opt/riak/etc დირექტორიაში.

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce-ის გამორთვა

რეკომენდირებულია არ გამოიყენოთ მოძველებული JavaScript MapReduce Riak CS-ის რომელიმე ვერსიით. შესრულების მიზეზების გამო, თქვენ უნდა გამორთოთ ვირტუალური მანქანა, რომელიც ასრულებს JavaScript MapReduce ოპერაციებს, დააყენეთ riak.conf კონფიგურაციის ფაილში, ან advanced.conf-ის ან app.config-ის riak_kv განყოფილებაში:

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

ADVANCED.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

APP.CONFIG

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

შემდეგ ჩვენ გვჭირდება Riak CS სისტემის დარჩენილი კომპონენტების კონფიგურაცია.

ორიგინალური სახელმძღვანელო.

წყარო: www.habr.com