Риак Цлоуд Стораге. Део 1: Постављање Риак КВ

Риак ЦС (Цлоуд Стораге) – софтвер једноставан за коришћење за организовање складиштења објеката, који ради на врху Риак КВ. Риак (КВ) је дистрибуирана НоСКЛ база података кључ-вредност. Риак ЦС је дизајниран да обезбеди једноставност, доступност, дистрибуцију складиштења у облаку било ког обима, и може се користити за изградњу цлоуд архитектуре – јавних и приватних – или као инфраструктурно складиштење за високо оптерећене апликације и услуге. Риак ЦС АПИ је компатибилан са Амазон С3 и подржава могућност примања извештаја о различитим ситуацијама.

Овај чланак је бесплатан превод званичног упутства за Риак ЦС систем верзију 2.1.1

У Риак ЦС систему за складиштење, три компоненте раде заједно једна са другом, што значи да свака компонента мора бити конфигурисана да ради са осталим компонентама:

• Риак (КВ) – систем базе података који делује као крајњи систем.
• Риак ЦС - Слој за складиштење у облаку на врху Риак-а који обезбеђује складиштење и АПИ могућности, складишти датотеке и метаподатке у Риак-у, а затим их дистрибуира крајњим корисницима.
• Станцхион - Управља упитима који укључују глобално јединствене ентитете као што су буцкетс и корисници у инстанци Риак. На пример, креирање корисника, креирање или брисање група.

Поред тога, такође можете да конфигуришете С3 клијента за коришћење у размени порука са Риак ЦС системом.

Требало би да планирате да имате један Риак чвор за сваки Риак ЦС чвор на вашем систему. Риак и Риак ЦС чворови се могу покренути на различитим физичким машинама, али у већини случајева је пожељно покренути један Риак чвор и један Риак ЦС чвор на истој физичкој машини. Под претпоставком да једна физичка машина има довољно снаге да задовољи потребе и Риак и Риак ЦС чворова, генерално ћете видети боље перформансе због смањеног кашњења мреже.

Ако се ваш систем састоји од неколико чворова, конфигурација се првенствено односи на подешавање комуникације између компоненти. Остала подешавања, као што је где ће се чувати датотеке евиденције, имају подразумеване вредности и треба их променити само ако желите да користите нестандардне вредности.

Постављање компоненти система. Подешавање Риак КВ за ЦС

Пошто је Риак ЦС апликација изграђена на врху Риак-а, веома је важно да обратите пажњу на вашу Риак конфигурацију када покрећете Риак ЦС. Овај документ је и Риак водич за конфигурацију и референтни документ који описује важне параметре конфигурације.

Пре подешавања, уверите се да су Риак КВ и Риак ЦС инсталирани на сваком чвору у вашем кластеру. Станцхион, с друге стране, треба да се инсталира само на једном чвору у целом кластеру.

Позадина за Риак ЦС

Подразумевана позадина коју користи Риак је Битцаск, али Риак ЦС пакет укључује посебан бацкенд који мора да користи Риак кластер који је део Риак ЦС система. Редовна верзија има стандардни Мулти бацкенд који долази уз Риак.

Исте Риак канте које се користе у Риак ЦС-у користе секундарне индексе, који сада захтевају ЛевелДБ позадину. Остали делови Риак ЦС система могу имати користи од коришћења Бтицаск позадине. Употреба узорка Мулти бацкенд-а је укључена у Риак ЦС како би се искористиле предности оба ова позадина за постизање најбоље комбинације перформанси и функционалности. Следећи одељак описује како правилно конфигурисати Риак да користи овај Мулти-бацкенд.

Бацкенд је оно што ће Риак користити за чување података. Риак КВ има неколико бацкенд-а у свом арсеналу: Битцаск, ЛевелДБ, Мемори и Мулти.

Поред тога, систем за израчунавање складиштења користи Риак МапРедусе да агрегира датотеке у канте. То значи да морате да кажете свим Риак чворовима где да траже припремљене Риак ЦС датотеке пре израчунавања складишта.

Неколико других параметара мора да се промени да би се Риак чвор конфигурисао као део Риак ЦС система, као што су ИП адреса и ИП адреса и порт за размену порука преко бафера протокола. Остала подешавања се могу променити ако је потребно. Следећи одељци описују како да конфигуришете Риак чвор да ради као део Риак ЦС система.

Постављање Риак бацкенд-а

Прво се уређују конфигурационе датотеке риак.цонф или адванцед.цонфиг/апп.цонфиг. Ове датотеке се могу налазити у директоријумима /етц/риак или /опт/риак/етц. Подразумевано, Риак користи позадину Битцаск-а. Прва ствар коју треба да урадимо је да променимо конфигурациону датотеку уклањањем следећег реда:

РИАК.ЦОНФ

## Delete this line:
storage_backend = bitcask

АДВАНЦЕД.ЦОНФИГ

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

АПП.ЦОНФИГ

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

Затим морамо да покажемо потребу за РиакЦС модулима за Риак и упутимо Риак-у да користи конфигурисану позадину која обезбеђује Риак ЦС. За ово морамо да користимо датотеку адванцед.цонфиг или апп.цонфиг и додамо следеће опције:

АДВАНЦЕД.ЦОНФИГ

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

АПП.ЦОНФИГ

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

Веома је важно напоменути да ће многе од ових вредности зависити од варијација директоријума специфичних за ваш оперативни систем, тако да пратите упутства у складу са тим. На пример, опција адд_патхс претпоставља да је Риак ЦС инсталиран у /уср/либ/риак-цс, док опције дата_роот претпостављају да је Риак инсталиран у /вар/либ. (Напомена: У мом случају је то био адд_патхс - /уср/либ64/риак-цс/).

Ова конфигурација претпоставља да је Риак ЦС инсталиран на истој машини као и Риак. Ако није, онда пакет треба копирати на посебан хост.

Подешавање креирања брата и сестре

Сада морамо да поставимо параметар аллов_мулт на труе. Можемо додати ред у конфигурациону датотеку риак.цонф, или одељак риак_цоре у адванцед.цонфиг или апп.цонфиг.

РИАК.ЦОНФ

buckets.default.allow_mult = true

АДВАНЦЕД.ЦОНФИГ

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

АПП.ЦОНФИГ

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

Ово ће омогућити Риаку да створи браћу и сестре који су неопходни да би Риак ЦС функционисао. Ако се повежете са Риак ЦС користећи библиотеку клијента, не брините: нећете морати да решавате конфликте, пошто су све Риак ЦС операције стриктно конзистентне како је дефинисано.

Сиблинг је начин чувања више објеката у једном кључу тако да објекат има различите вредности на различитим чворовима.

Напомена: дозволи_мулт
Сваки Риак чвор који такође подржава Риак ЦС имаће аллов_мулт постављен на труе у сваком тренутку. Риак ЦС ће ресетовати лансирање ако је вредност лажна.

Подешавање имена хоста и ИП адресе

Сваки Риак чвор има име, које се може навести у опцији имена чвора у риак.цонф. Ако користите конфигурациону датотеку апп.цонфиг, потребно је да креирате датотеку под називом вм.аргс у истом директоријуму као и апп.цонфиг и наведете име хоста помоћу ознаке -наме. Препоручујемо да наведете имена чворова у @ формату. И тако ако имате три чвора која раде на једном хосту 100.0.0.1, можете их позвати [емаил заштићен], [емаил заштићен]И [емаил заштићен] или можете дати конкретнија имена, као нпр [емаил заштићен], [емаил заштићен] и тако даље. Пример испод показује промену имена хоста у [емаил заштићен], који ће радити на локалном хосту.

РИАК.ЦОНФ

 nodename = [email protected] 

ВМ.АРГС

 -name [email protected]

Морате именовати све чворове пре него што их покренете и придружите кластеру.

Тест подешавања

Сада када су сва потребна подешавања чвора завршена, можемо покушати да покренемо Риак:

Схелл

 riak start 

Белешка Одговор у мом случају:

Овде треба мало сачекати. Затим можете почети да тестирате покренути чвор.

Схелл

 riak ping

Ако је одговор понг, онда Риак ради; ако је одговор Чвор који не реагује на пингове, онда је нешто пошло наопако.

Белешка Одговор у мом случају:

Ако се чвор није исправно покренуо, погледајте дневник ерланг.лог.1 у /лог директоријуму чвора ако се проблем може идентификовати. Једна од најчешћих грешака је инвалид_стораге_бацкенд. Што указује да је путања до Риак ЦС библиотеке у адванцед.цонфиг или у апп.цонфиг нетачна (или Риак ЦС није инсталиран на серверу). Упркос овој грешци, уверите се да нисте променили са риак_цс_кв_мулти_бацкенд на риак_кв_мулти_бацкенд.

Конфигурисање Риак-а да користи бафере протокола

Подешавања бафера Риак протокола налазе се у риак.цонф или у одељку риак_апи у датотекама адванцед.цонфиг или апп.цонфиг, које се налазе у директоријуму /етц/риак/. Подразумевано, хост има ИП адресу 127.0.0.1 и порт 8087. Мораћете да их промените ако планирате да покренете Риак и Риак ЦС у окружењу које није локално. Замените 127.0.0.1 са Риак ИП адресом хоста и порт 8087 одговарајућим.

РИАК.ЦОНФ

 listener.protobuf.internal = 10.0.2.10:10001

АДВАНЦЕД.ЦОНФ

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

АПП.ЦОНФИГ

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

Напомена:Вредност параметра листенер.протобуф.интернал у датотеци риак.цонф (или вредност пб параметра у адванцед.цонф/апп.цонфиг) мора да одговара вредностима за риак_хост у Риак ЦС риак-цс.цонфиг и Станцхион станцхион.цонф (или риак_хост у напредним .цонфиг/апп.цонфиг) датотекама.

Напомена о броју порта
Други број порта може бити потребан ако је порт у сукобу са портовима које користи друга апликација или ако користите балансатор оптерећења или прокси сервер.

Такође се препоручује да корисници осигурају да је величина Риак протобуф.бацклог (или у датотекама адванцед.цонфиг/апп.цонфиг ово је пб_бацклог) једнака или већа од поол.рекуест.сизе специфициране за Риак ЦС у риак-цс. цонфиг (или рекуест_поол_сизе у датотекама адванцед.цонфиг/апп.цонф).

Ако је вредност поол.рекуест.сизе у Риак ЦС промењена, онда се вредност протобуф.бацклог такође мора ажурирати у Риак-у.

Остала подешавања Риака

Датотеке риак.цонф и адванцед.цонфиг укључују друга подешавања која конфигуришу креирање датотека евиденције и где се оне чувају. Ова подешавања имају подразумеване вредности и требало би да раде у већини случајева. За више информација, препоручујемо да прочитате нашу документацију о конфигурационим датотекама.

Подешавање ИП адресе за Риак

Када подешавате ИП адресу за Риак, морате бити сигурни да Риак чворови имају јединствену ИП адресу, било да радите са само једним чвором или додајете више чворова систему. Риак ИП адреса се налази у риак.цонф или - ако користите датотеку апп.цонфиг - у конфигурационој датотеци вм.аргс, која се налази тамо у /етц/риак директоријуму (или /опт/риак/етц/ на другим оперативним системима).

У почетку, линија која садржи Риак ИП адресу указује на локални хост на овој локацији:

РИАК.ЦОНФ

 nodename = [email protected]

ВМ.АРГС

 -name [email protected]

Замените 127.0.0.1 жељеном ИП адресом или именом хоста Риак чвора.

Подешавања перформанси и пропусног опсега

Из разлога перформанси, топло препоручујемо додавање вредности у Риак конфигурационе датотеке риак.цонф или вм.аргс, које се налазе у директоријуму /етц/риак/ или /опт/риак/етц.

РИАК.ЦОНФ

 erlang.max_ports = 65536

ВМ.АРГС

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

Онемогућавање ЈаваСцрипт МапРедуце-а

Препоручује се да не користите застарели ЈаваСцрипт МапРедуце са било којом верзијом Риак ЦС-а. Из разлога перформанси, требало би да онемогућите виртуелну машину која изводи ЈаваСцрипт МапРедуце операције тако што ћете поставити у конфигурационој датотеци риак.цонф или у одељку риак_кв у адванцед.цонф или апп.цонфиг:

РИАК.ЦОНФ

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

АДВАНЦЕД.ЦОНФИГ

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

АПП.ЦОНФИГ

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

Затим морамо да конфигуришемо преостале компоненте система Риак ЦС.

Оригинални приручник.

Извор: ввв.хабр.цом