Riak 클라우드 스토리지. 1부: Riak KV 설정

Riak CS(클라우드 스토리지) – Riak KV 위에서 실행되는 객체 스토리지 구성을 위한 사용하기 쉬운 소프트웨어입니다. Riak(KV)은 분산형 NoSQL 키-값 데이터베이스입니다. Riak CS는 모든 규모의 클라우드 스토리지의 단순성, 가용성, 배포를 제공하도록 설계되었으며, 퍼블릭 및 프라이빗 클라우드 아키텍처를 구축하거나 로드가 많은 애플리케이션 및 서비스를 위한 인프라 스토리지로 사용할 수 있습니다. Riak CS API는 Amazon S3와 호환되며 다양한 상황에 대한 보고서를 수신하는 기능을 지원합니다.

이 글은 Riak CS 시스템 버전 2.1.1의 공식 매뉴얼을 무료로 번역한 것입니다.

Riak CS 스토리지 시스템에서는 세 가지 구성요소가 서로 함께 작동합니다. 이는 각 구성요소가 다른 구성요소와 함께 작동하도록 구성되어야 함을 의미합니다.

• 리악(KV) – 최종 시스템 역할을 하는 데이터베이스 시스템.
• 리악 CS - 저장소 및 API 기능을 제공하고 Riak에 파일 및 메타데이터를 저장한 다음 이를 최종 사용자에게 배포하는 Riak 위에 있는 클라우드 저장소 계층입니다.
• 기둥 - Riak 인스턴스의 버킷 및 사용자와 같은 전역적으로 고유한 엔터티와 관련된 쿼리를 관리합니다. 예를 들어 사용자 생성, 버킷 생성 또는 삭제 등이 있습니다.

또한 Riak CS 시스템과의 메시징에 사용하기 위해 S3 클라이언트를 구성할 수도 있습니다.

시스템의 각 Riak CS 노드마다 하나의 Riak 노드를 갖도록 계획해야 합니다. Riak 및 Riak CS 노드는 서로 다른 물리적 시스템에서 실행될 수 있지만 대부분의 경우 동일한 물리적 시스템에서 하나의 Riak 노드와 하나의 Riak CS 노드를 실행하는 것이 좋습니다. 하나의 물리적 시스템이 Riak 및 Riak CS 노드 모두의 요구 사항을 충족할 만큼 충분한 전력을 가지고 있다고 가정하면 일반적으로 네트워크 대기 시간 감소로 인해 더 나은 성능을 볼 수 있습니다.

시스템이 여러 노드로 구성된 경우 구성은 주로 구성 요소 간의 통신을 설정하는 것입니다. 로그 파일이 저장될 위치와 같은 기타 설정에는 기본값이 있으며 비표준 값을 사용하려는 경우에만 변경하면 됩니다.

시스템 구성 요소를 설정합니다. CS용 Riak KV 설정

Riak CS는 Riak 위에 구축된 애플리케이션이므로 Riak CS를 실행할 때 Riak 구성에 주의를 기울이는 것이 매우 중요합니다. 이 문서는 Riak 구성 가이드이자 중요한 구성 매개변수를 설명하는 참조 문서입니다.

설정하기 전에 Riak KV 및 Riak CS가 클러스터의 모든 노드에 설치되어 있는지 확인하십시오. 반면에 지지대는 전체 클러스터의 한 노드에만 설치해야 합니다.

Riak CS용 백엔드

Riak이 사용하는 기본 백엔드는 Bitcask이지만 Riak CS 패키지에는 Riak CS 시스템의 일부인 Riak 클러스터에서 사용해야 하는 특수 백엔드가 포함되어 있습니다. 일반 버전에는 Riak과 함께 제공되는 표준 Multi 백엔드가 있습니다.

Riak CS 내부에서 사용되는 동일한 Riak 버킷은 이제 LevelDB 백엔드가 필요한 보조 인덱스를 사용합니다. Riak CS 시스템의 다른 부분은 Bticask 백엔드를 사용하면 이점을 얻을 수 있습니다. 성능과 기능의 최상의 조합을 달성하기 위해 이 두 백엔드를 모두 활용하기 위해 샘플 다중 백엔드 사용이 Riak CS에 포함되어 있습니다. 다음 섹션에서는 이 다중 백엔드를 사용하도록 Riak을 올바르게 구성하는 방법을 설명합니다.

백엔드 Riak이 데이터를 저장하기 위해 사용할 것입니다. Riak KV는 Bitcask, LevelDB, Memory 및 Multi와 같은 여러 백엔드를 보유하고 있습니다.

또한 스토리지 계산 시스템은 Riak MapReduse를 사용하여 파일을 버킷으로 집계합니다. 이는 저장소를 계산하기 전에 준비된 Riak CS 파일을 찾을 위치를 모든 Riak 노드에 알려야 함을 의미합니다.

프로토콜 버퍼를 통한 메시징을 위한 IP 주소, IP 주소 및 포트와 같은 Riak CS 시스템의 일부로 Riak 노드를 구성하려면 몇 가지 다른 매개변수를 변경해야 합니다. 필요한 경우 다른 설정을 변경할 수 있습니다. 다음 섹션에서는 Riak CS 시스템의 일부로 작동하도록 Riak 노드를 구성하는 방법을 설명합니다.

Riak 백엔드 설정

먼저 riak.conf 또는 Advanced.config/app.config 구성 파일을 편집합니다. 이러한 파일은 /etc/riak 또는 /opt/riak/etc 디렉토리에 위치할 수 있습니다. 기본적으로 Riak은 Bitcask 백엔드를 사용합니다. 가장 먼저 해야 할 일은 다음 줄을 제거하여 구성 파일을 변경하는 것입니다.

RIAK.CONF

## Delete this line:
storage_backend = bitcask

고급.구성

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

앱 구성

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

다음으로, Riak용 RiakCS 모듈의 필요성을 입증하고 Riak CS를 제공하는 구성된 백엔드를 사용하도록 Riak에 지시해야 합니다. 이를 위해서는 Advanced.config 또는 app.config 파일을 사용하고 다음 옵션을 추가해야 합니다.

고급.구성

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

앱 구성

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

이러한 값 중 다수는 운영 체제에 따른 디렉터리 변형에 따라 달라지므로 그에 따라 지침을 따르는 것이 매우 중요합니다. 예를 들어, add_paths 옵션은 Riak CS가 /usr/lib/riak-cs에 설치되어 있다고 가정하고, data_root 옵션은 Riak이 /var/lib에 설치되어 있다고 가정합니다. (참고: 내 경우에는 add_paths - /usr/lib64/riak-cs/였습니다.)

이 구성에서는 Riak CS가 Riak과 동일한 시스템에 설치되어 있다고 가정합니다. 그렇지 않은 경우 패키지를 별도의 호스트에 복사해야 합니다.

형제 생성 설정

이제 Allow_mult 매개변수를 true로 설정해야 합니다. riak.conf 구성 파일에 한 줄을 추가하거나 Advanced.config 또는 app.config에 riak_core 섹션을 추가할 수 있습니다.

RIAK.CONF

buckets.default.allow_mult = true

고급.구성

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

앱 구성

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

이를 통해 Riak은 Riak CS가 작동하는 데 필요한 형제를 생성할 수 있습니다. 클라이언트 라이브러리를 사용하여 Riak CS에 연결하는 경우 걱정하지 마십시오. 모든 Riak CS 작업은 정의된 대로 엄격하게 일관되므로 충돌을 해결할 필요가 없습니다.

형제자매 여러 객체를 하나의 키에 저장하여 객체가 서로 다른 노드에서 서로 다른 값을 갖도록 하는 방법입니다.

참고:allow_mult
Riak CS도 지원하는 Riak 노드는 항상 Allow_mult가 true로 설정됩니다. Riak CS는 값이 false인 경우 실행을 재설정합니다.

호스트 이름 및 IP 주소 설정

각 Riak 노드에는 riak.conf의 nodename 옵션에 지정할 수 있는 이름이 있습니다. app.config 구성 파일을 사용하는 경우 app.config와 동일한 디렉터리에 vm.args라는 파일을 생성하고 -name 플래그를 사용하여 호스트 이름을 지정해야 합니다. @ 형식으로 노드 이름을 지정하는 것이 좋습니다. 따라서 하나의 호스트 100.0.0.1에서 세 개의 노드가 실행 중인 경우 이를 호출할 수 있습니다. [이메일 보호], [이메일 보호]과 [이메일 보호] 또는 다음과 같이 보다 구체적인 이름을 지정할 수 있습니다. [이메일 보호], [이메일 보호] 등등. 아래 예에서는 호스트 이름을 다음으로 변경하는 방법을 보여줍니다. [이메일 보호], localhost에서 실행됩니다.

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

모든 노드를 시작하고 클러스터에 참여하기 전에 모든 노드의 이름을 지정해야 합니다.

설정 테스트

이제 필요한 모든 노드 설정이 완료되었으므로 Riak을 시작할 수 있습니다.

SHELL

 riak start 

메모 내 경우의 대답은 다음과 같습니다.

여기서 조금 기다려야합니다. 그런 다음 실행 중인 노드 테스트를 시작할 수 있습니다.

SHELL

 riak ping

응답이 퐁이라면 Riak이 실행 중인 것이고, 응답이 노드가 핑에 응답하지 않는다면 뭔가 잘못된 것입니다.

메모 내 경우의 대답은 다음과 같습니다.

노드가 올바르게 시작되지 않은 경우 문제를 식별할 수 있으면 노드의 /log 디렉터리에 있는 erlang.log.1 로그를 살펴보십시오. 가장 일반적인 오류 중 하나는 valid_storage_backend입니다. 이는 Advanced.config 또는 app.config의 Riak CS 라이브러리 경로가 올바르지 않음을 나타냅니다(또는 Riak CS가 서버에 설치되지 않음). 이 오류에도 불구하고 riak_cs_kv_multi_backend에서 riak_kv_multi_backend로 변경되지 않았는지 확인하세요.

프로토콜 버퍼를 사용하도록 Riak 구성

Riak 프로토콜 버퍼 설정은 riak.conf 또는 /etc/riak/ 디렉터리에 있는 Advanced.config 또는 app.config 파일의 riak_api 섹션에 있습니다. 기본적으로 호스트의 IP 주소는 127.0.0.1이고 포트는 8087입니다. 로컬이 아닌 환경에서 Riak 및 Riak CS를 실행하려는 경우 이를 변경해야 합니다. 127.0.0.1을 Riak 호스트 IP 주소로 바꾸고 포트 8087을 적합한 주소로 바꾸십시오.

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

고급.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

앱 구성

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

참고 :riak.conf 파일의 listening.protobuf.internal 매개변수 값(또는 Advanced.conf/app.config의 pb 매개변수 값)은 Riak CS riak-cs.config의 riak_host 값과 일치해야 하며 Stanchion stanchion.conf(또는 고급 .config/app.config의 각각 riak_host) 파일.

포트 번호에 대한 참고 사항
포트가 다른 애플리케이션에서 사용하는 포트와 충돌하거나 로드 밸런서 또는 프록시 서버를 사용하는 경우 다른 포트 번호가 필요할 수 있습니다.

또한 사용자는 Riak protobuf.backlog 크기(또는 Advanced.config/app.config 파일에서는 pb_backlog)가 riak-cs에서 Riak CS에 대해 지정된 pool.request.size보다 크거나 같은지 확인하는 것이 좋습니다. config(또는 Advanced.config/app.conf 파일의 request_pool_size).

Riak CS의 pool.request.size 값이 변경된 경우 protobuf.backlog의 값도 Riak에서 업데이트되어야 합니다.

기타 Riak 설정

riak.conf 및 Advanced.config 파일에는 로그 파일 생성 및 저장 위치를 ​​구성하는 기타 설정이 포함되어 있습니다. 이러한 설정에는 기본값이 있으며 대부분의 경우 작동합니다. 자세한 내용은 구성 파일에 대한 설명서를 읽어보는 것이 좋습니다.

Riak에 대한 IP 주소 설정

Riak에 대한 IP 주소를 설정할 때 단 하나의 노드로 작업하든 시스템에 더 많은 노드를 추가하든 관계없이 Riak 노드가 고유한 IP 주소를 가지고 있는지 확인해야 합니다. Riak IP 주소는 riak.conf에 포함되어 있거나 - app.config 파일을 사용하는 경우 - /etc/riak 디렉토리(또는 /opt/riak/etc/)에 있는 vm.args 구성 파일에 포함되어 있습니다. 다른 운영 체제에서는 ).

처음에는 Riak IP 주소가 포함된 행이 다음 위치의 로컬 호스트를 가리킵니다.

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

127.0.0.1을 Riak 노드의 기본 IP 주소 또는 호스트 이름으로 바꾸십시오.

성능 및 대역폭 설정

성능상의 이유로 /etc/riak/ 또는 /opt/riak/etc 디렉토리에 있는 Riak 구성 파일 riak.conf 또는 vm.args에 값을 추가하는 것이 좋습니다.

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce 비활성화

Riak CS의 모든 버전에서는 레거시 JavaScript MapReduce를 사용하지 않는 것이 좋습니다. 성능상의 이유로 riak.conf 구성 파일이나 Advanced.conf 또는 app.config의 riak_kv 섹션을 설정하여 JavaScript MapReduce 작업을 수행하는 가상 머신을 비활성화해야 합니다.

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

고급.구성

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

앱 구성

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

다음으로 Riak CS 시스템의 나머지 구성요소를 구성해야 합니다.

원본 매뉴얼.

출처 : habr.com