Riakクラウドストレージ。 パート 1: Riak KV のセットアップ

Riak CS (クラウドストレージ) – Riak KV 上で実行される、オブジェクト ストレージを整理するための使いやすいソフトウェア。 Riak (KV) は、分散型 NoSQL キー/値データベースです。 Riak CS は、あらゆる規模のクラウド ストレージのシンプルさ、可用性、分散を提供するように設計されており、パブリックとプライベートの両方のクラウド アーキテクチャの構築に使用したり、高負荷のアプリケーションやサービスのインフラストラクチャ ストレージとして使用したりできます。 Riak CS API は Amazon S3 と互換性があり、さまざまな状況に関するレポートを受信する機能をサポートしています。

この記事は、Riak CS システム バージョン 2.1.1 の公式マニュアルの無償翻訳です。

Riak CS ストレージ システムでは、XNUMX つのコンポーネントが相互に連携して動作します。つまり、各コンポーネントが他のコンポーネントと連携して動作するように構成する必要があります。

• リアク (KV) – エンドシステムとして機能するデータベース システム。
• リアクCS - Riak 上のクラウド ストレージ層。ストレージと API 機能を提供し、ファイルとメタデータを Riak に保存して、エンド ユーザーに配布します。
• 支柱 - Riak インスタンス内のバケットやユーザーなど、グローバルに一意なエンティティを含むクエリを管理します。 たとえば、ユーザーの作成、バケットの作成または削除などです。

さらに、Riak CS システムとのメッセージングで使用するために S3 クライアントを構成することもできます。

システム上の Riak CS ノードごとに XNUMX つの Riak ノードを配置することを計画する必要があります。 Riak ノードと Riak CS ノードは異なる物理マシン上で実行できますが、ほとんどの場合、XNUMX つの Riak ノードと XNUMX つの Riak CS ノードを同じ物理マシン上で実行することが推奨されます。 XNUMX 台の物理マシンが Riak ノードと Riak CS ノードの両方のニーズを満たすのに十分な電力を備えていると仮定すると、通常、ネットワーク遅延の減少によりパフォーマンスが向上します。

システムが複数のノードで構成されている場合、構成は主にコンポーネント間の通信をセットアップすることになります。 ログ ファイルの保存場所などのその他の設定にはデフォルト値があり、標準以外の値を使用する場合にのみ変更する必要があります。

システムコンポーネントのセットアップ。 CS 用の Riak KV のセットアップ

Riak CS は Riak 上に構築されたアプリケーションであるため、Riak CS を実行する際には Riak 構成に注意を払うことが非常に重要です。 この文書は、Riak 設定ガイドであると同時に、重要な設定パラメータを説明する参考文書でもあります。

セットアップの前に、Riak KV と Riak CS がクラスター内のすべてのノードにインストールされていることを確認してください。 一方、Stachion はクラスター全体の XNUMX つのノードにのみインストールする必要があります。

Riak CS のバックエンド

Riak で使用されるデフォルトのバックエンドは Bitcask ですが、Riak CS パッケージには、Riak CS システムの一部である Riak クラスターで使用する必要がある特別なバックエンドが含まれています。 通常バージョンには、Riak に付属する標準の Multi バックエンドが含まれています。

Riak CS 内で使用される同じ Riak バケットはセカンダリ インデックスを使用するため、LevelDB バックエンドが必要になります。 Riak CS システムの他の部分は、Bticask バックエンドを使用することで恩恵を受けることができます。 Riak CS には、サンプルのマルチ バックエンドの使用が含まれており、これらのバックエンドの両方を活用して、パフォーマンスと機能の最適な組み合わせを実現します。 次のセクションでは、このマルチバックエンドを使用するように Riak を適切に設定する方法について説明します。

バックエンド Riak がデータを保存するために使用するものです。 Riak KV には、Bitcask、LevelDB、Memory、Multi などのバックエンドがいくつかあります。

さらに、ストレージ計算システムは Riak MapReduse を使用してファイルをバケットに集約します。 これは、ストレージを計算する前に、準備された Riak CS ファイルを探す場所をすべての Riak ノードに指示する必要があることを意味します。

Riak ノードを Riak CS システムの一部として構成するには、IP アドレス、プロトコル バッファを介したメッセージング用の IP アドレスとポートなど、他のいくつかのパラメータを変更する必要があります。 必要に応じて他の設定も変更できます。 次のセクションでは、Riak CS システムの一部として動作するように Riak ノードを構成する方法について説明します。

Riak バックエンドのセットアップ

まず、riak.conf または Advanced.config/app.config 構成ファイルを編集します。 これらのファイルは、/etc/riak または /opt/riak/etc ディレクトリにあります。 デフォルトでは、Riak は Bitcask バックエンドを使用します。 最初に行う必要があるのは、次の行を削除して構成ファイルを変更することです。

RIAK.CONF

## Delete this line:
storage_backend = bitcask

高度な設定

{riak_kv,
 [ %% Delete this line: 
{storage_backend, riak_kv_bitcask_backend},
 ]}

アプリの設定

{riak_kv, 
  [ %% Delete this line:
    {storage_backend, riak_kv_bitcask_backend},
]}

次に、Riak 用の RiakCS モジュールの必要性を実証し、Riak CS を提供する構成済みのバックエンドを使用するように Riak に指示する必要があります。 これには、advanced.config または app.config ファイルを使用し、次のオプションを追加する必要があります。

高度な設定

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

アプリの設定

{eleveldb, [
    {total_leveldb_mem_percent, 30}
    ]},
{riak_kv, [
    %% Other configs
    {add_paths, ["/usr/lib/riak-cs/lib/riak_cs-2.1.1/ebin"]},
    {storage_backend, riak_cs_kv_multi_backend},
    {multi_backend_prefix_list, [{<<"0b:">>, be_blocks}]},
    {multi_backend_default, be_default},
    {multi_backend, [
        {be_default, riak_kv_eleveldb_backend, [
            {data_root, "/var/lib/riak/leveldb"}
        ]},
        {be_blocks, riak_kv_bitcask_backend, [
            {data_root, "/var/lib/riak/bitcask"}
        ]}
    ]},
    %% Other configs
]}

これらの値の多くは、オペレーティング システムに固有のディレクトリのバリエーションに依存するため、それに応じて指示に従ってください。 たとえば、add_paths オプションは Riak CS が /usr/lib/riak-cs にインストールされていることを前提とし、data_root オプションは Riak が /var/lib にインストールされていることを前提としています。 (注: 私の場合は add_paths - /usr/lib64/riak-cs/ でした)。

この構成は、Riak CS が Riak と同じマシンにインストールされていることを前提としています。 そうでない場合は、パッケージを別のホストにコピーする必要があります。

兄弟作成の設定

ここで、allow_mult パラメータを true に設定する必要があります。 riak.conf 設定ファイルに行を追加するか、advanced.config または app.config に riak_core セクションを追加できます。

RIAK.CONF

buckets.default.allow_mult = true

高度な設定

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

アプリの設定

{riak_core, [
    %% Other configs
    {default_bucket_props, [{allow_mult, true}]},
    %% Other configs
]}

これにより、Riak CS が機能するために必要な兄弟を作成できるようになります。 クライアント ライブラリを使用して Riak CS に接続する場合は、心配する必要はありません。Riak CS のすべての操作は定義どおりに厳密に一貫しているため、競合を解決する必要はありません。

兄弟 複数のオブジェクトを XNUMX つのキーに格納して、オブジェクトが異なるノードで異なる値を持つようにする方法です。

注:allow_mult
Riak CS もサポートする Riak ノードでは、allow_mult が常に true に設定されます。 値が false の場合、Riak CS は起動をリセットします。

ホスト名とIPアドレスの設定

各 Riak ノードには名前があり、riak.conf の nodename オプションで指定できます。 app.config 構成ファイルを使用している場合は、app.config と同じディレクトリに vm.args というファイルを作成し、-name フラグを使用してホスト名を指定する必要があります。 ノード名は @ 形式で指定することをお勧めします。 したがって、100.0.0.1 つのホスト XNUMX 上で XNUMX つのノードが実行されている場合は、それらを呼び出すことができます。 [メール保護], [メール保護]と [メール保護] または、次のようなより具体的な名前を付けることもできます。 [メール保護], [メール保護] 等々。 以下の例は、ホスト名を次のように変更することを示しています。 [メール保護]、ローカルホスト上で実行されます。

RIAK.CONF

 nodename = [email protected] 

VM.ARGS

 -name [email protected]

ノードを起動してクラスターに参加させる前に、すべてのノードに名前を付ける必要があります。

セットアップテスト

必要なノード設定がすべて完了したので、Riak を起動してみます。

SHELL

 riak start 

注記私の場合の答えは次のとおりです。

ここで少し待つ必要があります。 その後、実行中のノードのテストを開始できます。

SHELL

 riak ping

応答が「pong」の場合は、Riak が実行されています。応答が「ノードが ping に応答していません」の場合は、何か問題が発生しています。

注記私の場合の答えは次のとおりです。

ノードが正しく起動しなかった場合は、ノードの /log ディレクトリにある erlang.log.1 ログを調べて、問題が特定できるかどうかを確認してください。 最も一般的なエラーの XNUMX つは、invalid_storage_backend です。 これは、advanced.config または app.config 内の Riak CS ライブラリへのパスが間違っている (または Riak CS がサーバーにインストールされていない) ことを示しています。 このエラーが発生しても、riak_cs_kv_multi_backend から riak_kv_multi_backend に変更していないことを確認してください。

プロトコルバッファを使用するように Riak を設定する

Riak プロトコル バッファ設定は、riak.conf、または /etc/riak/ ディレクトリにある Advanced.config または app.config ファイルの riak_api セクションにあります。 デフォルトでは、ホストの IP アドレスは 127.0.0.1、ポートは 8087 です。Riak および Riak CS を非ローカル環境で実行する場合は、これらを変更する必要があります。 127.0.0.1 を Riak ホスト IP アドレスに置き換え、ポート 8087 を適切なアドレスに置き換えます。

RIAK.CONF

 listener.protobuf.internal = 10.0.2.10:10001

アドバンスト.CONF

{riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

アプリの設定

riak_api, [
    %% Other configs
    {pb, ["10.0.2.10", 10001]},
    %% Other configs
]}

注意：riak.conf ファイルのlistener.protobuf.internalパラメータの値（またはadvanced.conf/app.configのpbパラメータの値）は、Riak CS riak-cs.configのriak_hostの値と一致する必要があります。スタンション stanchion.conf (または、それぞれ Advanced .config/app.config の riak_host) ファイル。

ポート番号に関する注意事項
ポートが別のアプリケーションで使用されているポートと競合する場合、またはロード バランサーまたはプロキシ サーバーを使用している場合は、別のポート番号が必要になる場合があります。

また、Riak protobuf.backlog サイズ (または、advanced.config/app.config ファイルでは pb_backlog) が、riak-cs で Riak CS に指定されている pool.request.size 以上であることを確認することをお勧めします。 config (または、advanced.config/app.conf ファイルの request_pool_size)。

Riak CS の pool.request.size の値が変更されている場合は、Riak の protobuf.backlog の値も更新する必要があります。

その他の Riak 設定

riak.conf ファイルと Advanced.config ファイルには、ログ ファイルの作成とその保存場所を構成するその他の設定が含まれています。 これらの設定にはデフォルト値があり、ほとんどの場合に機能します。 詳細については、構成ファイルに関するドキュメントを読むことをお勧めします。

Riak の IP アドレスの設定

Riak の IP アドレスを設定するときは、XNUMX つのノードだけを使用する場合でも、システムにノードを追加する場合でも、Riak ノードに一意の IP アドレスがあることを確認する必要があります。 Riak IP アドレスは、riak.conf に含まれています。または、app.config ファイルを使用している場合は、/etc/riak ディレクトリ (または /opt/riak/etc/) にある vm.args 設定ファイルに含まれています。他のオペレーティング システムでは)。

最初に、Riak IP アドレスを含む行は次の場所のローカルホストを指しています。

RIAK.CONF

 nodename = [email protected]

VM.ARGS

 -name [email protected]

127.0.0.1 を、Riak ノードの優先 IP アドレスまたはホスト名に置き換えます。

パフォーマンスと帯域幅の設​​定

パフォーマンス上の理由から、/etc/riak/ または /opt/riak/etc ディレクトリにある Riak 設定ファイル riak.conf または vm.args に値を追加することを強くお勧めします。

RIAK.CONF

 erlang.max_ports = 65536

VM.ARGS

## This setting should already be present for recent Riak installs.
 -env ERL_MAX_PORTS 65536

JavaScript MapReduce の無効化

Riak CS のどのバージョンでもレガシー JavaScript MapReduce を使用しないことをお勧めします。 パフォーマンス上の理由から、 riak.conf 構成ファイル、または Advanced.conf または app.config の riak_kv セクションで設定して、JavaScript MapReduce 操作を実行する仮想マシンを無効にする必要があります。

RIAK.CONF

 javascript.map_pool_size = 0
 javascript.reduce_pool_size = 0
 javascript.hook_pool_size = 0 

高度な設定

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

アプリの設定

{riak_kv, [
    %% Other configs
    {map_js_vm_count, 0},
    {reduce_js_vm_count, 0},
    {hook_js_vm_count, 0}
    %% Other configs
]}

次に、Riak CS システムの残りのコンポーネントを構成する必要があります。

オリジナルマニュアル。

出所： habr.com