LINSTOR ストレージと OpenNebula との統合

少し前に、LINBIT の担当者が新しい SDS ソリューションである Linstor を発表しました。 これは、DRBD、LVM、ZFS などの実証済みのテクノロジーに基づいた完全に無料のストレージです。 Linstor はシンプルさと適切に設計されたアーキテクチャを組み合わせており、安定性と非常に印象的な結果を達成できます。

今日はこれについてもう少し詳しく説明し、linstor_un (この目的のために特別に開発した新しいドライバー) を使用して OpenNebula といかに簡単に統合できるかを示したいと思います。

Linstor と OpenNebula を組み合わせると、独自のインフラストラクチャに簡単に展開できる、高速で信頼性の高いクラウドを構築できます。

リンスターのアーキテクチャ

Linstor は、それ自体はファイル システムでもブロック ストレージでもありません。Linstor は、LVM または ZFS でのボリュームの作成を自動化し、DRBD9 を使用してそれらをレプリケートできる抽象化レイヤーを提供するオーケストレーターです。

固定観念を打ち破る

でも待ってください、DRBD? — なぜ自動化するのでしょうか?また、どのようにして機能するのでしょうか?

DRBD8 が非常に人気だった過去を思い出してみましょう。 その標準的な使用法には、同じ LVM を使用して 1 つの大きなブロック デバイスを作成し、それを多数の小さな部分に分割することが含まれます。 mdadm RAID-XNUMX の一種ですが、ネットワーク上でレプリケーションを行います。

このアプローチには欠点がないわけではないため、DRBD9 の登場によりストレージ設計の原則が変わり、現在では仮想マシンごとに個別の DRBD デバイスが作成されます。

独立したブロック デバイスを使用するアプローチにより、クラスター内のスペースをより効率的に利用できるようになり、多くの追加機能も追加されます。 たとえば、そのようなデバイスごとに、レプリカの数、その場所、および個別の設定を決定できます。 作成/削除、スナップショットの取得、サイズ変更、暗号化の有効化などが簡単に行えます。 DRBD9 はクォーラムもサポートしているため、スプリット ブレイン状況を回避できることは注目に値します。

リソースとバックエンド

新しいブロック デバイスを作成するとき、Linstor はクラスター内の異なるノードに必要な数のレプリカを配置します。 このような各レプリカを DRBD リソースと呼びます。

リソースには次の XNUMX 種類があります。

• データリソース — LVM または ZFS プール内のノードにある DRBD デバイスです。
  現時点では、いくつかのバックエンドがサポートされており、その数は増え続けています。 LVM、ThinLVM、ZFS がサポートされています。 最後の XNUMX つでは、スナップショットを作成して使用できます。
• ディスクレスリソース — バックエンドのないノードに配置された DRBD デバイスですが、通常のブロック デバイスとして扱うことができ、すべての読み取り/書き込み操作がデータ リソースにリダイレクトされます。 ディスクレス リソースに最も近いものは iSCSI LUN です。

各 DRBD リソースには最大 8 つのレプリカを含めることができ、デフォルトではそのうちの XNUMX つだけをアクティブにできます。 プライマリー、他の人はみんなそうなるだろう 二次 少なくとも XNUMX つのプライマリが存在する限り、それらの使用は不可能です。つまり、プライマリ間でデータが複製されるだけです。

DRBD デバイスをシステムにインストールすると、自動的に プライマリーしたがって、DRBD 用語ではディスクレス リソースもプライマリになる可能性があります。

では、なぜリンスターが必要なのでしょうか?

リソースを大量に消費するタスクをすべてカーネルに任せることにより、Linstor は基本的に通常の Java アプリケーションとなり、DRBD リソースの作成を簡単に自動化できます。
さらに、彼によって作成された各リソースは、コントロール プレーンや他の DRBD リソースの状態に関係なく、独立して動作する独立した DRBD クラスターになります。

Linstor は XNUMX つのコンポーネントのみで構成されています。

• リンスターコントローラー - メイン コントローラー。リソースを作成および管理するための API を提供します。 また、衛星と通信して衛星の空き領域を確認し、新しいリソースを作成および削除するタスクを送信します。 単一インスタンスで実行され、内部 (H2) または外部 (PostgreSQL、MySQL、MariaDB) のデータベースを使用します。
• リンスター衛星 — すべてのストレージ ノードにインストールされ、空き領域に関する情報をコントローラーに提供し、コントローラーから受け取ったタスクを実行して、その上に新しいボリュームと DRBD デバイスを作成および削除します。

リンスターは次の主要な概念に基づいて動作します。

• Node — DRBD リソースが作成および使用される物理サーバー。
• ストレージプール — DRBD リソースが配置されるノード上に作成された LVM または ZFS プール。 ディスクレス プールも可能です。これは、ディスクレス リソースのみが配置されるプールです。
• リソースの定義 — リソースの定義は基本的に、名前とそのすべてのプロパティを記述するプロトタイプです。
• ボリュームの定義 — ボリューム定義。 各リソースは複数のボリュームで構成でき、各ボリュームにはサイズが必要です。
• リソース — ブロックデバイスのインスタンスを作成すると、各リソースは特定のノードとストレージプールに配置される必要があります。

リンスターのインストール

システムとして Ubuntu を使用することをお勧めします。 彼女のために存在する 準備完了 PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

または Debian では、Proxmox の公式リポジトリから Linstor をインストールできます。

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

コントローラー

ここではすべてが簡単です：

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

ストレージノード

Linux カーネルには現在、ツリー内カーネル モジュールが同梱されています。 DRBD8、残念ながら私たちには合わないのでインストールする必要があります DRBD9:

apt-get install drbd-dkms

実践が示すように、ほとんどの問題は、DRBD8 ではなく DRBD9 モジュールがシステムにロードされているために発生します。 幸いなことに、これは次を実行することで簡単に確認できます。

modprobe drbd
cat /proc/drbd

見たら バージョン：9 - 次の場合はすべて問題ないことを意味します バージョン：8 - これは、何か問題が発生し、その理由を調べるために追加の手順を実行する必要があることを意味します。

では、インストールしましょう リンスター衛星 и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

クラスターを作成する

ストレージプールとノード

バックエンドとして、 ThinLVM、 なぜならこれは最も単純で、スナップショットをサポートします。
セット LVM2まだ作成していない場合は、すべてのストレージ ノードに ThinLVM プールを作成しましょう。

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

以降のアクションはすべてコントローラー上で直接実行できます。

ノードを追加してみましょう。

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

ストレージ プールを作成しましょう。

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

次に、作成されたプールを確認してみましょう。

linstor storage-pool list

すべてが正しく行われていれば、次のようなものが表示されるはずです。

+------------------------------------------------ -------------------------------------------------- ----+ | ストレージプール | ノード | ドライバー | プール名 | 空き容量 | 総容量 | サポートスナップショット | |------------------------------------------------ - ------------------------------------------------- - ---| | データ | ノード1 | LVM_THIN | drbdpool/シンプール | 64 GiB | 64 GiB | 本当 | | データ | ノード2 | LVM_THIN | drbdpool/シンプール | 64 GiB | 64 GiB | 本当 | | データ | ノード3 | LVM_THIN | drbdpool/シンプール | 64 GiB | 64 GiB | 本当 | +------------------------------------------------ -------------------------------------------------- ----+

DRBD リソース

次に、新しい DRBD リソースを作成してみましょう。

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

作成されたリソースを確認してみましょう。

linstor resource list 

+------------------------------------------------ -------------------------------------------------- ---+ | ノード | リソース | ストレージプール | ボリューム番号 | マイナー番号 | デバイス名 | 割り当て済み | 使用中 | 状態 | |------------------------------------------------ - ------------------------------------------------- - --| | ノード1 | マイレス | データ | 0 | 1084 | /dev/drbd1084 | 52 KiB | 未使用 | 最新情報 | | ノード2 | マイレス | データ | 0 | 1084 | /dev/drbd1084 | 52 KiB | 未使用 | 最新情報 | +------------------------------------------------ -------------------------------------------------- ---+

素晴らしい！ — リソースが最初の XNUMX つのノードで作成されたことがわかります。XNUMX 番目のノードでディスクレス リソースの作成を試みることもできます。

linstor resource create --diskless node3 myres

ノード上では、このデバイスは常に次のように表示されます。 /dev/drbd1084 または /dev/drbd/by-res/myres/0

これが Linstor の仕組みです。詳細については、次のサイトから入手できます。 公式ドキュメント.

次に、OpenNebula と統合する方法を説明します。

OpenNebula のセットアップ

OpenNebula のセットアップ プロセスについてはあまり詳しく説明しません。なぜなら... すべての手順については、以下で詳しく説明します。 公式ドキュメントに連絡することをお勧めしますが、OpenNebula と Linstor の統合についてのみ説明します。

linstor_un

この問題を解決するために、私は独自のドライバーを作成しました。 linstor_un、現在はプラグインとして利用できるため、別途インストールする必要があります。

インストール全体はフロントエンドの OpenNebula ノードで実行され、計算ノードで追加のアクションを行う必要はありません。

まず第一に、次のことを確認する必要があります。 jq и リンスタークライアント:

apt-get install jq linstor-client

チーム linstor node list ノードのリストが表示されるはずです。 すべての OpenNebula 計算ノードを Linstor クラスターに追加する必要があります。

プラグインをダウンロードしてインストールします。

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

次に、これを OpenNebula 構成に追加する必要があります。これを行うには、説明されている簡単な手順に従います。 ここで.

次に、OpenNebula を再起動します。

systemctl restart opennebula

データストアとシステムを追加します。

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

そして画像ストア:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• パラメーター AUTO_PLACE OpenNebula の新しいイメージごとに作成されるデータ レプリカの数を表示します。
• パラメーター CLONE_MODE 新しい仮想マシンを作成するときにイメージがどのように複製されるかを正確に示します。 snapshot — イメージのスナップショットを作成し、そのスナップショットから仮想マシンをデプロイします。 copy — 各仮想マシンのイメージの完全なコピーを作成します。
• В BRIDGE_LIST イメージのクローン作成操作を実行するために使用されるすべてのノードを指定することをお勧めします。

サポートされているパラメータの完全なリストについては、を参照してください。 README プロジェクト。

これでセットアップは完了です。公式からアプライアンスをダウンロードできるようになります。 OpenNebula マーケットプレイス そしてそこから仮想マシンを作成します。

プロジェクトリンク:
https://github.com/OpenNebula/addon-linstor_un

出所： habr.com