開星雲。 短いメモ

こんにちは、みんな。 この記事は、「proxmox をインストールしましたが、一般的にはすべて問題なく、一度も中断することなく 6 年間稼働しています。」シリーズの記事を読んだ後、仮想化プラットフォームの選択でまだ迷っている人向けに書かれました。 しかし、すぐに使用できるソリューションをインストールした後、監視をよりわかりやすくするために、またバックアップを制御するには、これをどのように修正すればよいのかという疑問が生じます。 そして、より機能的なものが必要であること、ブラック ボックスではなくシステム内のすべてを明らかにしたいこと、またはハイパーバイザーと多数の仮想マシン以上のものを使用したいことに気づく時が来ます。 この記事には、Opennebula プラットフォームに基づいたいくつかの考えと実践が含まれています。私がそれを選んだ理由は次のとおりです。 リソースを必要とせず、アーキテクチャもそれほど複雑ではありません。

したがって、ご覧のとおり、多くのクラウド プロバイダーは kvm で動作し、マシンを制御するために外部接続を確立します。 大規模なホスティング事業者がクラウド インフラストラクチャ用に独自のフレームワークを作成していることは明らかです。たとえば、同じ YANDEX です。 誰かが openstack を使用し、これに基づいて接続を確立します (SELECTEL、MAIL.RU)。 しかし、独自のハードウェアと少数の専門スタッフを持っている場合は、通常、VMWARE、HYPER-V などの既製のものを選択します。ライセンスには無料と有料がありますが、それは今話していることではありません。 愛好家について話しましょう。愛好家とは、会社が「あなたの後は誰がこれにサービスを提供するのか」「後でこれを実稼働環境に展開するつもりですか」と明確に示しているにもかかわらず、何か新しいことを提案して試すことを恐れない人々です。 ? 怖い。" ただし、これらのソリューションをまずテストベンチに適用し、全員が気に入った場合は、さらなる開発の問題を提起し、より深刻な環境で使用することができます。

こちらもレポートへのリンクです www.youtube.com/watch?v=47Mht_uoX3A このプラットフォームの開発に積極的に参加している人からのコメントです。

おそらく、この記事では、経験豊富な専門家にはすでに理解できる余分な内容が含まれる可能性があります。また、同様のコマンドと説明がインターネット上で入手できるため、すべてを説明しない場合もあります。 これは、このプラットフォームでの私の経験にすぎません。 積極的な参加者が、もっと良くできる点や私が犯した間違いなどをコメントに追加してくれることを願っています。 すべてのアクションは、異なる特性を持つ 3 台の PC で構成されるホーム スタンドで行われました。 また、このソフトウェアがどのように動作するか、およびインストール方法については具体的には示しませんでした。 いいえ、管理経験と私が遭遇した問題のみです。 おそらく、これは誰かの選択に役立つでしょう。

それでは、始めましょう。 システム管理者として、私にとって次の点が重要です。これらの点がなければ、このソリューションを使用することはできません。

1. 取り付けの再現性

opennebula のインストール手順はたくさんありますが、問題はないはずです。 バージョンが変わるたびに、新しい機能が登場しますが、バージョンが変わると必ずしも機能するとは限りません。

2. 監視

ノード自体、kvm、opennebula を監視します。 幸いなことに、それはすでに準備ができています。 Linux ホスト、同じ Zabbix またはノード エクスポータの監視には多くのオプションがあります - どちらが良いかは誰でも良いです - 現時点では、私はこれを zabbix を介したシステム メトリクス (測定可能な温度、ディスク アレイの一貫性) の監視と定義しています。 、および Prometheus エクスポータを介したアプリケーションについても同様です。 たとえば、kvm モニタリングの場合は、次のプロジェクトを使用できます。 github.com/zhangjianweibj/prometheus-libvirt-exporter.git systemd経由で実行するように設定すると、非常にうまく機能し、kvmメトリクスが表示されます。既製のダッシュボードもあります grafana.com/grafana/dashboards/12538.

たとえば、これが私のファイルです:

/etc/systemd/system/libvirtd_exporter.service
[Unit]
Description=Node Exporter

[Service]
User=node_exporter
ExecStart=/usr/sbin/prometheus-libvirt-exporter --web.listen-address=":9101"

[Install]
WantedBy=multi-user.target

したがって、エクスポーターが 1 つあり、opennebula 自体を監視するために XNUMX 番目のエクスポーターが必要です。私はこれを使用しました github.com/kvaps/opennebula-exporter/blob/master/opennebula_exporter

通常に追加可能 ノードエクスポーター 以下のシステムを監視します。

node_exporter ファイルで、開始を次のように変更します。

ExecStart=/usr/sbin/node_exporter --web.listen-address=":9102" --collector.textfile.directory=/var/lib/opennebula_exporter/textfile_collector

ディレクトリを作成します mkdir -p /var/lib/opennebula_exporter

上記の bash スクリプトでは、まずコンソールで動作を確認し、必要なものが表示されていれば (エラーが発生した場合は xmlstarlet をインストールしてください)、それを /usr/local/bin/opennebula_exporter.sh にコピーします。

XNUMX 分ごとに cron タスクを追加します。

*/1 * * * * (/usr/local/bin/opennebula_exporter.sh > /var/lib/opennebula_exporter/textfile_collector/opennebula.prom)

メトリクスが表示され始め、プロメテウスのようにメトリクスを取得してグラフを作成し、アラートを作成できます。 Grafana では、たとえば、このような単純なダッシュボードを描画できます。

(ここで CPU と RAM をオーバーコミットしていることは明らかです)

Zabbix を愛し、使用している人のために、 github.com/OpenNebula/addon-zabbix

モニタリングに関する限り、重要なことはそれがそこにあるということです。 もちろん、さらに、組み込みの仮想マシン監視ツールを使用して、請求書にデータをアップロードすることもできます。ここでは、誰もが独自のビジョンを持っていますが、私はまだこれについて詳しく取り組み始めていません。

まだ実際にログを記録し始めていません。 最も簡単なオプションは、正規表現を使用して /var/lib/one ディレクトリを解析するために td-agent を追加することです。 たとえば、sunstone.log ファイルは、nginx 正規表現や、プラットフォームへのアクセス履歴を示すその他のファイルと一致します。これにはどのような利点があるのでしょうか? たとえば、「エラー、エラー」の数を明示的に追跡し、どこにどのレベルの不具合があるかをすぐに追跡できます。

3. バックアップ

有料の完了済みプロジェクトもあります - たとえば XNUMX 月 wiki.sepsoftware.com/wiki/index.php/4_4_3_Tigon:OpenNebula_Backup。 この場合、単にマシン イメージをバックアップすることは全く同じではないことを理解する必要があります。仮想マシンは完全な統合 (ネットワーク設定、VM 名、アプリケーションのカスタム設定を記述する同じコンテキスト ファイル) で動作する必要があるためです。 。 したがって、ここで何をどのようにバックアップするかを決定します。 場合によっては、VM 自体にあるもののコピーを作成した方がよい場合があります。 そしておそらく、特定のマシンから XNUMX つのディスクをバックアップするだけで済みます。

たとえば、すべてのマシンは永続的なイメージで開始されるため、読み取り後に docs.opennebula.io/5.12/operation/vm_management/img_guide.html

これは、まず VM から画像をアップロードできることを意味します。

onevm disk-saveas 74 3 prom.qcow2
Image ID: 77

Смотрим, под каким именем он сохранился

oneimage show 77
/var/lib/one//datastores/100/f9503161fe180658125a9b32433bf6e8
   
И далее копируем куда нам необходимо. Конечно, так себе способ. Просто хотел показать, что используя инструменты opennebula можно строить подобные решения.

私もインターネットで見つけました 興味深いレポート さらにあります このようなオープンなプロジェクト, しかし、qcow2用のストレージしかありません。

しかし、誰もが知っているように、遅かれ早かれ増分バックアップが必要になるときが来ます。ここではそれがより難しくなり、おそらく経営者は有料ソリューションに資金を割り当てるか、あるいは、ここではリソースを削減しているだけであることを理解して別の方向に進むでしょう。アプリケーション レベルでバックアップを作成し、多数の新しいノードと仮想マシンを追加します。はい、ここでは、純粋にアプリケーション クラスターを起動するためにクラウドを使用し、データベースを別のプラットフォームで起動するか、既成のプラットフォームを使用すると言っています。可能であればサプライヤーから。

4.使いやすさ

この段落では、私が遭遇した問題について説明します。 たとえば、イメージによれば、ご存知のとおり、永続的なものがあります。このイメージが VM にマウントされると、すべてのデータがこのイメージに書き込まれます。 非永続的な場合、イメージはストレージにコピーされ、データはソース イメージからコピーされたものに書き込まれます。これがテンプレート テンプレートの仕組みです。 私は、persistent を指定するのを忘れて 200 GB のイメージがコピーされてしまい、何度も問題を引き起こしました。問題は、この手順は確実にキャンセルできないことです。ノードに移動して現在の「cp」プロセスを強制終了する必要があります。

重要な欠点の 2 つは、GUI を使用するだけではアクションをキャンセルできないことです。 というか、それらをキャンセルして何も起こらないことを確認し、再度開始してキャンセルすると、実際にはイメージをコピーする cp プロセスがすでに XNUMX つ存在します。

そして、opennebula が各新しいインスタンスに新しい ID で番号を付ける理由を理解するようになります。たとえば、同じ proxmox で ID 101 の VM を作成し、それを削除し、その後、ID 101 で VM を再度作成します。opennebula では、これは起こりません。新しいインスタンスはそれぞれ新しい ID で作成され、これには独自のロジック (古いデータの消去やインストールの失敗など) があります。

ストレージについても同様であり、何よりもこのプラットフォームは集中ストレージを目的としています。 ローカルを使用するためのアドオンもありますが、この場合はそれについて話しているのではありません。 将来的には、ノード上でローカル ストレージをどのように使用し、実稼働環境で正常に使用したかについて誰かが記事を書くことになると思います。

5. 最大限のシンプルさ

もちろん、先に進めば進むほど、理解してくれる人は少なくなります。

私のスタンドの条件 (NFS ストレージを備えた 3 ノード) では、すべてが正常に動作します。 しかし、停電を伴う実験を行う場合、たとえば、スナップショットを実行してノードの電源をオフにする場合、データベースにはスナップショットがあるという設定が保存されますが、実際にはスナップショットはありません (まあ、誰もが理解していることですが)。最初にこのアクションに関するデータベースを sql で書き込みましたが、操作自体は成功しませんでした)。 利点は、スナップショットを作成するときに別のファイルが形成され、「親」が存在するため、問題が発生した場合や GUI で機能しない場合でも、qcow2 ファイルを選択して個別に復元できることです。 docs.opennebula.io/5.8/operation/vm_management/vm_instances.html

残念ながら、ネットワークではすべてがそれほど単純ではありません。 そうですね、少なくとも openstack よりは簡単です。私は vlan (802.1Q) のみを使用しました。これは非常にうまく機能しますが、テンプレート ネットワークから設定を変更した場合、これらの設定はすでに実行中のマシンには適用されません。ネットワーク カードを削除して追加する必要がある場合、新しい設定が適用されます。

それでも openstack と比較したい場合は、次のように言えます。opennebula には、データの保存、ネットワーク、リソースの管理にどのテクノロジーを使用するかについて明確な定義はありません。各管理者は、自分にとって何がより便利かを自分で決定します。

6. 追加のプラグインとインストール

結局のところ、私たちが理解しているように、クラウド プラットフォームは kvm だけでなく vmware esxi も管理できます。 残念ながら、私には Vcenter のプールがありませんでした。試したことがある人がいたら、書いてください。

他のクラウドプロバイダーのサポートが記載されています docs.opennebula.io/5.12/advanced_components/cloud_bursting/index.html
AWS、アズール。

また、Selectel から Vmware Cloud に接続しようとしましたが、何も機能しませんでした。一般に、多くの要因があり、ホスティング プロバイダーのテクニカル サポートに問い合わせる意味がないためブロックされました。

また、新しいバージョンには Firecracker が追加されました。これは、docker 上の kvm ハーネスの一種である microvm のリリースであり、エミュレート機器にリソースを浪費する必要がないため、さらに高い汎用性、セキュリティ、生産性の向上が得られます。 Docker と比べて私が考える唯一の利点は、このエミュレーションを使用するときに追加のプロセス数を消費しないことと、ソケットが占有されないことです。 これをロード バランサーとして使用することはかなり可能です (ただし、すべてのテストを完全に実行するまでは、これについて別の記事を書く価値はあるでしょう)。

7. 使用とエラーのデバッグに関する肯定的な経験

この作品についての私の観察を共有したいと思い、上でその一部を説明しましたが、さらに書きたいと思います。 確かに、これは適切なシステムではなく、一般的にここにあるものはすべて松葉杖であると最初に考えるのはおそらく私だけではありません。彼らはこれをどのように操作するのでしょうか? しかしその後、すべてが非常に論理的であることが理解されます。 もちろん、すべての人を満足させることはできず、改善が必要な側面もあります。

たとえば、あるデータストアから別のデータストアにディスク イメージをコピーするという単純な操作です。 私の場合、nfs を備えたノードが 2 つあり、イメージを送信します。コピーはフロントエンドの opennebula を通じて行われますが、データはホスト間で直接コピーされることに慣れていますが、同じ vmware、hyper-v 内にあります。これには慣れていますが、ここでは別のことにします。 異なるアプローチと異なるイデオロギーがあり、バージョン 5.12 では「データストアに移行」ボタンが削除されました。マシン自体のみが転送され、ストレージは転送されません。 集中ストレージを意味します。

次に、さまざまな理由でよくあるエラーです。「仮想マシンのデプロイ中にエラーが発生しました: /var/lib/one//datastores/103/10/deployment.5 からドメインを作成できませんでした」 以下は最も注目すべき事項です。

• oneadmin ユーザーの肖像権。
• oneadmin ユーザーが libvirtd を実行するための権限。
• データストアは正しくマウントされていますか? ノード自体のパスを確認してください。おそらく何かが落ちている可能性があります。
• ネットワークが正しく構成されていません。フロントエンドではネットワーク設定で VLAN のメイン インターフェイスが br0 になっていますが、ノードでは Bridge0 として書き込まれています。これは同じである必要があります。

システム データストアには VM のメタデータが保存されます。永続イメージを使用して VM を実行する場合、VM は、VM を作成したストレージ上に最初に作成された構成にアクセスできる必要があります。これは非常に重要です。 したがって、VM を別のデータストアに転送する場合は、すべてを再確認する必要があります。

8. ドキュメント、コミュニティ。 さらなる発展

残りは、優れたドキュメント、コミュニティ、そして重要なことは、プロジェクトが将来も存続し続けることです。

一般に、すべてが十分に文書化されており、公式ソースを使用しても、インストールして質問への回答を見つけるのは問題ありません。

コミュニティ、活発です。 インストールで使用できる既製のソリューションを多数公開しています。

現時点では、5.12 以降、社内のいくつかのポリシーが変更されました。 forum.opennebula.io/t/towards-a-stronger-opennebula-community/8506/14 プロジェクトがどのように発展するかを見るのは興味深いでしょう。 冒頭で、そのソリューションを使用するいくつかのベンダーと、業界が提供するものを具体的に指摘しました。 もちろん、何を使用するかについて明確な答えはありません。 しかし、小規模な組織の場合、小規模なプライベート クラウドの維持は思ったほど高価ではないかもしれません。 重要なことは、何が必要かを正確に知ることです。

したがって、クラウド システムとして何を選択する場合でも、XNUMX つの製品にとどまるべきではありません。 時間があれば、他のよりオープンなソリューションを検討してみる価値があります。

良い雑談があります t.me/オープンネビュラ 彼らは積極的に支援し、問題の解決策を Google で検索するように誘導しません。 参加しませんか。

出所： habr.com