🥇新しいオブジェクトストレージメトリクス

フライングフォートレス by Nele-Diel

S3オブジェクトストレージコマンド Mail.ru クラウドストレージオブジェクトストレージを選択する際に重要な基準についての記事を翻訳しました。以下は著者の視点からの文章です。

オブジェクトストレージのことになると、人々は通常、TB/GB あたりの価格という XNUMX つのことしか考えません。もちろん、この指標は重要ですが、アプローチが一方的なものとなり、オブジェクトストレージをアーカイブストレージツールと同一視してしまいます。さらに、このアプローチにより、エンタープライズテクノロジースタックにおけるオブジェクトストレージの重要性が軽減されます。

オブジェクトストレージを選択するときは、次の XNUMX つの特性に注意する必要があります。

パフォーマンス
スケーラビリティ;
S3互換性あり。
失敗への対応。
誠実さ。

これら XNUMX つの特性は、コストとともにオブジェクトストレージの新しい指標です。それらをすべて見てみましょう。

Производительность

従来のオブジェクトストアはパフォーマンスが不足しています。サービスプロバイダーは低価格を追求するために常にそれを犠牲にしていました。ただし、最新のオブジェクトストレージでは事情が異なります。

さまざまなストレージシステムが Hadoop の速度に近づき、あるいはそれを超えています。読み取りおよび書き込み速度に関する最新の要件: ハードドライブの場合は 10 GB/秒、NVMe の場合は最大 35 GB/秒。

このスループットは、Spark、Presto、Tensorflow、Teradata、Vertica、Splunk、および分析スタック内のその他の最新のコンピューティングフレームワークには十分です。 MPP データベースがオブジェクトストレージ用に構成されているという事実は、MPP データベースがプライマリストレージとして使用されることが増えていることを示唆しています。

ストレージシステムが必要な速度を提供しない場合、データを使用してそこから価値を引き出すことはできません。オブジェクトストレージからデータをメモリ内の処理構造に取得する場合でも、メモリとの間でデータを転送するための帯域幅が必要になります。従来のオブジェクトストアでは十分ではありません。

これが重要なポイントです。新しいパフォーマンス指標はレイテンシーではなくスループットです。これは大規模なデータに必要であり、最新のデータインフラストラクチャでは標準となっています。

ベンチマークはパフォーマンスを判断する良い方法ですが、アプリケーションを環境で実行する前に正確に測定することはできません。それができて初めて、ボトルネックがソフトウェア、ディスク、ネットワーク、またはコンピューティングレベルのどこにあるのかを正確に知ることができます。

スケーラビリティ

スケーラビリティとは、XNUMX つの名前空間に収まるペタバイトの数を指します。ベンダーが主張しているのは拡張が容易であるということですが、彼らが言っていないのは、拡張するにつれて大規模なモノリシックシステムが脆弱になり、複雑になり、不安定になり、高価になるということです。

スケーラビリティの新しい指標は、サービスを提供できる名前空間またはクライアントの数です。このメトリクスは、ストレージの構成要素は小さいものの、数十億ユニットまで拡張できるハイパースケーラーから直接取得されます。一般に、これはクラウドメトリックです。

構成要素が小さいと、セキュリティ、アクセス制御、ポリシー管理、ライフサイクル管理、および無停止更新を最適化するのが容易になります。そして最終的には生産性を確保します。ビルディングブロックのサイズは、障害領域の制御可能性の関数であり、これにより、回復力の高いシステムがどのように構築されるかが決まります。

マルチテナントには多くの特徴があります。この次元は、組織がデータやアプリケーションへのアクセスを提供する方法について語る一方で、アプリケーション自体と、それらを相互に分離する背後にあるロジックについても言及します。

マルチクライアントに対する最新のアプローチの特徴:

短期間でクライアントの数が数百から数百万に増加する可能性があります。
クライアントは互いに完全に隔離されています。これにより、同じソフトウェアの異なるバージョンを実行し、異なる構成、権限、機能、セキュリティ、メンテナンスレベルでオブジェクトを保存できるようになります。これは、新しいサーバー、更新、地域に合わせて拡張するときに必要です。
ストレージは柔軟に拡張可能で、リソースはオンデマンドで提供されます。
各操作は API によって制御され、人間の介入なしに自動化されます。
ソフトウェアはコンテナ内でホストでき、Kubernetes などの標準オーケストレーションシステムを使用できます。

S3対応

Amazon S3 API は、オブジェクトストレージの事実上の標準です。すべてのオブジェクトストレージソフトウェアベンダーは、オブジェクトストレージソフトウェアとの互換性を主張しています。 S3 との互換性はバイナリです。完全に実装されているか、完全に実装されていないかのどちらかです。

実際には、オブジェクトストレージの使用時に問題が発生するエッジシナリオが何百、何千も存在します。特に独自のソフトウェアやサービスのプロバイダーからのものです。その主な使用例は直接アーカイブまたはバックアップであるため、API を呼び出す理由はほとんどなく、使用例は均一です。

オープンソースソフトウェアには大きな利点があります。アプリケーション、オペレーティングシステム、ハードウェアアーキテクチャの規模と多様性を考慮して、ほとんどのエッジシナリオをカバーします。

これらはすべてアプリケーション開発者にとって重要であるため、ストレージプロバイダーを使用してアプリケーションをテストする価値があります。オープンソースによりプロセスが容易になり、どのプラットフォームがアプリケーションに適しているかを理解しやすくなります。プロバイダーはストレージへの単一のエントリポイントとして使用できるため、ニーズを満たすことができます。

オープンソースとは、アプリケーションがベンダーに束縛されず、より透明性が高いことを意味します。これにより、アプリケーションのライフサイクルが長くなります。

オープンソースと S3 についてさらにいくつかメモします。

ビッグデータアプリケーションを実行している場合、S3 SELECT はパフォーマンスと効率を一桁向上させます。これは、SQL を使用してストレージから必要なオブジェクトのみを取得することによって行われます。

重要な点は、バケット通知のサポートです。バケット通知は、サービスとして提供されるマイクロサービスアーキテクチャの重要なコンポーネントであるサーバーレスコンピューティングを促進します。オブジェクトストレージが事実上クラウドストレージであることを考えると、オブジェクトストレージがクラウドベースのアプリケーションで使用される場合、この機能は重要になります。

最後に、S3 実装は Amazon S3 サーバー側暗号化 API (SSE-C、SSE-S3、SSE-KMS) をサポートする必要があります。さらに良いことに、S3 は真に安全な改ざん防止をサポートしています。

障害への対応

おそらく見落とされがちな指標は、システムが障害をどのように処理するかです。障害はさまざまな理由で発生するため、オブジェクトストレージはそれらすべてに対処する必要があります。

たとえば、単一障害点があり、そのメトリックはゼロです。

残念ながら、多くのオブジェクトストレージシステムでは、クラスターが適切に機能するために有効にする必要がある特別なノードが使用されています。これらにはネームノードやメタデータサーバーが含まれます。これにより単一障害点が作成されます。

複数の障害点がある場合でも、壊滅的な障害に耐えられる能力が最も重要です。ディスクに障害が発生し、サーバーにも障害が発生します。重要なのは、障害を通常の状態として処理するように設計されたソフトウェアを作成することです。ディスクまたはノードに障害が発生しても、そのようなソフトウェアは変更せずに動作し続けます。

データ消去とデータ劣化に対する保護機能が組み込まれているため、パリティブロックと同数のディスクまたはノード (通常はディスクの半分) が失われても大丈夫です。その場合のみ、ソフトウェアはデータを返すことができなくなります。

負荷をかけた状態で障害がテストされることはほとんどありませんが、そのようなテストは必須です。負荷障害をシミュレートすると、障害後に発生した総コストが表示されます。

一貫性

100% の整合性スコアは、厳密な整合性とも呼ばれます。整合性はストレージシステムの重要な要素ですが、強力な整合性はまれです。たとえば、Amazon S3 ListObject は厳密には一貫性がありません。一貫性があるのは最後だけです。

厳密な一貫性とは何を意味しますか? 確認された PUT 操作に続くすべての操作では、次のことが発生する必要があります。

更新された値は、任意のノードから読み取るときに表示されます。
更新はノード障害の冗長性から保護されます。

これは、録音の途中でプラグを抜いても何も失われないことを意味します。システムは破損したデータや古いデータを返すことはありません。これは、トランザクションアプリケーションからバックアップやリカバリに至るまで、多くのシナリオで重要となる高いハードルです。

まとめ

これらは、パフォーマンス、一貫性、スケーラビリティ、フォールトドメイン、S3 互換性がクラウドアプリケーションとビッグデータ分析の構成要素である今日の組織の使用パターンを反映する新しいオブジェクトストレージメトリクスです。最新のデータスタックを構築するときは、価格に加えてこのリストを使用することをお勧めします。

Mail.ru クラウドソリューションオブジェクトストレージについて: S3 アーキテクチャ。 Mail.ru クラウドストレージの 3 年間の進化.

他に読むべきこと：

出所： habr.com

新しいオブジェクトストレージメトリクス

Производительность

スケーラビリティ

S3対応

障害への対応

一貫性

まとめ

コメントを追加します 返信をキャンセル

コメントを追加します返信をキャンセル