wZD 1.0.0の最初のリリース、小さなファイル用のコンパクトストレージサーバー

利用可能 और देखें wZD 1.0.0 - 見た目は通常の WebDAV サーバーと同じように、大量のファイルをコンパクトな形式で効率的に保存するためのサーバー。 変更されたバージョンがストレージに使用されます ボルトDB。 プロジェクトのコードは Go で書かれており、 によって配布 BSD ライセンスに基づいて。

Сервер 許可する 完全なロックのサポートにより、通常またはクラスター化されたファイル システム上の小さなファイルの数が大幅に削減されます。 wZD 開発者が管理するクラスターには、クラスター化された FS 内の 250 万のディレクトリにまたがる約 15 億 XNUMX 万の小さなファイルが保存されます。 ムースFS.

wZD を使用すると、ディレクトリの内容を BoltDB 形式のアーカイブに移動 (アーカイブ) し、これらのファイルをこれらのアーカイブから配布 (または PUT メソッドを使用してファイルをアーカイブに配置) できるため、FS 内のファイル数が大幅に削減され、メタデータを保存する際のオーバーヘッド。 大きなファイルの処理効率を高めるために、そのようなファイルをBolt アーカイブとは別に保存できます。 このアプローチにより、ファイル システム内の i ノード数の制限に達することなく、膨大な数の小さなファイルのストレージを整理できます。

wZD 1.0.0の最初のリリース、小さなファイル用のコンパクトストレージサーバー

このサーバーは、キー/値形式 (ディレクトリ構造に基づくシャーディングを使用) のデータの NoSQL データベースとして使用したり、データベースから事前に生成された html または json ドキュメントを配布したりするために使用することもできます。 パフォーマンスの点では、Bolt アーカイブを使用してデータをアップロードおよび書き込みすると、読み取り時に約 20 ~ 25%、書き込み時に 40 ~ 50% の遅延が増加します。 ファイル サイズが小さいほど、遅延の差は小さくなります。

wZD 1.0.0の最初のリリース、小さなファイル用のコンパクトストレージサーバー

メイン チャンス:

  • マルチスレッド。
  • マルチサーバー。耐障害性と負荷分散を提供します。
  • ユーザーまたは開発者に対する最大限の透明性。
  • サポートされている HTTP メソッド: GET、HEAD、PUT、および DELETE。
  • クライアント側ヘッダーによる読み取りおよび書き込み動作の管理。
  • 高度に構成可能な仮想ホストのサポート。
  • 書き込み/読み取り時の CRC データ整合性のサポート。
  • メモリ消費を最小限に抑え、ネットワーク パフォーマンスを最適に調整するための半動的バッファ。
  • 遅延データパッキング。
  • さらに、マルチスレッドアーカイバも提供されています wZA サービスを停止せずにファイルをBoltアーカイブに移動します。

現在のリリースのいくつかの制限: マルチパート、POST メソッド、HTTPS プロトコル、プログラミング言語のバインディング、ディレクトリの再帰的削除、WebDAV または FUSE を介したファイル システムへの構造のマウントのサポートなし、ファイルは XNUMX 人のシステム ユーザーの下に保存されます。 ストレージ形式はアーキテクチャに固有であり、リトル エンディアン システムとビッグ エンディアン システム間で移植できません。 wZD サーバーは HTTP プロトコルのサポートを実装しているにもかかわらず、nginx や haproxy などのリバース プロキシを装ってそれを実行するだけで済みます。

出所: オープンネット.ru

コメントを追加します