wZD 1.0.0首次发布,小文件紧凑型存储服务器

可得到 первыйвыпуск wZD 1.0.0 - 一种以紧凑形式高效存储大量文件的服务器,从外部看就像一个常规的 WebDAV 服务器。 修改后的版本用于存储 螺栓数据库。 项目代码是用Go编写的 分发者 在 BSD 许可下。

服务器 它允许 通过完全锁定支持,显着减少常规或集群文件系统上的小文件数量。 wZD 开发人员维护的集群在集群 FS 中存储了分布在 250 万个目录中的约 15 亿个小文件 驼鹿FS.

wZD 使得可以将目录内容移动(归档)到 BoltDB 格式的档案中,然后从这些档案中分发这些文件(或使用 PUT 方法将文件放入档案中),从而显着减少 FS 中的文件数量,并减少元数据存储的开销。 为了提高处理大文件的效率,可以将此类文件与 Bolt 档案分开保存。 这种方法允许您组织大量小文件的存储,而不会达到文件系统中 inode 数量的限制。

wZD 1.0.0首次发布,小文件紧凑型存储服务器

服务器还可以用作 NoSQL 数据库,用于存储键/值格式的数据(基于目录结构的分片)或用于分发数据库中预先生成的 html 或 json 文档。 在性能方面,使用 Bolt 归档上传和写入数据会导致读取时延迟增加约 20-25%,写入时延迟增加约 40-50%。 文件大小越小,延迟差异越小。

wZD 1.0.0首次发布,小文件紧凑型存储服务器

能力:

  • 多线程;
  • 多服务器,提供容错和负载均衡;
  • 为用户或开发者提供最大的透明度;
  • 支持的 HTTP 方法:GET、HEAD、PUT 和 DELETE;
  • 通过客户端标头管理读写行为;
  • 支持高度可配置的虚拟主机;
  • 支持写/读时CRC数据完整性;
  • 半动态缓冲区可实现最小内存消耗和最佳网络性能调整;
  • 延迟数据打包;
  • 此外,还提供了多线程归档器 维ZA 在不停止服务的情况下将文件移动到 Bolt 存档。

当前版本的一些限制:不支持 Multipart、POST 方法、HTTPS 协议、编程语言的绑定、递归删除目录、不支持通过 WebDAV 或 FUSE 将结构安装到文件系统、文件存储在一个系统用户下。 存储格式是特定于体系结构的,不能在 Little Endian 和 Big Endian 系统之间移植。 尽管wZD服务器实现了对HTTP协议的支持,但您只需要在反向代理(例如nginx和haproxy)的幌子下运行它即可。

来源: opennet.ru

添加评论