主持人 > 博客 > 網絡新聞 > wZD 1.0.0首次發布，小文件緊湊型存儲服務器

wZD 1.0.0首次發布，小文件緊湊型存儲服務器

可用的 第一版 wZD 1.0.0 — сервера для эффективного хранения большого числа файлов в компактном виде, который снаружи выглядит как обычный WebDAV-сервер. Для хранения используется модифицированная версия BoltDB. Код проекта написан на языке Go и 分發者 在 BSD 許可證下。

服務器 它允許 значительно сократить количество маленьких файлов на обычных или кластерных файловых системах с полной поддержкой блокировок. Поддерживаемый разработчиками wZD кластер хранит около 250 миллионов мелких файлов, разнесённых по 15 миллионам директорий в кластерной ФС 駝鹿文件系統.

wZD даёт возможность переместить (архивировать) содержимое директорий в архивы в формате BoltDB и затем раздавать эти файлы из этих архивов (или помещать файлы в архивы методом PUT), значительно сократив число файлов в ФС и снизив накладные расходы на хранение метаданных. Для повышения эффективности обработки больших файлов, такие файлы могут сохраняться отдельно от Bolt-архивов. Подобный подход позволяет организовать хранение огромного числа мелких файлов, не упираясь в лимит на число inode в файловой системе.

wZD 1.0.0首次發布，小文件緊湊型存儲服務器

Сервер также можно использовать как NoSQL базу для данных в формате ключ/значение (с шардингом на базе структуры директорий) или для раздачи из БД предварительно сгенерированных html или json-документов. Что касается производительности, то отдача и запись данных с использованием Bolt-архивов приводит к увеличению задержки приблизительно на 20-25% при чтении и на 40-50% при записи. Чем меньше размер файла, тем меньше различия в задержках.

wZD 1.0.0首次發布，小文件緊湊型存儲服務器

主要的 能力:

  • 多線程；
  • 多伺服器，提供容錯和負載平衡；
  • 為使用者或開發者提供最大的透明度；
  • 支援的 HTTP 方法：GET、HEAD、PUT 和 DELETE；
  • 透過客戶端標頭控制讀寫行為；
  • 支援靈活的虛擬主機；
  • Поддержка CRC-целостности данных при записи/чтении;
  • 半動態緩衝區可實現最小記憶體消耗和最佳網路效能調整；
  • Отложенная упаковка данных;
  • В дополнение предлагается многопоточный архиватор 維ZA для перемещения файлов в Bolt-архивы без остановки сервиса.

Некоторые ограничения текущего выпуска: нет поддержки Multipart, метода POST, протокола HTTPS, биндингов для языков программирования, рекурсивного удаления директорий, отсутствует поддержка монтирования структуры в файловую систему через WebDAV или FUSE, файлы хранятся под одним системным пользователем. Формат хранения привязан к архитектуре и не переносим между системами Little Endian и Big Endian. Несмотря на то, что сервер wZD реализует поддержку протокола HTTP, запускать его требуется только под прикрытием реверс прокси, таких как nginx и haproxy.

來源： opennet.ru

添加評論