Prohoster > Blog > tin tức mạng > Bản phát hành đầu tiên của wZD 1.0.0, máy chủ lưu trữ nhỏ gọn dành cho các tệp nhỏ
Bản phát hành đầu tiên của wZD 1.0.0, máy chủ lưu trữ nhỏ gọn dành cho các tệp nhỏ
Có sẵn ерер wZD 1.0.0 — сервера для эффективного хранения большого числа файлов в компактном виде, который снаружи выглядит как обычный WebDAV-сервер. Для хранения используется модифицированная версия BoltDB. Код проекта написан на языке Go и phân phối bởi theo giấy phép BSD.
Máy chủ cho phép значительно сократить количество маленьких файлов на обычных или кластерных файловых системах с полной поддержкой блокировок. Поддерживаемый разработчиками wZD кластер хранит около 250 миллионов мелких файлов, разнесённых по 15 миллионам директорий в кластерной ФС MooseFS.
wZD даёт возможность переместить (архивировать) содержимое директорий в архивы в формате BoltDB и затем раздавать эти файлы из этих архивов (или помещать файлы в архивы методом PUT), значительно сократив число файлов в ФС и снизив накладные расходы на хранение метаданных. Для повышения эффективности обработки больших файлов, такие файлы могут сохраняться отдельно от Bolt-архивов. Подобный подход позволяет организовать хранение огромного числа мелких файлов, не упираясь в лимит на число inode в файловой системе.
Сервер также можно использовать как NoSQL базу для данных в формате ключ/значение (с шардингом на базе структуры директорий) или для раздачи из БД предварительно сгенерированных html или json-документов. Что касается производительности, то отдача и запись данных с использованием Bolt-архивов приводит к увеличению задержки приблизительно на 20-25% при чтении и на 40-50% при записи. Чем меньше размер файла, тем меньше различия в задержках.
Multiserver, cung cấp khả năng chịu lỗi và cân bằng tải;
Tính minh bạch tối đa cho người dùng hoặc nhà phát triển;
Các phương thức HTTP được hỗ trợ: GET, HEAD, PUT và DELETE;
Kiểm soát hành vi đọc và viết thông qua tiêu đề máy khách;
Hỗ trợ máy chủ ảo linh hoạt;
Поддержка CRC-целостности данных при записи/чтении;
Bộ đệm bán động để tiêu thụ bộ nhớ tối thiểu và điều chỉnh hiệu suất mạng tối ưu;
Отложенная упаковка данных;
В дополнение предлагается многопоточный архиватор wZA для перемещения файлов в Bolt-архивы без остановки сервиса.
Некоторые ограничения текущего выпуска: нет поддержки Multipart, метода POST, протокола HTTPS, биндингов для языков программирования, рекурсивного удаления директорий, отсутствует поддержка монтирования структуры в файловую систему через WebDAV или FUSE, файлы хранятся под одним системным пользователем. Формат хранения привязан к архитектуре и не переносим между системами Little Endian и Big Endian. Несмотря на то, что сервер wZD реализует поддержку протокола HTTP, запускать его требуется только под прикрытием реверс прокси, таких как nginx и haproxy.