Първо издание wZD 1.0.0, сървъри за компактно съхранение на малки файлове

Достъпен първи выпуск wZD 1.0.0 — сървъри за ефективно съхранение на голям брой файлове в компактен вид, който отвън изглежда като обикновен WebDAV сървър. За съхранение се използва модифицирана версия BoltDB. Кодът на проекта е написан на езика Go и се разпространява под лиценз BSD.

Сървър позволява значително намалява броя на малките файлове в обикновени или клъстерни файлови системи с пълна поддръжка на заключвания. Поддържаният от разработчиците wZD клъстер съхранява около 250 милиона малки файлове, разпределени в 15 милиона директории в клъстерната файлова система MooseFS.

wZD предоставя възможност за преместване (архивиране) на съдържанието на директории в архиви във формат BoltDB и след това разпространяване на тези файлове от архивите (или поставяне на файлове в архиви с метода PUT), значително намалявайки броя на файловете в файлова система и намалявайки разходите за съхранение на метаданни. За повишаване на ефективността при обработката на големи файлове, такива файлове могат да се съхраняват отделно от Bolt архивите. Подобен подход позволява организиране на съхранение на огромен брой малки файлове, без да се сблъсква с лимита на броя inode в файлова система.

Сървърът също така може да се използва като NoSQL база данни за данни в формат ключ/стойност (с шардизиране на базата на структурата на директориите) или за разпространяване от БД на предварително генерирани html или json документи. Що се отнася до производителността, извеждането и записването на данни с използване на Bolt архиви води до увеличение на закъснението приблизително с 20-25% при четене и с 40-50% при запис. Колкото по-малък е размерът на файла, толкова по-малки са различията в закъсненията.

Основни възможности:

• Многопоточност;
• Мултисървърност, осигуряваща отказоустойчивост и баланс на натоварването;
• Максимална прозрачност за потребителя или разработчика;
• Поддържани HTTP методи: GET, HEAD, PUT и DELETE;
• Управление на поведението при четене и запис чрез клиентски заглавия;
• Поддръжка на гъвкаво конфигурируеми виртуални хостове;
• Поддръжка на CRC интегритет на данните при запис/четене;
• Полудинамични буфери за минимално потребление на памет и оптимизация на мрежовата производителност;
• Отложено опаковане на данни;
• В допълнение се предлага многопоточен архиватор wZA за преместване на файлове в Bolt архиви без спиране на услугата.

Някои ограничения на текущото издание: няма поддръжка за Multipart, метода POST, протокола HTTPS, биндинги за езици за програмиране, рекурсивно изтриване на директории, липсва поддръжка за монтиране на структурата в файлова система през WebDAV или FUSE, файловете се съхраняват под един системен потребител. Форматът на съхранение е обвързан с архитектурата и не е преносим между системи Little Endian и Big Endian. Въпреки че сървърът wZD реализира поддръжка за протокола HTTP, стартирането му е необходимо само зад реверс прокси, като nginx и haproxy.

Източник: opennet.ru