Първо издание на wZD 1.0.0, компактен сървър за съхранение на малки файлове

На разположение първи выпуск wZD 1.0.0 - сървър за ефективно съхраняване на голям брой файлове в компактна форма, която отвън изглежда като обикновен WebDAV сървър. За съхранение се използва модифицирана версия BoltDB. Кодът на проекта е написан на Go и разпространява се от под лиценз BSD.

сървър Тя позволява на Значително намаляване на броя на малките файлове на обикновени или групирани файлови системи с пълна поддръжка за заключване. Клъстерът, поддържан от разработчиците на wZD, съхранява около 250 милиона малки файла, разпределени в 15 милиона директории във файловата система на клъстера MooseFS.

wZD прави възможно преместването (архивиране) на съдържанието на директории в архиви във формат BoltDB и след това разпространение на тези файлове от тези архиви (или поставяне на файлове в архиви чрез метода PUT), значително намалявайки броя на файловете във файловата система и намаляване на режийните разходи за съхранение на метаданни. За да се увеличи ефективността на обработката на големи файлове, такива файлове могат да бъдат записани отделно от архивите на Bolt. Този подход ви позволява да организирате съхранението на огромен брой малки файлове, без да сте ограничени от ограничението за броя на inode във файловата система.

Сървърът може да се използва и като NoSQL база данни за данни във формат ключ/стойност (с шардинг въз основа на структурата на директорията) или за разпространение на предварително генерирани html или json документи от базата данни. По отношение на производителността, изпращането и записването на данни с помощта на архивите на Bolt води до увеличаване на латентността от приблизително 20-25% при четене и с 40-50% при писане. Колкото по-малък е размерът на файла, толкова по-малка е разликата в латентността.

Основната възможности:

• Многопоточност;
• Мултисървър, осигуряващ отказоустойчивост и балансиране на натоварването;
• Максимална прозрачност за потребителя или разработчика;
• Поддържани HTTP методи: GET, HEAD, PUT и DELETE;
• Контрол на поведението при четене и писане чрез клиентски хедъри;
• Поддръжка на гъвкави виртуални хостове;
• Поддръжка на целостта на CRC данните при запис/четене;
• Полудинамични буфери за минимална консумация на памет и оптимална настройка на производителността на мрежата;
• Отложено опаковане на данни;
• Освен това се предлага многонишков архиватор wZA за преместване на файлове в архивите на Bolt без спиране на услугата.

Някои ограничения на текущата версия: няма поддръжка за Multipart, метода POST, протокола HTTPS, свързвания за езици за програмиране, рекурсивно изтриване на директории, няма поддръжка за монтиране на структура към файловата система чрез WebDAV или FUSE, файлове се съхраняват под един системен потребител. Форматът за съхранение е специфичен за архитектурата и не е преносим между Little Endian и Big Endian системи. Въпреки факта, че wZD сървърът поддържа поддръжка за HTTP протокола, той трябва да бъде стартиран само под прикритието на обратни проксита, като nginx и haproxy.

Източник: opennet.ru