première version — serveurs pour le stockage efficace d'un grand nombre de fichiers sous une forme compacte, qui apparaît à l'extérieur comme un serveur WebDAV ordinaire. Pour le stockage, une version modifiée est utilisée . Le code du projet est écrit en langage Go et sous licence BSD.
Serveur réduit considérablement le nombre de petits fichiers sur des systèmes de fichiers ordinaires ou en cluster avec un support complet des verrous. Le cluster pris en charge par les développeurs wZD stocke environ 250 millions de petits fichiers, répartis sur 15 millions de répertoires dans un système de fichiers en cluster .
wZD permet de déplacer (archiver) le contenu des répertoires dans des archives au format BoltDB et ensuite de distribuer ces fichiers à partir de ces archives (ou d'ajouter des fichiers dans des archives par méthode PUT), réduisant considérablement le nombre de fichiers dans le système de fichiers et diminuant les frais généraux de stockage des métadonnées. Pour améliorer l'efficacité du traitement de gros fichiers, ces fichiers peuvent être stockés séparément des archives Bolt. Une telle approche permet d'organiser le stockage d'un nombre énorme de petits fichiers, sans atteindre la limite sur le nombre d'inodes dans le système de fichiers.
Le serveur peut également être utilisé comme base de données NoSQL pour des données au format clé/valeur (avec partitionnement basé sur la structure des répertoires) ou pour la distribution à partir de la base de données de documents HTML ou JSON pré-générés. En ce qui concerne les performances, la lecture et l'écriture de données utilisant des archives Bolt entraînent une augmentation de la latence d'environ 20 à 25 % lors de la lecture et de 40 à 50 % lors de l'écriture. Plus la taille du fichier est petite, moins les différences dans les latences sont significatives.
Principales :
- Multithreading ;
- Multi-serveurs, assurant la tolérance aux pannes et l'équilibrage de la charge ;
- Transparence maximale pour l'utilisateur ou le développeur ;
- Méthodes HTTP prises en charge : GET, HEAD, PUT et DELETE ;
- Contrôle du comportement lors de la lecture et de l'écriture via des en-têtes clients ;
- Support de l'hébergement virtuel flexible ;
- Support de l'intégrité CRC des données lors de l'écriture/lecture ;
- Buffers semi-dynamiques pour une consommation minimale de mémoire et un réglage optimal des performances réseau ;
- Emballage des données en différé ;
- En outre, un archiveur multithreading est proposé pour déplacer des fichiers dans des archives Bolt sans interrompre le service.
Certain limitations of the current release: no support for Multipart, POST method, HTTPS protocol, bindings for programming languages, recursive directory deletion, and no support for mounting structures in the file system via WebDAV or FUSE. Files are stored under a single system user. The storage format is tied to the architecture and is not portable between Little Endian and Big Endian systems. Despite the fact that the wZD server implements support for the HTTP protocol, it must be run only behind a reverse proxy such as nginx or haproxy.
Source : opennet.ru
