prima versiune — servere pentru stocarea eficientă a unui număr mare de fișiere într-un format compact, care arată ca un server WebDAV obișnuit. Pentru stocare este utilizată o versiune modificată . Codul proiectului este scris în limbajul Go și sub licența BSD.
Server reduc semnificativ numărul de fișiere mici în sisteme de fișiere obișnuite sau clusterizate cu suport complet pentru blocare. Clusterul suportat de dezvoltatori wZD stochează aproximativ 250 de milioane de fișiere mici, distribuite pe 15 milioane de directoare într-un sistem de fișiere clusterizat .
wZD oferă posibilitatea de a muta (arhiva) conținutul directoarelor în arhive în format BoltDB și apoi de a distribui aceste fișiere din arhive (sau de a adăuga fișiere în arhive prin metoda PUT), reducând semnificativ numărul de fișiere în sistemul de fișiere și scăzând costurile de stocare a metadatelor. Pentru a îmbunătăți eficiența procesării fișierelor mari, aceste fișiere pot fi stocate separat de arhivele Bolt. O astfel de abordare permite organizarea stocării unui număr uriaș de fișiere mici, fără a întâmpina limita privind numărul de inode în sistemul de fișiere.
Serverul poate fi folosit și ca bază de date NoSQL pentru date în format cheie/valoare (cu sharding pe baza structurii directoarelor) sau pentru distribuirea din baza de date a documentelor html sau json pre-generate. În ceea ce privește performanța, citirea și scrierea datelor folosind arhive Bolt duce la o creștere a latenței de aproximativ 20-25% la citire și 40-50% la scriere. Cu cât dimensiunea fișierului este mai mică, cu atât diferențele în latențe sunt mai mici.
Principalele :
- Multithreading;
- Multiserveritate, asigurând redundanță și echilibrarea încărcării;
- Transparență maximă pentru utilizator sau dezvoltator;
- Metode HTTP suportate: GET, HEAD, PUT și DELETE;
- Gestionarea comportamentului la citire și scriere prin antetele clientului;
- Suport pentru gazde virtuale configurabile flexibil;
- Suport pentru integritatea datelor CRC la scriere/citire;
- Bufferi semi-dinamici pentru un consum minim de memorie și optimizarea performanței rețelei;
- Pachetizarea întârziată a datelor;
- În plus, este oferit un arhivator multi-threaded pentru mutarea fișierelor în arhive Bolt fără a opri serviciul.
Unele limitări ale versiunii actuale: nu există suport pentru Multipart, metoda POST, protocolul HTTPS, legături pentru limbaje de programare, ștergerea recursivă a directoarelor, nu suportă montarea structurii în sistemul de fișiere prin WebDAV sau FUSE, fișierele sunt stocate sub același utilizator de sistem. Formatul de stocare este legat de arhitectură și nu este portabil între sistemele Little Endian și Big Endian. Deși serverul wZD implementează suport pentru protocolul HTTP, acesta trebuie să fie rulat exclusiv sub un proxy invers, precum nginx și haproxy.
Sursa: opennet.ro
