første udgave — servere til effektiv opbevaring af et stort antal filer i kompakt format, der udenpå ser ud som en almindelig WebDAV-server. Til opbevaring anvendes en modificeret version . Projektkoden er skrevet i Go-sprog og under BSD-licensen.
Server significantly reducing the number of small files on ordinary or clustered file systems with full support for locks. The wZD cluster supported by the developers stores about 250 million small files spread across 15 million directories in the clustered FS .
wZD giver mulighed for at flytte (arkivere) indholdet af biblioteker til arkiver i BoltDB-format og derefter dele disse filer fra arkiverne (eller placere filer i arkiver via PUT), hvilket betydeligt reducerer antallet af filer i FS og sænker overheaden til opbevaring af metadata. For at forbedre effektiviteten ved behandling af store filer kan sådanne filer gemmes separat fra Bolt-arkiverne. Denne tilgang muliggør opbevaring af et enormt antal små filer uden at ramme grænsen for antallet af inode i filsystemet.
Serveren kan også anvendes som en NoSQL-database til data i nøgle/værdi-format (med sharding baseret på biblioteksstrukturen) eller til distribution fra databasen af forudgenererede html- eller json-dokumenter. Med hensyn til ydeevne vil levering og skrivning af data ved hjælp af Bolt-arkiver føre til en stigning i latenstid på ca. 20-25% ved læsning og 40-50% ved skrivning. Jo mindre filstørrelsen er, desto mindre forskelle er der i latens.
Vigtige :
- Multithreading;
- Multi-server setup, der sikrer fejltolerance og belastningsbalancering;
- Maksimal gennemsigtighed for brugeren eller udvikleren;
- Understøttede HTTP-metoder: GET, HEAD, PUT og DELETE;
- Styring af opførelsen ved læsning og skrivning via klientoverskrifter;
- Understøttelse af fleksibelt konfigurerbare virtuelle værter;
- Understøttelse af CRC-dataintegritet ved skrivning/læsning;
- Halvdynamiske buffere for minimalt hukommelsesforbrug og optimal netværksydelse;
- Forsinket datapagning;
- Der tilbydes desuden en multitrådet arkiveringsløsning til flytning af filer til Bolt-arkiver uden nedetid for tjenesten.
Nogle begrænsninger i den nuværende version: ingen støtte til Multipart, POST-metoden, HTTPS-protokollen, bindings til programmeringssprog, rekursiv sletning af mapper, manglende støtte til montering af strukturer i filsystemet via WebDAV eller FUSE, filer opbevares under én systembruger. Lagringsformatet er knyttet til arkitekturen og er ikke flytbart mellem Little Endian og Big Endian systemer. Selvom wZD-serveren implementerer støtte for HTTP-protokollen, skal den kun køres bag et reverse proxy som nginx og haproxy.
Kilde: opennet.ru
