Första utgåvan av wZD 1.0.0, servrar för kompakt lagring av små filer

Tillgänglig första utgåvan wZD 1.0.0 — servrar för effektiv lagring av ett stort antal filer i kompakt format, som externt ser ut som en vanlig WebDAV-server. För lagring används en modifierad version av BoltDB. Projektets kod är skriven i språket Go och sprids under BSD-licensen.

Servern möjliggör kan avsevärt minska antalet små filer på vanliga eller klusterfilsystem med fullständigt stöd för låsning. Den wZD-kluster som stöds av utvecklarna lagrar omkring 250 miljoner små filer, spridda över 15 miljoner kataloger i ett klusterfilsystem MooseFS.

wZD gör det möjligt att flytta (arkivera) innehållet i kataloger till arkiv i BoltDB-format och sedan distribuera dessa filer från dessa arkiv (eller lägga filer i arkiv med PUT-metoden), vilket signifikant minskar antalet filer i filsystemet och minskar overheaden för lagring av metadata. För att öka effektiviteten vid hantering av stora filer kan sådana filer lagras separat från Bolt-arkiven. En sådan metod gör det möjligt att organisera lagring av ett enormt antal små filer utan att stöta på gränser för antalet inode i filsystemet.

Servern kan också användas som en NoSQL-databas för data i nyckel/värde-format (med sharding baserat på katalogstrukturen) eller för distribution från en databas av förgenererade HTML eller JSON-dokument. När det gäller prestanda resulterar överföring och skrivning av data med hjälp av Bolt-arkiv i en ökning av fördröjningen på cirka 20–25 % vid läsning och 40–50 % vid skrivning. Ju mindre filens storlek är, desto mindre skillnad i fördröjningar.

Huvud möjligheten till:

• Multithreading;
• Multiserver, vilket säkerställer driftsäkerhet och lastbalansering;
• Maximal transparens för användaren eller utvecklaren;
• Stödda HTTP-metoder: GET, HEAD, PUT och DELETE;
• Hantera beteende vid läsning och skrivning via klienthuvuden;
• Stöd för flexibelt konfigurerbara virtuella värdar;
• Stöd för CRC-integritet vid skrivning/läsning;
• Halvdynamiska buffrar för minimal minnesanvändning och optimal nätverksprestanda;
• Fördröjd packning av data;
• Dessutom erbjuds en multitrådad kompressor wZA för att flytta filer till Bolt-arkiv utan att stoppa tjänsten.

Några begränsningar för den aktuella utgåvan: ingen stöd för Multipart, POST-metoden, HTTPS-protokollet, bindningar för programmeringsspråk, rekursiv borttagning av kataloger, inget stöd för att montera strukturen i filsystemet via WebDAV eller FUSE, filer lagras under en systemanvändare. Lagringsformatet är kopplat till arkitekturen och är inte överförbart mellan system med Little Endian och Big Endian. Trots att wZD-servern implementerar stöd för HTTP-protokollet, krävs det att den körs under skydd av reversproxy, såsom nginx och haproxy.

Källa: opennet.ru