Prvo izdanje wZD 1.0.0, kompaktnog servera za skladištenje malih datoteka

Dostupno pervyj vypusk wZD 1.0.0 - server za efikasno skladištenje velikog broja fajlova u kompaktnom obliku, koji spolja izgleda kao običan WebDAV server. Za skladištenje se koristi modificirana verzija BoltDB. Kod projekta je napisan u Go and distribuira pod BSD licencom.

Server dozvoljava Značajno smanjite broj malih datoteka na regularnim ili grupisanim sistemima datoteka uz potpunu podršku za zaključavanje. Klaster podržan od strane wZD programera pohranjuje oko 250 miliona malih datoteka raspoređenih u 15 miliona direktorija u sistemu datoteka klastera MooseFS.

wZD omogućava premještanje (arhiviranje) sadržaja direktorija u arhive u BoltDB formatu i zatim distribuciju ovih datoteka iz tih arhiva (ili postavljanje datoteka u arhive metodom PUT), značajno smanjujući broj datoteka u sistemu datoteka i smanjenje troškova skladištenja metapodataka. Da bi se povećala efikasnost obrade velikih datoteka, takve datoteke se mogu sačuvati odvojeno od Bolt arhiva. Ovaj pristup vam omogućava da organizujete skladištenje ogromnog broja malih fajlova bez ograničenja na broj inoda u sistemu datoteka.

Server se također može koristiti kao NoSQL baza podataka za podatke u formatu ključ/vrijednost (sa dijeljenjem na osnovu strukture direktorija) ili za distribuciju unaprijed generiranih html ili json dokumenata iz baze podataka. Što se tiče performansi, slanje i pisanje podataka pomoću Bolt arhiva rezultira povećanjem latencije od približno 20-25% pri čitanju i za 40-50% pri pisanju. Što je manja veličina datoteke, manja je razlika u kašnjenju.

Glavni mogućnosti:

• Multithreading;
• Multiserver, koji pruža toleranciju grešaka i balansiranje opterećenja;
• Maksimalna transparentnost za korisnika ili programera;
• Podržane HTTP metode: GET, HEAD, PUT i DELETE;
• Kontrola ponašanja čitanja i pisanja putem zaglavlja klijenta;
• Podrška za fleksibilne virtuelne hostove;
• Podrška za integritet CRC podataka prilikom pisanja/čitanja;
• Poludinamički baferi za minimalnu potrošnju memorije i optimalno podešavanje mrežnih performansi;
• Odloženo pakovanje podataka;
• Osim toga, nudi se višenitni arhiver wZA za premještanje datoteka u Bolt arhive bez zaustavljanja usluge.

Neka ograničenja trenutnog izdanja: nema podrške za Multipart, POST metodu, HTTPS protokol, vezivanja za programske jezike, rekurzivno brisanje direktorija, nema podrške za montiranje strukture na sistem datoteka putem WebDAV ili FUSE, datoteke se pohranjuju pod jednim korisnikom sistema. Format skladištenja je specifičan za arhitekturu i nije prenosiv između Little Endian i Big Endian sistema. Unatoč činjenici da wZD server implementira podršku za HTTP protokol, potrebno ga je pokrenuti samo pod maskom obrnutih proksija, kao što su nginx i haproxy.

izvor: opennet.ru