Prvo izdanje wZD 1.0.0, kompaktnog poslužitelja za pohranu malih datoteka

Dostupno prvo izdanje wZD 1.0.0 - poslužitelj za učinkovito pohranjivanje velikog broja datoteka u kompaktnom obliku, koji izvana izgleda kao obični WebDAV poslužitelj. Za pohranu se koristi modificirana verzija BoltDB. Kod projekta je napisan u Go i distribuira pod BSD licencom.

Server to omogućuje Značajno smanjite broj malih datoteka na regularnim ili klasteriranim datotečnim sustavima uz punu podršku za zaključavanje. Klaster podržan od strane wZD programera pohranjuje oko 250 milijuna malih datoteka raspoređenih u 15 milijuna direktorija u sustavu datoteka klastera MooseFS.

wZD omogućuje premještanje (arhiviranje) sadržaja direktorija u arhive u BoltDB formatu i zatim distribuciju tih datoteka iz tih arhiva (ili smještanje datoteka u arhive metodom PUT), značajno smanjujući broj datoteka u datotečnom sustavu i smanjenje troškova pohranjivanja metapodataka. Kako bi se povećala učinkovitost obrade velikih datoteka, takve se datoteke mogu spremati odvojeno od Bolt arhiva. Ovaj pristup vam omogućuje da organizirate pohranjivanje velikog broja malih datoteka bez ograničenja broja inode u datotečnom sustavu.

Prvo izdanje wZD 1.0.0, kompaktnog poslužitelja za pohranu malih datoteka

Poslužitelj se također može koristiti kao NoSQL baza podataka za podatke u formatu ključ/vrijednost (s dijeljenjem na temelju strukture direktorija) ili za distribuciju unaprijed generiranih html ili json dokumenata iz baze podataka. Što se tiče performansi, slanje i pisanje podataka pomoću Bolt arhiva rezultira povećanjem latencije od približno 20-25% pri čitanju i 40-50% pri pisanju. Što je manja veličina datoteke, manja je razlika u kašnjenju.

Prvo izdanje wZD 1.0.0, kompaktnog poslužitelja za pohranu malih datoteka

Glavni prilike:

  • Višenitnost;
  • Multiserver, pružajući toleranciju na greške i uravnoteženje opterećenja;
  • Maksimalna transparentnost za korisnika ili programera;
  • Podržane HTTP metode: GET, HEAD, PUT i DELETE;
  • Kontrola ponašanja čitanja i pisanja putem klijentskih zaglavlja;
  • Podrška za fleksibilne virtualne hostove;
  • Podrška za CRC integritet podataka prilikom pisanja/čitanja;
  • Poludinamički međuspremnici za minimalnu potrošnju memorije i optimalno podešavanje performansi mreže;
  • Odgođeno pakiranje podataka;
  • Osim toga, nudi se višenitni arhivator wZA za premještanje datoteka u Bolt arhive bez zaustavljanja usluge.

Neka ograničenja trenutnog izdanja: nema podrške za Multipart, metodu POST, HTTPS protokol, povezivanja za programske jezike, rekurzivno brisanje direktorija, nema podrške za montiranje strukture u sustav datoteka putem WebDAV-a ili FUSE-a, datoteke pohranjuju se pod jednim korisnikom sustava. Format pohrane specifičan je za arhitekturu i nije prenosiv između Little Endian i Big Endian sustava. Unatoč činjenici da wZD poslužitelj implementira podršku za HTTP protokol, potrebno ga je pokrenuti samo pod krinkom obrnutih proxyja, kao što su nginx i haproxy.

Izvor: opennet.ru

Dodajte komentar