Prva izdaja wZD 1.0.0, strežnika za kompaktno shranjevanje majhnih datotek

Na voljo prva izdaja wZD 1.0.0 - strežnik za učinkovito shranjevanje velikega števila datotek v kompaktni obliki, ki navzven izgleda kot navaden strežnik WebDAV. Za shranjevanje se uporablja spremenjena različica BoltDB. Koda projekta je napisana v Go in distributer pod licenco BSD.

Strežnik omogoča Občutno zmanjšajte število majhnih datotek v navadnih ali datotečnih sistemih v gručah s popolno podporo za zaklepanje. Gruča, ki jo podpirajo razvijalci wZD, hrani približno 250 milijonov majhnih datotek, porazdeljenih v 15 milijonov imenikov v datotečnem sistemu gruče MooseFS.

wZD omogoča premikanje (arhiviranje) vsebine imenikov v arhive v formatu BoltDB in nato distribucijo teh datotek iz teh arhivov (ali polaganje datotek v arhive z metodo PUT), kar bistveno zmanjša število datotek v datotečnem sistemu in zmanjšanje režijskih stroškov shranjevanja metapodatkov. Da bi povečali učinkovitost obdelave velikih datotek, lahko takšne datoteke shranite ločeno od arhivov Bolt. Ta pristop vam omogoča, da organizirate shranjevanje velikega števila majhnih datotek, ne da bi bili omejeni z omejitvijo števila inodov v datotečnem sistemu.

Prva izdaja wZD 1.0.0, strežnika za kompaktno shranjevanje majhnih datotek

Strežnik je mogoče uporabiti tudi kot zbirko podatkov NoSQL za podatke v obliki ključa/vrednosti (z razdelitvijo na podlagi strukture imenika) ali za distribucijo vnaprej ustvarjenih dokumentov html ali json iz baze podatkov. Kar zadeva zmogljivost, pošiljanje in pisanje podatkov z uporabo arhivov Bolt povzroči povečanje zakasnitve za približno 20-25 % pri branju in za 40-50 % pri pisanju. Manjša kot je velikost datoteke, manjša je razlika v zakasnitvi.

Prva izdaja wZD 1.0.0, strežnika za kompaktno shranjevanje majhnih datotek

Glavni možnosti:

  • Večnitnost;
  • Multistrežnik, ki zagotavlja toleranco napak in uravnoteženje obremenitve;
  • Največja preglednost za uporabnika ali razvijalca;
  • Podprte metode HTTP: GET, HEAD, PUT in DELETE;
  • Nadzor vedenja pri branju in pisanju prek glav odjemalca;
  • Podpora za prilagodljive virtualne gostitelje;
  • Podpora za celovitost podatkov CRC pri pisanju/branju;
  • Poldinamični medpomnilniki za minimalno porabo pomnilnika in optimalno nastavitev delovanja omrežja;
  • Odloženo pakiranje podatkov;
  • Poleg tega je na voljo večnitni arhivar wZA za premikanje datotek v arhive Bolt, ne da bi ustavili storitev.

Nekatere omejitve trenutne izdaje: ni podpore za Multipart, metoda POST, protokol HTTPS, vezave za programske jezike, rekurzivno brisanje imenikov, ni podpore za namestitev strukture v datotečni sistem prek WebDAV ali FUSE, datoteke so shranjeni pod enim uporabnikom sistema. Format shranjevanja je specifičen za arhitekturo in ni prenosljiv med sistemoma Little Endian in Big Endian. Kljub dejstvu, da strežnik wZD izvaja podporo za protokol HTTP, ga je treba zagnati le pod krinko povratnih posrednikov, kot sta nginx in haproxy.

Vir: opennet.ru

Dodaj komentar