WZD 1.0.0 esimene väljalase, kompaktne salvestusserver väikeste failide jaoks

Saadaval esimene trükk wZD 1.0.0 - server suure hulga failide tõhusaks salvestamiseks kompaktsel kujul, mis väljast näeb välja nagu tavaline WebDAV-server. Salvestamiseks kasutatakse muudetud versiooni BoltDB. Projekti kood on kirjutatud Go ja jaotatud BSD litsentsi alusel.

Server võimaldab Täieliku lukustustoega vähendage märkimisväärselt väikeste failide arvu tavalistes või rühmitatud failisüsteemides. wZD arendajate toetatud klaster salvestab klastri failisüsteemis umbes 250 miljonit väikest faili, mis on jagatud 15 miljoni kataloogi vahel. MooseFS.

wZD võimaldab teisaldada (arhiivida) kataloogide sisu BoltDB-vormingus arhiividesse ja seejärel neid faile nendest arhiividest levitada (või paigutada failid arhiividesse PUT-meetodil), vähendades oluliselt failide arvu failisüsteemis ja vähendada metaandmete salvestamise üldkulusid. Suurte failide töötlemise efektiivsuse suurendamiseks saab selliseid faile Bolti arhiividest eraldi salvestada. See lähenemisviis võimaldab teil korraldada tohutu hulga väikeste failide salvestamist, ilma et seda piiraks failisüsteemi inoodide arv.

WZD 1.0.0 esimene väljalase, kompaktne salvestusserver väikeste failide jaoks

Serverit saab kasutada ka NoSQL-i andmebaasina võtme/väärtuse formaadis andmete jaoks (kataloogistruktuuri alusel jaotamisega) või eelnevalt genereeritud html- või json-dokumentide jagamiseks andmebaasist. Toimivuse osas suurendab andmete saatmine ja kirjutamine Bolti arhiive kasutades lugemise latentsust ligikaudu 20-25% ja kirjutamisel 40-50%. Mida väiksem on faili suurus, seda väiksem on latentsuse erinevus.

WZD 1.0.0 esimene väljalase, kompaktne salvestusserver väikeste failide jaoks

Kõik võimalusi:

  • Mitmelõimeline;
  • Multiserver, mis pakub tõrketaluvust ja koormuse tasakaalustamist;
  • maksimaalne läbipaistvus kasutaja või arendaja jaoks;
  • Toetatud HTTP-meetodid: GET, HEAD, PUT ja DELETE;
  • Lugemis- ja kirjutamiskäitumise juhtimine kliendipäiste kaudu;
  • Paindlike virtuaalsete hostide tugi;
  • CRC andmete terviklikkuse tugi kirjutamisel/lugemisel;
  • Pooldünaamilised puhvrid minimaalse mälutarbimise ja optimaalse võrgu jõudluse häälestamiseks;
  • Edasilükatud andmete pakkimine;
  • Lisaks pakutakse mitme keermega arhiveerijat wZA failide teisaldamiseks Bolti arhiivi ilma teenust peatamata.

Mõned praeguse väljalaske piirangud: puudub tugi Multipartile, POST-meetodile, HTTPS-protokollile, programmeerimiskeelte sidumisele, kataloogide rekursiivsele kustutamisele, puudub tugi struktuuride ühendamiseks failisüsteemi WebDAV-i või FUSE-i kaudu, failid salvestatakse ühe süsteemikasutaja alla. Salvestusvorming on arhitektuurispetsiifiline ega ole Little Endiani ja Big Endiani süsteemide vahel kaasaskantav. Hoolimata asjaolust, et wZD-server rakendab HTTP-protokolli tuge, tuleb see käivitada ainult pöördpuhverserverite, näiteks nginx ja haproxy, varjus.

Allikas: opennet.ru

Lisa kommentaar