Esimene väljaanne wZD 1.0.0, kompaktsete väikeste failide hoidlate serverid

Saadaval esimene väljaanne wZD 1.0.0 — serverid, mis võimaldavad efektiivselt salvestada suurt hulka faile kompaktsetes vormides, mis väliselt näevad välja nagu tavalised WebDAV-serverid. Salvestamiseks kasutab muudetud versioon BoltDB. Projekti kood on kirjutatud Go keeles ja GNU Üldine Avaliku litsentsi alusel. BSD litsentsi alusel.

Server lubab oluliselt vähendada väikeste failide arvu tavalistes või klasterdatud failisüsteemides täiendava lukustuse toetusega. WZD toetatud klaster salvestab umbes 250 miljonit väikest faili, jaotatuna 15 miljonisse katalooge klasterdatud failisüsteemis MooseFS.

wZD võimaldab liikuda (arhiivida) kataloogide sisu BoltDB formaadis arhiividesse ja seejärel jagada neid faile nendest arhiividest (või paigutada faile arhiividesse PUT meetodi kaudu), vähendades märkimisväärselt failide arvu failisüsteemis ja vähendades metaandmete salvestamise kulusid. Suurte failide töötlemise tõhususe suurendamiseks saavad sellised failid salvestada eraldi Bolt-arhiividest. Sarnane lähenemine võimaldab organizeerida tohutu hulga väikeste failide salvestamise, mahtumata failisüsteemi inode’i piirangutesse.

Serverit saab kasutada ka NoSQL andmebaasina võtme/väärtuse formaadis (sharding direktorite struktuuri põhjal) või eelnevalt genereeritud HTML- või JSON-dokumentide andmebaasist jagamiseks. Mis puutub jõudlasse, siis andmete lugemine ja kirjutamine Bolt-arhivide kasutamisel toob kaasa umbes 20–25% viivituse suurenemise lugemisel ja 40–50% kirjutamisel. Mida väiksem on faili suurus, seda väiksemad on viivituse erinevused.

Peamised võimalus:

• Mitme tahkeline;
• Mitme serveri töö, mis tagab katkestusteta töö ja koormuse tasakaalu;
• Maksimaalne läbipaistvus kasutajale või arendajale;
• Toetatud HTTP meetodid: GET, HEAD, PUT ja DELETE;
• Käitumise juhtimine lugemise ja kirjutamise ajal läbi kliendi pealkirjade;
• Kohandatavad virtuaalsed hostid;
• CRC-andmete terviklikkuse toetamine kirjutamisel/lugemisel;
• Pooldünaamilised pusled minimaalsete mälu nõudmiste ja optimaalse võrgu jõudluse seadistamiseks;
• Andmete edasi lükkamine;
• Lisaks pakutakse mitme lõimega arhivaatoreid wZA failide liigutamiseks Bolt-arhividesse teenuse katkestamata.

Praeguse versiooni mõned piirangud: ei ole toetust Multipart-le, POST-meetodile, HTTPS-protokollile, programmeerimiskeelte bindimiseks, kaustade rekursiivseks kustutamiseks, puudub tugi struktuuri mountimiseks failisüsteemi WebDAV või FUSE kaudu, failid on salvestatud ühe süsteemi kasutaja alla. Salvestusvorming on seotud arhitektuuriga ja ei ole üheselt kantav Little Endiani ja Big Endiani süsteemide vahel. Kuigi wZD server toetab HTTP protokolli, tuleb seda käitada ainult tagurpidi pööratud proksi all, nagu nginx ja haproxy.

Allikas: opennet.ru