Esimene väljaanne wZD 1.0.0, kompaktsete väikeste failide salvestamise server

Saadaval esimene väljaanne wZD 1.0.0 — serverid tõhusaks suure hulga failide kompaktseks salvestamiseks, mis väljapoole näeb välja nagu tavaline WebDAV-server. Salvestamiseks kasutatakse muudetud versioon BoltDB. Projekti kood on kirjutatud Go keeles ja levitatakse BSD litsentsi all.

Server kaugelt sulgeda vahekaarte, mis on avatud teistel seadmetel. märkimisväärselt vähendada tavaliste või klastrifailisüsteemide väikeste failide arvu, millel on täielik lukustustoetuse tugi. Üksikasjalikult toetatud wZD klaster salvestab umbes 250 miljonit väikest faili, jaotatuna 15 miljonil kataloogil klastrifailisüsteemis. MooseFS.

wZD võimaldab liikuda (arhiveerida) kataloogide sisu BoltDB formaadis arhiividesse ja seejärel jagada neid faile nendest arhiividest (või paigutada faile arhiividesse PUT meetodiga), vähendades oluliselt failide arvu failisüsteemis ja vähendades metaandmete salvestamise kulusid. Suure failitöötluse efektiivsuse tõstmiseks võivad need failid olla eraldi salvestatud Bolt-arhiividest. Selline lähenemine võimaldab organiseerida tohutu hulga väikeste failide salvestamist, ilma et peaks kokku puutuma inode'i arvu piiranguga failisüsteemis.

Serverit saab kasutada ka NoSQL andmebaasina võtmeväärtuse formaadis (kataloogistruktuuril põhineva shardinguga) või eelnevalt genereeritud HTML või JSON dokumentide jagamiseks andmebaasist. Mis puutub jõudlusesse, siis Bolt-arhiivide kasutamine andmete edastamiseks ja kirjutamiseks toob kaasa viivituse suurenemise umbes 20-25% lugemisel ja 40-50% kirjutamisel. Mida väiksem on faili suurus, seda väiksemad on viivituste erinevused.

Peamised võimaluste:

• Mitme töötluse tugi;
• Mulitiserverite tugi, tagades rikkedeta töö ja koormuse tasakaalustamise;
• Maksimaalne läbipaistvus kasutajale või arendajale;
• Toetatud HTTP meetodid: GET, HEAD, PUT ja DELETE;
• Käitumise haldamine lugemise ja kirjutamise ajal kliendi pealkirjade kaudu;
• Paindlikult seadistatavate virtuaalsete hostide tugi;
• CRC-andmete terviklikkuse toetus kirjutamisel/lugemisel;
• Pooldünaamilised puhverid madala mälu tarbimise ja optimaalse võrgu jõudluse seadistamiseks;
• Andmete viivitusega pakkimine;
• Lisaks pakutakse mitme lõimega arhiivijat wZA failide liigutamiseks Bolt-arhiividesse teenuse peatamise vältimiseks.

Mõned praeguse versiooni piirangud: ei toetata Multipart, POST meetodit, HTTPS protokolli, programmeerimiskeelte sidumisi, kataloogide rekurssiivset kustutamist, toeta struktuuri mountimist failisüsteemi kaudu WebDAV või FUSE, failid salvestatakse ühe süsteemi kasutaja alla. Salvestusformaadi sõltub arhitektuurist ja ei ole ülekantav Little Endian ja Big Endian süsteemide vahel. Kuigi wZD server toetab HTTP protokolli, peab see töötama ainult tagumise pöördproksi, nagu nginx ja haproxy, all.

Allikas: opennet.ru