Pirmasis wZD 1.0.0 leidimas, kompaktiškas saugojimo serveris mažiems failams

Galima Pirmas leidimas wZD 1.0.0 - serveris, skirtas efektyviai saugoti daugybę failų kompaktiška forma, kuris iš išorės atrodo kaip įprastas WebDAV serveris. Saugojimui naudojama modifikuota versija BoltDB. Projekto kodas parašytas Go ir išplatino pagal BSD licenciją.

Serveris leidžia Žymiai sumažinkite mažų failų skaičių įprastose arba grupinėse failų sistemose su visišku užrakinimo palaikymu. Klasteris, kurį palaiko wZD kūrėjai, saugo apie 250 milijonų mažų failų, paskirstytų 15 milijonų klasterio failų sistemos katalogų MooseFS.

wZD leidžia perkelti (archyvuoti) katalogų turinį į archyvus BoltDB formatu ir tada platinti šiuos failus iš šių archyvų (arba talpinti failus į archyvus naudojant PUT metodą), žymiai sumažinant failų skaičių failų sistemoje ir sumažinti metaduomenų saugojimo išlaidas. Siekiant padidinti didelių failų apdorojimo efektyvumą, tokius failus galima išsaugoti atskirai nuo Bolt archyvų. Šis metodas leidžia tvarkyti daugybės mažų failų saugojimą, neribojant failų sistemos inodų skaičiaus.

Pirmasis wZD 1.0.0 leidimas, kompaktiškas saugojimo serveris mažiems failams

Serveris taip pat gali būti naudojamas kaip NoSQL duomenų bazė duomenims rakto/vertės formatu (su skaidymu pagal katalogo struktūrą) arba iš anksto sugeneruotų html arba json dokumentų platinimui iš duomenų bazės. Kalbant apie našumą, duomenų siuntimas ir rašymas naudojant Bolt archyvus padidina delsą maždaug 20–25 % skaitymo ir 40–50 % rašymo metu. Kuo mažesnis failo dydis, tuo mažesnis delsos skirtumas.

Pirmasis wZD 1.0.0 leidimas, kompaktiškas saugojimo serveris mažiems failams

pagrindinis galimybės:

  • Daugiasriegis;
  • Daugiafunkcis serveris, užtikrinantis atsparumą gedimams ir apkrovos balansavimą;
  • Maksimalus skaidrumas vartotojui ar kūrėjui;
  • Palaikomi HTTP metodai: GET, HEAD, PUT ir DELETE;
  • Skaitymo ir rašymo elgesio valdymas per kliento antraštes;
  • Lanksčių virtualių kompiuterių palaikymas;
  • CRC duomenų vientisumo palaikymas rašant/skaitant;
  • Pusiau dinaminiai buferiai, skirti minimaliam atminties suvartojimui ir optimaliam tinklo veikimo derinimui;
  • Atidėtas duomenų pakavimas;
  • Be to, siūlomas kelių gijų archyvatorius wZA perkelti failus į Bolt archyvus nestabdant paslaugos.

Kai kurie dabartinio leidimo apribojimai: nepalaikomas Multipart metodas, POST metodas, HTTPS protokolas, programavimo kalbų susiejimas, rekursinis katalogų ištrynimas, nepalaikomas struktūros prijungimas prie failų sistemos per WebDAV arba FUSE, failai yra saugomi pas vieną sistemos vartotoją. Saugojimo formatas yra būdingas architektūrai ir nėra perkeliamas tarp Little Endian ir Big Endian sistemų. Nepaisant to, kad wZD serveris įgyvendina HTTP protokolo palaikymą, jį reikia paleisti tik prisidengus atvirkštiniais tarpiniais serveriais, tokiais kaip nginx ir haproxy.

Šaltinis: opennet.ru

Добавить комментарий