Pirmais wZD 1.0.0 laidiens — serveris mazu failu kompaktai glabāšanai

Pieejams pirmais izdevums wZD 1.0.0 - serveris liela skaita failu efektīvai glabāšanai kompaktā formā, kas no ārpuses izskatās kā parasts WebDAV serveris. Uzglabāšanai tiek izmantota modificēta versija BoltDB. Projekta kods ir rakstīts Go un izplata saskaņā ar BSD licenci.

Serveris pieļauj Ievērojami samaziniet mazu failu skaitu parastajās vai klasterizētās failu sistēmās ar pilnu bloķēšanas atbalstu. wZD izstrādātāju atbalstītajā klasterī tiek glabāti aptuveni 250 miljoni mazu failu, kas sadalīti 15 miljonos klasteru failu sistēmas direktoriju. MooseFS.

wZD ļauj pārvietot (arhivēt) direktoriju saturu arhīvos BoltDB formātā un pēc tam izplatīt šos failus no šiem arhīviem (vai ievietot failus arhīvos, izmantojot PUT metodi), ievērojami samazinot failu skaitu failu sistēmā un samazinot metadatu glabāšanas izmaksas. Lai palielinātu lielu failu apstrādes efektivitāti, šādus failus var saglabāt atsevišķi no Bolt arhīviem. Šī pieeja ļauj organizēt liela skaita mazu failu glabāšanu, neierobežojot failu sistēmas inodes skaita ierobežojumu.

Pirmais wZD 1.0.0 laidiens — serveris mazu failu kompaktai glabāšanai

Serveri var izmantot arī kā NoSQL datu bāzi datiem atslēgas/vērtības formātā (ar sadalīšanu, pamatojoties uz direktoriju struktūru) vai iepriekš ģenerētu html vai json dokumentu izplatīšanai no datu bāzes. Runājot par veiktspēju, datu nosūtīšana un rakstīšana, izmantojot Bolt arhīvus, palielina latentumu par aptuveni 20–25% lasīšanas laikā un par 40–50% rakstīšanas laikā. Jo mazāks faila lielums, jo mazāka ir latentuma atšķirība.

Pirmais wZD 1.0.0 laidiens — serveris mazu failu kompaktai glabāšanai

Galvenais spējas:

  • Daudzpavedienu veidošana;
  • Multiserveris, kas nodrošina kļūdu toleranci un slodzes līdzsvarošanu;
  • Maksimāla pārredzamība lietotājam vai izstrādātājam;
  • Atbalstītās HTTP metodes: GET, HEAD, PUT un DELETE;
  • Lasīšanas un rakstīšanas uzvedības kontrole, izmantojot klientu galvenes;
  • Atbalsts elastīgiem virtuālajiem saimniekiem;
  • CRC datu integritātes atbalsts rakstīšanas/lasīšanas laikā;
  • Daļēji dinamiski buferi minimālam atmiņas patēriņam un optimālai tīkla veiktspējas regulēšanai;
  • Atliktā datu iesaiņošana;
  • Turklāt tiek piedāvāts vairāku vītņu arhivētājs wZA lai pārvietotu failus uz Bolt arhīviem, neapturot pakalpojumu.

Daži pašreizējā laidiena ierobežojumi: nav atbalsta Multipart, POST metode, HTTPS protokols, programmēšanas valodu saistījumi, direktoriju rekursīva dzēšana, netiek atbalstīta struktūras pievienošana failu sistēmai, izmantojot WebDAV vai FUSE, faili tiek glabāti zem viena sistēmas lietotāja. Krātuves formāts ir specifisks arhitektūrai un nav pārnēsājams starp Little Endian un Big Endian sistēmām. Neskatoties uz to, ka wZD serveris ievieš HTTP protokola atbalstu, tas ir jāpalaiž tikai reverso starpniekserveru aizsegā, piemēram, nginx un haproxy.

Avots: opennet.ru

Pievieno komentāru