A wZD 1.0.0 első kiadása, kompakt tárolószerver kis fájlokhoz

Elérhető első kiadás wZD 1.0.0 - szerver nagyszámú fájl hatékony tárolására kompakt formában, amely kívülről úgy néz ki, mint egy normál WebDAV szerver. A tároláshoz egy módosított változatot használnak BoltDB. A projekt kódja a Go és nyelven van írva forgalmazza a BSD licenc alatt.

Сервер lehetővé teszi jelentősen csökkenti a kis fájlok számát normál vagy fürtözött fájlrendszereken, teljes zárolási támogatással. A wZD fejlesztők által karbantartott fürt körülbelül 250 millió kis fájlt tárol 15 millió könyvtár között egy fürtözött FS-ben. MooseFS.

A wZD lehetővé teszi a könyvtárak tartalmának áthelyezését (archiválását) az archívumokba BoltDB formátumban, majd ezekből az archívumokból történő terjesztést (vagy a fájlok archívumba helyezését PUT módszerrel), jelentősen csökkentve a fájlok számát az FS-ben és csökkentve. a metaadatok tárolásának többletköltsége. A nagy fájlok feldolgozásának hatékonyságának növelése érdekében az ilyen fájlok a Bolt archívumától elkülönítve menthetők. Ez a megközelítés lehetővé teszi nagyszámú kis fájl tárolásának megszervezését anélkül, hogy megütné a fájlrendszerben lévő inode-ok számát.

A szerver NoSQL-adatbázisként is használható kulcs/érték formátumú adatokhoz (a címtárstruktúra alapján történő felosztással), vagy előre generált html vagy json dokumentumok terjesztésére az adatbázisból. Ami a teljesítményt illeti, az adatok Bolt archívumokkal történő feltöltése és írása a várakozási idő körülbelül 20-25%-os növekedéséhez vezet olvasáskor és 40-50%-kal írás közben. Minél kisebb a fájlméret, annál kisebb a késleltetésbeli különbség.

A főbb lehetőségek:

• Többszálú;
• Többszerver, amely hibatűrést és terheléselosztást biztosít;
• Maximális átláthatóság a felhasználó vagy a fejlesztő számára;
• Támogatott HTTP metódusok: GET, HEAD, PUT és DELETE;
• Az olvasási és írási viselkedés kezelése ügyféloldali fejléceken keresztül;
• Nagymértékben konfigurálható virtuális gazdagépek támogatása;
• CRC adatintegritás támogatása írás/olvasás közben;
• Féldinamikus pufferek a minimális memóriafogyasztás és az optimális hálózati teljesítmény hangolás érdekében;
• Késleltetett adatcsomagolás;
• Ezenkívül egy többszálas archiváló is rendelkezésre áll wZA fájlok áthelyezése a Bolt archívumába a szolgáltatás leállítása nélkül.

A jelenlegi kiadás néhány korlátozása: nem támogatja a Multipart, a POST metódust, a HTTPS protokollt, a programozási nyelvek összerendelését, a könyvtárak rekurzív törlését, nem támogatja a struktúra fájlrendszerhez WebDAV vagy FUSE segítségével történő csatlakoztatását, a fájlok egy rendszerfelhasználó alatt tárolódnak . A tárolási formátum architektúra-specifikus, és nem hordozható a Little Endian és a Big Endian rendszerek között. Annak ellenére, hogy a wZD szerver támogatja a HTTP protokollt, csak fordított proxyk, például nginx és haproxy leple alatt kell futtatnia.

Forrás: opennet.ru