Keluaran pertama wZD 1.0.0, pelayan storan padat untuk fail kecil

Ada edisi pertama wZD 1.0.0 - pelayan untuk cekap menyimpan sejumlah besar fail dalam bentuk padat yang kelihatan seperti pelayan WebDAV biasa dari luar. Versi yang diubah suai digunakan untuk penyimpanan BoltDB. Kod projek ditulis dalam Go and diedarkan oleh di bawah lesen BSD.

pelayan membolehkan mengurangkan dengan ketara bilangan fail kecil pada sistem fail biasa atau berkelompok dengan sokongan kunci penuh. Kluster yang diselenggarakan oleh pembangun wZD menyimpan kira-kira 250 juta fail kecil yang tersebar di 15 juta direktori dalam FS berkelompok MooseFS.

wZD memungkinkan untuk mengalihkan (mengarkib) kandungan direktori ke arkib dalam format BoltDB dan kemudian mengedarkan fail ini daripada arkib ini (atau meletakkan fail ke dalam arkib menggunakan kaedah PUT), dengan ketara mengurangkan bilangan fail dalam FS dan mengurangkan overhed menyimpan metadata. Untuk meningkatkan kecekapan pemprosesan fail besar, fail tersebut boleh disimpan secara berasingan daripada arkib Bolt. Pendekatan ini membolehkan anda mengatur penyimpanan sejumlah besar fail kecil, tanpa mencapai had bilangan inod dalam sistem fail.

Keluaran pertama wZD 1.0.0, pelayan storan padat untuk fail kecil

Pelayan juga boleh digunakan sebagai pangkalan data NoSQL untuk data dalam format kunci/nilai (dengan sharding berdasarkan struktur direktori) atau untuk mengedarkan dokumen html atau json pra-jana daripada pangkalan data. Dari segi prestasi, memuat naik dan menulis data menggunakan arkib Bolt membawa kepada peningkatan kependaman kira-kira 20-25% semasa membaca dan sebanyak 40-50% semasa menulis. Lebih kecil saiz fail, lebih kecil perbezaan kependaman.

Keluaran pertama wZD 1.0.0, pelayan storan padat untuk fail kecil

Utama keupayaan:

  • Multithreading;
  • Multiserver, menyediakan toleransi kesalahan dan pengimbangan beban;
  • Ketelusan maksimum untuk pengguna atau pembangun;
  • Kaedah HTTP yang disokong: GET, HEAD, PUT dan DELETE;
  • Menguruskan tingkah laku baca dan tulis melalui pengepala sebelah klien;
  • Sokongan untuk hos maya yang sangat boleh dikonfigurasikan;
  • Sokongan untuk integriti data CRC semasa menulis / membaca;
  • Penampan separa dinamik untuk penggunaan memori yang minimum dan penalaan prestasi rangkaian yang optimum;
  • Pembungkusan data tertunda;
  • Di samping itu, arkib berbilang benang ditawarkan wZA untuk memindahkan fail ke arkib Bolt tanpa menghentikan perkhidmatan.

Beberapa had keluaran semasa: tiada sokongan untuk Multipart, kaedah POST, protokol HTTPS, pengikatan untuk bahasa pengaturcaraan, pemadaman rekursif direktori, tiada sokongan untuk memasang struktur pada sistem fail melalui WebDAV atau FUSE, fail disimpan di bawah satu pengguna sistem . Format storan adalah khusus seni bina dan tidak mudah alih antara sistem Little Endian dan Big Endian. Walaupun pada hakikatnya pelayan wZD melaksanakan sokongan untuk protokol HTTP, anda hanya perlu menjalankannya di bawah samaran proksi terbalik, seperti nginx dan haproxy.

Sumber: opennet.ru

Tambah komen