اولین نسخه wZD 1.0.0، سرور ذخیره سازی فشرده برای فایل های کوچک

در دسترس چاپ اول wZD 1.0.0 - سروری برای ذخیره کارآمد تعداد زیادی فایل به شکل فشرده که از بیرون مانند یک سرور WebDAV معمولی به نظر می رسد. یک نسخه اصلاح شده برای ذخیره سازی استفاده می شود BoltDB. کد پروژه در Go and نوشته شده است توزیع شده توسط تحت مجوز BSD

سرور اجازه می دهد تا با پشتیبانی کامل از قفل، تعداد فایل های کوچک را در سیستم های فایل معمولی یا خوشه ای به میزان قابل توجهی کاهش دهید. خوشه ای که توسط توسعه دهندگان wZD پشتیبانی می شود، حدود 250 میلیون فایل کوچک توزیع شده در 15 میلیون فهرست در سیستم فایل کلاستر را ذخیره می کند. MooseFS.

wZD امکان انتقال (بایگانی) محتویات دایرکتوری ها را به بایگانی ها در فرمت BoltDB و سپس توزیع این فایل ها از این آرشیوها (یا قرار دادن فایل ها در آرشیو با استفاده از روش PUT) به میزان قابل توجهی از تعداد فایل ها در سیستم فایل و کاهش می دهد. کاهش هزینه های ذخیره سازی ابرداده ها برای افزایش کارایی پردازش فایل های حجیم، می توان چنین فایل هایی را به طور جداگانه از آرشیو Bolt ذخیره کرد. این رویکرد به شما امکان می دهد تا ذخیره سازی تعداد زیادی فایل کوچک را بدون محدودیت در تعداد inode در سیستم فایل سازماندهی کنید.

سرور همچنین می تواند به عنوان پایگاه داده NoSQL برای داده ها در قالب کلید/مقدار (با اشتراک گذاری بر اساس ساختار دایرکتوری) یا برای توزیع اسناد html یا json از پیش تولید شده از پایگاه داده استفاده شود. از نظر عملکرد، ارسال و نوشتن داده ها با استفاده از آرشیو Bolt منجر به افزایش تاخیر تقریباً 20-25٪ هنگام خواندن و 40-50٪ هنگام نوشتن می شود. هرچه اندازه فایل کوچکتر باشد، تفاوت در تأخیر کمتر است.

اصلی فرصت:

• چند رشته ای؛
• چند سرور، ارائه تحمل خطا و متعادل کننده بار؛
• حداکثر شفافیت برای کاربر یا توسعه دهنده؛
• روش های HTTP پشتیبانی شده: GET، HEAD، PUT و DELETE.
• کنترل رفتار خواندن و نوشتن از طریق هدر مشتری.
• پشتیبانی از میزبان های مجازی انعطاف پذیر.
• پشتیبانی از یکپارچگی داده های CRC هنگام نوشتن/خواندن؛
• بافرهای نیمه پویا برای حداقل مصرف حافظه و تنظیم عملکرد بهینه شبکه.
• بسته بندی داده های معوق؛
• علاوه بر این، یک بایگانی چند رشته ای ارائه شده است wZA برای انتقال فایل ها به بایگانی Bolt بدون توقف سرویس.

برخی از محدودیت های نسخه فعلی: پشتیبانی از Multipart، روش POST، پروتکل HTTPS، اتصال برای زبان های برنامه نویسی، حذف بازگشتی دایرکتوری ها، عدم پشتیبانی برای نصب ساختار به سیستم فایل از طریق WebDAV یا FUSE، فایل ها وجود ندارد. تحت یک کاربر سیستم ذخیره می شوند. فرمت ذخیره سازی مختص معماری است و بین سیستم های لیتل اندین و بیگ اندین قابل حمل نیست. علیرغم این واقعیت که سرور wZD از پروتکل HTTP پشتیبانی می کند، فقط باید تحت پوشش پروکسی های معکوس مانند nginx و هاپروکسی راه اندازی شود.

منبع: opennet.ru