מהדורה ראשונה של wZD 1.0.0, שרת לאחסון קומפקטי של קבצים קטנים

זמין מהדורה ראשונה wZD 1.0.0 - שרת לאחסון יעיל של מספר רב של קבצים בצורה קומפקטית, אשר מבחוץ נראה כמו שרת WebDAV רגיל. גרסה שונה משמשת לאחסון BoltDB. קוד הפרויקט כתוב ב- Go ו מופץ על ידי תחת רישיון BSD.

שרת היא מאפשרת צמצם באופן משמעותי את מספר הקבצים הקטנים במערכות קבצים רגילות או מקובצות עם תמיכה מלאה בנעילה. האשכול הנתמך על ידי מפתחי wZD מאחסן כ-250 מיליון קבצים קטנים המפוזרים על פני 15 מיליון ספריות במערכת הקבצים של האשכול MooseFS.

wZD מאפשר להעביר (לאחסן) את תוכן הספריות לארכיונים בפורמט BoltDB ולאחר מכן להפיץ את הקבצים הללו מארכיונים אלו (או למקם קבצים בארכיונים בשיטת PUT), מה שמפחית משמעותית את מספר הקבצים במערכת הקבצים. צמצום התקורה של אחסון מטא נתונים. כדי להגביר את היעילות של עיבוד קבצים גדולים, ניתן לשמור קבצים כאלה בנפרד מארכיוני Bolt. גישה זו מאפשרת לך לארגן את האחסון של מספר עצום של קבצים קטנים מבלי להיות מוגבל על ידי הגבלה על מספר האינודים במערכת הקבצים.

השרת יכול לשמש גם כבסיס נתונים NoSQL עבור נתונים בפורמט מפתח/ערך (עם פיצול המבוסס על מבנה הספריות) או להפצת מסמכי html או json שנוצרו מראש ממסד הנתונים. מבחינת ביצועים, שליחה וכתיבת נתונים באמצעות ארכיוני Bolt מביאים לעלייה בהשהיה של כ-20-25% בקריאה וב-40-50% בכתיבה. ככל שגודל הקובץ קטן יותר, ההבדל בהשהיה קטן יותר.

העיקרי הזדמנויות:

• ריבוי השרשורים;
• מולטי-שרת, מספק סובלנות תקלות ואיזון עומסים;
• שקיפות מרבית עבור המשתמש או המפתח;
• שיטות HTTP נתמכות: GET, HEAD, PUT ו-DELETE;
• שליטה בהתנהגות קריאה וכתיבה באמצעות כותרות לקוחות;
• תמיכה במארחים וירטואליים גמישים;
• תמיכה בשלמות נתוני CRC בעת כתיבה/קריאה;
• מאגרים חצי דינמיים לצריכת זיכרון מינימלית וכוונון ביצועי רשת אופטימליים;
• אריזת נתונים נדחים;
• בנוסף, מוצע ארכיון מרובה חוטים wZA להעביר קבצים לארכיון Bolt מבלי להפסיק את השירות.

כמה מגבלות של המהדורה הנוכחית: אין תמיכה ב-Multipart, שיטת POST, פרוטוקול HTTPS, bindings לשפות תכנות, מחיקה רקורסיבית של ספריות, אין תמיכה בהרכבת מבנה למערכת הקבצים דרך WebDAV או FUSE, קבצים מאוחסנים תחת משתמש מערכת אחד. פורמט האחסון הוא ספציפי לארכיטקטורה ואינו נייד בין מערכות Little Endian ו-Big Endian. למרות העובדה ששרת wZD מיישם תמיכה בפרוטוקול HTTP, יש להפעיל אותו רק במסווה של פרוקסי הפוך, כגון nginx והפרוקסי.

מקור: OpenNet.ru