Storacle - אחסון קבצים מבוזר

לפני שאני מתחיל, אני חייב לעזוב קישור למאמר הקודםכדי שיהיה ברור על מה בדיוק אנחנו מדברים.

במאמר זה ברצוני להסתכל על השכבה האחראית על אחסון קבצים, וכיצד ניתן להשתמש בה על ידי כל אחד. Storacle היא ספרייה עצמאית, אין קשר ישיר למוזיקה. אתה יכול לארגן את האחסון של כל קבצים.

בכתבה הקודמת, "גלגלתי את החבית" קצת הלאה ipfs, אבל זה קרה בדיוק בהקשר של הבעיה שפתרתי. בסך הכל, אני חושב שהפרויקט הזה מגניב. אני פשוט מעדיף את היכולת ליצור רשתות שונות למשימות שונות. זה מאפשר לך לארגן טוב יותר את המבנה ולהפחית את העומס על צמתים בודדים ועל הרשת כולה. גם במסגרת של פרויקט אחד, במידת הצורך, אתה יכול לפצל את הרשת לפיסות לפי כמה קריטריונים, להפחית את העומס הכולל.

אז אחסון משתמש במנגנון ניתן למריחה לארגון רשת. תכונות עיקריות:

• ניתן להוסיף קבצים למאגר דרך כל צומת.
• קבצים נשמרים במלואם, לא בבלוקים.
• לכל קובץ יש גיבוב תוכן ייחודי משלו להמשך עבודה איתו.
• ניתן לשכפל קבצים לאמינות רבה יותר
• מספר הקבצים בצומת אחד מוגבל רק על ידי מערכת הקבצים (יש חריג, על כך בהמשך)
• מספר הקבצים ברשת מוגבל על ידי היכולות הניתנות לפיזור לפי מספר הצמתים התקפים ברשת, שבגרסה השנייה יוכלו לעבוד עם אינסוף צמתים (עוד על כך במאמר אחר)

דוגמה פשוטה לאיך זה עובד בדרך כלל מהתוכנית:

שרת:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

לָקוּחַ:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

מבט מבפנים

אין שום דבר מפואר מתחת למכסה המנוע. מידע על מספר הקבצים, גודלם הכולל ונקודות נוספות נשמר במסד נתונים בזיכרון ומתעדכן כאשר קבצים נמחקים ומתווספים, כך שאין צורך בגישה תכופה למערכת הקבצים. יוצא מן הכלל הוא הפעלת אוסף האשפה כאשר אתה צריך להפיץ קבצים כאשר מגיעים לגודל אחסון מסוים, ולא אוסרים על הוספת קבצים חדשים. במקרה זה, יש לעקוף את האחסון, ועבודה עם מספר רב של קבצים (> נגיד מיליון) עלולה להוביל לעומסים משמעותיים. ועדיף לאחסן פחות קבצים ולהפעיל יותר צמתים. אם ה"מנקה" מושבת, אז אין בעיה כזו.

אחסון הקבצים מורכב מ-256 תיקיות ו-2 רמות של קינון. קבצים מאוחסנים בתיקיות ברמה השנייה. כלומר, אם יש מיליון. יהיו כ-1 קבצים בכל תיקיה כזו (62500 / sqrt(1000000)).

שמות התיקיות נוצרים מה-hash של הקובץ כך שתוכל לגשת אליו במהירות אם אתה מכיר את ה-hash.

מבנה זה נבחר על סמך מספר רב של דרישות אחסון שונות: תמיכה במערכות קבצים חלשות, בהן לא רצוי להחזיק קבצים רבים בתיקייה אחת, מעבר מהיר של כל התיקיות במידת הצורך וכו'. סוג של אמצעי זהב.

שמירה במטמון

בעת הוספת קבצים, כמו גם בעת קבלתם, נכתבים קישורים לקבצים למטמון.
הודות לכך, לעתים קרובות מאוד אין צורך לחצות את כל הרשת בחיפוש אחר קובץ. זה מאיץ את קבלת הקישורים ומפחית את העומס על הרשת. שמירה במטמון מתרחשת גם באמצעות כותרות http.

איזומורפיה

הלקוח כתוב ב-javascript והוא איזומורפי, ניתן להשתמש בו ישירות מהדפדפן. 
אתה יכול להעלות את הקובץ https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js כתסריט וגישה window.ClientStoracle או לייבא דרך מערכת הבנייה וכו'.

קישורים דחויים

תכונה מעניינת היא גם "התייחסות נדחית". זהו קישור לקובץ שניתן להשיג באופן סינכרוני, כאן ועכשיו, והקובץ יימשך כשהוא כבר נמצא באחסון. זה מאוד נוח כאשר, למשל, אתה צריך להציג כמה תמונות באתר. פשוט שמנו קישור דחוי ב-src וזהו. אתה יכול להעלות מקרים רבים.

לקוח API

• אסינכרוני Client.prototype.storeFile() - שמירת הקובץ
• אסינכרוני Client.prototype.getFileLink() - קבלת קישור ישיר לקובץ
• אסינכרוני Client.prototype.getFileLinks() - קבלת רשימה של קישורים ישירים לקובץ מכל הצמתים שבהם הוא קיים
• אסינכרוני Client.prototype.getFileToBuffer() - הכנס את הקובץ למאגר
• אסינכרוני Client.prototype.getFileToPath() - הכנס קובץ למערכת הקבצים
• אסינכרוני Client.prototype.getFileToBlob() - קבל את הקובץ ב-blob (עבור גרסת הדפדפן)
• אסינכרוני Client.prototype.removeFile() - למחוק קובץ
• Client.prototype.createRequestedFileLink() - צור קישור דחוי

ייצא קבצים לשרת אחר

כדי להעביר קבצים לצומת אחר, אתה יכול:

• פשוט העתק את כל תיקיית האחסון יחד עם ההגדרות. (ייתכן שזה לא יעבוד בעתיד)
• העתק רק את התיקיה עם הקבצים. אבל, במקרה זה, תצטרך להפעיל את הפונקציה פעם אחת node.normalizeFilesInfo()לחשב מחדש את כל הנתונים ולהזין אותם למסד הנתונים.
• השתמש בפונקציה node.exportFiles()אשר יתחיל להעתיק קבצים.

הגדרות צומת בסיסיות
בעת הפעלת צומת האחסון, אתה יכול לציין את כל ההגדרות הדרושות.
אתאר את הבסיסיים ביותר, את השאר ניתן למצוא ב-Github.

• storage.dataSize - גודל התיקיה עם הקבצים
• storage.tempSize - גודל תיקייה זמני
• storage.autoCleanSize - גודל האחסון המינימלי שצריך להחזיק. אם תציין את הפרמטר הזה, ברגע שהשטח יתחיל להיגמר, הקבצים הכי פחות בשימוש יימחקו.
• file.maxSize - גודל קובץ מקסימלי
• file.minSize - גודל קובץ מינימלי
• file.preferredDuplicates - מספר מועדף של כפילויות קבצים ברשת
• הרשימה הלבנה של file.mime - סוגי קבצים חוקיים
• file.mime רשימה שחורה - סוגי קבצים לא חוקיים
• file.extWhitelist - סיומות קבצים חוקיות
• file.extBlacklist - סיומות קבצים לא חוקיות
• file.linkCache - הגדרות שונות של אחסון במטמון קישורים

ניתן להזין כמעט את כל הפרמטרים הקשורים לממדים הן בערכים מוחלטים והן בערכים יחסיים.

עבודה דרך שורת הפקודה
ניתן להשתמש בספרייה באמצעות שורת הפקודה. לשם כך עליך להתקין אותו ברחבי העולם: npm i -g אחסון. לאחר מכן, תוכל להפעיל את הפעולות הדרושות מספריית הפרויקט שבה נמצא הצומת. לדוגמה, storacle -a storeFile -f ./file.txt -c ./config.jsכדי להוסיף את הקובץ. ניתן למצוא את כל הפעולות ב https://github.com/ortexx/storacle/blob/master/bin/actions.js

למה אולי תצטרך את זה?

• אם אתה רוצה ליצור איזשהו פרויקט מבוזר שבו אתה מתכנן לאחסן ולעבוד עם קבצים בשיטות נוחות. לדוגמה, פרויקט המוזיקה המתואר בקישור בתחילת המאמר משתמש מחסן.
• אם אתה עובד על כל פרויקט אחר שבו אתה צריך לאחסן קבצים בצורה מבוזרת. אתה יכול בקלות לבנות את הרשת הסגורה שלך, להגדיר צמתים באופן גמיש ולהוסיף חדשים בעת הצורך.
• אם אתה רק צריך לאחסן את קבצי האתר שלך איפשהו וזה יותר מדי בשבילך לכתוב הכל בעצמך. אולי ספרייה זו מתאימה יותר מאחרות במקרה שלך.
• אם יש לך פרויקט שבו אתה עובד עם קבצים, אבל רוצה לבצע את כל המניפולציות מהדפדפן. אתה יכול להימנע מכתיבת קוד שרת.

אנשי הקשר שלי:

• @ortex
• [מוגן בדוא"ל]

מקור: www.habr.com