אחסן ביעילות מאות מיליוני קבצים קטנים. פתרון מארח עצמי

קהילה יקרה, מאמר זה יתמקד באחסון ואחזור יעיל של מאות מיליוני קבצים קטנים. בשלב זה מוצע הפתרון הסופי למערכות קבצים תואמות POSIX עם תמיכה מלאה במנעולים, כולל מנעולי אשכול, ולכאורה אף ללא קביים.

אז כתבתי שרת מותאם אישית משלי למטרה זו.
במהלך יישום המשימה הזו, הצלחנו לפתור את הבעיה העיקרית, ובמקביל להשיג חיסכון בשטח דיסק ו-RAM, שמערכת הקבצים של האשכולות שלנו צרכה ללא רחמים. למעשה, מספר כזה של קבצים מזיק לכל מערכת קבצים מקובצת.

הרעיון הוא זה:

במילים פשוטות, קבצים קטנים עולים דרך השרת, הם נשמרים ישירות בארכיון, וגם קוראים ממנו, וקבצים גדולים מונחים זה לצד זה. סכימה: תיקיה אחת = ארכיון אחד, בסך הכל יש לנו כמה מיליוני ארכיונים עם קבצים קטנים, ולא כמה מאות מיליוני קבצים. וכל זה מיושם במלואו, ללא סקריפטים או הכנסת קבצים לארכיוני tar/zip.

אשתדל לקצר, אני מתנצל מראש אם הפוסט ארוך.

הכל התחיל מזה שלא הצלחתי למצוא שרת מתאים בעולם שיוכל לשמור נתונים שהתקבלו באמצעות פרוטוקול HTTP ישירות לארכיונים, ללא החסרונות הגלומים בארכיונים ואחסון אובייקטים קונבנציונליים. והסיבה לחיפוש הייתה אשכול ה-Origin של 10 שרתים שצמחו לקנה מידה גדול, שבהם כבר הצטברו 250,000,000 קבצים קטנים, ומגמת הצמיחה לא התכוונה להיפסק.

למי שלא אוהב לקרוא מאמרים, קל יותר תיעוד קטן:

כאן и כאן.

ודוקר באותו הזמן, עכשיו יש אפשרות רק עם nginx בפנים למקרה:

docker run -d --restart=always -e host=localhost -e root=/var/storage 
-v /var/storage:/var/storage --name wzd -p 80:80 eltaline/wzd

בא:

אם יש הרבה קבצים, יש צורך במשאבים משמעותיים, והחלק הגרוע ביותר הוא שחלקם מבוזבזים. לדוגמה, בעת שימוש במערכת קבצים מקובצת (במקרה זה, MooseFS), הקובץ, ללא קשר לגודלו האמיתי, תמיד תופס לפחות 64 KB. כלומר, עבור קבצים בגודל 3, 10 או 30 KB, נדרשים 64 KB בדיסק. אם יש רבע מיליארד קבצים, נאבד מ-2 ל-10 טרה-בייט. לא ניתן יהיה ליצור קבצים חדשים ללא הגבלת זמן, שכן ל-MooseFS יש מגבלה: לא יותר ממיליארד עם העתק אחד של כל קובץ.

ככל שמספר הקבצים גדל, יש צורך בהרבה זיכרון RAM עבור מטא נתונים. השלכות תכופות של מטא נתונים גדולות תורמות גם לבלאי של כונני SSD.

שרת wZD. עשינו סדר בדברים על הדיסקים.

השרת כתוב ב-Go. קודם כל, הייתי צריך להפחית את מספר הקבצים. איך לעשות את זה? בגלל ארכיון, אבל במקרה זה ללא דחיסה, מכיוון שהקבצים שלי הם רק תמונות דחוסות. לעזרה הגיעה BoltDB, שעדיין היה צריך לחסל מחסרונותיה, הדבר בא לידי ביטוי בתיעוד.

בסך הכל, במקום רבע מיליארד תיקים, במקרה שלי נשארו רק 10 מיליון ארכיונים של בולט. אם הייתה לי הזדמנות לשנות את מבנה קבצי הספריות הנוכחי, אפשר היה לצמצם אותו לכמיליון קבצים.

כל הקבצים הקטנים נארזים בארכיוני Bolt, שמקבלים אוטומטית את שמות הספריות שבהן הם נמצאים, וכל הקבצים הגדולים נשארים ליד הארכיונים; אין טעם לארוז אותם, זה ניתן להתאמה אישית. קטנים נשמרים בארכיון, גדולים נשארים ללא שינוי. השרת עובד בשקיפות עם שניהם.

ארכיטקטורה ותכונות של שרת wZD.

השרת פועל תחת מערכות ההפעלה Linux, BSD, Solaris ו-OSX. בדקתי רק עבור ארכיטקטורת AMD64 תחת לינוקס, אבל זה אמור לעבוד עבור ARM64, PPC64, MIPS64.

תכונות עיקריות:

• ריבוי השרשורים;
• מולטי-שרת, מספק סובלנות תקלות ואיזון עומסים;
• שקיפות מרבית עבור המשתמש או המפתח;
• שיטות HTTP נתמכות: GET, HEAD, PUT ו-DELETE;
• שליטה בהתנהגות קריאה וכתיבה באמצעות כותרות לקוחות;
• תמיכה במארחים וירטואליים גמישים;
• תמיכה בשלמות נתוני CRC בעת כתיבה/קריאה;
• מאגרים חצי דינמיים לצריכת זיכרון מינימלית וכוונון ביצועי רשת אופטימליים;
• דחיקת דחיסת נתונים;
• בנוסף, מוצע wZA ארכיון רב-הליכי להעברת קבצים מבלי להפסיק את השירות.

ניסיון אמיתי:

אני מפתח ובודק את השרת והארכיון על נתונים חיים כבר די הרבה זמן, כעת הוא פועל בהצלחה על אשכול הכולל 250,000,000 קבצים קטנים (תמונות) הנמצאים ב-15,000,000 ספריות על כונני SATA נפרדים. אשכול של 10 שרתים הוא שרת Origin המותקן מאחורי רשת CDN. כדי לשרת אותו, נעשה שימוש בשני שרתי Nginx + 2 שרתי wZD.

למי שמחליט להשתמש בשרת זה, יהיה זה חכם לתכנן את מבנה הספריות, אם ישים, לפני השימוש. תן לי לעשות הזמנה מיד שהשרת לא נועד לדחוס הכל לארכיון 1 Bolt.

בדיקת ביצועים:

ככל שגודל הקובץ הדחוס קטן יותר, כך מבצעים בו פעולות GET ו-PUT מהירות יותר. הבה נשווה את הזמן הכולל של כתיבת לקוח HTTP לקבצים רגילים וארכיוני Bolt, כמו גם קריאה. עבודה עם קבצים בגדלים 32 KB, 256 KB, 1024 KB, 4096 KB ו-32768 KB מושוואת.

בעבודה עם ארכיוני Bolt, בודקים את שלמות הנתונים של כל קובץ (משתמשים ב-CRC), לפני ההקלטה וגם לאחר ההקלטה מתרחשת קריאה תוך כדי טיסה וחישוב מחדש, זה כמובן מכניס עיכובים, אבל העיקר הוא אבטחת מידע.

ערכתי בדיקות ביצועים על כונני SSD, שכן בדיקות על כונני SATA לא מראות הבדל ברור.

גרפים המבוססים על תוצאות הבדיקה:

כפי שאתה יכול לראות, עבור קבצים קטנים ההבדל בזמני הקריאה והכתיבה בין קבצים בארכיון לקבצים שאינם בארכיון קטן.

אנו מקבלים תמונה שונה לחלוטין בעת ​​בדיקת קריאה וכתיבה של קבצים בגודל 32 MB:

הפרש הזמן בין קריאת קבצים הוא בין 5-25 אלפיות השנייה. עם הקלטה, המצב גרוע יותר, ההבדל הוא בערך 150 אלפיות השנייה. אבל במקרה זה אין צורך להעלות קבצים גדולים; פשוט אין טעם לעשות זאת; הם יכולים לחיות בנפרד מהארכיון.

*טכנית, אתה יכול להשתמש בשרת זה למשימות הדורשות NoSQL.

שיטות בסיסיות לעבודה עם שרת wZD:

טעינת קובץ רגיל:

curl -X PUT --data-binary @test.jpg http://localhost/test/test.jpg

העלאת קובץ לארכיון Bolt (אם אין חריגה מפרמטר השרת fmaxsize, הקובע את גודל הקובץ המקסימלי שניתן לכלול בארכיון; אם חריגה, הקובץ יועלה כרגיל ליד הארכיון):

curl -X PUT -H "Archive: 1" --data-binary @test.jpg http://localhost/test/test.jpg

הורדת קובץ (אם יש קבצים עם אותם שמות בדיסק ובארכיון, אז בעת ההורדה ניתנת עדיפות כברירת מחדל לקובץ שלא הועבר לארכיון):

curl -o test.jpg http://localhost/test/test.jpg

הורדת קובץ מארכיון Bolt (מאולץ):

curl -o test.jpg -H "FromArchive: 1" http://localhost/test/test.jpg

תיאורים של שיטות אחרות נמצאים בתיעוד.

תיעוד wZD
תיעוד wZA

השרת תומך כרגע רק בפרוטוקול HTTP; הוא עדיין לא עובד עם HTTPS. גם שיטת POST אינה נתמכת (עדיין לא הוחלט אם יש בה צורך או לא).

מי שיחפור בקוד המקור ימצא שם Butterscotch, לא כולם אוהבים את זה, אבל לא קשרתי את הקוד הראשי לפונקציות של ה-web framework, פרט ל-interrupt handler, כך שבעתיד אוכל לשכתב אותו במהירות כמעט לכל אחד. מנוע.

ToDo:

• פיתוח משכפל ומפיץ משלך + גיאוגרפי לאפשרות שימוש במערכות גדולות ללא מערכות קבצי אשכול (הכל למבוגרים)
• אפשרות לשחזור הפוך לחלוטין של מטא נתונים אם הם אובדים לחלוטין (אם משתמשים במפיץ)
• פרוטוקול מקורי ליכולת להשתמש בחיבורי רשת מתמשכים ובמנהלי התקנים עבור שפות תכנות שונות
• אפשרויות מתקדמות לשימוש ברכיב NoSQL
• דחיסות מסוגים שונים (gzip, zstd, snappy) עבור קבצים או ערכים בתוך ארכיוני Bolt ועבור קבצים רגילים
• הצפנה מסוגים שונים עבור קבצים או ערכים בתוך ארכיוני Bolt ועבור קבצים רגילים
• המרת וידאו בצד שרת מושהית, כולל ב-GPU

יש לי הכל, אני מקווה שהשרת הזה יהיה שימושי למישהו, רישיון BSD-3, זכויות יוצרים כפולות, שכן אם לא הייתה חברה שבה אני עובד, השרת לא היה נכתב. אני המפתח היחיד. אני אודה לכל באגים ובקשות תכונה שתמצא.

מקור: www.habr.com