עדכון מערכת הקבצים של LizardFS 3.13.0-rc2

לאחר הפוגה של שנה בפיתוח התחדש עובד על ענף חדש של מערכת קבצים מבוזרת סובלנית לתקלות LizardF 3.13 и פורסם מועמד לשחרור שני. לאחרונה התרחש החלפת הבעלים של החברה המפתחת LizardFS, אומצה הנהלה חדשה והמפתחים הוחלפו. בשנתיים האחרונות הפרויקט נסגר מהקהילה ולא נתן לו מספיק תשומת לב, אך בכוונת הצוות החדש להחיות את הקשר הקודם עם הקהילה וליצור עמה אינטראקציה הדוקה. קוד הפרויקט כתוב בשפות C ו-C++ ו מופץ על ידי תחת רישיון GPLv3.

לטאה FS זה מערכת קבצי אשכול מבוזרת, המאפשרת להפיץ נתונים על פני שרתים שונים, אך לספק גישה אליהם בצורה של מחיצה גדולה אחת, שעובדים איתה בצורה דומה למחיצות דיסק מסורתיות. מחיצה מותקנת עם LizardFS תומכת בתכונות קבצי POSIX, ACLs, מנעולים, שקעים, צינורות, קבצי התקן, קישורים סמליים וקשיחים. למערכת אין נקודת כשל אחת; כל הרכיבים מיותרים. הקבילה של פעולות הנתונים נתמכת (מספר לקוחות יכולים לגשת לקבצים בו זמנית).

כדי להבטיח סובלנות לתקלות, הנתונים מחולקים לעתקים, המופצים על פני צמתים שונים עם יתירות (מספר עותקים ממוקמים בצמתים שונים); אם צמתים או כוננים נכשלים, המערכת ממשיכה לפעול ללא אובדן מידע ומפיצה מחדש את הנתונים באופן אוטומטי. תוך התחשבות בצמתים הנותרים. כדי להרחיב את האחסון, מספיק לחבר אליו צמתים חדשים מבלי להפסיק את העבודה לצורך תחזוקה (המערכת עצמה משכפלת חלק מהנתונים לשרתים חדשים ומאזנת את האחסון תוך התחשבות בשרתים החדשים). אתה יכול לעשות את אותו הדבר כדי להקטין את גודל האשכול - אתה יכול פשוט להשבית את הציוד המיושן שמוציאים מהמערכת.

נתונים ומטא נתונים מאוחסנים בנפרד. לתפעול, מומלץ להתקין שני שרתי מטא נתונים הפועלים במצב מאסטר-slave, וכן לפחות שני שרתי אחסון נתונים (chunkserver). בנוסף, לגיבוי מטא נתונים, ניתן להשתמש בשרתי יומן לאחסון מידע על שינויים במטא נתונים ולאפשר לך לשחזר את הפעולה במקרה של נזק לכל שרתי המטא נתונים הקיימים. כל קובץ מחולק לבלוקים (נתחים), בגודל של עד 64 מגה-בייט. בלוקים מחולקים בין שרתי אחסון בהתאם למצב השכפול הנבחר: סטנדרטי (קביעה מפורשת של מספר העותקים שיוצבו בצמתים שונים, כולל ביחס לספריות בודדות - עבור נתונים חשובים ניתן להגדיל את מספר העותקים, וכן עבור נתונים חסרי חשיבות מופחתים), XOR (RAID5) ו-EC (RAID6).

אחסון יכול להגדיל לגדלים של פטה-בייט. תחומי היישום כוללים אחסון בארכיון, אחסון תמונות של מכונות וירטואליות, נתוני מולטימדיה, גיבויים, שימוש כ-DRC (מרכז התאוששות מאסון) וכאחסון באשכולות מחשוב בעלי ביצועים גבוהים. LizardFS מספק מהירות קריאה גבוהה מאוד לקבצים בכל גודל, ובכתיבה היא מציגה ביצועים טובים בכתיבת קבצים גדולים ובינוניים שלמים, כאשר אין שינוי מתמיד, עבודה אינטנסיבית עם קבצים פתוחים ופעולות חד פעמיות עם חבורה של קבצים קטנים.

בין המאפיינים של ה-FS, ניתן גם לציין את הנוכחות של תמיכה בתמונות מצב, המשקפות את מצב הקבצים בזמן מסוים, ויישום מובנה של "סל המיחזור" (קבצים אינם נמחקים מיד וזמינים עבור התאוששות לזמן מה). הגישה למחיצה יכולה להיות מוגבלת על ידי כתובת IP או סיסמה (בדומה ל-NFS). ישנם מנגנוני ניהול מכסה ואיכות שירות המאפשרים להגביל את הגודל ורוחב הפס עבור קטגוריות מסוימות של משתמשים. ניתן ליצור מתקני אחסון מבוזרים גיאוגרפית, שהקטעים שלהם ממוקמים במרכזי נתונים שונים.

פרויקט LizardFS נוסד בשנת 2013 כמזלג MooseFS, ושונה בעיקר בנוכחות מצב שכפול המבוסס על קודי תיקון שגיאות של Reed-Solomon (אנלוגי ל-raidzN), תמיכת ACL מורחבת, נוכחות של לקוח לפלטפורמת Windows, אופטימיזציות נוספות (לדוגמה, בעת שילוב לקוח ו שרת אחסון, בלוקים, במידת האפשר, נשלחים עם הצומת הנוכחי, ומטא נתונים מאוחסנים בזיכרון), מערכת תצורה גמישה יותר, תמיכה בקריאה קדימה של נתונים, מכסות ספריות ועיבוד פנימי פנימי.

LizardFS 3.13.0 מתוכנן לצאת בסוף דצמבר. החידוש העיקרי של LizardFS 3.13 הוא השימוש באלגוריתם קונצנזוס כדי להבטיח סובלנות לתקלות (החלפת שרתי מאסטר במקרה של כשל) רפסודה (משתמש ביישום שלנו של uRaft, ששימש בעבר במוצרים מסחריים). השימוש ב-uRaft מפשט את התצורה ומפחית עיכובים בהתאוששות כשלים, אך דורש לפחות שלושה צמתים עבודה, אחד מהם משמש למניין.

שינויים נוספים: לקוח חדש המבוסס על תת-המערכת FUSE3, פותר בעיות בתיקון שגיאות, תוסף nfs-ganesha שוכתב בשפת C. עדכון 3.13.0-rc2 מתקן מספר באגים קריטיים שהפכו את מהדורות הבדיקה הקודמות של ענף 3.13 לבלתי שמישות (תיקונים לענף 3.12 טרם פורסמו, והעדכון מ-3.12 ל-3.13 עדיין מוביל לאובדן נתונים מוחלט).

בשנת 2020, העבודה תתמקד בפיתוח
חרדון, ליבת LizardFS חדשה שכתובה מחדש לחלוטין, שלדברי המפתחים תספק עלייה פי שלושה בביצועים בהשוואה לענף 3.12. Agama תעבור לארכיטקטורה מונעת אירועים, מבוססת קלט/פלט אסינכרוני asio, עובדים בעיקר במרחב המשתמש (כדי להפחית את התלות במנגנוני מטמון ליבה). בנוסף, תוצעו תת-מערכת חדשה לניפוי באגים ומנתח פעילות רשת עם תמיכה בכוונון אוטומטי של ביצועים.

הלקוח LizardFS יוסיף תמיכה מלאה בפעולות כתיבת גרסאות, אשר ישפרו את האמינות של התאוששות מאסון, תפתור בעיות המתעוררות כאשר לקוחות שונים חולקים גישה לאותם נתונים, ותאפשר שיפורי ביצועים משמעותיים. הלקוח יועבר לתת-מערכת רשת משלו הפועלת בחלל המשתמש. אב הטיפוס העובד הראשון של LizardFS המבוסס על Agama מתוכנן להיות מוכן ברבעון השני של 2020. במקביל, הם מבטיחים ליישם כלים לשילוב LizardFS עם פלטפורמת Kubernetes.

מקור: OpenNet.ru