שחרור ZFS ב-Linux 0.8.0, הטמעות של ZFS עבור ליבת לינוקס

לאחר כמעט שנתיים של פיתוח הציג שחרור ZFS על לינוקס 0.8.0, יישום של מערכת הקבצים ZFS ארוזה כמודול עבור ליבת לינוקס. המודול נבדק עם ליבות לינוקס מ-2.6.32 עד 5.1. בקרוב חבילות התקנה מוכנות יהיה מוכן עבור הפצות לינוקס גדולות כולל דביאן, אובונטו, פדורה, RHEL/CentOS. מודול ZFS על לינוקס כבר כלול בהפצות Debian, Ubuntu, Gentoo, Sabayon Linux ו-ALT Linux.

במסגרת ZFS ב-Linux הוכנה הטמעה של רכיבי ZFS הקשורים הן לתפעול מערכת הקבצים והן לתפקוד מנהל הנפח. בפרט, הרכיבים הבאים מיושמים: SPA (Storage Pool Allocator), DMU (יחידת ניהול נתונים), ZVOL (ZFS Emulated Volume) ו-ZPL (ZFS POSIX Layer). בנוסף, הפרויקט מספק את היכולת להשתמש ב-ZFS כחלק אחורי עבור מערכת הקבצים של אשכולות Luster. עבודת הפרויקט מבוססת על קוד ZFS מקורי שיובא מפרויקט OpenSolaris ושופר עם שיפורים ותיקונים מקהילת Illumos. הפרויקט מפותח בהשתתפות עובדי המעבדה הלאומית ליברמור במסגרת חוזה עם משרד האנרגיה האמריקאי.

הקוד מופץ תחת רישיון CDDL חינמי, שאינו תואם ל-GPLv2, שאינו מאפשר לשלב ZFS ב-Linux בסניף הראשי של ליבת הלינוקס, שכן ערבוב קוד תחת רישיונות GPLv2 ו-CDDL אינו מותר. כדי לעקוף את חוסר התאימות של רישיון זה, הוחלט להפיץ את המוצר כולו תחת רישיון CDDL כמודול הניתן לטעינה בנפרד, אשר מסופק בנפרד מהליבה. היציבות של ZFS בבסיס הקוד של לינוקס מדורגת כדומה למערכות קבצים אחרות עבור לינוקס.

שינויים עיקריים:

• נוספה תמיכה מובנית להצפנת נתונים מאוחסנים ברמת מערכת הקבצים והמחיצות. אלגוריתם ההצפנה המוגדר כברירת מחדל הוא aes-256-ccm. הפקודה "zfs load-key" הוצעה לטעינת מפתחות הצפנה;
• הטמיע את היכולת להעביר נתונים מוצפנים בעת ביצוע הפקודות 'zfs send' ו-'zfs receive'. כאשר מציינים את האפשרות "-w", נתונים שכבר מוצפנים במאגר מועברים למאגר אחר כפי שהם, ללא פענוח ביניים. עם העתקה כזו, הנתונים נשארים מוגנים על ידי מפתח השולח, מה שמאפשר שימוש במצב זה לגיבוי למערכות לא אמינות (במקרה של פשרה של הנמען, התוקף לא יוכל לגשת לנתונים ללא המפתח);
• נוספה תמיכה להסרת כוננים ראשיים ממאגר אחסון, המחוברים הן בנפרד והן כחלק ממראה. ההסרה מתבצעת עם הפקודה "zpool remove". תהליך המחיקה מעתיק את הנתונים מהכונן שלא נכלל לכוננים הראשיים הנותרים במאגר;
• הוספה את הפקודה "zpool checkpoint" לשמירת המצב הנוכחי של הבריכה עם היכולת להחזיר שינויים נוספים לנקודת הזמן השמורה (נוצרת תמונת מצב של הבריכה כולה). התכונה המוצגת יכולה להיות שימושית בתהליך של ביצוע עבודה ניהולית מורכבת שעלולה להיות מסוכנת, אשר בתנאים רגילים מובילה לשינויים בלתי הפיכים (לדוגמה, הפעלת דגלים עבור פונקציונליות ZFS חדשה או ניקוי נתונים);
• הפקודה "trim zpool" נוספה כדי ליידע את הכוננים המשמשים במאגר לגבי סקטורים שאינם בשימוש עוד. השימוש בפעולת ה-TRIM מאפשר להגביר את היעילות של כונני SSD ולמנוע פגיעה בביצועיהם. מאפיין חדש של "חיתוך אוטומטי" הוצע כדי לאפשר את תהליך הרקע הרציף של העברת פקודות TRIM;
• נוספה פקודת "zpool initialize" לאתחול כל שטח הדיסק שלא הוקצה, מה שמאפשר לו להיות מוכן לשימוש מיידי, ללא ירידה בביצועים בגישה הראשונה (לדוגמה, בעת אירוח אחסון וירטואלי כגון VMware VMDK);
• נוספה תמיכה במכסות חשבונאיות ומכסות ברמת הפרויקט, בנוסף למכסות הזמינות בעבר של משתמשים וקבוצה. למעשה, פרויקטים הם מרחב נפרד של אובייקטים המשויכים למזהה נפרד (מזהה פרויקט). הקשירה מוגדרת באמצעות פעולת 'chattr -p' או באמצעות ירושה של מאפיינים. לניהול פרויקטים מוצגות הפקודות "zfs project" ו-"zfs projectspace", המאפשרות לנהל את יצירת הפרויקטים ולהגדיר עבורם מגבלות שטח דיסק;
• נוספה את היכולת ליצור סקריפטים של Lua כדי להפוך עבודות שונות לאוטומטיות עם ZFS. סקריפטים מופעלים בסביבות מבודדות מיוחדות באמצעות הפקודה "zpool program";
• ספרייה חדשה הושמה pyzfs, המספק API יציב לניהול ZFS מיישומי Python. הספרייה היא מעטפת סביב libzfs_core ומספקת קבוצה זהה של פונקציות, אך משתמשת בסוגי Python קרובים יותר;
• כלי השירות arcstat, arcsummary ו-dbufstat הפכו לתואמים עם Python 3. כלי השירות arcstat.py, arc_summary.py ו-dbufstat.py שונו לגרסאות ללא סיומת ".py";
• נוספה תמיכה בממשק ליבת Linux Direct IO (O_DIRECT), המאפשר גישה לנתונים ללא חציצה ועקיפה של המטמון;
• הוצגו אופטימיזציות של ביצועים:
  • עבודת הפקודות "שפשוף" ו-"resilver" הואצה עקב פיצול לשני שלבים (הוקצה שלב נפרד לסריקת מטא נתונים וקביעת מיקום בלוקים עם נתונים בדיסק, המאפשר אימות נוסף באמצעות נתונים עוקבים קריאה);
  • נוספה תמיכה לשיעורי הקצאה,
    מתן אפשרות לאגד כונני SSD קטנים יחסית ולהשתמש בהם לאחסון רק סוגים מסוימים של בלוקים נפוצים, כגון מטא נתונים, נתוני DDT ובלוקי קבצים קטנים;

  • ביצועים משופרים של פקודות אדמין כגון
    "zfs list" ו-"zfs get", על ידי שמירה במטמון של המטא נתונים הדרושים לפעולתם;

  • נוספה תמיכה בהקבלה של פעולות הקצאת בלוקים על ידי הפעלת תהליכי מקצה נפרדים עבור כל קבוצת metaslab. במערכות קונבנציונליות יש עלייה בביצועים של 5-10%, אבל בגדולות (8 128 GB SSD, 24 ליבות NUMA, 256 GB של RAM), העלייה בפעולות הקצאת בלוקים יכולה להגיע ל-25%;
  • נוספה אפשרות של דחיית ביצוע של פקודת "resilver" (בנייה מחדש של הפצת נתונים תוך התחשבות בשינויים בתצורת הכוננים) - אם הקודם טרם הושלם בעת תחילת פעולה חדשה, המטפל החדש יתחיל לבצע רק לאחר הסוף של הקודם;
  • אופטימיזציות נוספו ל-ZIL (ZFS Intent Log) כדי לאפשר יצירה ועיבוד בלוקים בנוכחות בלוקים שעדיין מעובדים על ידי האחסון;
  • זמן רישום מופחת למחיצות (זבול) במערכת. כאשר בריכה מכילה מספר רב של מחיצות, הן זמינות כעת מיד לאחר ביצוע "ייבוא ​​zpool";
  • נוספה תמיכה בחישוב מואץ בחומרה של Hash SHA256 ופעולות הצפנת AES-GSM באמצעות שבבי Intel QAT (Quick Assist Technology). נוספה תמיכה בהאצת חומרה של ערכת השבבים Intel C62x ו-CPU Atom C3000.

מקור: OpenNet.ru