NILFS2 - מערכת קבצים חסינת כדורים עבור /home

כפי שאתה יודע, אם צרות יכולות לקרות, זה בהחלט יקרה. כנראה שלכולם היו מקרים שבהם קובץ חשוב אחרון נמחק בטעות, או טקסט נבחר בטעות והושמד בעורך טקסט.

אם אתה מארח או בעל אתר, כנראה שנתקלת בפריצה לחשבונות משתמש או לאתר שלך. במקרים כאלה, חשוב לשחזר את הכרונולוגיה, למצוא את שיטת הכניסה ואת הפגיעות שבה משתמש התוקף.

מערכת הקבצים NILFS2 מושלמת לפתרון בעיות כאלה.

הוא קיים בליבת לינוקס מאז גרסה 2.6.30.

הייחודיות של מערכת הקבצים הזו היא שהיא דומה למערכת בקרת גרסאות: אתה תמיד יכול להחזיר את מצב המערכת לאחור ולהסתכל איך זה היה לפני זמן מה.

כדי לספק פונקציונליות זו, אינך צריך להגדיר סקריפטים של Cron, לצלם תמונות וכו'. מערכת הקבצים NILFS2 עושה זאת בעצמה. הוא אף פעם לא מחליף נתונים ישנים ותמיד כותב לאזורים חדשים בדיסק אם יש מספיק שטח דיסק פנוי. בהתאמה מלאה לעקרון העתק-על-כתיבה.

למעשה, כל שינוי בקובץ יוצר אוטומטית תמונת מצב חדשה של מערכת הקבצים, כך שתוכל להשתמש ב-FS זה כמכונת זמן ולהריץ לאחור את מצב הקבצים.

כתבה

NILFS2 פותח במעמקי חברת ניפון טלגרף וטלפון, למעשה, בבעלות המדינה (יש לה נתח שליטה) וחברת התקשורת הגדולה ביפן. ליתר דיוק, במעבדות הסייברספייס בהנהגה Ryusuke Konishi.

לשם מה בדיוק הוא פותח לא ידוע, עם זאת, ניתן להניח ש-FS כזה, עם פונקציונליות "מכונת הזמן" שלו, אידיאלי לאחסון נתונים ששירותי המודיעין עשויים לרצות לחפור בהם כדי להשמיע מחדש את כל התמונה של SMS, מיילים וכו'...

NILFS2 הוא גם בפוטנציה כלי בעל ערך רב עבור שירותי אבטחה פנימית, מכיוון שהוא מאפשר לך לשחזר את כל המכתבים שנמחקו במסד הנתונים של הדואר, ולחשוף את המשקופים של עובדים שעשויים לאחר מכן לנסות להסוות אותם על ידי מחיקה או שינוי של הקבצים שלהם.

איך אתה יכול לעקוב אחר כל היסטוריית ההתכתבויות שלך?בשרתי לינוקס (וכאן יש להתקין את NILFS2 למטרות אבטחה פנימית), שיטת הקובץ לאחסון מיילים משמשת לעתים קרובות מאוד לאחסון הודעות דואר אלקטרוני. מה שנקרא פורמט דואר דואר. מספיק לשים שרת דואר שליחים ולהגדיר אחסון דואר ב-Maildir. פורמט אחר mbox הוא קובץ טקסט גדול שניתן לנתח בקלות להודעות בודדות.

אם שרת הדואר משתמש במסד נתונים, אז NILFS2 יאפשר לשחזר את התזמון המדויק של שינויים במסד הנתונים ואת היכולת לשחזר את מסד הנתונים בכל אחד מהרגעים הללו. ואז אתה צריך להשתמש בכלי מסד נתונים כדי לראות מה היה בו באותה נקודת זמן...

עם זאת, משהו השתבש. או שהממשלה היפנית שינתה את דעתה לגבי מעקב אחר כולם (א-לה עקרון Yarovaya), או שהביצועים של NILFS2 על כונני HDD מסורתיים התבררו כנמוכים, ו- NILFS2 שוחרר תחת רישיון GPL ונכנס מהר מאוד לגרעין הלינוקס, מאז לא היו תלונות מיוחדות על הקוד שנכתב ביפנית מוסמכת מאוד, למפתחי ליבת לינוקס לא היה את זה.

איך NILFS2?

מנקודת מבט של שימוש: על מערכת בקרת גרסאות SVN. כל מחסום FS הוא commit שמתבצע באופן אוטומטי ללא ידיעת המשתמש בכל פעם שיש שינוי: בין אם זה מחיקה, שינוי תוכן קובץ או שינוי זכויות גישה. לכל התחייבות יש מספר שעולה באופן ליניארי.

מנקודת מבטו של מתכנת: חיץ מעגלי. מערכת הקבצים צוברת שינויים וכותבת אותם לנתח השווה ל-8 MB לערך (2000 * 4096, כאשר 2000 הוא מספר האלמנטים בבלוק ו-4096 הוא גודל עמוד הזיכרון). הדיסק כולו מחולק לנתחים כאלה. ההקלטה ממשיכה ברצף. כאשר המקום הפנוי נגמר, התמונות הישנות ביותר נמחקות והנתחים נמחקים.

מוצרי NILFS2 בסיסיים

• גירסאות!!!
• ההליך לשחזור מערכת קבצים לאחר תקלה הוא פשוט: בעת הטעינה מחפשים את הנתח האחרון שיש לו את ה-checksum הנכון, ומותקן עליו סופרבלוק. מדובר בפעולה כמעט מיידית.
• בשל העובדה שההקלטה תמיד ממשיכה באופן ליניארי, אז:
  • יכול להראות תוצאות טובות כאשר פועל על SSD עם כתיבה אקראית איטית.
  • NILFS2 חוסך משאב SSD, מכיוון שכמעט ואין גורם כפל כתיבה.
    ליתר דיוק, זה לא יותר מ-2.העובדה היא שכאשר כותבים מחדש באופן מחזורי את כל הדיסק, NILFS2 יעביר נתונים בלתי ניתנים לשינוי לחלקים חדשים (חתיכות).

    אם יש לנו 10% של נתונים לא משתנים בדיסק, אז נקבל עלייה של 10% בכתיבה עם שכתוב אחד מלא. ובכן, עלייה של 1% ב-50% מלאות של המכשיר עבור שכתוב 50 של הדיסק.

    רווח הכתיבה המקסימלי הוא 2. זה נמוך מאוד בהתחשב בכך שהכל נכתב ברצף. באופן כללי, אנימציית הכתיבה תהיה פחותה מזו של מערכת קבצים מקוטעת קונבנציונלית עם סקטור של 4096 בתים. (מחשבה בהשראת תגובה).

• קלות פוטנציאלית ביישום של שכפול ל-NILFS2 FS מרוחק

NILFS2 עבור /home

במערכות הפעלה דמויות יוניקס, ככלל, ישנה תיקיית /home שבה מאוחסנים נתוני משתמש. תוכניות שונות שומרות את ההגדרות הספציפיות למשתמש שלהן בתיקייה זו.

ומי, אם לא משתמשים, עושה טעויות לרוב? לכן, כמו שאומרים, אלוהים עצמו הורה להשתמש ב- NILFS2 ב-/home.

יתרה מכך, עם השימוש הנרחב בכונני SSD, כעת איננו צריכים לדאוג לבעיות חמורות בעת שימוש במערכות קבצים של CoW.

כן, אנחנו יכולים ליצור צילומי FS בתדירות שנרצה ב-ZFS וב-BTRFS, אבל תמיד קיים סיכון ששינוי קובץ שאבד יסתיים בין התמונות. והתמונות עדיין צריכות להיות מנוהלות: יש למחוק את התמונות הישנות. ב- NILFS2, כל זה קורה באופן אוטומטי, ממש כל כמה שניות.

יצרתי נפח לוגי באמצעות lvcreate (בקבוצת נפח nvme, thin pool thin). אני ממליץ ליצור אותו בנפח lvm, מכיוון שניתן להרחיב אותו בקלות מאוחר יותר. אני ממליץ להחזיק 50% שטח דיסק פנוי עם NILFS2 לעומק גרסה הגון.

lvcreate -V10G -T nvme/thin -n home

ועיצבת אותו ב- NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing file system initial data to the device
      Blocksize:4096  Device:/dev/nvme/home1  Device Size:10737418240
File system initialization succeeded !!

לאחר מכן, עליך להעתיק את כל הנתונים מה/home הנוכחי.

עשיתי זאת מיד לאחר אתחול המחשב, לפני הכניסה לחשבון שלי, בתור משתמש השורש. אם הייתי נכנס כמשתמש שלי, חלק מהתוכניות היו פותחות שקעים וקבצים בתיקיית /home/user של המשתמש שלי, מה שהיה מקשה על עותק נקי. כידוע, תיקיית הבית של משתמש השורש ממוקמת בדרך כלל בנתיב /root, כך שלא ייפתחו קבצים במחיצת /home.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

לשורה האחרונה, ראה מאמר.

לאחר מכן אנו עורכים את /etc/fstab, שבו מערכת הקבצים עבור /home מותקנת, ל

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

אפשרות noatime נדרש לשיפור הביצועים כך שהזמן לא ישתנה עם כל גישה לקובץ. לאחר מכן אנו מאתחלים.

סוגי תמונות ב-NILFS2.

תמונת מצב רגילה ללא חסינות למחיקה נקראת מחסום או נקודת התאוששות.
תמונת מצב מוגנת ממחיקה אוטומטית נקראת תמונת מצב, ואז פשוט תמונת מצב.

הצפייה בנקודות הבידוק נעשית באמצעות הפקודה lscp

הצג תמונות מצב lscp -s

אנו יכולים ליצור תמונות ונקודות ביקורת בעצמנו בכל עת באמצעות:

mkcp [-s] устройство

אנו משחזרים נתונים.

NILFS מאפשר לנו להרכיב כמה תמונות ישנות שנרצה במקביל לעבודה עם ענף ה-FS הראשי. אבל רק במצב קריאה.

הכל מסודר ככה. נקודות ביקורת רגילות ש-NILFS2 מייצרת ניתנות למחיקת אוטומטית בכל עת (כאשר שטח הדיסק אוזל או לפי כללי nilfs_cleanerd), אז לפני ההתקנה עלינו להמיר את המחסום לתמונת מצב או, בשפה הרוסית, ללכוד את תמונת המצב.

chcp ss номер_чекпоинта

לאחר מכן, נוכל לעלות את תמונת המצב, למשל, כך:

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

לאחר מכן אנו מעתיקים את הקבצים המשוחזרים מתמונת המצב אל /home.
ובהמשך אנו מסירים את הדגל ללא מחיקה מתמונת המצב, כך שבעתיד אספן האשפה האוטומטי יוכל להסיר נתונים מיושנים:

chcp cp номер_чекпоинта

כלי עזר עבור NILFS2

אבל זו הבעיה. כן, כמובן, אנחנו יכולים ליצור מערכת קבצים, לשנות את גודלה באינטרנט, לצפות ברשימת נקודות האתגר, ליצור ולמחוק אותן. חבילת nilfs2-utils מספקת סט ג'נטלמן מינימלי.

מאז NTT צמצמה את המימון שלה, אין כלי עזר מהירים ברמה נמוכה המאפשרים לך להציג את היסטוריית השינויים בקבצים או לעשות הבדל בין תמונות מצב.

השירות n2u שלי

כדי למלא את הוואקום הזה כתבתי כלי השירות n2u שלך, שיכול להציג את היסטוריית השינויים בקובץ/ספרייה ספציפיים:

n2u log filename

הפלט הוא משהו כזה:

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

זה עובד די מהר עבור שיטת ההטמעה שנבחרה: הוא מחפש הבדלים בין קבצים בשיטת הביסקציה, התקנה מהירה והשוואה של הקובץ/ספרייה בתצלומים שונים.

אתה יכול להגדיר טווח של מחסומים באמצעות המקש -cp CP1:CP2 או -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

אתה יכול גם לראות את ההבדל בין נקודות ביקורת עבור קובץ או ספריה ספציפיים:

n2u diff -r cp1:cp2 filename

ניתן להציג את כל הכרונולוגיה של השינויים: כל ההבדלים בין נקודות הבידוק של קובץ/ספרייה ספציפיים:

n2u blame [-r cp1:cp2] filename

מרווח תאריכים בפקודה זו נתמך גם כן.

זעקה למפתחים

ישנם מומחים רבים בנושא Habré. נא לסיים את NILFS2. עשה שכפול, הבדל מהיר ברמה נמוכה בין גרסאות, קישור מחדש ודברים טובים אחרים!

תזכור

האתר הרשמי של NILFS.

מאגרים:
NILFS2.
NILFS2 כלי עזר ומודולים.

ניוזלטרים:
ניוזלטר דואר אלקטרוני למפתחי NILFS2. מזהה עבור מנוי linux-nilfs.
ארכיון ניוזלטרים.

מדריך ההתקנה של nilfs_cleanerd.
ביצוע מבחני ביצועים של EXT4, Btrfs, XFS ו-NILFS2.

תודה:

• מפתחי NILFS2: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi ו- Satoshi Moriai. תורמים עיקריים נוספים הם: אנדראס רוהנר, דן מקגי, דיוויד ארנדט, דייוויד סמיד, דקסן דה פריס, דמיטרי סמירנוב, אריק סנדין, ז'ירו SEKIBA, מתאו פריגו, היטושי מיטקה, טקאשי איוואי, ויאצ'סלב דובייקו.
• ל-Amblin Entertainment ו-Universal Pictures לסדרת סרטים נפלאה. "בחזרה לעתיד". התמונה הראשונה של הפוסט לקוחה מהסרט "בחזרה לעתיד 3".
• חברות RUVDS לתמיכה ולהזדמנות לפרסם בבלוג שלך ב-Habré.

נ.ב. אנא שלח את כל השגיאות שאתה מבחין בהודעה פרטית. אני מגדיל את הקארמה שלי בשביל זה.

אתה יכול להתנסות עם NILFS2 על ידי הזמנת מכונה וירטואלית מ RUVDS עם הקופון למטה. לכל הלקוחות החדשים יש תקופת ניסיון חינם של 3 ימים.

מקור: www.habr.com