בניית מערכת NAS ביתית זולה בלינוקס

אני, כמו משתמשי MacBook Pro רבים אחרים, התמודדתי עם הבעיה של זיכרון פנימי לא מספיק. ליתר דיוק, ה-rMBP בו השתמשתי מדי יום היה מצויד ב-SSD בקיבולת של 256GB בלבד, מה שמטבע הדברים לא הספיק להרבה זמן.

וכשבנוסף לכל השאר התחלתי לצלם סרטונים במהלך הטיסות שלי, המצב רק החמיר. נפח הצילומים שצולמו לאחר טיסות כאלה היה 50+ GB, וה-SSD המסכן שלי בנפח 256GB התמלא מהר מאוד, מה שאילץ אותי לרכוש כונן חיצוני של 1TB. עם זאת, לאחר שנה, הוא כבר לא יכול היה להתמודד עם כמות הנתונים שיצרתי, שלא לדבר על היעדר יתירות וגיבוי הפכו אותו ללא מתאים לאירוח מידע חשוב.

אז, בשלב מסוים החלטתי לבנות NAS גדול בתקווה שהמערכת הזו תחזיק מעמד לפחות כמה שנים מבלי לדרוש שדרוג נוסף.

כתבתי את המאמר הזה בעיקר כתזכורת למה בדיוק עשיתי ואיך עשיתי את זה למקרה שאצטרך לעשות את זה שוב. אני מקווה שזה יהיה שימושי גם עבורך אם תחליט לעשות את אותו הדבר.

אולי יותר קל לקנות?

אז, אנחנו יודעים מה אנחנו רוצים להשיג, נותרה השאלה: איך?

בדקתי תחילה פתרונות מסחריים ובמיוחד הסתכלתי על Synology, שאמורה הייתה לספק את מערכות ה-NAS הטובות ביותר בשוק. עם זאת, העלות של שירות זה התבררה די גבוהה. מערכת 4 המפצים הזולה ביותר עולה $300+ ואינה כוללת כוננים קשיחים. בנוסף, המילוי הפנימי של ערכה כזו עצמה אינו מרשים במיוחד, מה שמעמיד בספק את הביצועים האמיתיים שלה.

ואז חשבתי: למה לא לבנות שרת NAS בעצמי?

מציאת שרת מתאים

אם אתה הולך להרכיב שרת כזה, אז קודם כל אתה צריך למצוא את החומרה המתאימה. שרת משומש אמור להתאים למדי למבנה הזה, מכיוון שלא נצטרך ביצועים רבים עבור משימות אחסון. בין הדברים הדרושים, יש לציין כמות גדולה של זיכרון RAM, מספר מחברי SATA וכרטיסי רשת טובים. מכיוון שהשרת שלי יעבוד במקום מגוריי הקבוע, גם רמת הרעש משנה.

התחלתי את החיפוש שלי באיביי. למרות שמצאתי הרבה Dell PowerEdge R410/R210 משומשים שם במחיר של פחות מ-$100, לאחר ניסיון בעבודה בחדר שרתים, ידעתי שיחידות 1U אלה עושות יותר מדי רעש ואינן מתאימות לשימוש ביתי. ככלל, שרתי מגדלים לרוב פחות רועשים, אך למרבה הצער, היו מעט מהם ב-eBay, וכולם היו יקרים או בעלי עוצמה נמוכה.

המקום הבא לחפש בו היה Craiglist, שם מצאתי מישהו שמוכר HP ProLiant N40L משומש ב-$75 בלבד! הכרתי את השרתים האלה, שבדרך כלל עולים בסביבות 300$ אפילו בשימוש, אז שלחתי אימייל למוכר בתקווה שהמודעה עדיין פעילה. לאחר שנודע לי שזה המקרה, הלכתי, בלי לחשוב פעמיים, לסן מטאו כדי לאסוף את השרת הזה, מה שבמבט ראשון בהחלט שימח אותי. היה לו בלאי מינימלי ולמעט מעט אבק, כל השאר היה נהדר.

תמונה של השרת, מיד לאחר הרכישה

להלן המפרט לערכה שרכשתי:

• CPU: AMD Turion(tm) II Neo N40L מעבד כפול ליבה (64 סיביות)
• RAM: 8 GB ללא ECC RAM (הותקן על ידי הבעלים הקודם)
• פלאש: כונן USB בנפח 4GB
• מחברי SATA:4+1
• NIC: 1 Gbps NIC על הלוח

מיותר לציין שלמרות היותו בן מספר שנים, המפרט של השרת הזה עדיין עדיף על רוב אפשרויות ה-NAS בשוק, במיוחד מבחינת זיכרון RAM. קצת מאוחר יותר, אפילו שדרגתי ל-16 GB ECC עם גודל מאגר מוגדל והגנת נתונים מוגברת.

בחירת כוננים קשיחים

כעת יש לנו מערכת עובדת מצוינת וכל שנותר הוא לבחור עבורה כוננים קשיחים. ברור שבמחיר של 75$ הזה קיבלתי רק את השרת עצמו בלי ה-HDD, מה שלא הפתיע אותי.

לאחר מחקר קטן, גיליתי שכונני WD Red HDD מתאימים ביותר להפעלת מערכות NAS 24/7. כדי לרכוש אותם פניתי לאמזון, שם רכשתי 4 עותקים של 3 TB כל אחד. בעיקרון, אתה יכול לחבר כל דיסק קשיח שאתה מעדיף, אבל וודא שהם בעלי אותה קיבולת ומהירות. זה יעזור לך להימנע מבעיות אפשריות של ביצועי RAID בטווח הארוך.

הגדרת מערכת

אני חושב שרבים ישתמשו במערכת עבור בניית ה-NAS שלהם FreeNAS, ואין בזה שום דבר רע. עם זאת, למרות האפשרות להתקין מערכת זו על השרת שלי, העדפתי להשתמש ב-CentOS, מאחר ומערכת ה-ZFS ב-Linux מוכנה בתחילה לסביבת ייצור, ובכלל, ניהול שרת לינוקס מוכר לי יותר. חוץ מזה, לא התעניינתי בממשק המפואר ובפיצ'רים שמספקים FreeNAS – מערך RAIDZ ושיתוף AFP הספיקו לי.

התקנת CentOS ב-USB היא די פשוטה - פשוט ציין את ה-USB כמקור האתחול, ועם ההשקה אשף ההתקנה ינחה אותך בכל שלביו.

בניית RAID

לאחר התקנת CentOS בהצלחה, התקנתי גם ZFS על לינוקס בעקבות הרשימה צעדים כאן.

לאחר השלמת התהליך הזה, טענתי את מודול ליבת ZFS:

$ sudo modprobe zfs

ויצר את מערך RAIDZ1 באמצעות הפקודה zpool:

$ sudo zpool create data raidz1 ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T0609145 ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T0609146 ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T0609147 ata-WDC_WD30EFRX-68AX9N0_WD-WMC1T0609148
$ sudo zpool add data log ata-SanDisk_Ultra_II_240GB_174204A06001-part5
$ sudo zpool add data cache ata-SanDisk_Ultra_II_240GB_174204A06001-part6

שימו לב שכאן אני משתמש במזהים של הכוננים הקשיחים במקום בשמות התצוגה שלהם (sdx) כדי להפחית את הסיכוי שהם לא יצליחו לעלות לאחר האתחול עקב שינוי באותיות.

הוספתי גם מטמון ZIL ו-L2ARC הפועל על SSD נפרד, ופיצלתי את ה-SSD הזה לשתי מחיצות: 5GB עבור ZIL והשאר עבור L2ARC.

לגבי RAIDZ1, הוא יכול לעמוד בפני כשל אחד בדיסק. רבים טוענים שאין להשתמש באפשרות מאגר זו בשל הסבירות שהדיסק השני ייכשל במהלך תהליך בניית ה-RAID מחדש, מה שעלול להוביל לאובדן נתונים. התעלמתי מהמלצה זו, מכיוון שעשיתי באופן קבוע עותקי גיבוי של נתונים חשובים במכשיר מרוחק, וכשל אפילו של המערך כולו יכול רק להשפיע על זמינות הנתונים, אך לא על בטיחותו. אם אין לך את היכולת לבצע גיבויים, אז עדיף להשתמש בפתרונות כמו RAIDZ1 או RAID2.

תוכל לוודא שיצירת המאגר הצליחה על ידי הפעלת:

$ sudo zpool status

и

$ sudo zfs list
NAME                               USED  AVAIL  REFER  MOUNTPOINT
data                               510G  7.16T   140K  /mnt/data

כברירת מחדל, ZFS מעלה את המאגר החדש שנוצר ישירות אליו /, וזה בדרך כלל לא רצוי. אתה יכול לשנות זאת על ידי הפעלת:

zfs set mountpoint=/mnt/data data

מכאן תוכל לבחור ליצור מערך נתונים אחד או יותר לאחסון הנתונים. יצרתי שניים, אחד לגיבוי Time Machine ואחד לאחסון קבצים משותף. הגבלתי את גודל מערך הנתונים של Time Machine למכסה של 512 GB כדי למנוע את הצמיחה האינסופית שלו.

אופטימיזציה

zfs set compression=on data

פקודה זו מאפשרת תמיכה בדחיסה של ZFS. דחיסה משתמשת בהספק מעבד מינימלי, אך יכולה לשפר משמעותית את תפוקת ה-I/O, ולכן היא תמיד מומלצת.

zfs set relatime=on data

עם פקודה זו אנו מצמצמים את מספר העדכונים ל atimeכדי להפחית יצירת IOPS בעת גישה לקבצים.

כברירת מחדל, ZFS ב-Linux משתמש ב-50% מהזיכרון הפיזי עבור ARC. במקרה שלי, כאשר המספר הכולל של קבצים קטן, ניתן להגדיל זאת בבטחה ל-90% מכיוון שאף יישום אחר לא יפעל על השרת.

$ cat /etc/modprobe.d/zfs.conf 
options zfs zfs_arc_max=14378074112

לאחר מכן באמצעות arc_summary.py אתה יכול לוודא שהשינויים נכנסו לתוקף:

$ python arc_summary.py
...
ARC Size:				100.05%	11.55	GiB
	Target Size: (Adaptive)		100.00%	11.54	GiB
	Min Size (Hard Limit):		0.27%	32.00	MiB
	Max Size (High Water):		369:1	11.54	GiB
...

הגדרת משימות חוזרות

השתמשתי systemd-zpool-scrub כדי להגדיר טיימרים מערכתיים לביצוע ניקוי פעם בשבוע ו zfs-auto-snapshot ליצירת תמונות מצב אוטומטית כל 15 דקות, שעה ויום אחד.

התקנת Netatalk

נטטאלק הוא יישום קוד פתוח של AFP (פרוטוקול הגשת אפל). הבא הוראות התקנה רשמיות עבור CentOS, ממש קיבלתי חבילת RPM מורכבת ומותקנת תוך מספר דקות בלבד.

הגדרת תצורה

$ cat /etc/netatalk/afp.conf
[datong@Titan ~]$ cat /etc/netatalk/afp.conf 
;
; Netatalk 3.x configuration file
;

[Global]
; Global server settings
mimic model = TimeCapsule6,106

; [Homes]
; basedir regex = /home

; [My AFP Volume]
; path = /path/to/volume

; [My Time Machine Volume]
; path = /path/to/backup
; time machine = yes

[Datong's Files]
path = /mnt/data/datong
valid users = datong

[Datong's Time Machine Backups]
path = /mnt/data/datong_time_machine_backups
time machine = yes
valid users = datong

שים לב ש vol dbnest מהווה שיפור משמעותי במקרה שלי, שכן כברירת מחדל Netatalk כותבת את מסד הנתונים של CNID לשורש מערכת הקבצים, דבר שלא היה רצוי כלל וכלל מאחר ומערכת הקבצים הראשית שלי פועלת על USB ולכן היא איטית יחסית. מדליק vol dbnest מביא לשמירת מסד הנתונים ב-Volume root, שבמקרה זה שייך למאגר ZFS וכבר פרודוקטיבי יותר בסדר גודל.

הפעלת יציאות בחומת האש

$ sudo firewall-cmd --permanent --zone=public --add-service=mdns
$ sudo firewall-cmd --permanent --zone=public --add-port=afpovertcp/tcp

sudo firewall-cmd --permanent --zone=public --add-port=afpovertcp/tcp
אם הכל הוגדר כהלכה, המחשב שלך אמור להופיע ב-Finder, וגם Time Machine אמור לעבוד.

הגדרות נוספות
ניטור SMART

מומלץ לעקוב אחר מצב הדיסקים שלך כדי למנוע כשל בדיסק.

$ sudo yum install smartmontools
$ sudo systemctl start smartd

Daemon עבור UPS

מנטר את הטעינה של UPS APC ומכבה את המערכת כאשר הטעינה הופכת נמוכה באופן קריטי.

$ sudo yum install epel-release
$ sudo yum install apcupsd
$ sudo systemctl enable apcupsd

שדרוג חומרה

שבוע לאחר הקמת המערכת, התחלתי להיות מודאג יותר ויותר לגבי הזיכרון הלא-ECC של השרת. בנוסף, במקרה של ZFS, זיכרון נוסף עבור חציצה יהיה שימושי מאוד. אז חזרתי לאמזון שם רכשתי 2x Kingston DDR3 8GB ECC RAM ב-$80 כל אחד והחלפתי את זיכרון ה-RAM של שולחן העבודה שהותקן על ידי הבעלים הקודם. המערכת עלתה בפעם הראשונה ללא בעיות, ווידאתי שתמיכת ECC הופעלה:

$ dmesg | grep ECC
[   10.492367] EDAC amd64: DRAM ECC enabled.

תוצאה

הייתי מאוד מרוצה מהתוצאה. כעת אני יכול להעסיק כל הזמן את חיבור ה-LAN של 1Gbps של השרת על ידי העתקת קבצים, ו-Time Machine עובד ללא רבב. אז, בסך הכל, אני מרוצה מההגדרה.

המחיר הכולל:

1. 1 * HP ProLiant N40L = $75
2. 2 * 8 GB ECC RAM = $174
3. 4 * WD Red 3 TB HDD = 440 $

בסך הכל = $ 689

עכשיו אני יכול לומר שהמחיר היה שווה את זה.

האם אתה מייצר שרתי NAS משלך?

מקור: www.habr.com