אחסון אשכולות עבור אשכולות אינטרנט קטנים המבוססים על drbd+ocfs2

על מה נדבר:
כיצד לפרוס במהירות אחסון משותף לשני שרתים המבוססים על פתרונות drbd+ocfs2.

למי זה יועיל:
המדריך יהיה שימושי למנהלי מערכת ולכל מי שבוחר בשיטת הטמעת אחסון או מעוניין לנסות את הפתרון.

לאילו החלטות סירבנו ולמה?

לעתים קרובות אנו מתמודדים עם מצב שבו אנו צריכים ליישם אחסון משותף עם ביצועי קריאה-כתיבה טובים על אשכול אינטרנט קטן. ניסינו אפשרויות שונות להטמעת אחסון משותף עבור הפרויקטים שלנו, אך מעטים הצליחו לספק אותנו בכמה אינדיקטורים בו-זמנית. עכשיו נגיד לך למה.

• Glusterfs לא סיפק אותנו בביצועי קריאה וכתיבה; היו בעיות בקריאה בו-זמנית של מספר רב של קבצים, והיה עומס גבוה על המעבד. ניתן לפתור את הבעיה בקריאת קבצים על ידי גישה אליהם ישירות מהלבנה, אך זה לא תמיד ישים ובדרך כלל אינו נכון.

• Ceph לא אהב את המורכבות המוגזמת, שעלולה להזיק בפרויקטים עם 2-4 שרתים, במיוחד אם הפרויקט מתוחזק לאחר מכן. שוב, ישנן מגבלות ביצועים חמורות מאלצות אותנו לבנות אשכולות אחסון נפרדים, כמו עם גלוסטרפים.

• שימוש בשרת NFS אחד ליישום אחסון משותף מעלה שאלות במונחים של סובלנות תקלות.

• s3 הוא פתרון פופולרי מצוין עבור מגוון מסוים של משימות, אבל זה לא מערכת קבצים, מה שמצמצם את היקפה.

• lsyncd. אם כבר התחלנו לדבר על "מערכות שאינן קבצים", אז כדאי לעבור על הפתרון הפופולרי הזה. לא רק שהוא לא מתאים להחלפה דו כיוונית (אבל אם אתה באמת רוצה, אז אתה יכול), זה גם לא עובד ביציבות על מספר רב של קבצים. תוספת נחמדה לכל העניין היא שהוא חד חוטי. הסיבה היא בארכיטקטורה של התוכנית: היא משתמשת ב-inotify כדי לנטר אובייקטי עבודה, אותם היא מקצה בעת ההפעלה ובמהלך סריקה מחדש. rsync משמש כאמצעי ההעברה.

מדריך: כיצד לפרוס אחסון משותף על בסיס drbd+ocfs2

אחד הפתרונות הנוחים לנו היה הקישור ocfs2+drbd. כעת נספר לכם כיצד תוכלו לפרוס במהירות אחסון משותף לשני שרתים על בסיס מסד נתונים של פתרונות. אבל קודם כל, קצת על הרכיבים:

DRBD - מערכת אחסון מהפצת לינוקס הרגילה המאפשרת לשכפל נתונים בין שרתים בבלוקים. היישום העיקרי הוא לבנות אחסון סובלני לתקלות.

OCFS2 - מערכת קבצים המספקת שימוש משותף באותו אחסון על ידי מספר מערכות. כלול בהפצת לינוקס והוא מודול ליבה וכלי מרחב משתמש לעבודה עם ה-FS. OCFS2 יכול לשמש לא רק על DRBD, אלא גם על iSCSI עם מספר חיבורים. בדוגמה שלנו אנו משתמשים ב-DRBD.

כל הפעולות מבוצעות בשרת אובונטו 18.04 בתצורה מינימלית.

שלב 1. הגדר את DRBD:

בקובץ /etc/drbd.d/drbd0.res אנו מתארים את מכשיר החסימה הווירטואלי שלנו /dev/drbd0:

resource drbd0 {
    syncer { rate 1000M; }
    net {
        allow-two-primaries;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
    }
    startup { become-primary-on both; }
    on drbd1 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.192:7789;
}
    on drbd2 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.193:7789;
}
}

מטה-דיסק פנימי - השתמש באותם התקני חסימה כדי לאחסן מטא נתונים
מכשיר /dev/drbd0 - השתמש ב-/dev/drbd0 בתור הנתיב לאמצעי האחסון של drbd.
דיסק /dev/vdb1 - השתמש ב-/dev/vdb1
סינכרון { שיעור 1000M; } - השתמש ברוחב פס של ערוץ גיגה-ביט
אפשר-שני-פריימריז - אפשרות חשובה המאפשרת קבלת שינויים בשני שרתים ראשיים
after-sb-0pri, after-sb-1pri, after-sb-2pri - אפשרויות האחראיות לפעולות הצומת כאשר מזוהה מוח מפוצל. פרטים נוספים ניתן למצוא בתיעוד.
להיות-ראשי-על שניהם - מגדיר את שני הצמתים לראשוני.

במקרה שלנו, יש לנו שני VM זהים לחלוטין, עם רשת וירטואלית ייעודית עם תפוקה של 10 גיגה-ביט.

בדוגמה שלנו, שמות הרשת של שני צמתי אשכול הם drbd1 ו-drbd2. להפעלה תקינה, עליך להתאים את השמות וכתובות ה-IP של מארחים ב-/etc/hosts.

10.10.10.192 drbd1
10.10.10.193 drbd2

שלב 2. הגדר צמתים:

בשני השרתים אנו מריצים:

drbdadm create-md drbd0

modprobe drbd
drbdadm up drbd0
cat /proc/drbd

אנחנו מקבלים את הדברים הבאים:

אתה יכול להתחיל סנכרון. בצומת הראשון אתה צריך לבצע:

drbdadm primary --force drbd0

בואו נסתכל על המצב:

cat /proc/drbd

נהדר, הסנכרון התחיל. נחכה עד הסוף ורואים את התמונה:

שלב 3. התחל סנכרון בצומת השני:

drbdadm primary --force drbd0

אנחנו מקבלים את הדברים הבאים:

כעת נוכל לכתוב ל-drbd משני שרתים.

שלב 4. התקן והגדר את ocfs2.

נשתמש בתצורה די טריוויאלית:

cluster:
     node_count = 2
     name = ocfs2cluster

node:
     number = 1
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.192
     name = drbd1

node:
     number = 2
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.193
     name = drbd2

צריך לרשום את זה /etc/ocfs2/cluster.conf בשני הצמתים.

אנו יוצרים FS ב-drbd0 בכל צומת:

mkfs.ocfs2 -L "testVol" /dev/drbd0

כאן יצרנו מערכת קבצים עם התווית testVol על drbd0, תוך שימוש בפרמטרי ברירת המחדל.

ב-/etc/default/o2cb אתה צריך להגדיר (כמו בקובץ התצורה שלנו)

O2CB_ENABLED=true 
O2CB_BOOTCLUSTER=ocfs2cluster 

והפעל בכל צומת:

o2cb register-cluster ocfs2cluster

לאחר מכן נפעיל ונוסיף את כל היחידות שאנו צריכים להפעלה אוטומטית:

systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

חלק מזה כבר יפעל במהלך תהליך ההתקנה.

שלב 5. הוסף נקודות הרכבה ל-fstab בשני הצמתים:

/dev/drbd0 /media/shared ocfs2 defaults,noauto,heartbeat=local 0 0

מַדרִיך /media/shared יש ליצור אותו מראש.

כאן אנו משתמשים באפשרויות noauto, מה שאומר שהקובץ לא יועלה בהפעלה (אני מעדיף לעלות קבצי רשת דרך systemd) וב-heartbeat=local, כלומר שימוש בשירות heartbeat בכל צומת. יש גם פעימות לב גלובליות, שמתאים יותר לאשכולות גדולים.

הבא אתה יכול לעלות /media/shared ולבדוק סנכרון תוכן.

בוצע! כתוצאה מכך, אנו מקבלים פחות או יותר אחסון סובלני לתקלות עם מדרגיות וביצועים נאותים.

מקור: www.habr.com