אחסון LINSTOR והשילוב שלו עם OpenNebula

לא מזמן הציגו החבר'ה מ-LINBIT את פתרון ה-SDS החדש שלהם - Linstor. זהו אחסון חינמי לחלוטין המבוסס על טכנולוגיות מוכחות: DRBD, LVM, ZFS. לינסטור משלבת פשטות וארכיטקטורה מעוצבת, מה שמאפשר להגיע ליציבות ותוצאות מרשימות למדי.

היום אני רוצה לדבר על זה קצת יותר בפירוט ולהראות באיזו קלות אפשר לשלב אותו עם OpenNebula באמצעות linstor_un - דרייבר חדש שפיתחתי במיוחד למטרה זו.

Linstor בשילוב עם OpenNebula מאפשר לך לבנות ענן מהיר ואמין שניתן לפרוס בקלות על התשתית שלך.

אדריכלות לינסטור

Linstor היא לא מערכת קבצים וגם לא אחסון בלוק כשלעצמו, Linstor הוא מתזמר המספק שכבת הפשטה המאפשרת לך להפוך את היצירה של אמצעי אחסון ב-LVM או ZFS לאוטומטיים ולשכפל אותם באמצעות DRBD9.

שבירת סטריאוטיפים

אבל רגע, DRBD? - למה להפוך את זה לאוטומטי ואיך זה בכלל יכול לעבוד?

בואו נזכור את העבר, כאשר DRBD8 היה מאוד פופולרי. השימוש הסטנדרטי שלו כלל יצירת התקן בלוק אחד גדול וחיתוך אותו לחתיכות קטנות רבות, תוך שימוש באותו LVM. סוג של mdadm RAID-1 אבל עם שכפול על הרשת.

גישה זו אינה חפה מחסרונותיה, ולכן, עם הופעת DRBD9, עקרונות עיצוב האחסון השתנו; כעת נוצר מכשיר DRBD נפרד עבור כל מכונה וירטואלית.

הגישה עם התקני בלוק עצמאיים מאפשרת ניצול טוב יותר של החלל באשכול, ומוסיפה גם מספר תכונות נוספות. לדוגמה, עבור כל מכשיר כזה אתה יכול לקבוע את מספר ההעתקים, מיקומם והגדרות בודדות. קל ליצור/למחוק אותם, לצלם תמונות, לשנות גודל, לאפשר הצפנה ועוד הרבה יותר. ראוי לציין כי DRBD9 תומך גם בקוורום, המאפשר להימנע ממצבים של מוח מפוצל.

משאבים ואחוריים

בעת יצירת התקן בלוק חדש, Linstor ממקם את המספר הנדרש של העתקים בצמתים שונים באשכול. אנו נקרא לכל העתק כזה משאב DRBD.

ישנם שני סוגים של משאבים:

• משאב נתונים - הם התקן DRBD הממוקם על צומת במאגר LVM או ZFS.
  כרגע יש תמיכה בכמה מערכות אחוריות ומספרם גדל כל הזמן. יש תמיכה ב-LVM, ThinLVM ו-ZFS. שני האחרונים מאפשרים לך ליצור צילומי מצב ולהשתמש בהם.
• משאב ללא דיסק - הוא התקן DRBD המוצב על צומת ללא קצה אחורי, אך מאפשר להתייחס אליו כאל התקן חסימה רגיל; כל פעולות הקריאה/כתיבה יופנו למשאבי נתונים. המשאבים האנלוגיים הקרובים ביותר למשאבים ללא דיסק הוא iSCSI LUN.

כל משאב DRBD יכול לכלול עד 8 העתקים, ורק אחד מהם יכול להיות פעיל כברירת מחדל - ראשי, כל השאר יהיו המשני והשימוש בהם יהיה בלתי אפשרי כל עוד יש Primary אחד לפחות, כלומר, הם פשוט ישכפלו נתונים ביניהם.

על ידי התקנת התקן DRBD במערכת, הוא הופך אוטומטית ראשי, ולכן אפילו משאב ללא דיסק, בטרמינולוגיה של DRBD, יכול להיות ראשי.

אז למה אתה צריך לינסטור?

על ידי הפקדת כל המשימות עתירות המשאבים לקרנל, Linstor היא בעצם אפליקציית Java רגילה המאפשרת לך להפוך בקלות את היצירה של משאבי DRBD לאוטומטיים.
יתרה מכך, כל משאב שנוצר על ידו יהיה אשכול DRBD עצמאי הפועל באופן עצמאי, ללא תלות במצב של מישור הבקרה ומשאבי DRBD אחרים.

Linstor מורכב משני מרכיבים בלבד:

• לינסטור-בקר - הבקר הראשי, המספק API ליצירה וניהול משאבים. הוא גם מתקשר עם לוויינים, בודק את המקום הפנוי בהם ושולח משימות ליצירה ומחיקה של משאבים חדשים. זה פועל במופע בודד ומשתמש במסד נתונים, שיכול להיות פנימי (H2) או חיצוני (PostgreSQL, MySQL, MariaDB)
• לינסטור-לוויין - מותקן בכל צמתי האחסון ומספק לבקר מידע על מקום פנוי, וכן מבצע משימות המתקבלות מהבקר ליצירה ומחיקה של אמצעי אחסון חדשים והתקני DRBD מעליהם.

לינסטור פועלת עם מושגי המפתח הבאים:

• צומת - שרת פיזי שבו ייצרו משאבי DRBD וישתמשו בו.
• בריכת אחסון - מאגר LVM או ZFS נוצר בצומת שבו ימוקם משאבי DRBD. אפשר גם מאגר ללא דיסקים - זהו מאגר בו ימצאו משאבים ללא דיסק בלבד.
• הגדרת משאב - ההגדרה של משאב היא בעצם אב טיפוס המתאר את השם ואת כל תכונותיו.
• הגדרת נפח - הגדרת נפח. כל משאב יכול להיות מורכב מנפחים מרובים, לכל אמצעי אחסון חייב להיות גודל.
• משאב - מופע שנוצר של התקן בלוק, כל משאב חייב להיות ממוקם בצומת ספציפי ובבריכת אחסון כלשהי.

התקנת לינסטור

אני ממליץ להשתמש באובונטו כמערכת, כי... קיים עבורה PPA מוכן:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

או דביאן, שם ניתן להתקין את Linstor מהמאגר הרשמי של Proxmox:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

בקר

הכל פשוט כאן:

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

צמתי אחסון

ליבת לינוקס נשלחת כעת עם מודול ליבה בתוך העץ DRBD8, לצערנו זה לא מתאים לנו ואנחנו צריכים להתקין DRBD9:

apt-get install drbd-dkms

כפי שמראה בפועל, רוב הקשיים מתעוררים דווקא בגלל שמודול DRBD8 נטען למערכת, ולא DRBD9. למרבה המזל, קל לבדוק זאת על ידי הפעלת:

modprobe drbd
cat /proc/drbd

אם אתה רואה גרסה: 9 - זה אומר שהכל בסדר אם גרסה: 8 - זה אומר שמשהו השתבש ואתה צריך לנקוט בצעדים נוספים כדי לברר את הסיבות.

עכשיו בואו נתקין linstor-לוויין и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

צור אשכול

בריכות אחסון וצמתים

בתור backend ניקח ThinLVM, כי זה הפשוט ביותר ותומך בצילומי מצב.
להתקין lvm2, אם עדיין לא עשית זאת, בואו ניצור מאגר ThinLVM בכל צמתי האחסון שלנו:

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

ניתן לבצע את כל הפעולות הנוספות ישירות על הבקר:

בואו נוסיף את הצמתים שלנו:

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

בואו ניצור בריכות אחסון:

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

עכשיו בואו נבדוק את הבריכות שנוצרו:

linstor storage-pool list

אם הכל נעשה כהלכה, אנחנו אמורים לראות משהו כמו:

+-------------------------------------------------------- -------------------------------------------------- ----+ | StoragePool | צומת | נהג | שם הבריכה | FreeCapacity | TotalCapacity | תומך בתמונות | |------------------------------------------------ - -------------------------------------------------- - ---| | נתונים | node1 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | נכון | | נתונים | node2 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | נכון | | נתונים | node3 | LVM_THIN | drbdpool/thinpool | 64 GiB | 64 GiB | נכון | +-------------------------------------------------------- -------------------------------------------------- ----+

משאבי DRBD

עכשיו בואו ננסה ליצור את משאב ה-DRBD החדש שלנו:

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

בואו נבדוק את המשאבים שנוצרו:

linstor resource list 

+-------------------------------------------------------- -------------------------------------------------- ---+ | צומת | משאב | StoragePool | VolumeNr | MinorNr | שם מכשיר | הוקצו | InUse | מדינה | |------------------------------------------------ - -------------------------------------------------- - --| | node1 | myres | נתונים | 0 | 1084 | /dev/drbd1084 | 52 KiB | לא בשימוש | UpToDate | | node2 | myres | נתונים | 0 | 1084 | /dev/drbd1084 | 52 KiB | לא בשימוש | UpToDate | +-------------------------------------------------------- -------------------------------------------------- ---+

גדול! - אנו רואים שהמשאב נוצר בשני הצמתים הראשונים, אנו יכולים גם לנסות ליצור משאב ללא דיסק על השלישי:

linstor resource create --diskless node3 myres

בצמתים תמיד תמצא את המכשיר הזה כ /dev/drbd1084 או /dev/drbd/by-res/myres/0

כך לינסטור עובד, אתה יכול לקבל מידע נוסף תיעוד רשמי.

עכשיו אני אגיד לך איך לשלב את זה עם OpenNebula

הגדרת OpenNebula

אני לא אכנס יותר מדי לתהליך ההגדרה של OpenNebula, כי... כל השלבים מתוארים בפירוט ב תיעוד רשמי, שאני ממליץ לך לפנות אליו, אספר לך רק על השילוב של OpenNebula עם Linstor.

linstor_un

כדי לפתור בעיה זו, כתבתי דרייבר משלי - linstor_un, הוא זמין כעת כפלאגין ויש להתקין אותו בנפרד.

ההתקנה כולה מתבצעת על צמתי OpenNebula הקדמיים ואינה דורשת פעולות נוספות בצמתי המחשוב.

קודם כל, אנחנו צריכים לוודא שיש לנו jq и לינסטור-לקוח:

apt-get install jq linstor-client

קבוצה linstor node list אמור להציג רשימה של צמתים. יש להוסיף את כל צמתי המחשוב של OpenNebula לאשכול Linstor.

הורד והתקן את התוסף:

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

כעת עלינו להוסיף אותו לתצורת OpenNebula, לשם כך נבצע את השלבים הפשוטים המתוארים כאן.

לאחר מכן הפעל מחדש את OpenNebula:

systemctl restart opennebula

והוסיפו את מאגרי הנתונים שלנו, מערכת:

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

וחנות התמונות:

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• פרמטר AUTO_PLACE מציג את מספר העתקות הנתונים שייווצרו עבור כל תמונה חדשה ב-OpenNebula.
• פרמטר CLONE_MODE מציין בדיוק כיצד ישובטו תמונות בעת יצירת מכונות וירטואליות חדשות, snapshot - תיצור תמונת מצב של התמונה ותפרוס מכונה וירטואלית מתמונת המצב, copy - ייצור עותק שלם של התמונה עבור כל מכונה וירטואלית.
• В BRIDGE_LIST מומלץ לציין את כל הצמתים שישמשו לביצוע פעולות שיבוט תמונה.

לרשימה מלאה של פרמטרים נתמכים, ראה README פּרוֹיֶקט.

זה משלים את ההגדרה, עכשיו אתה יכול להוריד מכשיר כלשהו מהרשמי OpenNebula Marketplace וליצור ממנו מכונות וירטואליות.

קישור לפרויקט:
https://github.com/OpenNebula/addon-linstor_un

מקור: www.habr.com