Ceph באמצעות iSCSI - או סקי בעמידה בערסל

האם יש בינינו (טספובודוב) שלא אוהבים "אקסטרים מקצועיים"?

זה לא סביר - אחרת לא היינו מסתובבים עם המוצר המעניין והמצחיק הזה.

רבים מאלה שהיו מעורבים בתפעול של Ceph נתקלו במקרה לא מאוד תדיר (או ליתר דיוק אפילו נדיר מאוד) אבל לפעמים מבוקש - חיבור של Ceph באמצעות iSCSI או FC. בשביל מה? ובכן, למשל, שלח תמונה מ-Ceph לשרת Windows או Solaris שעדיין לא עבר וירטואליזציה מסיבה כלשהי. או וירטואליזציה, אבל באמצעות hypervisor שלא יכול לעשות Ceph - וכידוע, יש הרבה כאלה. לדוגמה? ובכן, למשל, HyperV או ESXi, שבהם נעשה שימוש פעיל. ואם עולה המשימה של הגשת תמונה מ-Ceph למכונת אורח, זה הופך למשימה מאוד מרגשת.

אז נתון:

1. אשכול Ceph שכבר פועל
2. תמונה קיימת שכבר יש להגיש באמצעות iSCSI
3. שם הבריכה mypool, שם תמונה תמונה שלי

התחל?

קודם כל, כשאנחנו מדברים על FC או iSCSI, יש לנו ישויות כמו יוזם ומטרה. היעד הוא למעשה שרת, היוזם הוא לקוח. המשימה שלנו היא להגיש את תמונת ה-Ceph ליוזם במינימום מאמץ. זה אומר שעלינו להרחיב את היעד. אבל איפה, באיזה מחשב?

למרבה המזל, באשכול Ceph יש לנו לפחות רכיב אחד שכתובת ה-IP שלו קבועה ועליו מוגדר אחד הרכיבים החשובים ביותר של Ceph, והרכיב הזה הוא המוניטור. בהתאם לכך, אנו מתקינים מטרת iSCSI על המסך (וגם יוזם בו זמנית, לפחות לבדיקות). עשיתי זאת ב-CentOS, אבל הפתרון מתאים גם לכל הפצה אחרת - אתה רק צריך להתקין את החבילות בצורה המקובלת בהפצה שלך.

# yum -y install iscsi-initiator-utils targetcli

מה המטרה של החבילות המותקנות?

• targetcli - כלי עזר לניהול יעד SCSI המובנה בליבת לינוקס
• iscsi-initiator-utils - חבילה עם כלי עזר המשמשים לניהול יוזם iSCSI המובנה בליבת לינוקס

על מנת לשלוח תמונה דרך iSCSI ליוזם, קיימות שתי אפשרויות לפיתוח אירועים - השתמש ב-userspace backend של היעד או חבר את התמונה כהתקן בלוק גלוי למערכת ההפעלה וייצא אותה באמצעות iSCSI. נלך בדרך השנייה - ה-Userspace backend עדיין במצב "ניסיוני" וקצת לא מוכן לשימוש פרודוקטיבי. בנוסף, יש בו מלכודות, שעליהן אפשר לדבר הרבה ו(אוי זוועה!) להתווכח.

אם אנחנו משתמשים אפילו בהפצה קצת יציבה עם מחזור תמיכה ארוך, אז הקרנל שיש לנו הוא גרסה עתיקה ועתיקה כלשהי. לדוגמה, ב-CentOS7 זה 3.10.*, ב-CentOS8 זה 4.19. ואנחנו מעוניינים בקרנל של לפחות 5.3 (או יותר נכון 5.4) ומעלה. למה? כי כברירת מחדל לתמונות Ceph יש סט של אפשרויות מופעלות שאינן תואמות ליבות ישנות יותר. זה אומר שאנחנו מחברים מאגר עם ליבה חדשה להפצה שלנו (לדוגמה, עבור CentOS זה elrepo), מתקין את הגרעין החדש ומפעילים מחדש את המערכת כדי לעבוד עם הקרנל החדש:

• התחבר למוניטור שנבחר לניסוי
• אנו מחברים מאגרי elrepo לפי ההוראות - elrepo.org/tiki/tiki-index.php
• התקן את הקרנל: yum -y —enablerepo=elrepo-kernel התקן kernel-ml
• הפעל מחדש את השרת עם הצג (יש לנו שלושה מסכים, נכון?)

חיבור התמונה כהתקן בלוק

# rbd map mypool/myimage
/dev/rbd0

כל מה שנותר הוא להגדיר את היעד. בדוגמה זו, אני אגדיר את היעד במה שנקרא. מצב הדגמה - ללא אימות, גלוי ונגיש לכולם. בסביבת ייצור, סביר להניח שתרצה להגדיר אימות - אבל זה קצת מחוץ לטווח התרגיל של היום רק בשביל הכיף.

צור קצה אחורי בשם disk1 המשויך לקובץ /dev/rbd/mypool/myimage. הקובץ שצוין הוא קישור סמלי שנוצר אוטומטית על ידי הדמון udev אל /dev/rbd0. אנו משתמשים בקישור סמלי מכיוון ששם מכשיר ה-rbd יכול להשתנות בהתאם לסדר שבו תמונות Ceph מחוברות למארח.

צור קצה אחורי:

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

צור יעד iSCSI:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

אנו מחברים את הקצה האחורי כ-LUN למטרה:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

בואו נגדיר את היעד למצב הדגמה:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute demo_mode_write_protect=0
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute generate_node_acls=1
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute cache_dynamic_acls=1

שמור את התצורה:

# targetcli saveconfig

בדיקת זמינות היעד:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260
127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

אנו מחברים את המטרה:

# iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (multiple)
Login to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] successful.

אם עשית הכל נכון, יופיע בשרת דיסק חדש, שנראה כמו התקן SCSI, אבל הוא למעשה תמונה מ-Ceph, אליה ניתן לגשת דרך יעד iSCSI. כדי למנוע בעיות אתחול, עדיף להסיר את הדיסק המחובר ואת היעד שזוהה מהיזם המקומי:

# iscsiadm -m node --logout
# iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

כל מה שנותר הוא להתמיד בתצורה כך שהתמונה תתחבר אוטומטית ולאחר החיבור, המטרה תהיה מרובדת. שיגור מטרה מורכב משני שלבים - חיבור ה-RBD ובעצם שיגור המטרה.

ראשית, בואו נגדיר את החיבור האוטומטי של תמונות RBD למארח. זה נעשה על ידי הוספת השורות הבאות לקובץ /etc/ceph/rbdmap:

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
mypool/myimage id=admin
# systemctl enable rbdmap

שחזור תצורת היעד הוא קצת יותר מסובך - אנחנו צריכים לכתוב יחידה עבור systemd שתשחזר את התצורה:

# cat /usr/lib/systemd/system/scsi-target.service
[Unit] Description=Start iSCSI target

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service] Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install] WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

המבחן האחרון הוא לאתחל את הצג שלנו שוב (עכשיו זה יעד iSCSI). יש לציין שאם לא היינו מנקים את מסד הנתונים של היוזם עם הפקודה iscsiadm -n discoverydb -o מחק ... אתה יכול בסופו של דבר לקבל שרת שלא נטען או לוקח הרבה זמן לטעון.

מה שנשאר?

הגדר את היוזם בשרת אליו נרצה לשלוח את היעד.

כיצד להבטיח סובלנות תקלות של המטרה שלנו?

ניתן להגדיר באופן דומה יעדים במסכים אחרים ולהגדיר multipath (vmware תבין את זה ואפילו תעבוד, Hyper-V לא יבין - זה דורש נעילות SCSI). מכיוון שלקוח Ceph מהקרנל אינו משתמש במטמון, זה די בר ביצוע. או אפשרות אחרת היא ליצור משאב אשכולות של שלושה מרכיבים - כתובת IP ייעודית ליעד ושירותי rbdmap ו-scsi-target, ולנהל את המשאב הזה באמצעות כלי אשכולות (מי אמר קוצב לב?)

במקום אפילוג

כפי שברור, המאמר הזה הוא קצת בדיחה - אבל בו ניסיתי "מהר ועם דוגמאות" לשקול כמה נושאים פופולריים למדי בו-זמנית - iSCSI target, שאולי לא בהכרח ייצא תמונות Ceph - אבל למשל, ייצוא נפחי LVM, היסודות של עבודה עם יוזם iSCSI (איך לסרוק יעד, איך להתחבר ליעד, לנתק, למחוק ערך יעד ממסד הנתונים), כתיבת יחידה משלך עבור systemd ועוד כמה אחרים

אני מקווה שגם אם לא תחזור על כל הניסוי הזה במלואו, לפחות משהו מהמאמר הזה יועיל לך.

מקור: www.habr.com