Ceph តាមរយៈ iSCSI - ឬជិះស្គីពេលកំពុងឈរក្នុងអង្រឹង

តើមានអ្នកក្នុងចំណោមពួកយើង (tsefovodov) ដែលមិនចូលចិត្ត "វិជ្ជាជីវៈជ្រុល" ទេ?

វាមិនទំនងទេ - បើមិនដូច្នេះទេ យើងនឹងមិនរវល់ជាមួយផលិតផលគួរឱ្យចាប់អារម្មណ៍ និងគួរឱ្យអស់សំណើចនេះទេ។

មនុស្សជាច្រើនដែលបានចូលរួមក្នុងប្រតិបត្តិការរបស់ Ceph បានជួបប្រទះនូវអ្វីដែលមិនញឹកញាប់ទេ (ឬសូម្បីតែកម្រណាស់) ប៉ុន្តែជួនកាលក្នុងករណីតម្រូវការ - ការភ្ជាប់ Ceph តាមរយៈ iSCSI ឬ FC ។ ដើម្បីអ្វី? ជាឧទាហរណ៍ សូមបញ្ជូនរូបភាពពី Ceph ទៅម៉ាស៊ីនមេ Windows ឬ Solaris ដែលមិនទាន់ត្រូវបាននិម្មិតដោយហេតុផលមួយចំនួន។ ឬជានិម្មិត ប៉ុន្តែការប្រើ hypervisor ដែលមិនអាចធ្វើបាន Ceph - ហើយដូចដែលយើងដឹងវាមានច្រើននៃពួកគេ។ ឧទាហរណ៍? ជាឧទាហរណ៍ HyperV ឬ ESXi ដែលត្រូវបានប្រើយ៉ាងសកម្ម។ ហើយប្រសិនបើភារកិច្ចកើតឡើងនៃការបម្រើរូបភាពពី Ceph ទៅម៉ាស៊ីនភ្ញៀវ នេះប្រែទៅជាកិច្ចការដ៏គួរឱ្យរំភើប។

ដូច្នេះ, ផ្តល់ឱ្យ:

1. ចង្កោម Ceph ដែលដំណើរការរួចហើយ
2. រូបភាពដែលមានស្រាប់ដែលត្រូវតែបម្រើតាមរយៈ iSCSI
3. ឈ្មោះអាង mypool, ឈ្មោះរូបភាព រូបភាព

ចាប់ផ្តើម?

ជាដំបូង នៅពេលយើងនិយាយអំពី FC ឬ iSCSI យើងមានអង្គភាពដូចជាអ្នកផ្តួចផ្តើម និងគោលដៅ។ គោលដៅគឺពិតជាម៉ាស៊ីនមេ អ្នកផ្តួចផ្តើមគឺជាអតិថិជន។ ភារកិច្ចរបស់យើងគឺបញ្ជូនរូបភាព Ceph ទៅកាន់អ្នកផ្តួចផ្តើមដោយការខិតខំប្រឹងប្រែងតិចតួចបំផុត។ នេះមានន័យថាយើងត្រូវពង្រីកគោលដៅ។ ប៉ុន្តែតើនៅលើកុំព្យូទ័រណា?

ជាសំណាងល្អ នៅក្នុងចង្កោម Ceph យើងមានសមាសធាតុយ៉ាងហោចណាស់មួយ ដែលអាសយដ្ឋាន IP ត្រូវបានជួសជុល ហើយសមាសធាតុសំខាន់បំផុតមួយនៃ Ceph ត្រូវបានកំណត់រចនាសម្ព័ន្ធ ហើយសមាសភាគនោះគឺជាម៉ូនីទ័រ។ ដូច្នោះហើយ យើងដំឡើងគោលដៅ iSCSI នៅលើម៉ូនីទ័រ (និងអ្នកចាប់ផ្តើមក្នុងពេលតែមួយ យ៉ាងហោចណាស់សម្រាប់ការធ្វើតេស្ត)។ ខ្ញុំបានធ្វើវានៅលើ CentOS ប៉ុន្តែដំណោះស្រាយក៏សមរម្យសម្រាប់ការចែកចាយផ្សេងទៀតដែរ - អ្នកគ្រាន់តែត្រូវដំឡើងកញ្ចប់តាមរបៀបដែលអាចទទួលយកបានក្នុងការចែកចាយរបស់អ្នក។

# yum -y install iscsi-initiator-utils targetcli

តើកញ្ចប់ដែលបានដំឡើងមានគោលបំណងអ្វី?

• គោលដៅcli - ឧបករណ៍ប្រើប្រាស់សម្រាប់គ្រប់គ្រងគោលដៅ SCSI ដែលបានបង្កើតឡើងនៅក្នុងខឺណែលលីនុច
• iscsi-initiator-utils - កញ្ចប់មួយដែលមានឧបករណ៍ប្រើប្រាស់សម្រាប់គ្រប់គ្រងកម្មវិធីផ្តួចផ្តើម iSCSI ដែលបានបង្កើតឡើងនៅក្នុងខឺណែលលីនុច

ដើម្បីបញ្ជូនរូបភាពតាមរយៈ iSCSI ទៅកាន់អ្នកផ្តួចផ្តើម មានជម្រើសពីរសម្រាប់ការអភិវឌ្ឍន៍ព្រឹត្តិការណ៍ - ប្រើ backend កន្លែងប្រើប្រាស់របស់គោលដៅ ឬភ្ជាប់រូបភាពជាឧបករណ៍ប្លុកដែលអាចមើលឃើញដោយប្រព័ន្ធប្រតិបត្តិការ ហើយនាំចេញវាតាមរយៈ iSCSI ។ យើងនឹងទៅវិធីទីពីរ - ផ្នែកខាងក្រោយនៃកន្លែងអ្នកប្រើប្រាស់នៅតែស្ថិតក្នុងស្ថានភាព "ពិសោធន៍" ហើយមិនទាន់រួចរាល់បន្តិចសម្រាប់ការប្រើប្រាស់ប្រកបដោយផលិតភាព។ លើសពីនេះ វាមានរណ្តៅជាមួយវា ដែលអ្នកអាចនិយាយបានច្រើន និង (អូរន្ធត់!) ប្រកែក។

ប្រសិនបើយើងប្រើសូម្បីតែការចែកចាយដែលមានស្ថេរភាពជាមួយនឹងវដ្តនៃការគាំទ្រដ៏វែងនោះ ខឺណែលដែលយើងមានគឺជាកំណែបុរាណមួយចំនួន។ ឧទាហរណ៍ នៅក្នុង CentOS7 វាគឺ 3.10.* ក្នុង CentOS8 វាគឺ 4.19។ ហើយយើងចាប់អារម្មណ៍លើខឺណែលយ៉ាងហោចណាស់ 5.3 (ឬ 5.4) និងថ្មីជាងនេះ។ ហេតុអ្វី? ដោយសារតែតាមលំនាំដើមរូបភាព Ceph មានសំណុំនៃជម្រើសដែលបានបើក ដែលមិនឆបគ្នាជាមួយខឺណែលចាស់។ នេះមានន័យថាយើងភ្ជាប់ឃ្លាំងជាមួយខឺណែលថ្មីសម្រាប់ការចែកចាយរបស់យើង (ឧទាហរណ៍សម្រាប់ CentOS នេះគឺជា elrepo) ដំឡើងខឺណែលថ្មី ហើយចាប់ផ្ដើមប្រព័ន្ធឡើងវិញ ដើម្បីដំណើរការជាមួយខឺណែលថ្មី៖

• ភ្ជាប់ទៅម៉ូនីទ័រដែលបានជ្រើសរើសសម្រាប់ការពិសោធន៍
• យើងភ្ជាប់ឃ្លាំង elrepo តាមការណែនាំ - elrepo.org/tiki/tiki-index.php
• ដំឡើងខឺណែល៖ yum -y —enablerepo=elrepo-kernel ដំឡើងខឺណែល-ml
• ចាប់ផ្ដើមម៉ាស៊ីនមេឡើងវិញដោយប្រើម៉ូនីទ័រ (យើងមានម៉ូនីទ័របីមែនទេ?)

ការភ្ជាប់រូបភាពជាឧបករណ៍ទប់ស្កាត់

# rbd map mypool/myimage
/dev/rbd0

អ្វីដែលនៅសល់គឺការកំណត់គោលដៅ។ ក្នុងឧទាហរណ៍នេះ ខ្ញុំនឹងកំណត់រចនាសម្ព័ន្ធគោលដៅនៅក្នុងអ្វីដែលគេហៅថា។ របៀបសាកល្បង - ដោយគ្មានការផ្ទៀងផ្ទាត់ អាចមើលឃើញ និងអាចចូលប្រើបានសម្រាប់មនុស្សគ្រប់គ្នា។ នៅក្នុងបរិយាកាសផលិតកម្ម អ្នកទំនងជាចង់កំណត់រចនាសម្ព័ន្ធការផ្ទៀងផ្ទាត់ - ប៉ុន្តែនោះជាការហួសពីវិសាលភាពបន្តិចសម្រាប់ការធ្វើលំហាត់ប្រាណដើម្បីភាពសប្បាយរីករាយនាពេលបច្ចុប្បន្ននេះ។

បង្កើត backend ដែលមានឈ្មោះថា disk1 ដែលភ្ជាប់ជាមួយឯកសារ /dev/rbd/mypool/myimage ។ ឯកសារដែលបានបញ្ជាក់គឺជាតំណភ្ជាប់និមិត្តសញ្ញាដែលបង្កើតដោយស្វ័យប្រវត្តិដោយដេមិន udev ទៅ /dev/rbd0 ។ យើងប្រើតំណភ្ជាប់និមិត្តសញ្ញាព្រោះឈ្មោះរបស់ឧបករណ៍ rbd អាចផ្លាស់ប្តូរអាស្រ័យលើលំដាប់ដែលរូបភាព Ceph ត្រូវបានភ្ជាប់ទៅម៉ាស៊ីន។

បង្កើតផ្នែកខាងក្រោយ៖

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

បង្កើតគោលដៅ iSCSI៖

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

យើងភ្ជាប់ផ្នែកខាងក្រោយជា LUN ទៅនឹងគោលដៅ៖

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

ចូរកំណត់រចនាសម្ព័ន្ធគោលដៅសម្រាប់របៀបសាកល្បង៖

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute demo_mode_write_protect=0
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute generate_node_acls=1
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute cache_dynamic_acls=1

រក្សាទុកការកំណត់៖

# targetcli saveconfig

ពិនិត្យមើលភាពអាចរកបាននៃគោលដៅ៖

# iscsiadm -m discovery -t st -p 127.0.0.1:3260
127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

យើងភ្ជាប់គោលដៅ៖

# iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (multiple)
Login to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] successful.

ប្រសិនបើអ្នកបានធ្វើអ្វីគ្រប់យ៉ាងត្រឹមត្រូវ ថាសថ្មីនឹងបង្ហាញនៅលើម៉ាស៊ីនមេ ដែលមើលទៅដូចជាឧបករណ៍ SCSI ប៉ុន្តែតាមពិតគឺជារូបភាពពី Ceph ដែលបានចូលប្រើតាមរយៈគោលដៅ iSCSI។ ដើម្បីជៀសវាងបញ្ហាចាប់ផ្ដើម វាជាការប្រសើរក្នុងការដកថាសដែលបានភ្ជាប់ និងគោលដៅដែលបានរកឃើញពីអ្នកចាប់ផ្តើមមូលដ្ឋាន៖

# iscsiadm -m node --logout
# iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

អ្វីដែលនៅសេសសល់គឺត្រូវបន្តការកំណត់រចនាសម្ព័ន្ធដើម្បីឱ្យរូបភាពត្រូវបានភ្ជាប់ដោយស្វ័យប្រវត្តិ ហើយបន្ទាប់ពីការតភ្ជាប់ គោលដៅត្រូវបាន stratified ។ ការបើកដំណើរការគោលដៅមានពីរជំហាន - ការភ្ជាប់ RBD និងពិតជាចាប់ផ្តើមគោលដៅ។

ជាដំបូង ចូរយើងកំណត់រចនាសម្ព័ន្ធការភ្ជាប់ដោយស្វ័យប្រវត្តិនៃរូបភាព RBD ទៅម៉ាស៊ីន។ នេះត្រូវបានធ្វើដោយបន្ថែមបន្ទាត់ខាងក្រោមទៅឯកសារ /etc/ceph/rbdmap៖

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
mypool/myimage id=admin
# systemctl enable rbdmap

ការស្ដារការកំណត់គោលដៅមានភាពស្មុគស្មាញបន្តិច - យើងត្រូវសរសេរឯកតាសម្រាប់ systemd ដែលនឹងស្ដារការកំណត់ឡើងវិញ៖

# cat /usr/lib/systemd/system/scsi-target.service
[Unit] Description=Start iSCSI target

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service] Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install] WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

ការធ្វើតេស្តចុងក្រោយគឺត្រូវបើកម៉ូនីទ័ររបស់យើងម្តងទៀត (ឥឡូវនេះវាជាគោលដៅ iSCSI)។ វាគួរតែត្រូវបានកត់សម្គាល់ថាប្រសិនបើយើងមិនបានសម្អាតមូលដ្ឋានទិន្នន័យរបស់អ្នកផ្តួចផ្តើមជាមួយនឹងពាក្យបញ្ជា iscsiadm -n discoverydb -o លុប... អ្នកអាចបញ្ចប់ដោយម៉ាស៊ីនមេដែលមិនផ្ទុក ឬចំណាយពេលយូរដើម្បីផ្ទុក។

នៅសល់អ្វី?

កំណត់រចនាសម្ព័ន្ធអ្នកផ្តួចផ្តើមនៅលើម៉ាស៊ីនមេដែលយើងចង់ផ្ញើគោលដៅ។

តើធ្វើដូចម្តេចដើម្បីធានាឱ្យមានការអត់ឱនកំហុសនៃគោលដៅរបស់យើង?

អ្នកអាចកំណត់រចនាសម្ព័ន្ធគោលដៅស្រដៀងគ្នានៅលើម៉ូនីទ័រផ្សេងទៀត និងដំឡើង multipath (vmware នឹងយល់ពីរឿងនេះ ហើយសូម្បីតែដំណើរការក៏ដោយ Hyper-V នឹងមិនយល់ - វាទាមទារការចាក់សោ SCSI) ។ ដោយសារម៉ាស៊ីនភ្ញៀវ Ceph ពីខឺណែលមិនប្រើឃ្លាំងសម្ងាត់ នេះពិតជាអាចដំណើរការបាន។ ឬជម្រើសមួយផ្សេងទៀតគឺបង្កើតធនធានចង្កោមនៃសមាសភាគបី - អាសយដ្ឋាន IP គោលដៅជាក់លាក់មួយ និងសេវា rbdmap និង scsi-target ហើយគ្រប់គ្រងធនធាននេះតាមរយៈឧបករណ៍ចង្កោម (តើអ្នកនិយាយអ្វី?)

ជំនួសឱ្យការតុបតែង

ដូចដែលវាច្បាស់ហើយ អត្ថបទនេះគឺកំប្លែងបន្តិច - ប៉ុន្តែនៅក្នុងវាខ្ញុំបានព្យាយាម "យ៉ាងឆាប់រហ័ស និងជាមួយឧទាហរណ៍" ពិចារណាប្រធានបទដ៏ពេញនិយមជាច្រើនក្នុងពេលតែមួយ - គោលដៅ iSCSI ដែលប្រហែលជាមិនចាំបាច់នាំចេញរូបភាព Ceph - ប៉ុន្តែឧទាហរណ៍ នាំចេញបរិមាណ LVM មូលដ្ឋានគ្រឹះនៃការធ្វើការជាមួយអ្នកផ្តួចផ្តើម iSCSI (របៀបស្កេនគោលដៅ របៀបភ្ជាប់ទៅគោលដៅ ផ្តាច់ លុបធាតុគោលដៅចេញពីមូលដ្ឋានទិន្នន័យ) ការសរសេរឯកតាផ្ទាល់ខ្លួនរបស់អ្នកសម្រាប់ systemd និងមួយចំនួនផ្សេងទៀត។

ខ្ញុំសង្ឃឹមថា ទោះបីជាអ្នកមិនធ្វើម្តងទៀតនូវការពិសោធន៍នេះទាំងស្រុងក៏ដោយ យ៉ាងហោចណាស់អ្វីមួយពីអត្ថបទនេះនឹងមានប្រយោជន៍សម្រាប់អ្នក។

ប្រភព: www.habr.com