Ceph via iSCSI - ან თხილამურებით სრიალი ჰამაკში დგომისას

არიან ჩვენ შორის ისეთები (ცეფოვოდოვი), რომლებსაც არ მოსწონთ "პროფესიული ექსტრემი"?

ნაკლებად სავარაუდოა - წინააღმდეგ შემთხვევაში ჩვენ არ ვიქნებოდით ამ უაღრესად საინტერესო და სასაცილო პროდუქტით.

ბევრ მათგანს, ვინც ჩართული იყო Ceph-ის ფუნქციონირებაში, წააწყდა ერთ არც თუ ისე ხშირად (უფრო სწორად, ძალიან იშვიათად) მაგრამ ზოგჯერ მოთხოვნადი შემთხვევას - ცეფის დაკავშირება iSCSI ან FC-ის მეშვეობით. Რისთვის? მაგალითად, გაგზავნეთ სურათი Ceph-დან Windows ან Solaris სერვერზე, რომელიც ჯერ კიდევ არ არის ვირტუალიზაცია რაიმე მიზეზით. ან ვირტუალიზებული, მაგრამ ჰიპერვიზორის გამოყენებით, რომელსაც არ შეუძლია Ceph - და, როგორც ვიცით, უამრავი მათგანია. Მაგალითად? მაგალითად, HyperV ან ESXi, რომლებიც აქტიურად გამოიყენება. და თუ ჩნდება დავალება კეფიდან გამოსახულების მიწოდება სტუმრის აპარატზე, ეს გადაიქცევა ძალიან საინტერესო ამოცანად.

ასე რომ, მოცემული:

1. უკვე გაშვებული Ceph კლასტერი
2. უკვე არსებული სურათი, რომელიც უნდა მოემსახუროს iSCSI-ის საშუალებით
3. აუზის სახელი mypool, სურათის სახელი ჩემი სურათი

დაწყება?

უპირველეს ყოვლისა, როდესაც ვსაუბრობთ FC ან iSCSI-ზე, გვაქვს ისეთი სუბიექტები, როგორიცაა ინიციატორი და სამიზნე. Target არის რეალურად სერვერი, ინიციატორი არის კლიენტი. ჩვენი ამოცანაა, მინიმალური ძალისხმევით მივაწოდოთ ცეფის სურათი ინიციატორს. ეს ნიშნავს, რომ ჩვენ უნდა გავაფართოვოთ მიზანი. მაგრამ სად, რომელ კომპიუტერზე?

საბედნიეროდ, Ceph კლასტერში გვაქვს მინიმუმ ერთი კომპონენტი, რომლის IP მისამართი ფიქსირდება და რომელზეც არის კონფიგურირებული Ceph-ის ერთ-ერთი ყველაზე მნიშვნელოვანი კომპონენტი და ეს კომპონენტი არის მონიტორი. შესაბამისად, ჩვენ ვაინსტალირებთ iSCSI სამიზნეს მონიტორზე (და ინიციატორს ერთდროულად, ყოველ შემთხვევაში ტესტებისთვის). ეს გავაკეთე CentOS-ზე, მაგრამ გამოსავალი ასევე შესაფერისია ნებისმიერი სხვა განაწილებისთვის - თქვენ უბრალოდ უნდა დააინსტალიროთ პაკეტები ისე, როგორც მისაღებია თქვენს განაწილებაში.

# yum -y install iscsi-initiator-utils targetcli

რა არის დაყენებული პაკეტების დანიშნულება?

• targetcli — პროგრამა Linux-ის ბირთვში ჩაშენებული SCSI სამიზნის მართვისთვის
• iscsi-initiator-utils — პაკეტი კომუნალური პროგრამებით, რომლებიც გამოიყენება Linux-ის ბირთვში ჩაშენებული iSCSI ინიციატორის სამართავად

იმისათვის, რომ გამოსახულება iSCSI-ის საშუალებით ინიციატორისთვის გაგზავნოთ, არსებობს მოვლენების განვითარების ორი ვარიანტი - გამოიყენეთ სამიზნის მომხმარებლის სივრცის უკანა ნაწილი ან დააკავშირეთ სურათი, როგორც ბლოკის მოწყობილობა, რომელიც ჩანს ოპერაციული სისტემისთვის და გაიტანეთ იგი iSCSI-ით. ჩვენ მეორე გზით წავალთ - userspace backend-ი ჯერ კიდევ "ექსპერიმენტულ" მდგომარეობაშია და ოდნავ არ არის მზად პროდუქტიული გამოყენებისთვის. გარდა ამისა, მასში არის ნაკლოვანებები, რომლებზეც შეგიძლიათ ბევრი ისაუბროთ და (ოჰ საშინელება!) კამათი.

თუ გამოვიყენებთ თუნდაც გარკვეულწილად სტაბილურ განაწილებას ხანგრძლივი მხარდაჭერის ციკლით, მაშინ ბირთვი, რომელიც გვაქვს, არის უძველესი, უძველესი ვერსია. მაგალითად, CentOS7-ში არის 3.10.*, CentOS8-ში არის 4.19. და ჩვენ გვაინტერესებს ბირთვი მინიმუმ 5.3 (უფრო სწორად 5.4) და უფრო ახალი. რატომ? რადგან ნაგულისხმევად Ceph სურათებს აქვთ ჩართული პარამეტრების ნაკრები, რომლებიც არ არის თავსებადი ძველ ბირთვებთან. ეს ნიშნავს, რომ ჩვენ ვაკავშირებთ საცავს ახალ ბირთვს ჩვენი განაწილებისთვის (მაგალითად, CentOS-ისთვის ეს არის elrepo), დავაინსტალირეთ ახალი ბირთვი და გადატვირთეთ სისტემა ახალ ბირთვთან მუშაობისთვის:

• დაუკავშირდით ექსპერიმენტისთვის შერჩეულ მონიტორს
• ჩვენ ვუკავშირდებით elrepo-ს საცავებს ინსტრუქციის მიხედვით - elrepo.org/tiki/tiki-index.php
• დააინსტალირეთ ბირთვი: yum -y —enablerepo=elrepo-kernel install kernel-ml
• გადატვირთეთ სერვერი მონიტორით (ჩვენ გვაქვს სამი მონიტორი, არა?)

სურათის, როგორც ბლოკის მოწყობილობის დაკავშირება

# rbd map mypool/myimage
/dev/rbd0

რჩება მხოლოდ მიზნის კონფიგურაცია. ამ მაგალითში სამიზნის კონფიგურაციას მოვახდენ ე.წ. დემო რეჟიმი - ავტორიზაციის გარეშე, ყველასთვის ხილული და ხელმისაწვდომი. წარმოების გარემოში, თქვენ მოგინდებათ ავთენტიფიკაციის კონფიგურაცია - მაგრამ ეს ცოტა საზღვრებს გარეთაა დღევანდელი უბრალოდ გასართობი ვარჯიშისთვის.

შექმენით backend სახელად disk1, რომელიც დაკავშირებულია ფაილთან /dev/rbd/mypool/myimage. მითითებული ფაილი არის udev დემონის მიერ ავტომატურად შექმნილი სიმბოლური ბმული /dev/rbd0. ჩვენ ვიყენებთ სიმბოლურ ბმულს, რადგან rbd მოწყობილობის სახელი შეიძლება შეიცვალოს იმის მიხედვით, თუ რა თანმიმდევრობით არის დაკავშირებული Ceph სურათები ჰოსტთან.

შექმენით backend:

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

შექმენით iSCSI სამიზნე:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

ჩვენ ვუკავშირდებით backend-ს, როგორც LUN მიზანს:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

მოდით დავაკონფიგურიროთ სამიზნე დემო რეჟიმისთვის:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute demo_mode_write_protect=0
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute generate_node_acls=1
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute cache_dynamic_acls=1

შეინახეთ კონფიგურაცია:

# targetcli saveconfig

მიზნის ხელმისაწვდომობის შემოწმება:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260
127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

ჩვენ ვაკავშირებთ მიზანს:

# iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (multiple)
Login to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] successful.

თუ ყველაფერი სწორად გააკეთეთ, სერვერზე გამოჩნდება ახალი დისკი, რომელიც ჰგავს SCSI მოწყობილობას, მაგრამ რეალურად არის Ceph-ის გამოსახულება, რომელიც ხელმისაწვდომია iSCSI სამიზნეზე. ჩატვირთვის პრობლემების თავიდან ასაცილებლად, უმჯობესია ამოიღოთ დაკავშირებული დისკი და აღმოჩენილი სამიზნე ადგილობრივი ინიციატორიდან:

# iscsiadm -m node --logout
# iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

რჩება მხოლოდ კონფიგურაციის შენარჩუნება ისე, რომ გამოსახულება ავტომატურად იყოს დაკავშირებული და, დაკავშირების შემდეგ, სამიზნე სტრატიფიცირებული იყოს. სამიზნის გაშვება შედგება ორი ეტაპისგან - RBD-ის შეერთება და მიზნის რეალურად გაშვება.

პირველი, მოდით დავაკონფიგურიროთ RBD სურათების ავტომატური კავშირი ჰოსტთან. ეს კეთდება შემდეგი ხაზების დამატებით /etc/ceph/rbdmap ფაილში:

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
mypool/myimage id=admin
# systemctl enable rbdmap

სამიზნე კონფიგურაციის აღდგენა ცოტა უფრო რთულია - ჩვენ უნდა დავწეროთ სისტემა systemd-ისთვის, რომელიც აღადგენს კონფიგურაციას:

# cat /usr/lib/systemd/system/scsi-target.service
[Unit] Description=Start iSCSI target

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service] Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install] WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

საბოლოო ტესტი არის ჩვენი მონიტორის ხელახლა გადატვირთვა (ახლა ის არის iSCSI სამიზნე). უნდა აღინიშნოს, რომ თუ ჩვენ არ გავწმინდეთ ინიციატორის მონაცემთა ბაზა ბრძანებით iscsiadm -n discoverydb -o წაშლა ... შეიძლება დასრულდეს სერვერი, რომელიც არ იტვირთება ან იტვირთება დიდი დრო.

რა დარჩა?

ინიციატორის კონფიგურაცია სერვერზე, სადაც გვინდა სამიზნის გაგზავნა.

როგორ უზრუნველვყოთ ჩვენი სამიზნის შეცდომის ტოლერანტობა?

თქვენ შეგიძლიათ ანალოგიურად დააკონფიგურიროთ სამიზნეები სხვა მონიტორებზე და დააყენოთ multipath (vmware ამას გაიგებს და იმუშავებს კიდეც, Hyper-V ვერ გაიგებს - ეს მოითხოვს SCSI საკეტებს). ვინაიდან Ceph კლიენტი ბირთვიდან არ იყენებს ქეშირებას, ეს საკმაოდ გამოსადეგია. ან კიდევ ერთი ვარიანტია შექმნათ კასეტური რესურსი სამი კომპონენტისგან - გამოყოფილი სამიზნე IP მისამართი და rbdmap და scsi-target სერვისები და ამ რესურსის მართვა კლასტერული ხელსაწყოების საშუალებით (ვინ თქვა კარდიოსტიმულატორი?)

ნაცვლად ამისა

როგორც ცხადია, ეს სტატია ცოტა ხუმრობაა - მაგრამ მასში მე შევეცადე "სწრაფად და მაგალითებით" განმეხილა რამდენიმე საკმაოდ პოპულარული თემა ერთდროულად - iSCSI სამიზნე, რომელიც შეიძლება სულაც არ იყოს კეფის სურათების ექსპორტი - მაგრამ მაგალითად, LVM ტომების ექსპორტი, iSCSI ინიციატორის მუშაობის საფუძვლები (როგორ დაასკანიროთ სამიზნე, როგორ დაუკავშირდეთ სამიზნეს, გათიშოთ, წაშალოთ სამიზნე ჩანაწერი მონაცემთა ბაზიდან), დაწეროთ თქვენი საკუთარი ერთეული systemd-ისთვის და სხვა

იმედი მაქვს, რომ თუნდაც არ გაიმეოროთ მთელი ეს ექსპერიმენტი სრულად, ამ სტატიიდან რაღაც მაინც გამოგადგებათ.

წყარო: www.habr.com