Цепх преко иСЦСИ - или скијање док стојите у висећој мрежи

Има ли међу нама (цефоводова) који не воле „професионални екстрем“?

Мало је вероватно - иначе се не бисмо бавили овим изузетно занимљивим и смешним производом.

Многи од оних који су били укључени у рад Цепх-а наишли су на један не баш чест (или боље речено, врло ретки) али понекад тражен случај - повезивање Цепх-а преко иСЦСИ или ФЦ-а. За шта? Па, на пример, пошаљите слику са Цепх-а на Виндовс или Соларис сервер који још увек није виртуелизован из неког разлога. Или виртуелизовани, али користећи хипервизор који не може да ради Цепх - а, као што знамо, има их доста. На пример? Па, на пример, ХиперВ или ЕСКСи, који се активно користе. А ако се појави задатак сервирања слике са Цепх-а на машину за госте, ово се претвара у веома узбудљив задатак.

Тако дато:

1. већ покренути Цепх кластер
2. већ постојећа слика која се мора сервирати преко иСЦСИ
3. Име базена мипоол, назив слике миимаге

Започети?

Пре свега, када говоримо о ФЦ или иСЦСИ, имамо такве ентитете као покретача и циља. Циљ је заправо сервер, иницијатор је клијент. Наш задатак је да поднесемо Цепх слику иницијатору уз минималан напор. То значи да морамо проширити циљ. Али где, на ком компјутеру?

На срећу, у Цепх кластеру имамо најмање једну компоненту чија је ИП адреса фиксна и на којој је конфигурисана једна од најважнијих компоненти Цепх-а, а та компонента је монитор. Сходно томе, инсталирамо иСЦСИ мету на монитор (и инитатор у исто време, барем за тестове). Ово сам урадио на ЦентОС-у, али решење је погодно и за било коју другу дистрибуцију - само треба да инсталирате пакете на начин који је прихватљив у вашој дистрибуцији.

# yum -y install iscsi-initiator-utils targetcli

Која је сврха инсталираних пакета?

• таргетцли — услужни програм за управљање СЦСИ циљем уграђеним у Линук кернел
• исцси-иницијатор-утилс — пакет са услужним програмима који се користе за управљање иСЦСИ иницијатором уграђеним у Линук кернел

Да би се слика преко иСЦСИ-а доставила иницијатору, постоје две опције за развој догађаја – користити позадину корисничког простора циља или повезати слику као блок уређај видљив оперативном систему и извести је преко иСЦСИ. Ићи ћемо на други начин - позадина корисничког простора је још увек у „експерименталном“ стању и помало није спремна за продуктивну употребу. Поред тога, са њим постоје замке, о којима можете много причати и (ох ужас!) расправљати.

Ако користимо чак и донекле стабилну дистрибуцију са дугим циклусом подршке, онда је језгро које имамо нека древна, древна верзија. На пример, у ЦентОС7 је 3.10.*, у ЦентОС8 је 4.19. А ми смо заинтересовани за језгро од најмање 5.3 (или боље речено 5.4) и новије. Зашто? Зато што подразумевано Цепх слике имају омогућен скуп опција које нису компатибилне са старијим језгрима. То значи да повезујемо спремиште са новим кернелом за нашу дистрибуцију (на пример, за ЦентОС ово је елрепо), инсталирамо ново језгро и поново покрећемо систем да би радио са новим кернелом:

• Повежите се са монитором изабраним за експеримент
• Повезујемо елрепо ризнице према упутствима - елрепо.орг/тики/тики-индек.пхп
• Инсталирајте кернел: иум -и —енаблерепо=елрепо-кернел инсталл кернел-мл
• Поново покрените сервер са монитором (имамо три монитора, зар не?)

Повезивање слике као блок уређаја

# rbd map mypool/myimage
/dev/rbd0

Остаје само да конфигуришете циљ. У овом примеру ћу конфигурисати циљ у тзв. демо режим - без аутентификације, видљив и доступан свима. У производном окружењу, вероватно ћете желети да конфигуришете аутентификацију - али то је мало ван домета за данашњу вежбу само за забаву.

Креирајте позадину под називом диск1 повезану са датотеком /дев/рбд/мипоол/миимаге. Наведена датотека је симболичка веза коју аутоматски креира удев демон ка /дев/рбд0. Користимо симболичку везу јер се име рбд уређаја може променити у зависности од редоследа којим су Цепх слике повезане са хостом.

Направите бацкенд:

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

Направите иСЦСИ циљ:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

Повезујемо позадину као ЛУН са циљем:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

Хајде да конфигуришемо циљ за демо режим:

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute demo_mode_write_protect=0
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute generate_node_acls=1
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute cache_dynamic_acls=1

Сачувајте конфигурацију:

# targetcli saveconfig

Провера доступности мете:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260
127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

Повезујемо циљ:

# iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (multiple)
Login to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] successful.

Ако сте све урадили исправно, на серверу ће се појавити нови диск, који изгледа као СЦСИ уређај, али је заправо слика из Цепх-а, којој се приступа преко иСЦСИ циља. Да бисте избегли проблеме са покретањем, боље је уклонити повезани диск и откривени циљ са локалног покретача:

# iscsiadm -m node --logout
# iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

Остаје само да се настави конфигурација тако да се слика аутоматски повеже и, након повезивања, мета буде стратификована. Лансирање мете се састоји од два корака – повезивања РБД-а и стварног лансирања мете.

Прво, хајде да конфигуришемо аутоматско повезивање РБД слика са хостом. Ово се ради додавањем следећих редова у /етц/цепх/рбдмап датотеку:

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
mypool/myimage id=admin
# systemctl enable rbdmap

Враћање циљне конфигурације је мало компликованије - морамо да напишемо јединицу за системд која ће вратити конфигурацију:

# cat /usr/lib/systemd/system/scsi-target.service
[Unit] Description=Start iSCSI target

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service] Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install] WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

Последњи тест је да поново покренемо наш монитор (сада је иСЦСИ мета). Треба напоменути да командом нисмо обрисали базу података иницијатора исцсиадм -н дисцоверидб -о избрисати ... могли бисте завршити са сервером који се не учитава или му је потребно много времена да се учита.

Шта је остало?

Конфигуришите иницијатор на серверу на који желимо да пошаљемо циљ.

Како осигурати толеранцију грешака наше мете?

На сличан начин можете конфигурисати циљеве на другим мониторима и подесити вишеструку путању (вмваре ће ово разумети, па чак и радити, Хипер-В неће разумети - захтева СЦСИ закључавање). Пошто Цепх клијент из кернела не користи кеширање, ово је прилично изводљиво. Или друга опција је креирање кластера ресурса од три компоненте - наменске циљне ИП адресе и рбдмап и сцси-таргет услуга, и управљање овим ресурсом помоћу алата за кластерисање (ко је рекао пејсмејкер?)

Уместо поговора

Као што је јасно, овај чланак је помало шала - али у њему сам покушао да "брзо и са примерима" размотрим неколико прилично популарних тема у исто време - иСЦСИ циљ, који можда не мора нужно да извози Цепх слике - али на пример, извоз ЛВМ волумена, основе рада са иСЦСИ иницијатором (како скенирати циљ, како се повезати са циљем, прекинути везу, избрисати циљни унос из базе података), писање сопствене јединице за системд и неке друге

Надам се да чак и ако не поновите цео овај експеримент у потпуности, барем ће вам нешто из овог чланка бити корисно.

Извор: ввв.хабр.цом