iSCSI를 통한 Ceph - 또는 해먹에 서서 스키 타기

우리 중에 "전문적인 극단"을 좋아하지 않는 사람들(tsefovodov)이 있습니까?

그렇지 않을 경우 우리는 이 매우 흥미롭고 재미있는 제품을 가지고 이리저리 헤매지 않을 것입니다.

Ceph 운영에 참여한 많은 사람들은 그다지 자주 발생하지는 않지만(또는 매우 드물게) 때로는 수요가 있는 경우 즉, iSCSI 또는 FC를 통해 Ceph를 연결하는 방법을 접했습니다. 무엇을 위해? 예를 들어 Ceph의 이미지를 어떤 이유로 아직 가상화되지 않은 Windows 또는 Solaris 서버에 제출합니다. 또는 가상화된 것이지만 Ceph를 수행할 수 없는 하이퍼바이저를 사용하는 경우 - 우리가 알고 있듯이 그런 것들이 많이 있습니다. 예를 들어? 예를 들어 적극적으로 사용되는 HyperV 또는 ESXi가 있습니다. 그리고 Ceph에서 게스트 머신으로 이미지를 제공하는 작업이 발생한다면 이는 매우 흥미로운 작업으로 변합니다.

그래서, 주어진 :

1. 이미 실행 중인 Ceph 클러스터
2. iSCSI를 통해 제공되어야 하는 이미 존재하는 이미지
3. 풀 이름 마이풀, 이미지 이름 마이 이미지

시작하다?

우선 FC나 iSCSI에 관해 이야기할 때 이니시에이터와 타겟과 같은 개체가 있습니다. 대상은 실제로 서버이고 개시자는 클라이언트입니다. 우리의 임무는 최소한의 노력으로 Ceph 이미지를 개시자에게 제출하는 것입니다. 이는 목표를 확장해야 함을 의미합니다. 하지만 어디, 어떤 컴퓨터에서?

다행스럽게도 Ceph 클러스터에는 IP 주소가 고정되어 있고 Ceph의 가장 중요한 구성 요소 중 하나가 구성되어 있는 구성 요소가 하나 이상 있으며, 해당 구성 요소는 모니터입니다. 따라서 우리는 모니터에 iSCSI 대상을 설치합니다(적어도 테스트를 위해 동시에 초기자도 설치합니다). CentOS에서 이 작업을 수행했지만 이 솔루션은 다른 배포판에도 적합합니다. 배포판에서 허용되는 방식으로 패키지를 설치하기만 하면 됩니다.

# yum -y install iscsi-initiator-utils targetcli

설치된 패키지의 목적은 무엇입니까?

• 타겟클리 — Linux 커널에 내장된 SCSI 대상을 관리하기 위한 유틸리티
• iscsi 개시자 유틸리티 — Linux 커널에 내장된 iSCSI 초기자를 관리하는 데 사용되는 유틸리티가 포함된 패키지

iSCSI를 통해 개시자에게 이미지를 제출하려면 이벤트 개발을 위한 두 가지 옵션이 있습니다. 대상의 사용자 공간 백엔드를 사용하거나 이미지를 운영 체제에 표시되는 블록 장치로 연결하고 iSCSI를 통해 내보내는 것입니다. 우리는 두 번째 방법으로 갈 것입니다. 사용자 공간 백엔드는 여전히 "실험적" 상태에 있으며 생산적으로 사용할 준비가 되어 있지 않습니다. 또한 그것에 대해 많이 이야기하고 (오 공포!) 논쟁을 벌일 수있는 함정이 있습니다.

지원 주기가 긴 다소 안정적인 배포판을 사용한다면 우리가 가지고 있는 커널은 고대 버전입니다. 예를 들어 CentOS7에서는 3.10.*이고 CentOS8에서는 4.19입니다. 그리고 우리는 최소한 5.3(혹은 5.4) 이상의 커널에 관심이 있습니다. 왜? 기본적으로 Ceph 이미지에는 이전 커널과 호환되지 않는 옵션 세트가 활성화되어 있기 때문입니다. 이는 배포용 새 커널(예: CentOS의 경우 elrepo)과 저장소를 연결하고 새 커널을 설치한 후 시스템을 재부팅하여 새 커널로 작업한다는 의미입니다.

• 실험에 선택한 모니터에 연결
• 지침에 따라 elrepo 저장소를 연결합니다. elrepo.org/tiki/tiki-index.php
• 커널 설치: yum -y —enablerepo=elrepo-kernel install kernel-ml
• 모니터로 서버를 재부팅하세요. (모니터가 XNUMX개죠?)

이미지를 블록 장치로 연결

# rbd map mypool/myimage
/dev/rbd0

남은 것은 대상을 구성하는 것뿐입니다. 이 예에서는 소위 대상을 구성하겠습니다. 데모 모드 - 인증 없이 모든 사람이 볼 수 있고 접근할 수 있습니다. 프로덕션 환경에서는 인증을 구성하고 싶을 수도 있지만 이는 오늘의 재미를 위한 연습의 범위를 약간 벗어납니다.

/dev/rbd/mypool/myimage 파일과 연결된 disk1이라는 백엔드를 생성합니다. 지정된 파일은 udev 데몬에 의해 /dev/rbd0에 자동으로 생성된 심볼릭 링크입니다. Ceph 이미지가 호스트에 연결되는 순서에 따라 rbd 장치의 이름이 변경될 수 있으므로 심볼릭 링크를 사용합니다.

백엔드를 만듭니다.

# targetcli /backstores/block create disk1 /dev/rbd/mypool/myimage

iSCSI 대상을 생성합니다:

# targetcli /iscsi create iqn.2020-01.demo.ceph:mypool

백엔드를 LUN으로 대상에 연결합니다.

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/luns create /backstores/block/disk1

데모 모드에 대한 대상을 구성해 보겠습니다.

# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute demo_mode_write_protect=0
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute generate_node_acls=1
# targetcli /iscsi/iqn.2020-01.demo.ceph:mypool/tpg1/ set
> attribute cache_dynamic_acls=1

구성을 저장합니다.

# targetcli saveconfig

대상의 가용성 확인:

# iscsiadm -m discovery -t st -p 127.0.0.1:3260
127.0.0.1:3260,1 iqn.2020-01.demo.ceph:mypool

대상을 연결합니다.

# iscsiadm -m node --login
Logging in to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] (multiple)
Login to [iface: default, target: iqn.2020-01.demo.ceph:mypool, portal: 127.0.0.1,3260] successful.

모든 작업을 올바르게 수행했다면 SCSI 장치처럼 보이지만 실제로는 iSCSI 대상을 통해 액세스되는 Ceph의 이미지인 새 디스크가 서버에 나타납니다. 부팅 문제를 방지하려면 연결된 디스크와 감지된 대상을 로컬 시작 프로그램에서 제거하는 것이 좋습니다.

# iscsiadm -m node --logout
# iscsiadm -m discoverydb -o delete -t st -p 127.0.0.1:3260

남은 것은 이미지가 자동으로 연결되고 연결 후 대상이 계층화되도록 구성을 유지하는 것입니다. 대상 시작은 RBD를 연결하고 실제로 대상을 시작하는 두 단계로 구성됩니다.

먼저 호스트에 대한 RBD 이미지의 자동 연결을 구성해 보겠습니다. 이는 /etc/ceph/rbdmap 파일에 다음 행을 추가하여 수행됩니다.

# cat /etc/ceph/rbdmap
# RbdDevice Parameters
mypool/myimage id=admin
# systemctl enable rbdmap

대상 구성을 복원하는 것은 좀 더 복잡합니다. 구성을 복원할 systemd용 유닛을 작성해야 합니다.

# cat /usr/lib/systemd/system/scsi-target.service
[Unit] Description=Start iSCSI target

After=network-online.target rbdmap.service
Before=remote-fs-pre.target
Wants=network-online.target remote-fs-pre.target

[Service] Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/targetcli restoreconfig

[Install] WantedBy=multi-user.target

# systemctl daemon-reload
# systemctl enable scsi-target

마지막 테스트는 모니터를 다시 재부팅하는 것입니다(이제 iSCSI 대상임). 다음 명령을 사용하여 개시자의 데이터베이스를 지우지 않은 경우 주의해야 합니다. iscsiadm -n discoverydb -o 삭제 ... 서버가 로드되지 않거나 로드하는 데 오랜 시간이 걸릴 수 있습니다.

남은 것은 무엇입니까?

대상을 보내려는 서버에서 개시자를 구성하십시오.

대상의 내결함성을 보장하는 방법은 무엇입니까?

유사하게 다른 모니터에서 대상을 구성하고 다중 경로를 설정할 수 있습니다(vmware는 이를 이해하고 심지어 작동하지만 Hyper-V는 이해하지 못합니다. SCSI 잠금이 필요합니다). 커널의 Ceph 클라이언트는 캐싱을 사용하지 않으므로 이는 상당히 실행 가능합니다. 또는 또 다른 옵션은 전용 대상 IP 주소, rbdmap 및 scsi-target 서비스 등 세 가지 구성 요소로 구성된 클러스터 리소스를 생성하고 클러스터링 도구를 통해 이 리소스를 관리하는 것입니다(페이스메이커라고 말한 사람은 누구입니까?).

후일 대신

분명히 알 수 있듯이 이 기사는 약간 농담입니다. 하지만 이 기사에서는 꽤 인기 있는 몇 가지 주제(반드시 Ceph 이미지를 내보낼 필요는 없는 iSCSI 대상)를 동시에 "빠르고 예시를 통해" 고려하려고 했습니다. 예를 들어, LVM 볼륨 내보내기, iSCSI 초기자 작업의 기본 사항(대상 스캔 방법, 대상에 연결하는 방법, 연결 끊기, 데이터베이스에서 대상 항목 삭제 방법), systemd에 대한 자체 유닛 작성 및 기타 사항

이 전체 실험을 완전히 반복하지 않더라도 적어도 이 기사의 내용이 도움이 되기를 바랍니다.

출처 : habr.com