LINSTOR 스토리지 및 OpenNebula와의 통합

얼마 전 LINBIT 직원들은 새로운 SDS 솔루션인 Linstor를 선보였습니다. DRBD, LVM, ZFS 등 검증된 기술을 기반으로 한 완전 무료 스토리지입니다. Linstor는 단순성과 잘 설계된 아키텍처를 결합하여 안정성과 매우 인상적인 결과를 얻을 수 있습니다.

오늘 저는 이에 대해 좀 더 자세히 이야기하고 이 목적을 위해 특별히 개발한 새로운 드라이버인 linstor_un을 사용하여 OpenNebula와 얼마나 쉽게 통합할 수 있는지 보여드리고 싶습니다.

Linstor를 OpenNebula와 결합하면 자체 인프라에 쉽게 배포할 수 있는 빠르고 안정적인 클라우드를 구축할 수 있습니다.

린스터 아키텍처

Linstor는 그 자체로 파일 시스템도 블록 스토리지도 아닙니다. Linstor는 LVM 또는 ZFS에서 볼륨 생성을 자동화하고 DRBD9를 사용하여 복제할 수 있는 추상화 계층을 제공하는 오케스트레이터입니다.

고정 관념

그런데 잠깐, DRBD? — 자동화하는 이유는 무엇이며 어떻게 작동할 수 있나요?

DRBD8이 큰 인기를 끌었던 과거를 떠올려보자. 표준 사용에는 하나의 큰 블록 장치를 만들고 동일한 LVM을 사용하여 여러 개의 작은 조각으로 자르는 작업이 포함되었습니다. 일종의 mdadm RAID-1이지만 네트워크를 통한 복제 기능이 있습니다.

이 접근 방식에는 단점이 있으므로 DRBD9의 출현으로 스토리지 설계 원칙이 변경되었습니다. 이제 각 가상 머신에 대해 별도의 DRBD 장치가 생성됩니다.

독립적인 블록 장치를 사용하는 접근 방식을 사용하면 클러스터 공간 활용도가 향상되고 여러 가지 추가 기능도 추가됩니다. 예를 들어, 각 장치에 대해 복제본 수, 위치 및 개별 설정을 결정할 수 있습니다. 생성/삭제, 스냅샷 촬영, 크기 조정, 암호화 활성화 등이 쉽습니다. DRBD9는 쿼럼도 지원하므로 분할 브레인 상황을 피할 수 있다는 점은 주목할 가치가 있습니다.

리소스 및 백엔드

새로운 블록 장치를 생성할 때 Linstor는 클러스터의 여러 노드에 필요한 수의 복제본을 배치합니다. 우리는 이러한 각 복제본을 DRBD 리소스라고 부릅니다.

리소스에는 두 가지 유형이 있습니다.

• 데이터 자원 — LVM 또는 ZFS 풀의 노드에 있는 DRBD 장치입니다.
  현재 여러 백엔드에 대한 지원이 있으며 그 수는 지속적으로 증가하고 있습니다. LVM, ThinLVM 및 ZFS가 지원됩니다. 마지막 두 개를 사용하면 스냅샷을 생성하고 사용할 수 있습니다.
• 디스크 없는 리소스 — 백엔드 없이 노드에 배치되지만 일반 블록 장치로 처리될 수 있는 DRBD 장치입니다. 모든 읽기/쓰기 작업은 데이터 리소스로 리디렉션됩니다. 디스크 없는 리소스에 가장 가까운 아날로그는 iSCSI LUN입니다.

각 DRBD 리소스는 최대 8개의 복제본을 가질 수 있으며 기본적으로 그 중 하나만 활성화될 수 있습니다. 기본, 다른 사람들도 그럴 거예요 중-고등부 최소한 하나의 Primary가 있는 한 해당 사용은 불가능합니다. 즉, 단순히 서로 간에 데이터를 복제할 뿐입니다.

DRBD 장치를 시스템에 설치하면 자동으로 기본, 따라서 DRBD 용어로 디스크 없는 리소스도 기본 리소스가 될 수 있습니다.

그렇다면 왜 Linstor가 필요한가요?

리소스 집약적인 모든 작업을 커널에 위임함으로써 Linstor는 기본적으로 DRBD 리소스 생성을 쉽게 자동화할 수 있는 일반 Java 애플리케이션입니다.
또한 그가 생성한 각 리소스는 컨트롤 플레인 및 기타 DRBD 리소스의 상태에 관계없이 독립적으로 작동하는 독립적인 DRBD 클러스터가 됩니다.

Linstor는 다음 두 가지 구성 요소로만 구성됩니다.

• Linstor 컨트롤러 - 리소스 생성 및 관리를 위한 API를 제공하는 메인 컨트롤러입니다. 또한 위성과 통신하여 여유 공간을 확인하고 새 리소스를 생성 및 삭제하는 작업을 보냅니다. 단일 인스턴스에서 실행되며 내부(H2) 또는 외부(PostgreSQL, MySQL, MariaDB)일 수 있는 데이터베이스를 사용합니다.
• Linstor 위성 — 모든 스토리지 노드에 설치되어 컨트롤러에 여유 공간에 대한 정보를 제공하고, 컨트롤러로부터 받은 작업을 수행하여 그 위에 새 볼륨과 DRBD 장치를 생성 및 삭제합니다.

Linstor는 다음과 같은 핵심 개념으로 운영됩니다.

• 노드 — DRBD 리소스가 생성되고 사용될 물리적 서버입니다.
• 스토리지 풀 — DRBD 리소스가 위치할 노드에 생성된 LVM 또는 ZFS 풀입니다. 디스크 없는 풀도 가능합니다. 이는 디스크 없는 리소스만 위치하는 풀입니다.
• 리소스 정의 — 리소스의 정의는 기본적으로 이름과 모든 속성을 설명하는 프로토타입입니다.
• 볼륨 정의 — 볼륨 정의. 각 리소스는 여러 볼륨으로 구성될 수 있으며 각 볼륨에는 크기가 있어야 합니다.
• 자원 — 블록 장치의 생성된 인스턴스로, 각 리소스는 특정 노드와 일부 스토리지 풀에 배치되어야 합니다.

린스터 설치

Ubuntu를 시스템으로 사용하는 것이 좋습니다. 왜냐하면... 그녀를 위해 존재한다 준비된 PPA:

add-apt-repository ppa:linbit/linbit-drbd9-stack
apt-get update

또는 Proxmox의 공식 저장소에서 Linstor를 설치할 수 있는 Debian:

wget -O- https://packages.linbit.com/package-signing-pubkey.asc | apt-key add -
PVERS=5 && echo "deb http://packages.linbit.com/proxmox/ proxmox-$PVERS drbd-9.0" > 
    /etc/apt/sources.list.d/linbit.list
apt-get update

제어 장치

모든 것이 여기 간단합니다 :

apt-get install linstor-controller linstor-client
systemctl enable linstor-controller
systemctl start linstor-controller

스토리지 노드

Linux 커널은 현재 트리 내 커널 모듈과 함께 제공됩니다. DRBD8, 불행히도 그것은 우리에게 적합하지 않으므로 설치해야 합니다 DRBD9:

apt-get install drbd-dkms

실습에서 알 수 있듯이 DRBD8가 아닌 DRBD9 모듈이 시스템에 로드되기 때문에 대부분의 어려움이 발생합니다. 다행히도 다음을 실행하여 쉽게 확인할 수 있습니다.

modprobe drbd
cat /proc/drbd

네가 본다면 버전 : 9 - 만약 그렇다면 모든 것이 괜찮다는 것을 의미합니다. 버전 : 8 - 이는 문제가 발생했음을 의미하며 이유를 찾으려면 추가 조치를 취해야 합니다.

이제 설치해보자 린스터 위성 и drbd-utils:

apt-get install linstor-satellite drbd-utils
systemctl enable linstor-satellite
systemctl start linstor-satellite

클러스터 만들기

스토리지 풀 및 노드

백엔드로 우리는 ThinLVM, 왜냐하면 이는 가장 간단하며 스냅샷을 지원합니다.
세트 LVM2, 아직 생성하지 않았다면 모든 스토리지 노드에 ThinLVM 풀을 생성해 보겠습니다.

sudo vgcreate drbdpool /dev/sdb
sudo lvcreate -L 800G -T drbdpool/thinpool

모든 추가 작업은 컨트롤러에서 직접 수행할 수 있습니다.

노드를 추가해 보겠습니다.

linstor node create node1 127.0.0.11
linstor node create node2 127.0.0.12
linstor node create node3 127.0.0.13

스토리지 풀을 생성해 보겠습니다.

linstor storage-pool create lvmthin node1 data drbdpool/thinpool
linstor storage-pool create lvmthin node2 data drbdpool/thinpool
linstor storage-pool create lvmthin node3 data drbdpool/thinpool

이제 생성된 풀을 확인해 보겠습니다.

linstor storage-pool list

모든 것이 올바르게 완료되면 다음과 같은 내용이 표시됩니다.

+------------------------------------------------- ------------------------------------- ----+ | 스토리지풀 | 노드 | 드라이버 | 풀이름 | 여유 용량 | 총용량 | 스냅샷 지원 | |------------------------------------------------ - ------------------------------------------------- - ---| | 데이터 | 노드1 | LVM_THIN | drbdpool/thinpool | 64GiB | 64GiB | 사실 | | 데이터 | 노드2 | LVM_THIN | drbdpool/thinpool | 64GiB | 64GiB | 사실 | | 데이터 | 노드3 | LVM_THIN | drbdpool/thinpool | 64GiB | 64GiB | 사실 | +------------------------------------------------- ------------------------------------- ----+

DRBD 리소스

이제 새로운 DRBD 리소스를 생성해 보겠습니다.

linstor resource-definition create myres
linstor volume-definition create myres 1G
linstor resource create myres --auto-place 2

생성된 리소스를 확인해 보겠습니다.

linstor resource list 

+------------------------------------------------- ------------------------------------- ---+ | 노드 | 자원 | 스토리지풀 | 볼륨Nr | 미성년자 | 장치 이름 | 할당 | 사용중 | 상태 | |------------------------------------------------ - ------------------------------------------------- - --| | 노드1 | 마이레스 | 데이터 | 0 | 1084 | /dev/drbd1084 | 52KiB | 미사용 | 최신정보 | | 노드2 | 마이레스 | 데이터 | 0 | 1084 | /dev/drbd1084 | 52KiB | 미사용 | 최신정보 | +------------------------------------------------- ------------------------------------- ---+

엄청난! — 처음 두 노드에서 리소스가 생성된 것을 확인하면 세 번째 노드에서 디스크 없는 리소스를 생성해 볼 수도 있습니다.

linstor resource create --diskless node3 myres

노드에서는 항상 이 장치를 다음과 같이 찾을 수 있습니다. /dev/drbd1084 또는 /dev/drbd/by-res/myres/0

이것이 Linstor의 작동 방식입니다. 자세한 정보는 다음에서 얻을 수 있습니다. 공식 문서.

이제 OpenNebula와 통합하는 방법을 알려 드리겠습니다.

OpenNebula 설정

OpenNebula 설정 프로세스에 대해서는 너무 깊이 다루지 않겠습니다. 왜냐하면... 모든 단계는 다음에 자세히 설명되어 있습니다. 공식 문서, 연락해 보시기를 권장하는 경우 OpenNebula와 Linstor의 통합에 대해서만 말씀드리겠습니다.

linstor_un

이 문제를 해결하기 위해 나는 나만의 드라이버를 작성했습니다. linstor_un, 현재 플러그인으로 제공되며 별도로 설치해야 합니다.

전체 설치는 프런트엔드 OpenNebula 노드에서 수행되며 컴퓨팅 노드에 대한 추가 작업이 필요하지 않습니다.

우선, 우리는 우리가 가지고 있는지 확인해야합니다 jq и Linstor-클라이언트:

apt-get install jq linstor-client

팀 linstor node list 노드 목록을 표시해야 합니다. 모든 OpenNebula 컴퓨팅 노드를 Linstor 클러스터에 추가해야 합니다.

플러그인을 다운로드하고 설치합니다.

curl -L https://github.com/OpenNebula/addon-linstor_un/archive/master.tar.gz | tar -xzvf - -C /tmp

mv /tmp/addon-linstor_un-master/vmm/kvm/* /var/lib/one/remotes/vmm/kvm/

mkdir -p /var/lib/one/remotes/etc/datastore/linstor_un
mv /tmp/addon-linstor_un-master/datastore/linstor_un/linstor_un.conf /var/lib/one/remotes/etc/datastore/linstor_un/linstor_un.conf

mv /tmp/addon-linstor_un-master/datastore/linstor_un /var/lib/one/remotes/datastore/linstor_un
mv /tmp/addon-linstor_un-master/tm/linstor_un /var/lib/one/remotes/tm/linstor_un

rm -rf /tmp/addon-linstor_un-master

이제 OpenNebula 구성에 이를 추가해야 합니다. 이를 위해 설명된 간단한 단계를 따릅니다. 여기에.

그런 다음 OpenNebula를 다시 시작합니다.

systemctl restart opennebula

그리고 데이터 저장소, 시스템을 추가합니다.

cat > system-ds.conf <<EOT
NAME="linstor-system"
TYPE="SYSTEM_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
CLONE_MODE="snapshot"
CHECKPOINT_AUTO_PLACE="1"
BRIDGE_LIST="node1 node2 node3"
TM_MAD="linstor_un"
EOT

onedatastore create system-ds.conf

그리고 이미지 저장소는 다음과 같습니다.

cat > images-ds.conf <<EOT
NAME="linstor-images"
TYPE="IMAGE_DS"
STORAGE_POOL="data"
AUTO_PLACE="2"
BRIDGE_LIST="node1 node2 node3"
DISK_TYPE="BLOCK"
DS_MAD="linstor_un"
TM_MAD="linstor_un"
EOT

onedatastore create images-ds.conf

• 매개 변수 AUTO_PLACE OpenNebula의 각 새 이미지에 대해 생성될 데이터 복제본 수를 표시합니다.
• 매개 변수 CLONE_MODE 새 가상 머신을 생성할 때 이미지가 복제되는 방식을 정확하게 나타냅니다. snapshot — 이미지의 스냅샷을 생성하고 스냅샷에서 가상 머신을 배포합니다. copy — 각 가상 머신에 대한 이미지의 전체 복사본을 만듭니다.
• В BRIDGE_LIST 이미지 복제 작업을 수행하는 데 사용될 모든 노드를 지정하는 것이 좋습니다.

지원되는 매개변수의 전체 목록은 다음을 참조하세요. README 프로젝트.

이것으로 설정이 완료되었습니다. 이제 공식 사이트에서 일부 어플라이언스를 다운로드할 수 있습니다. 오픈네뷸라 마켓플레이스 그리고 그로부터 가상 머신을 생성합니다.

프로젝트 링크:
https://github.com/OpenNebula/addon-linstor_un

출처 : habr.com