CEPH 경험

하나의 디스크에 맞는 것보다 더 많은 데이터가 있는 경우 RAID에 대해 생각할 때입니다. 어렸을 때 저는 장로들로부터 "언젠가 RAID는 과거의 일이 될 것이고 객체 스토리지는 세상을 범람시킬 것이며 CEPH가 무엇인지조차 모릅니다"라는 말을 자주 들었습니다. 자신의 클러스터를 만들고 있었습니다. 실험의 목적은 ceph의 내부 구조를 익히고 응용 범위를 이해하는 것이었습니다. 중소 기업이 아니라 중소기업에 ceph를 도입하는 것이 얼마나 정당합니까? 수년간의 운영과 몇 번의 돌이킬 수 없는 데이터 손실 후에 모든 것이 그렇게 단순하지 않다는 미묘함에 대한 이해가 생겼습니다. CEPH의 기능은 광범위한 배포에 장애가 되고 이로 인해 실험이 중단되었습니다. 아래는 취한 모든 단계, 얻은 결과 및 도출된 결론에 대한 설명입니다. 지식이 풍부한 사람들이 경험을 공유하고 몇 가지 사항을 설명하면 감사하겠습니다.

참고: 해설자들은 전체 기사를 수정해야 하는 일부 가정에서 심각한 오류를 지적했습니다.

CEPH 전략

CEPH 클러스터는 임의 크기의 임의 수 K개의 디스크를 결합하고 데이터를 저장하며 각 조각(기본적으로 4MB)을 주어진 수 N번 복제합니다.

두 개의 동일한 디스크가 있는 가장 간단한 경우를 고려하십시오. RAID 1 또는 N=2인 클러스터를 어셈블할 수 있습니다. 결과는 동일합니다. 2개의 디스크가 있고 크기가 다른 경우 N=1로 클러스터를 구성하는 것이 쉽습니다. 일부 데이터는 디스크 2과 1에, 일부는 디스크 3과 2에, 일부는 3와 5에 있습니다. , RAID는 그렇지 않습니다(이러한 RAID를 수집할 수는 있지만 변태일 것입니다). 더 많은 디스크가 있으면 RAID 5를 만들 수 있습니다. CEPH에는 개발자의 초기 개념과 모순되는 erasure_code라는 아날로그가 있으므로 고려되지 않습니다. RAID 3는 디스크 수가 적고 모두 양호한 상태라고 가정합니다. 하나가 실패하면 나머지는 디스크가 교체되고 데이터가 복원될 때까지 버텨야 합니다. N>=XNUMX인 CEPH는 특히 하나의 데이터 사본을 저장하기 위해 여러 개의 양호한 디스크를 유지하고 나머지 XNUMX~XNUMX개의 사본을 많은 수의 오래된 디스크에 저장하는 경우 오래된 디스크의 사용을 권장합니다. 지금은 새 디스크가 살아 있기 때문에 안전합니다. 문제가 없으며 그 중 하나가 파손되면 서비스 수명이 XNUMX년 이상인 XNUMX개의 디스크가 동시에 실패할 가능성이 매우 낮습니다. 이벤트.

사본 배포에는 미묘함이 있습니다. 기본적으로 데이터는 더 많은(디스크당 ~100개) PG 배포 그룹으로 나뉘며 각 그룹은 일부 디스크에 복제된다고 가정합니다. K=6, N=2라고 가정하면 두 개의 디스크에 오류가 발생하면 확률 이론에 따라 이 두 디스크에 적어도 하나의 PG가 있을 것이기 때문에 데이터 손실이 보장됩니다. 그리고 한 그룹이 손실되면 풀의 모든 데이터에 액세스할 수 없게 됩니다. 디스크를 세 쌍으로 나누어 한 쌍의 디스크에만 데이터를 저장하도록 허용하면 이러한 분포도 어느 한 디스크의 장애에 내성이 있지만 두 디스크가 실패하면 데이터 손실 확률이 100%가 아니며, 그러나 3/15, 고장난 경우에도 디스크 12개 - 20/XNUMX만. 따라서 데이터 분포의 엔트로피는 내결함성에 기여하지 않습니다. 또한 파일 서버의 경우 여유 RAM이 응답성을 크게 높인다는 점에 유의하십시오. 각 노드의 메모리가 많을수록 모든 노드의 메모리가 많을수록 속도가 빨라집니다. 이것은 의심할 여지없이 단일 서버에 비해 클러스터의 이점이며, 게다가 매우 적은 양의 메모리가 내장된 하드웨어 NAS입니다.

따라서 CEPH는 구식 장비에 대한 최소한의 투자로 확장할 수 있는 수십 TB의 안정적인 스토리지 시스템을 만드는 좋은 방법입니다(물론 비용이 필요하지만 상용 스토리지 시스템에 비해 작음).

클러스터 구현

실험을 위해 폐기된 컴퓨터 Intel DQ57TM + Intel core i3 540 + 16GB RAM을 사용하겠습니다. 2개의 10TB 디스크를 RAIDXNUMX과 같은 형식으로 구성하고 성공적인 테스트 후에 두 번째 노드와 동일한 수의 디스크를 추가합니다.

리눅스를 설치합니다. 배포는 사용자 지정 가능하고 안정적이어야 합니다. Debian과 Suse는 요구 사항에 적합합니다. Suse에는 모든 패키지를 비활성화할 수 있는 보다 유연한 설치 프로그램이 있습니다. 안타깝게도 시스템을 손상시키지 않고 어떤 것을 버릴 수 있는지 이해할 수 없었습니다. debootstrap buster를 통해 데비안을 설치합니다. min-base 옵션은 드라이버가 없는 작동하지 않는 시스템을 설치합니다. 풀버전과 비교했을 때 크기 차이는 거슬릴 정도로 크지 않다. 실제 머신에서 작업을 하고 있기 때문에 가상 머신에서와 마찬가지로 스냅샷을 찍고 싶습니다. LVM 또는 btrfs(또는 xfs 또는 zfs - 차이가 크지 않음)는 그러한 기회를 제공합니다. 스냅샷은 LVM의 장점이 아닙니다. btrfs를 설치합니다. 그리고 부트로더는 MBR에 있습니다. 50MB 디스크를 FAT 파티션으로 막는 것은 디스크를 1MB 파티션 테이블 영역으로 밀어넣고 시스템을 위한 모든 공간을 할당할 수 있을 때 의미가 없습니다. 디스크에서 700MB가 걸렸습니다. SUSE의 기본 설치 용량은 1.1GB 또는 1.4GB 정도인 것 같습니다. 기억이 나지 않습니다.

CEPH를 설치합니다. Debian 저장소의 버전 12는 무시하고 사이트 15.2.3에서 직접 연결합니다. 다음 주의 사항과 함께 "CEPH 수동 설치" 섹션의 지침을 따릅니다.

• 저장소를 연결하기 전에 gnupg wget ca-certificates를 설치해야 합니다.
• 리포지토리를 연결한 후 클러스터를 설치하기 전에 패키지 설치는 생략됩니다. apt -y --no-install-recommends install ceph-common ceph-mon ceph-osd ceph-mds ceph-mgr
• CEPH 설치 시 알 수 없는 이유로 lvm2 설치를 시도합니다. 원칙적으로 유감스럽지 않지만 설치가 실패하므로 CEPH도 설치되지 않습니다.

  이 패치는 다음과 같은 도움이 되었습니다.

  cat << EOF >> /var/lib/dpkg/status
  Package: lvm2
  Status: install ok installed
  Priority: important
  Section: admin
  Installed-Size: 0
  Maintainer: Debian Adduser Developers <[email protected]>
  Architecture: all
  Multi-Arch: foreign
  Version: 113.118
  Description: No-install
  EOF
  

클러스터 개요

ceph-osd - 디스크에 데이터 저장을 담당합니다. 각 디스크에 대해 개체 읽기 또는 쓰기 요청을 수락하고 실행하는 네트워크 서비스가 시작됩니다. 디스크에 두 개의 파티션이 생성됩니다. 그 중 하나는 클러스터, 디스크 번호 및 클러스터 키에 대한 정보를 포함합니다. 이 1KB 정보는 디스크를 추가할 때 한 번 생성되며 다시는 변경되지 않습니다. 두 번째 파티션에는 파일 시스템이 없으며 CEPH 이진 데이터를 저장합니다. 이전 버전의 자동 설치는 서비스 정보를 위해 100MB xfs 파티션을 생성했습니다. 디스크를 MBR로 변환하고 16MB만 할당했는데 서비스가 불평하지 않습니다. 문제 없이 xfs를 ext로 대체할 수 있다고 생각합니다. 이 파티션은 서비스가 OSD에 대한 정보를 읽고 바이너리 데이터가 저장된 블록 장치에 대한 링크를 찾는 /var/lib/…에 마운트됩니다. 이론적으로 보조 항목을 / var / lib / ...에 즉시 배치하고 전체 디스크를 데이터에 할당할 수 있습니다. ceph-deploy를 통해 OSD를 생성할 때 /var/lib/…에 파티션을 마운트하는 규칙이 자동으로 생성되고 ceph 사용자에게 원하는 블록 장치를 읽을 수 있는 권한이 할당됩니다. 수동 설치의 경우 이 작업을 직접 수행해야 하며 설명서에는 이에 대해 나와 있지 않습니다. 또한 물리적 메모리가 충분하도록 osd 메모리 대상 매개변수를 지정하는 것이 좋습니다.

ceph-mds. 낮은 수준에서 CEPH는 객체 스토리지입니다. 블록 스토리지 기능은 각 4MB 블록을 객체로 저장하는 것으로 귀결됩니다. 파일 스토리지는 동일한 원리로 작동합니다. 두 개의 풀이 생성됩니다. 하나는 메타데이터용이고 다른 하나는 데이터용입니다. 이들은 파일 시스템으로 결합됩니다. 이때 일종의 레코드가 생성되므로 파일 시스템을 삭제하고 두 풀을 모두 저장하면 복원할 수 없습니다. 블록으로 파일을 추출하는 절차가 있지만 테스트하지는 않았습니다. ceph-mds 서비스는 파일 시스템 액세스를 담당합니다. 각 파일 시스템에는 별도의 서비스 인스턴스가 필요합니다. 여러 파일 시스템의 유사성을 하나에 생성할 수 있는 "인덱스" 옵션이 있습니다. 이 역시 테스트되지 않았습니다.

ceph-mon - 이 서비스는 클러스터의 맵을 유지합니다. 여기에는 모든 OSD에 대한 정보, OSD의 PG 배포 알고리즘, 그리고 가장 중요한 모든 개체에 대한 정보가 포함됩니다(이 메커니즘의 세부 사항은 나에게 명확하지 않습니다. /var/lib/ceph/mon/…/ store.db 디렉토리에는 26MB의 큰 파일이 포함되어 있고 105개 개체의 클러스터에서 개체당 256바이트보다 조금 더 많은 것으로 나타났습니다. 그들은 거짓말을하고있어). 이 디렉터리가 손상되면 클러스터의 모든 데이터가 손실됩니다. 여기에서 CRUSH는 OSD에 따라 PG가 어떻게 위치하는지, 그리고 PG에 따라 개체가 어떻게 위치하는지 보여 준다는 결론을 내렸습니다. 개발자가 이 단어를 피하는 방법에 관계없이 개체는 데이터베이스 내부에 중앙에 저장됩니다. 결과적으로 첫째, RO 모드에서 플래시 드라이브에 시스템을 설치할 수 없습니다. 이 기지를 실시간으로 복사합니다. 모니터가 여러 개인 경우 내결함성이 자동으로 제공되지만 우리의 경우 모니터는 최대 1개, 최대 XNUMX개입니다. OSD 데이터를 기반으로 모니터를 복원하기 위한 이론적인 절차가 있습니다. 저는 여러 가지 이유로 세 번, 오류 메시지와 데이터가 세 번 없었습니다. 불행히도 이 메커니즘은 작동하지 않습니다. 우리는 미니어처 OSD 파티션을 운영하고 데이터베이스를 저장하기 위해 RAID를 조립합니다. 이는 아마도 성능에 매우 나쁜 영향을 미칠 것입니다.

rados-gw - S3 프로토콜 등을 사용하여 객체 스토리지를 내보냅니다. 많은 풀을 생성하지만 그 이유는 명확하지 않습니다. 실제로 실험하지 않았습니다.

ceph-mgr - 이 서비스를 설치하면 여러 모듈이 시작됩니다. 그 중 하나는 비활성화되지 않은 자동 크기 조정입니다. 정확한 수의 PG/OSD를 유지하기 위해 노력합니다. 비율을 수동으로 제어하려는 경우 각 풀에 대해 스케일링을 비활성화할 수 있지만 이 경우 모듈이 0으로 나누어 떨어지고 클러스터 상태가 ERROR가 됩니다. 모듈은 Python으로 작성되었으며 필요한 줄을 주석 처리하면 종료됩니다. 세부 사항을 기억하기에는 너무 게으르다.

사용 된 소스 목록 :

CEPH 설치
전체 모니터 장애에서 복구

스크립트 목록:

debootstrap을 통한 시스템 설치

blkdev=sdb1
mkfs.btrfs -f /dev/$blkdev
mount /dev/$blkdev /mnt
cd /mnt
for i in {@,@var,@home}; do btrfs subvolume create $i; done
mkdir snapshot @/{var,home}
for i in {var,home}; do mount -o bind @${i} @/$i; done
debootstrap buster @ http://deb.debian.org/debian; echo $?
for i in {dev,proc,sys}; do mount -o bind /$i @/$i; done
cp /etc/bash.bashrc @/etc/

chroot /mnt/@ /bin/bash
echo rbd1 > /etc/hostname
passwd
uuid=`blkid | grep $blkdev | cut -d """ -f 2`
cat << EOF > /etc/fstab
UUID=$uuid / btrfs noatime,nodiratime,subvol=@ 0 1
UUID=$uuid /var btrfs noatime,nodiratime,subvol=@var 0 2
UUID=$uuid /home btrfs noatime,nodiratime,subvol=@home 0 2
EOF
cat << EOF >> /var/lib/dpkg/status
Package: lvm2
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install

Package: sudo
Status: install ok installed
Priority: important
Section: admin
Installed-Size: 0
Maintainer: Debian Adduser Developers <[email protected]>
Architecture: all
Multi-Arch: foreign
Version: 113.118
Description: No-install
EOF

exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

apt -yq install --no-install-recommends linux-image-amd64 bash-completion ed btrfs-progs grub-pc iproute2 ssh  smartmontools ntfs-3g net-tools man
exit
grub-install --boot-directory=@/boot/ /dev/$blkdev
init 6

클러스터 만들기

apt -yq install --no-install-recommends gnupg wget ca-certificates
echo 'deb https://download.ceph.com/debian-octopus/ buster main' >> /etc/apt/sources.list
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add -
apt update
apt -yq install --no-install-recommends ceph-common ceph-mon

echo 192.168.11.11 rbd1 >> /etc/hosts
uuid=`cat /proc/sys/kernel/random/uuid`
cat << EOF > /etc/ceph/ceph.conf
[global]
fsid = $uuid
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
mon allow pool delete = true
mon host = 192.168.11.11
mon initial members = rbd1
mon max pg per osd = 385
osd crush update on start = false
#osd memory target = 2147483648
osd memory target = 1610612736
osd scrub chunk min = 1
osd scrub chunk max = 2
osd scrub sleep = .2
osd pool default pg autoscale mode = off
osd pool default size = 1
osd pool default min size = 1
osd pool default pg num = 1
osd pool default pgp num = 1
[mon]
mgr initial modules = dashboard
EOF

ceph-authtool --create-keyring ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
cp ceph.client.admin.keyring /etc/ceph/
ceph-authtool --create-keyring bootstrap-osd.ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
cp bootstrap-osd.ceph.keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
ceph-authtool ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add rbd1 192.168.11.11 --fsid $uuid monmap
rm -R /var/lib/ceph/mon/ceph-rbd1/*
ceph-mon --mkfs -i rbd1 --monmap monmap --keyring ceph.mon.keyring
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-mon@rbd1
systemctl start ceph-mon@rbd1
ceph mon enable-msgr2
ceph status

# dashboard

apt -yq install --no-install-recommends ceph-mgr ceph-mgr-dashboard python3-distutils python3-yaml
mkdir /var/lib/ceph/mgr/ceph-rbd1
ceph auth get-or-create mgr.rbd1 mon 'allow profile mgr' osd 'allow *' mds 'allow *' > /var/lib/ceph/mgr/ceph-rbd1/keyring
systemctl enable ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1
ceph config set mgr mgr/dashboard/ssl false
ceph config set mgr mgr/dashboard/server_port 7000
ceph dashboard ac-user-create root 1111115 administrator
systemctl stop ceph-mgr@rbd1
systemctl start ceph-mgr@rbd1

OSD 추가(일부)

apt install ceph-osd

osdnum=`ceph osd create`
mkdir -p /var/lib/ceph/osd/ceph-$osdnum
mkfs -t xfs /dev/sda1
mount -t xfs /dev/sda1 /var/lib/ceph/osd/ceph-$osdnum
cd /var/lib/ceph/osd/ceph-$osdnum
ceph auth get-or-create osd.0 mon 'profile osd' mgr 'profile osd' osd 'allow *' > /var/lib/ceph/osd/ceph-$osdnum/keyring
ln -s /dev/disk/by-partuuid/d8cc3da6-02  block
ceph-osd -i $osdnum --mkfs
#chown ceph:ceph /dev/sd?2
chown ceph:ceph -R /var/lib/ceph
systemctl enable ceph-osd@$osdnum
systemctl start ceph-osd@$osdnum

개요

CEPH의 주요 마케팅 이점은 데이터 위치를 계산하는 알고리즘인 CRUSH입니다. 모니터는 이 알고리즘을 클라이언트에 전파한 후 클라이언트가 원하는 노드와 원하는 OSD를 직접 요청합니다. CRUSH는 중앙 집중화를 제공하지 않습니다. 프린트해서 벽에 걸어둘 수도 있는 작은 파일입니다. 실습을 통해 CRUSH가 완전한 맵이 아님을 알 수 있습니다. 모든 OSD와 CRUSH를 유지하면서 모니터를 파괴하고 다시 생성하는 것은 클러스터를 복원하기에 충분하지 않습니다. 이로부터 각 모니터는 전체 클러스터에 대한 일부 메타데이터를 저장한다는 결론을 내립니다. 미미한 양의 메타데이터는 클러스터 크기에 제한을 두지 않지만 안전이 필요하므로 시스템을 플래시 드라이브에 설치하여 디스크 절약을 제거하고 노드가 XNUMX개 미만인 클러스터는 제외합니다. 선택적 기능에 대한 적극적인 개발자 정책. 미니멀리즘과는 거리가 멀다. 수준의 문서화: "그것이 무엇인지 감사하지만 매우 빈약합니다." 낮은 수준에서 서비스와 상호 작용할 수 있는 기능이 제공되지만 이 주제에 대한 문서가 너무 피상적이므로 그렇지 않을 가능성이 높습니다. 긴급 상황에서 데이터를 복구할 가능성은 거의 없습니다.

추가 조치를 위한 옵션: CEPH를 포기하고 일반적인 다중 디스크 btrfs(또는 xfs, zfs) 사용, 지정된 조건에서 작동할 수 있는 CEPH에 대한 새로운 정보 배우기, 고급 교육으로 자신의 스토리지 작성 시도 .

출처 : habr.com