drbd+ocfs2 기반의 소규모 웹 클러스터를 위한 클러스터 스토리지

우리가 이야기할 내용:
drbd+ocfs2 솔루션을 기반으로 두 서버에 대한 공유 스토리지를 신속하게 배포하는 방법.

누구에게 유용할까요?
이 튜토리얼은 시스템 관리자와 스토리지 구현 방법을 선택하거나 솔루션을 시도하려는 모든 사람에게 유용합니다.

우리는 어떤 결정을 거부했으며 그 이유는 무엇입니까?

종종 우리는 소규모 웹 클러스터에서 우수한 읽기-쓰기 성능을 갖춘 공유 스토리지를 구현해야 하는 상황에 직면합니다. 우리는 프로젝트에 공유 스토리지를 구현하기 위해 다양한 옵션을 시도했지만 여러 지표에서 동시에 우리를 만족시킬 수 있는 것은 거의 없었습니다. 이제 그 이유를 알려드리겠습니다.

• Glusterfs는 읽기 및 쓰기 성능이 만족스럽지 못했으며, 많은 수의 파일을 동시에 읽는 데 문제가 있었고 CPU 부하도 높았습니다. 파일 읽기 문제는 브릭에서 파일에 직접 액세스하여 해결할 수 있지만 항상 적용 가능한 것은 아니며 일반적으로 올바르지 않습니다.

• Ceph는 2~4개의 서버가 있는 프로젝트, 특히 프로젝트가 이후에 유지 관리되는 경우 해로울 수 있는 과도한 복잡성을 좋아하지 않았습니다. 다시 말하지만, glusterfs와 마찬가지로 별도의 스토리지 클러스터를 구축해야 하는 심각한 성능 제한이 있습니다.

• 하나의 NFS 서버를 사용하여 공유 스토리지를 구현하면 내결함성 측면에서 의문이 제기됩니다.

• s3는 특정 범위의 작업에 대해 널리 사용되는 탁월한 솔루션이지만 범위를 좁히는 파일 시스템은 아닙니다.

• lsyncd. 이미 "비파일 시스템"에 대해 이야기하기 시작했다면 이 인기 있는 솔루션을 살펴보는 것이 좋습니다. 양방향 교환에 적합하지 않을 뿐만 아니라(정말 원한다면 가능합니다), 많은 수의 파일에서는 안정적으로 작동하지 않습니다. 모든 것에 대한 좋은 추가 사항은 단일 스레드라는 것입니다. 그 이유는 프로그램의 아키텍처에 있습니다. 즉, inotify를 사용하여 시작 시 및 재검색 중에 할당하는 작업 개체를 모니터링합니다. rsync는 전송 매체로 사용됩니다.

튜토리얼: drbd+ocfs2를 기반으로 공유 스토리지를 배포하는 방법

우리에게 가장 편리한 솔루션 중 하나는 링크였습니다. ocfs2+drbd. 이제 솔루션 데이터베이스를 기반으로 두 서버의 공유 스토리지를 신속하게 배포하는 방법을 알려 드리겠습니다. 하지만 먼저 구성 요소에 대해 조금 설명하겠습니다.

DRBD - 블록 단위로 서버 간에 데이터를 복제할 수 있는 표준 Linux 배포판의 스토리지 시스템입니다. 주요 응용 프로그램은 내결함성 스토리지를 구축하는 것입니다.

OCFS2 - 여러 시스템에서 동일한 저장소를 공유하여 사용하는 파일 시스템입니다. Linux 배포판에 포함되어 있으며 FS 작업을 위한 커널 모듈 및 사용자 공간 도구입니다. OCFS2는 DRBD뿐만 아니라 다중 연결이 가능한 iSCSI에서도 사용할 수 있습니다. 이 예에서는 DRBD를 사용합니다.

모든 작업은 우분투 서버 18.04에서 최소 구성으로 수행됩니다.

1단계. DRBD 구성:

/etc/drbd.d/drbd0.res 파일에서 가상 블록 장치 /dev/drbd0을 설명합니다.

resource drbd0 {
    syncer { rate 1000M; }
    net {
        allow-two-primaries;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
    }
    startup { become-primary-on both; }
    on drbd1 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.192:7789;
}
    on drbd2 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.193:7789;
}
}

메타디스크 내부 — 동일한 블록 장치를 사용하여 메타데이터 저장
장치 /dev/drbd0 — drbd 볼륨에 대한 경로로 /dev/drbd0을 사용합니다.
디스크 /dev/vdb1 - /dev/vdb1을 사용하세요.
동기화 장치 {속도 1000M; } — 기가비트 채널 대역폭을 사용합니다.
두 개의 기본 허용 - 두 개의 기본 서버에서 변경 사항을 적용할 수 있게 해주는 중요한 옵션입니다.
이후-sb-0pri, 이후-sb-1pri, 이후-sb-2pri — 스플릿브레인이 감지될 때 노드의 작업을 담당하는 옵션입니다. 자세한 내용은 설명서에서 확인할 수 있습니다.
둘 다에서 기본이 됨 — 두 노드를 모두 기본으로 설정합니다.

우리의 경우 처리량이 10기가비트인 전용 가상 네트워크를 갖춘 두 개의 완전히 동일한 VM이 있습니다.

이 예에서 두 클러스터 노드의 네트워크 이름은 drbd1 및 drbd2입니다. 올바른 작동을 위해서는 /etc/hosts에 있는 호스트의 이름과 IP 주소를 일치시켜야 합니다.

10.10.10.192 drbd1
10.10.10.193 drbd2

2단계. 노드 설정:

두 서버 모두에서 다음을 실행합니다.

drbdadm create-md drbd0

modprobe drbd
drbdadm up drbd0
cat /proc/drbd

우리는 다음을 얻습니다:

동기화를 시작할 수 있습니다. 첫 번째 노드에서 다음을 실행해야 합니다.

drbdadm primary --force drbd0

상태를 살펴보겠습니다.

cat /proc/drbd

좋습니다. 동기화가 시작되었습니다. 우리는 끝까지 기다렸다가 사진을 봅니다.

3단계. 두 번째 노드에서 동기화를 시작합니다.

drbdadm primary --force drbd0

우리는 다음을 얻습니다:

이제 두 서버에서 drbd에 쓸 수 있습니다.

4단계. ocfs2를 설치하고 구성합니다.

우리는 매우 간단한 구성을 사용할 것입니다:

cluster:
     node_count = 2
     name = ocfs2cluster

node:
     number = 1
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.192
     name = drbd1

node:
     number = 2
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.193
     name = drbd2

에 적어야 합니다. /etc/ocfs2/cluster.conf 두 노드 모두에서.

모든 노드의 drbd0에 FS를 생성합니다.

mkfs.ocfs2 -L "testVol" /dev/drbd0

여기서는 기본 매개변수를 사용하여 drbd0에 testVol이라는 레이블이 있는 파일 시스템을 만들었습니다.

/etc/default/o2cb에서 설정해야 합니다(구성 파일에서와 같이).

O2CB_ENABLED=true 
O2CB_BOOTCLUSTER=ocfs2cluster 

각 노드에서 실행합니다.

o2cb register-cluster ocfs2cluster

그런 다음 자동 실행에 필요한 모든 장치를 켜고 추가합니다.

systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

이 중 일부는 설정 프로세스 중에 이미 실행 중입니다.

5단계. 두 노드 모두에서 fstab에 마운트 지점을 추가합니다.

/dev/drbd0 /media/shared ocfs2 defaults,noauto,heartbeat=local 0 0

예배 규칙서 /미디어/공유 사전에 생성되어야 합니다.

여기서는 noauto 옵션을 사용합니다. 이는 시작 시 파일이 마운트되지 않음을 의미하며(저는 systemd를 통해 네트워크 파일을 마운트하는 것을 선호합니다) heartbeat=local은 각 노드에서 하트비트 서비스를 사용한다는 의미입니다. 대규모 클러스터에 더 적합한 글로벌 하트비트도 있습니다.

다음으로 마운트할 수 있습니다. /미디어/공유 콘텐츠 동기화를 확인하세요.

완료! 결과적으로 우리는 확장성과 적절한 성능을 갖춘 어느 정도 내결함성 스토리지를 얻게 됩니다.

출처 : habr.com