LizardFS 3.13.0-rc2 클러스터 파일 시스템 업데이트

1년간의 개발 중단 끝에 재개됨 내결함성 분산 파일 시스템의 새로운 분기 작업 중 도마뱀F 3.13 и 출판 된 두 번째 릴리스 후보. 최근에 일어났다 LizardFS를 개발하는 회사의 소유주가 바뀌고 새로운 경영진이 채택되었으며 개발자가 교체되었습니다. 지난 2년 동안 해당 프로젝트는 커뮤니티에서 물러나 충분한 관심을 기울이지 않았지만, 새로운 팀은 커뮤니티와의 이전 관계를 되살리고 긴밀한 상호 작용을 구축할 계획입니다. 프로젝트 코드는 C 및 C++ 언어로 작성되었으며 배포자 GPLv3 라이센스에 따라.

리자드FS 이 분산 클러스터 파일 시스템을 사용하면 여러 서버에 데이터를 분산할 수 있지만 기존 디스크 파티션과 유사한 방식으로 작동하는 단일 대형 파티션 형태로 데이터에 대한 액세스를 제공할 수 있습니다. LizardFS로 마운트된 파티션은 POSIX 파일 속성, ACL, 잠금, 소켓, 파이프, 장치 파일, 기호 및 하드 링크를 지원합니다. 시스템에는 단일 장애 지점이 없으며 모든 구성 요소가 중복되어 있습니다. 데이터 작업의 병렬화가 지원됩니다(여러 클라이언트가 동시에 파일에 액세스할 수 있음).

내결함성을 보장하기 위해 데이터는 중복성을 통해 여러 노드에 분산되는 복제본으로 분할됩니다(여러 복사본이 서로 다른 노드에 배치됨). 노드나 드라이브에 장애가 발생하더라도 시스템은 정보 손실 없이 계속 작동하고 자동으로 데이터를 재배포합니다. 나머지 노드를 고려합니다. 스토리지를 확장하려면 유지 관리 작업을 중단하지 않고 새 노드를 연결하는 것으로 충분합니다. 시스템 자체는 데이터의 일부를 새 서버에 복제하고 새 서버를 고려하여 스토리지 균형을 유지합니다. 클러스터 크기를 줄이기 위해 동일한 작업을 수행할 수 있습니다. 시스템에서 제거되는 오래된 장비를 비활성화하기만 하면 됩니다.

데이터와 메타데이터는 별도로 저장됩니다. 작동을 위해서는 마스터-슬레이브 모드로 작동하는 메타데이터 서버 64대와 데이터 저장 서버(청크서버) 5대 이상을 설치하는 것이 좋습니다. 또한 메타데이터를 백업하기 위해 로그 서버를 사용하여 메타데이터 변경 사항에 대한 정보를 저장하고 기존의 모든 메타데이터 서버가 손상된 경우 작업을 복원할 수 있습니다. 각 파일은 최대 6MB 크기의 블록(청크)으로 나뉩니다. 블록은 선택한 복제 모드에 따라 스토리지 서버 간에 분산됩니다. 표준(개별 디렉터리와 관련된 것을 포함하여 다른 노드에 배치할 복사본 수를 명시적으로 결정 - 중요한 데이터의 경우 복사본 수를 늘릴 수 있으며 중요하지 않은 데이터 감소), XOR(RAIDXNUMX ) 및 EC(RAIDXNUMX).

스토리지는 페타바이트 크기까지 확장할 수 있습니다. 적용 분야에는 보관, 가상 머신 이미지 저장, 멀티미디어 데이터, 백업, DRC(재해 복구 센터) 및 고성능 컴퓨팅 클러스터의 스토리지로 사용이 포함됩니다. LizardFS는 모든 크기의 파일에 대해 매우 빠른 읽기 속도를 제공하며, 쓰기 시에는 대용량 및 중형 파일 전체를 쓸 때, 지속적인 수정이 없을 때, 열린 파일에 대한 집중 작업, 작은 파일 묶음.

FS의 기능 중 특정 시간의 파일 상태를 반영하는 스냅샷 지원과 "휴지통" 내장 구현이 있다는 점도 주목할 수 있습니다(파일은 즉시 삭제되지 않으며 다음 용도로 사용 가능). 당분간 회복). 파티션에 대한 액세스는 IP 주소 또는 비밀번호(NFS와 유사)로 제한될 수 있습니다. 특정 범주의 사용자에 대한 크기와 대역폭을 제한할 수 있는 할당량 및 서비스 품질 관리 메커니즘이 있습니다. 세그먼트가 서로 다른 데이터 센터에 위치하는 지리적으로 분산된 스토리지 시설을 만드는 것이 가능합니다.

LizardFS 프로젝트는 2013년에 포크로 설립되었습니다. 무스FS, Reed-Solomon 오류 수정 코드(raidzN과 유사) 기반 복제 모드, 확장된 ACL 지원, Windows 플랫폼용 클라이언트 존재, 추가 최적화(예: 클라이언트와 스토리지 서버, 가능한 경우 블록이 현재 노드와 함께 전송되고 메타데이터가 메모리에 캐시됨), 보다 유연한 구성 시스템, 데이터 미리 읽기 지원, 디렉토리 할당량 및 내부 재작업.

LizardFS 3.13.0은 3.13월 말에 출시될 예정입니다. LizardFS XNUMX의 주요 혁신은 내결함성을 보장하기 위해 합의 알고리즘을 사용하는 것입니다(장애 발생 시 마스터 서버 전환). 뗏목 (이전에 상용 제품에 사용되었던 uRaft의 자체 구현을 사용합니다.) uRaft를 사용하면 구성이 단순화되고 장애 복구 지연이 줄어들지만 최소 3개의 작업 노드가 필요하며 그 중 하나는 쿼럼에 사용됩니다.

기타 변경 사항: FUSE3 하위 시스템을 기반으로 하는 새로운 클라이언트, 오류 수정 문제 해결, nfs-ganesha 플러그인이 C 언어로 다시 작성되었습니다. 업데이트 3.13.0-rc2는 3.13 분기의 이전 테스트 릴리스를 사용할 수 없게 만든 몇 가지 중요한 버그를 수정합니다(3.12 분기에 대한 수정 사항은 아직 게시되지 않았으며 3.12에서 3.13으로의 업데이트는 여전히 완전한 데이터 손실로 이어집니다).

2020년에는 개발에 집중할 것입니다.
아가마 도마뱀, 완전히 재작성된 새로운 LizardFS 커널로, 개발자에 따르면 이 커널은 브랜치 3.12에 비해 XNUMX배 향상된 성능을 제공할 것입니다. Agama는 이벤트 기반 아키텍처, 비동기 입력/출력 기반으로 전환합니다. 아시아, 주로 사용자 공간에서 작업합니다(커널 캐싱 메커니즘에 대한 의존도를 줄이기 위해). 또한 성능 자동 조정을 지원하는 새로운 디버깅 하위 시스템과 네트워크 활동 분석기가 제공됩니다.

LizardFS 클라이언트는 쓰기 작업 버전 관리에 대한 완전한 지원을 추가하여 재해 복구의 안정성을 향상시키고, 여러 클라이언트가 동일한 데이터에 대한 액세스를 공유할 때 발생하는 문제를 해결하며, 상당한 성능 향상을 가능하게 합니다. 클라이언트는 사용자 공간에서 작동하는 자체 네트워크 하위 시스템으로 전송됩니다. Agama를 기반으로 한 LizardFS의 첫 번째 작업 프로토타입은 2020년 XNUMX분기에 준비될 예정입니다. 동시에 그들은 LizardFS를 Kubernetes 플랫폼과 통합하기 위한 도구를 구현할 것을 약속합니다.

출처 : opennet.ru