Linux 0.8.0의 ZFS 릴리스, Linux 커널용 ZFS 구현

약 XNUMX년 간의 개발 끝에 제시된 석방하다 Linux 0.8.0의 ZFS, Linux 커널용 모듈로 패키징된 ZFS 파일 시스템의 구현입니다. 이 모듈은 2.6.32에서 5.1까지의 Linux 커널에서 테스트되었습니다. 준비된 설치 패키지 출시 예정 준비될 것이다 Debian, Ubuntu, Fedora, RHEL/CentOS를 포함한 주요 Linux 배포용. Linux 모듈의 ZFS는 Debian, Ubuntu, Gentoo, Sabayon Linux 및 ALT Linux 배포판에 이미 포함되어 있습니다.

Linux의 ZFS의 일부로 파일 시스템 작동 및 볼륨 관리자 기능과 관련된 ZFS 구성 요소의 구현이 준비되었습니다. 특히 SPA(Storage Pool Allocator), DMU(Data Management Unit), ZVOL(ZFS Emulated Volume) 및 ZPL(ZFS POSIX Layer) 구성 요소가 구현됩니다. 또한 이 프로젝트는 ZFS를 Lustre 클러스터 파일 시스템의 백엔드로 사용할 수 있는 기능을 제공합니다. 이 프로젝트의 작업은 OpenSolaris 프로젝트에서 가져온 원본 ZFS 코드를 기반으로 하며 Illumos 커뮤니티의 개선 및 수정으로 강화되었습니다. 이 프로젝트는 미국 에너지부와의 계약에 따라 리버모어 국립 연구소 직원들의 참여로 개발되고 있습니다.

이 코드는 GPLv2와 호환되지 않는 무료 CDDL 라이센스로 배포됩니다. GPLv2와 CDDL 라이센스로 코드를 혼합하는 것은 허용되지 않기 때문에 Linux의 ZFS가 Linux 커널의 주요 분기에 통합되는 것을 허용하지 않습니다. 이 라이선스 비호환성을 피하기 위해 전체 제품을 CDDL 라이선스에 따라 코어와 별도로 제공되는 별도로 로드 가능한 모듈로 배포하기로 결정했습니다. Linux 코드베이스에서 ZFS의 안정성은 다른 Linux용 파일 시스템과 비슷한 것으로 평가됩니다.

주요 변경 사항 :

• 파일 시스템 및 파티션 수준에서 저장된 데이터의 암호화에 대한 내장 지원을 추가했습니다. 기본 암호화 알고리즘은 aes-256-ccm입니다. 암호화 키를 로드하기 위해 "zfs load-key" 명령이 제안되었습니다.
• 'zfs send' 및 'zfs receive' 명령을 실행할 때 암호화된 데이터를 전송하는 기능을 구현했습니다. “-w” 옵션을 지정하면 풀에서 이미 암호화된 데이터를 중간 복호화 없이 그대로 다른 풀로 전송한다. 이러한 복사를 통해 데이터는 발신자의 키에 의해 보호된 상태로 유지되므로 신뢰할 수 없는 시스템에 대한 백업에 이 모드를 사용할 수 있습니다(수신자가 손상된 경우 공격자는 키 없이 데이터에 액세스할 수 없음).
• 개별적으로 그리고 미러의 일부로 연결된 스토리지 풀에서 기본 드라이브를 제거하기 위한 지원이 추가되었습니다. 제거는 "zpool remove" 명령으로 수행됩니다. 삭제 프로세스는 제외된 드라이브의 데이터를 풀의 나머지 기본 드라이브로 복사합니다.
• 저장된 특정 시점에 대한 추가 변경 사항을 롤백할 수 있는 기능과 함께 풀의 현재 상태를 저장하는 "zpool checkpoint" 명령이 추가되었습니다(전체 풀의 스냅샷이 생성됨). 이 기능은 잠재적으로 위험한 복잡한 관리 작업을 수행하는 과정에서 유용할 수 있습니다. 정상적인 조건에서는 되돌릴 수 없는 변경(예: 새 ZFS 기능에 대한 플래그 활성화 또는 데이터 지우기)이 발생합니다.
• 더 이상 사용하지 않는 섹터에 대해 풀에서 사용되는 드라이브에 알리기 위해 "zpool trim" 명령이 추가되었습니다. TRIM 작업을 사용하면 SSD 드라이브의 효율성을 높이고 성능 저하를 방지할 수 있습니다. TRIM 명령 전송의 지속적인 백그라운드 프로세스를 활성화하기 위해 새로운 "autotrim" 속성이 제안되었습니다.
• "zpool initialize" 명령을 추가하여 할당되지 않은 모든 디스크 공간을 초기화하여 첫 번째 액세스 시 성능 저하 없이 즉시 사용할 수 있도록 합니다(예: VMware VMDK와 같은 가상화된 스토리지를 호스팅할 때).
• 이전에 사용 가능한 사용자 및 그룹 수준 할당량 외에도 회계 및 프로젝트 수준 할당량에 대한 지원이 추가되었습니다. 본질적으로 프로젝트는 별도의 식별자(프로젝트 ID)와 연결된 개체의 별도 공간입니다. 바인딩은 'chattr -p' 작업 또는 속성 상속을 통해 정의됩니다. 프로젝트 관리를 위해 "zfs project" 및 "zfs projectspace" 명령이 제공되어 프로젝트 생성을 관리하고 프로젝트에 대한 디스크 공간 제한을 설정할 수 있습니다.
• ZFS로 다양한 작업을 자동화하기 위해 Lua 스크립트를 생성하는 기능이 추가되었습니다. 스크립트는 "zpool program" 명령을 사용하여 특수 격리된 환경에서 실행됩니다.
• 새 라이브러리 구현 피즈프스, Python 애플리케이션에서 ZFS를 관리하기 위한 안정적인 API를 제공합니다. 라이브러리는 libzfs_core 주변의 래퍼이며 동일한 기능 세트를 제공하지만 더 가까운 Python 유형을 사용합니다.
• arcstat, arcsummary 및 dbufstat 유틸리티는 Python 3과 호환됩니다. arcstat.py, arc_summary.py 및 dbufstat.py 유틸리티는 ".py" 확장자가 없는 버전으로 이름이 변경되었습니다.
• 버퍼링 및 캐시 우회 없이 데이터에 액세스할 수 있는 Linux Direct IO(O_DIRECT) 커널 인터페이스에 대한 지원이 추가되었습니다.
• 성능 최적화 도입:
  • "scrub" 및 "resilver" 명령 작업이 두 단계로 분할되어 가속화되었습니다. 독서);
  • Allocation 클래스에 대한 지원 추가,
    상대적으로 작은 SSD를 풀링하고 메타데이터, DDT 데이터 및 작은 파일 블록과 같이 일반적으로 사용되는 특정 유형의 블록만 저장하는 데 사용할 수 있습니다.

  • 다음과 같은 관리 명령의 성능 향상
    작업에 필요한 메타데이터를 캐싱하여 "zfs list" 및 "zfs get"

  • 각 metaslab 그룹에 대해 별도의 할당자 프로세스를 실행하여 블록 할당 작업의 병렬화에 대한 지원을 추가했습니다. 기존 시스템에서는 5-10%의 성능 향상이 있지만 대규모 시스템(8 128GB SSD, 24코어 NUMA, 256GB RAM)에서는 블록 할당 작업의 증가가 25%에 달할 수 있습니다.
  • "resilver" 명령 실행 지연 가능성 추가(드라이브 구성 변경을 고려하여 데이터 배포 재구축) - 새 작업을 시작할 때 이전 작업이 아직 완료되지 않은 경우 새 핸들러는 다음 이후에만 실행을 시작합니다. 이전 것이 끝났습니다.
  • ZIL(ZFS Intent Log)에 최적화가 추가되어 스토리지에서 아직 처리 중인 블록이 있을 때 블록을 생성하고 처리할 수 있습니다.
  • 시스템의 파티션(zvol) 등록 시간이 단축되었습니다. 풀에 많은 파티션이 포함된 경우 "zpool import"를 수행한 후 즉시 사용할 수 있습니다.
  • Intel QAT(Quick Assist Technology) 칩을 사용한 AES-GSM 암호화 작업 및 SHA256 해시의 하드웨어 가속 계산에 대한 지원이 추가되었습니다. Intel C62x 칩셋 및 CPU Atom C3000의 하드웨어 가속에 대한 지원이 추가되었습니다.

출처 : opennet.ru