NILFS2 - /home을 위한 방탄 파일 시스템

아시다시피 문제가 발생하면 반드시 발생합니다. 아마도 최근의 중요한 파일이 실수로 지워졌거나 텍스트 편집기에서 텍스트가 실수로 선택되어 삭제된 경우가 누구나 있을 것입니다.

귀하가 호스팅 업체이거나 웹사이트 소유자라면 아마도 사용자 계정이나 웹사이트가 해킹당한 적이 있을 것입니다. 이러한 경우 연대순을 복원하고 공격자가 사용한 진입 방법과 취약점을 찾는 것이 중요합니다.

NILFS2 파일 시스템은 이러한 문제를 해결하는 데 적합합니다.

버전 2.6.30부터 Linux 커널에 존재했습니다.

이 파일 시스템의 특징은 버전 제어 시스템과 유사하다는 것입니다. 언제든지 시스템 상태를 롤백하고 얼마 전의 상태를 확인할 수 있습니다.

이 기능을 제공하기 위해 Cron 스크립트를 구성하거나 스냅샷을 찍는 등의 작업이 필요하지 않습니다. NILFS2 파일 시스템은 이 모든 작업을 자체적으로 수행합니다. 이전 데이터를 덮어쓰지 않으며, 여유 디스크 공간이 충분할 경우 항상 디스크의 새 영역에 씁니다. Copy-on-Write 원칙을 완벽하게 준수합니다.

실제로 파일을 변경하면 파일 시스템의 새로운 스냅샷이 자동으로 생성되므로 이 FS를 타임머신으로 사용하여 파일 상태를 되돌릴 수 있습니다.

이야기

NILFS2는 다음과 같은 깊이에서 개발되었습니다. 일본 전신 전화 주식회사, 실제로는 국영(지배지분 보유)이자 일본 최대 규모의 통신회사입니다. 보다 구체적으로, 리더십 하의 CyberSpace 연구소에서는 코니시 류스케.

정확히 무엇을 위해 개발되었는지는 알 수 없지만 "타임머신" 기능을 갖춘 이러한 FS는 정보 기관이 전체 그림을 재생하기 위해 파헤치고 싶어할 수 있는 데이터를 저장하는 데 이상적이라고 가정할 수 있습니다. SMS, 이메일 등....

NILFS2는 잠재적으로 내부 보안 서비스를 위한 매우 귀중한 도구입니다. 이를 통해 메일 데이터베이스에서 삭제된 모든 편지를 복구할 수 있으며, 나중에 파일을 삭제하거나 변경하여 위장하려고 시도할 수 있는 직원의 정체를 드러낼 수 있습니다.

전체 통신 기록을 어떻게 추적할 수 있나요?Linux 서버(내부 보안 목적으로 NILFS2를 설치해야 하는 곳)에서는 이메일을 저장하는 파일 방법이 이메일 메시지를 저장하는 데 자주 사용됩니다. 소위 형식 메일 디렉토리. 넣어도 충분해요 택배 메일 서버 Maildir에서 메일 저장소를 구성합니다. 다른 형식 엠박스 개별 메시지로 쉽게 구문 분석할 수 있는 대용량 텍스트 파일입니다.

메일 서버가 데이터베이스를 사용하는 경우 NILFS2는 데이터베이스 변경의 정확한 시점을 복원하고 이러한 순간에 데이터베이스를 복원하는 기능을 가능하게 합니다. 그런 다음 데이터베이스 도구를 사용하여 해당 시점에 그 안에 무엇이 있었는지 확인해야 합니다.

그러나 문제가 발생했습니다. 일본 정부가 모든 사람을 모니터링하는 것에 대한 마음을 바꾸었거나(Yarovaya 원칙에 따라) 기존 HDD에서 NILFS2의 성능이 동등 이하로 판명되었고 NILFS2는 GPL 라이센스에 따라 출시되었으며 매우 빠르게 Linux 커널에 들어갔습니다. 우수한 일본어로 작성된 코드에 대한 특별한 불만은 없었으며 Linux 커널 개발자에게는 해당 코드가 없었습니다.

NILFS2는 어떤가요?

사용 관점에서: 버전 제어 시스템에서 SVN. 각 FS 체크포인트는 삭제, 파일 내용 변경, 액세스 권한 변경 등 변경 사항이 있을 때마다 사용자 모르게 자동으로 수행되는 커밋입니다. 각 커밋에는 선형적으로 증가하는 숫자가 있습니다.

프로그래머의 관점에서 보면: 순환 버퍼입니다. 파일 시스템은 변경 사항을 누적하여 약 8MB(2000 * 4096, 여기서 2000은 블록의 요소 수이고 4096은 메모리 페이지 크기)에 해당하는 청크로 기록합니다. 전체 디스크는 이러한 청크로 나뉩니다. 녹음은 순차적으로 진행됩니다. 여유 공간이 부족해지면 가장 오래된 스냅샷이 삭제되고 청크가 덮어쓰여집니다.

기본 NILFS2 혜택

• 버전 관리!!!
• 오류 후 파일 시스템을 복원하는 절차는 간단합니다. 로드할 때 올바른 체크섬을 가진 마지막 청크를 검색하고 여기에 슈퍼블록을 설치합니다. 이는 거의 즉각적인 작업입니다.
• 녹음은 항상 선형적으로 진행되므로 다음과 같습니다.
  • 느린 무작위 쓰기가 있는 SSD에서 실행할 때 좋은 결과를 보여줄 수 있습니다.
  • NILFS2는 쓰기 곱셈 요소가 거의 없기 때문에 SSD 리소스를 절약합니다.
    더 정확하게는 2를 넘지 않습니다.사실 전체 디스크를 주기적으로 다시 쓸 때 NILFS2는 변경 불가능한 데이터를 새로운 조각(청크)으로 전송합니다.

    디스크에 변경되지 않는 데이터가 10% 있다면 10번의 전체 다시 쓰기로 쓰기가 1% 증가합니다. 디스크를 50회 완전히 다시 작성하면 장치가 50% 가득 찼을 때 1% 증가합니다.

    최대 쓰기 이득은 2이다. 모든 것이 순차적으로 기록된다는 점을 고려하면 매우 낮은 수치이다. 일반적으로 쓰기 애니메이션은 4096바이트 섹터를 사용하는 기존 조각화된 파일 시스템보다 적습니다. (영감받은 생각 논평).

• 원격 NILFS2 FS에 대한 복제 구현의 잠재적 용이성

/home에 대한 NILFS2

Unix 계열 운영 체제에서는 일반적으로 사용자 데이터가 저장되는 /home 폴더가 있습니다. 다양한 프로그램이 이 폴더에 사용자별 설정을 저장합니다.

사용자가 아니라면 누가 가장 자주 실수를 합니까? 따라서 그들이 말했듯이 하나님은 /home에서 NILFS2를 사용하도록 명령하셨습니다.

게다가 SSD가 널리 사용됨에 따라 이제 CoW 파일 시스템을 사용할 때 심각한 성능 저하에 대해 걱정할 필요가 없습니다.

예, ZFS 및 BTRFS에서 원하는 만큼 자주 FS 스냅샷을 생성할 수 있지만 손실된 파일 변경 사항이 스냅샷 사이에 발생할 위험이 항상 있습니다. 그리고 사진은 여전히 ​​관리해야 합니다. 오래된 사진은 삭제해야 합니다. NILFS2에서는 이 모든 것이 말 그대로 몇 초마다 자동으로 발생합니다.

lvcreate를 사용하여 논리 볼륨을 생성했습니다(nvme 볼륨 그룹, 씬 풀 씬). 나중에 쉽게 확장할 수 있으므로 lvm 볼륨에 생성하는 것이 좋습니다. 적절한 버전 깊이를 위해 NILFS50를 사용하여 2%의 여유 디스크 공간을 확보하는 것이 좋습니다.

lvcreate -V10G -T nvme/thin -n home

NILFS2로 포맷했습니다.

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing file system initial data to the device
      Blocksize:4096  Device:/dev/nvme/home1  Device Size:10737418240
File system initialization succeeded !!

그런 다음 현재 /home의 모든 데이터를 복사해야 합니다.

컴퓨터를 부팅한 직후, 루트 사용자로 내 계정에 로그인하기 전에 이 작업을 수행했습니다. 내 사용자로 로그인하면 일부 프로그램이 내 사용자의 /home/user 폴더에 있는 소켓과 파일을 열어서 깨끗한 복사본을 만들기 어렵게 됩니다. 아시다시피 루트 사용자의 홈 폴더는 일반적으로 /root 경로에 있으므로 /home 파티션에서는 파일이 열리지 않습니다.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

마지막 줄은 다음을 참조하세요. статью.

다음으로 /home의 파일 시스템이 마운트된 /etc/fstab을 다음과 같이 편집합니다.

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

옵션 noatime 각 파일 액세스에 따라 atime이 변경되지 않도록 성능을 향상시키는 데 필요합니다. 다음으로 재부팅합니다.

NILFS2의 이미지 유형.

삭제 면역이 없는 일반 스냅샷을 체크포인트 또는 복구 지점이라고 합니다.
자동 삭제로부터 보호되는 스냅샷을 스냅샷이라고 부르며 간단히 스냅샷이라고 합니다.

체크포인트 보기는 lscp 명령을 사용하여 수행됩니다.

스냅샷 보기 lscp -s

다음을 사용하여 언제든지 스냅샷과 체크포인트를 직접 만들 수 있습니다.

mkcp [-s] устройство

데이터를 복원합니다.

NILFS를 사용하면 메인 FS 브랜치 작업과 동시에 원하는 만큼 이전 스냅샷을 마운트할 수 있습니다. 하지만 읽기 모드에서만 가능합니다.

모든 것이 이렇게 정리되어 있습니다. NILFS2가 만드는 일반 체크포인트는 언제든지 자동으로 삭제될 수 있으므로(디스크 공간이 부족하거나 nilfs_cleanerd 규칙에 따라) 설치하기 전에 체크포인트를 스냅샷으로 변환하거나 러시아어로 스냅샷을 캡처해야 합니다.

chcp ss номер_чекпоинта

그런 다음 다음과 같이 스냅샷을 마운트할 수 있습니다.

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

그런 다음 복원된 파일을 스냅샷에서 /home으로 복사합니다.
그런 다음 나중에 자동 가비지 수집기가 오래된 데이터를 삭제할 수 있도록 스냅샷에서 삭제할 수 없는 플래그를 제거합니다.

chcp cp номер_чекпоинта

NILFS2용 유틸리티

그러나 이것이 문제입니다. 예, 물론 파일 시스템을 생성하고, 온라인으로 크기를 변경하고, 챌린지 포인트 목록을 보고, 생성 및 삭제할 수 있습니다. nilfs2-utils 패키지는 최소한의 신사 세트를 제공합니다.

NTT가 자금을 삭감했기 때문에 파일 변경 내역을 표시하거나 스냅샷 간 차이를 만들 수 있는 빠른 하위 수준 유틸리티가 없습니다.

내 n2u 유틸리티

이 공백을 채우기 위해 나는 글을 썼다 귀하의 n2u 유틸리티, 특정 파일/디렉토리에 대한 변경 내역을 표시할 수 있습니다.

n2u log filename

출력은 다음과 같습니다.

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

선택한 구현 방법에 대해 매우 빠르게 작동합니다. 이분법을 사용하여 파일 간의 차이점을 찾고, 다른 스냅샷의 파일/디렉토리를 빠르게 마운트하고 비교합니다.

키를 사용하여 다양한 체크포인트를 설정할 수 있습니다. -cp CP1:CP2 또는 -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

특정 파일이나 디렉터리에 대한 체크포인트 간의 차이점도 확인할 수 있습니다.

n2u diff -r cp1:cp2 filename

전체 변경 연대순을 표시할 수 있습니다. 즉, 특정 파일/디렉토리의 체크포인트 간의 모든 차이점을 표시할 수 있습니다.

n2u blame [-r cp1:cp2] filename

이 명령의 날짜 간격도 지원됩니다.

개발자들에게 외침

하브레에는 전문가가 많습니다. NILFS2를 마무리해주세요. 복제, 개정 간 낮은 수준의 빠른 차이, 재링크 및 기타 기능을 수행하세요!

참조

NILFS 공식 웹사이트.

저장소:
NILFS2.
NILFS2 유틸리티 및 모듈.

뉴스레터:
NILFS2 개발자를 위한 이메일 뉴스레터. linux-nilfs 구독의 ID입니다.
뉴스레터 아카이브.

nilfs_cleanerd 설정 가이드.
EXT4, Btrfs, XFS 및 NILFS2 성능 테스트 벤치마킹.

감사해요:

• NILFS2 개발자: 코니시 류스케, 사토 코지, 카미무라 나루히코, 키하라 세이지, 아마가이 요시지, 히후미 히사시, 모리아이 사토시. 다른 주요 기여자는 Andreas Rohner, Dan McGee, David Arendt, David Smid, dexen deVries, Dmitry Smirnov, Eric Sandeen, Jiro SEKIBA, Matteo Frigo, Hitoshi Mitake, Takashi Iwai, Vyacheslav Dubeyko입니다.
• 멋진 영화 시리즈를 제작해주신 Amblin Entertainment와 Universal Pictures에 감사드립니다. "미래로 귀환". 게시글의 첫 번째 사진은 영화 '백투더퓨처3'의 스틸컷이다.
• 회사 RUVDS Habré 블로그에 게시할 수 있는 기회와 지원을 받으시기 바랍니다.

PS 발견된 오류는 개인 메시지로 보내주세요. 나는 이것을 위해 카르마를 늘립니다.

다음에서 가상 머신을 주문하여 NILFS2를 실험해 볼 수 있습니다. RUVDS 아래 쿠폰으로 모든 신규 고객에게는 3일의 무료 평가판 기간이 제공됩니다.

출처 : habr.com