NILFS2 — куршумоустойчива файлова система за /home

Както е известно, ако неприятност може да се случи, тя задължително ще се случи. Сигурно всеки е имал случаи, когато случайно е изтрит важен файл или текст в текстов редактор е бил случайно маркиран и унищожен.

Ако сте хостер или собственик на сайт, вероятно сте се сблъсквали с хаквания на потребителски акаунти или вашия сайт. В такива случаи е важно да възстановите хронологията, да откриете начина на проникване и уязвимостта, използвана от извършителя.

За решаване на подобни проблеми перфектно подхожда файловата система NILFS2.

Тя присъства в ядрото на Linux, започвайки от версия 2.6.30.

Особеност на тази файловата система е, че тя е подобна на система за контрол на версиите: винаги можете да върнете състоянието на системата назад и да видите каква е била преди известно време.

За осигуряване на тази функционалност не е нужно да настройвате Cron-скриптове, да правите снимки и т.н. Файловата система NILFS2 прави всичко това сама. Тя никога не презаписва стари данни и винаги записва в нови области на диска, ако има достатъчно свободно дисково пространство. В пълно съответствие с принципа Copy-on-Write.

Всъщност, всяка промяна на файл води до автоматично създаване на нова снимка на файловата система, затова можете да използвате тази ФС като машина на времето и да връщате назад състоянието на файловете.

История

NILFS2 е разработена в недрата Nippon Telegraph and Telephone Corporation, всъщност, държавна (има контролен пакет) и най-голямата телекомуникационна компания в Япония. Конкретно в лабораторията CyberSpace Laboratories под ръководството на Ryusuke Konishi.

За какво конкретно е била разработена — не е известно, обаче, може да се предполага, че подобна ФС, с нейния функционал на "машина на времето" е идеална за съхранение на данни, в които може да възникне желание да се поразгледа от спецслужбите, за да се възпроизведе отново целият контекст на SMS, имейли и т.н.

NILFS2 също така, потенциално, е много ценен инструмент за вътрешната сигурност, тъй като позволява възстановяване на всички изтрити писма в пощенската база данни, за да се открият грешки на служителите, които по-късно могат да опитат да ги прикрият, като изтриват или променят своите файлове.

Как може да се проследи цялата история на кореспонденциятаНа Linux сървъри (и именно там трябва да се инсталира NILFS2 за вътрешна сигурност) за съхранение на имейли често се използва файлов формат за съхранение на електронни писма. Известен като формат Maildir. Достатъчно е да се инсталира Courier Mail Server и да се конфигурира съхранението на писма в Maildir. Другият формат mbox е голям текстов файл, който лесно може да бъде разделен на отделни съобщения.

Ако пощенският сървър използва база данни, NILFS2 ще предостави възможност за възстановяване на точния хронология на промените в базата и възможността да се възстанови базата на всеки от тези моменти. След това трябва да се използват инструментите на базата данни, за да се види какво е имало там по това време...

Но нещо се обърка. Дали японското правителство е решило да не следи всички (по принципа Яровая), или производителността на NILFS2 на традиционни HDD е оказала по-ниска, отколкото се очакваше, и NILFS2 беше освободена под GPL лиценз и бързо бе включена в ядрото на Linux, понеже разработчиците на ядрото на Linux не бяха имали особени оплаквания за кода, написан от висококвалифицирани японци.

Какво представлява NILFS2?

От гледна точка на използването: подобен е на система за контрол на версиите SVN. Всеки чекпоинт на файловата система е комит, който се извършва автоматично без знанието на потребителя при всяка промяна: било то изтриване, промяна на съдържанието на файла или права за достъп. Всеки комит има номер, който се увеличава линейно.

От гледна точка на програмиста: прилича на цикличен буфер. Файловата система събира промените и ги записва в блок с размер около 8 MB (2000 * 4096, където 2000 е броят на елементите в блока, а 4096 е размерът на страницата в паметта). Целият диск е разделен на такива парчета. Записът става последователно. Когато свърши свободното пространство, най-старите снимки се изтриват, а парчетата се презаписват.

Основните предимства на NILFS2

• Версионност!!!
• Процедурата по възстановяване на файловата система след повреда е елементарна: при стартиране се търси последното парче с правилна контролна сума и върху него се поставя суперблок. Това е практически мигновена операция.
• Поради факта, че записът винаги става линейно:
  • може да показва добри резултати при работа на SSD, с бавен произволен запис.
  • NILFS2 спестява ресурси на SSD, тъй като почти липсва фактор на умножаване на записа.
    По-точно, той не е повече от 2.Работата е там, че при циклична перезапис на целия диск NILFS2 прехвърля неизменяеми данни в нови парчета (чанкове).

    Ако имаме на диска 10% неизменяеми данни, получаваме 10% ръст на записите при 1 пълна перезапис. И 50% ръст при 50% запълване на устройството на 1 пълна перезапис на диска.

    Максималният коефициент на усилване на записа е 2. Това е много малко, като се има предвид, че всичко се записва последователно. Общо взето, мултипликацията на записа ще бъде по-малка, отколкото при обикновен фрагментиран FS със сектор от 4096 байта. (Внушено е от коментара) коментар).

• Потенциална простота на реализиране на репликация на отдалечена NILFS2 FS

NILFS2 за /home

В Unix-подобни ОС, обикновено, има папка /home, в която се съхраняват данните на потребителите. Различни програми запазват в тази папка своите настройки, свързани с конкретния потребител.

А кой, ако не потребителите, най-често прави грешки? Затова, както се казва, самият Бог е наредил да използваме NILFS2 на /home.

Особено след като с широкото разпространение на SSD, сега можем да не се притесняваме за големи спадове при използването на файлови системи с CoW.

Да, можем да създаваме снимки на FS (snapshot) колкото често пожелаем и в ZFS, и в BTRFS, но винаги има риск, че загубеното изменение на файла ще се окаже между снимките. А снимките също трябва да се администрират: да се премахват стари. В NILFS2 всичко това става автоматично, буквално на всеки няколко секунди.

Създадох логичен том с помощта на lvcreate (в групата томове nvme, тънък пул thin). Препоръчвам да се създава именно на том от lvm, тъй като в последствие той може лесно да бъде разширен. Препоръчвам да имате 50% свободно пространство на диска с NILFS2 за прилична дълбочина на версии.

lvcreate -V10G -T nvme/thin -n home

и го форматирах в NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Започване на писане на първоначалните данни на файловата система в устройството
      Размер на блока:4096  Устройство:/dev/nvme/home1  Размер на устройството:10737418240
Инициализация на файловата система успешна !!

След това трябва да копирам всичките данни от текущото /home.

Направих това веднага след стартиране на компютъра, преди да вляза в акаунта си, от потребителя root. Ако бях влязъл със собствения си потребител, някои програми биха отворили сокети и файлове в папката на потребителя ми /home/user, което би направило чистото копиране затруднително. Както е известно, домашната папка за потребителя root обикновено се намира на пътя /root, така че на дяла /home няма да се отворят файлове.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

По отношение на последния ред виж. статия.

След това коригираме /etc/fstab, в която се монтира файловата система за /home, на

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Опция noatime е необходима за увеличаване на производителността, така че при всяко извикване на файлове да не се променя atime. След това рестартираме.

Видове снимки в NILFS2.

Обикновената снимка без защита от изтриване се нарича чекпоинт (checkpoint или точка на възстановяване).
Снимка с защита от автоматично изтриване се нарича снепшот (snapshot), след това просто снимка.

Прегледът на чекпоинтовете се извършва с командата lscp

Преглед на снимките (снепшотове) lscp -s

Можем и сами да създаваме снимки и чекпоинтове по всяко време с помощта на:

mkcp [-s] устройство

Възстановяване на данни.

NILFS позволява да монтираме неограничен брой стари снимки паралелно с работата с основната клонна структура на файловата система. Но само в режим на четене.

Всичко е устроено така. Обикновените чекпоинти, които NILFS2 прави, могат да бъдат автоматично изтрити по всяко време (когато свърши дисковото пространство или според правилата на nilfs_cleanerd), затова преди монтажа трябва да преведем чекпоинта в снепшот или, на български, да фиксираме снимката.

chcp ss номер_чекпоинта

След това можем да монтираме снимката, например, така:

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

След което копираме възстановяваните файлове от снимката в /home.
А впоследствие сваляме флага на непроменяемост от снимката, за да може в бъдеще автоматичният очистващ инструмент да изтрие остарелите данни:

chcp cp номер_чекпоинта

Утилити за NILFS2

А тук имаме проблем. Да, разбира се, можем да създаваме файлови системи, да променяме размера им онлайн, да преглеждаме списъка на чекпоинтовете, да ги правим и изтриваме. Пакетът nilfs2-utils предоставя минимално необходимото.

Тъй като NTT спря финансирането, няма бързи нискоуровневи утилити, които позволяват извеждане на историята на промените в файловете, да се направи сравнение между снимки.

Моята утилита n2u

За да запълня този вакуум, написах своята утилита n2u, която може да извежда историята на промените на конкретен файл/директория:

n2u log filename

Изходът е приблизително такъв:

          CHECKPOINT        ДАТА     ВРЕМЕ     ТИП          РАЗМЕР  РЕЖИМ
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

Тя работи доста бързо за избрания метод на реализация: търси разлики между файловете с метода на бисекция, бързо монтиране и сравняване на файл/директория в различни снимки.

Може да се зададе диапазон от чекпоинтове чрез ключа -cp CP1:CP2 или -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

Също така може да се види разликата между чекпоинтовете за определен файл или директория:

n2u diff -r cp1:cp2 filename

Може да се извлече цялата история на промените: всички разлики между чекпоинтовете на определен файл/директория:

n2u blame [-r cp1:cp2] filename

Интервалът от дати в тази команда също се поддържа.

Призив към разработчиците

В Хабра има много специалисти. Моля, усъвършенствайте NILFS2. Направете репликация, бърз нискоуровневен диф между ревизии, reflink и други предимства!

Връзки

Официален сайт на NILFS.

Репозитории:
NILFS2.
Утилити и модули NILFS2.

Разпратки:
Имейл разпратка на разработчиците на NILFS2. Идентификатор за абонамент linux-nilfs.
Архив на разпратката.

Ръководство за настройка на nilfs_cleanerd.
Сравнителни тестове за производителност EXT4, Btrfs, XFS & NILFS2.

Благодарности:

• На разработчиците на NILFS2: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi и Satoshi Moriai. Други основни участници са: Andreas Rohner, Dan McGee, David Arendt, David Smid, dexen deVries, Дмитрий Смирнов, Eric Sandeen, Jiro SEKIBA, Matteo Frigo, Hitoshi Mitake, Takashi Iwai, Vyacheslav Dubeyko.
• На компаниите Amblin Entertainment и Universal Pictures за чудесната поредица от филми „Назад в бъдещето“. Първото изображение на поста е взето от филма „Назад в бъдещето — 3.“
• Компании RUVDS за подкрепа и възможността за публикуване в блога си в Хабра.

P.S. Забелязаните грешки изпращайте на лични съобщения. С това повишавам кармата си.

Можете да експериментирате с NILFS2, поръчвайки виртуална машина от RUVDS по купонa по-долу. За всички нови клиенти безплатен тестов период от 3 дни.

Източник: habr.com