NILFS2 — непробиваема файлова система за /home

Както е известно, ако неприятността може да се случи, тя задължително ще се случи. Вероятно всеки е имал случаи, когато случайно е изтрит важен файл или текст в текстов редактор.

Ако сте хостинг доставчик или собственик на сайт, вероятно сте се сблъсквали с хаквания на потребителски акаунти или на своя сайт. В такива случаи е важно да възстановите хронологията, да намерите начин на проникване и уязвимостта, която е била използвана от нападателя.

За разрешаване на подобни проблеми идеална е файловата система NILFS2.

Тя е налична в ядрото на Linux от версия 2.6.30.

Характерната черта на тази файловата система е, че тя е подобна на система за контрол на версиите: винаги можете да върнете системата назад и да видите каква е била преди известно време.

За осигуряване на тази функционалност не е необходимо да настройвате Cron скриптове, да правите моментни снимки и т.н. Файловата система NILFS2 прави всичко това сама. Тя никога не презаписва стари данни и винаги записва в нови области на диска, ако има достатъчно свободно дисково пространство. В пълно съответствие с принципа Copy-on-Write.

Всъщност, всяка промяна на файл води до автоматично създаване на нов моментен снимок на файловата система, следователно можете да използвате тази файловата система като машина на времето и да връщате назад състоянието на файловете.

История

NILFS2 е разработена в недрата Nippon Telegraph and Telephone Corporation, всъщност, държавна (тъй като притежава контролен дял) и най-голямата телекомуникационна компания в Япония. По-точно в лабораторията CyberSpace Laboratories под ръководството на Ryusuke Konishi.

За какво точно е разработвана — не е известно, но можем да предположим, че подобна файловата система, с нейната функционалност на "машина на времето", е идеална за съхранение на данни, в които може да възникне желание за разследване от специални служби, за да се възпроизведе отново цялата картина на СМС, е-мейли и т.н.

NILFS2 също така е, потенциално, много ценен инструмент за вътрешната сигурност, тъй като позволява възстановяване на всички изтрити писма в пощенската база от данни, разкриване на грешки от служители, които впоследствие могат да се опитат да ги прикрият, като изтриват или променят своите файлове.

Как може да се проследи цялата история на кореспонденциятаВ Linux на сървъри (и именно там трябва да се инсталира NILFS2 за целите на вътрешната сигурност) за съхранение на електронни съобщения много често се използва файловият метод за съхранение на имейли. Така нареченият формат Maildir. Достатъчно е да инсталирате Courier Mail Server и да конфигурирате съхранението на писма в Maildir. Другият формат mbox представлява голям текстов файл, който лесно може да бъде парснат на отделни съобщения.

Ако пощенският сървър използва база данни, NILFS2 ще предостави възможност за възстановяване на точната хронология на промените в базата и възможността да възстановите базата на всеки от тези моменти. А след това трябва да използвате инструментите на БД, за да видите какво е било в нея по това време…

Въпреки това нещо се обърка. Или правителството на Япония реши да не следи всички (по принципа на Ярова), или производителността на NILFS2 на традиционни HDD се оказа много ниска, и NILFS2 беше пусната с лицензия GPL и много бързо влезе в ядрото на Linux, тъй като разработчиците на ядрото на Linux нямат особени претенции към кода, написан от висококвалифицирани японци.

На какво прилича NILFS2?

От гледна точка на използването: на система за контрол на версиите SVN. Всеки чекпоинт на файловата система представлява комит, който се прави автоматично без знанието на потребителя при всяка промяна: независимо дали става въпрос за изтриване, промяна на съдържанието на файла или правата за достъп. Всеки комит има номер, който линейно се увеличава.

От гледна точка на програмиста: на цикличен буфер. Файловата система събира промените и ги записва в парче, равно на около 8 МБ (2000 * 4096, където 2000 е броят на елементите в блока, а 4096 е размерът на страницата памет). Целият диск е разделен на такива чанкове. Записът става последователно. Когато свободното място свърши, най-старите снимки се изтриват, а чанковете се презаписват.

Основните предимства на NILFS2

• Версионност!!!
• Процедурата за възстановяване на файловата система след срив е елементарна: при зареждане се търси последният чанк, който има верен контролен символ, и на него се инсталира суперблок. Това е практически мигновена операция.
• Тъй като записът винаги става линейно, то:
  • може да показва добри резултати при работа на SSD, с бавна случайна запис.
  • NILFS2 спестява ресурса на SSD, тъй като почти отсъства факторът на умножаване на записа.
    По-точно казано, той не е повече от 2.Работата е там, че при циклично презаписване на целия диск NILFS2 ще прехвърля неизменяемите данни в нови парчета (чънкове).

    Ако имаме на диска 10% неизменяеми данни, ще получим 10% увеличение на записа при 1 пълно презаписване. А за 50% запълване на устройството ще имаме 50% увеличение при 1 пълно презаписване на диска.

    Максималният коефициент на усилване на записа е 2. Това е много ниско, като се има предвид, че всичко се записва последователно. Общо взето, умножението на записа ще бъде по-малко, отколкото при обикновена фрагментирана файлова система със сектор от 4096 байта. коментар).

• Потенциална простота при реализиране на репликация на отдалечена файлова система NILFS2

NILFS2 за /home

В Unix-подобни операционни системи обикновено има папка /home, в която се съхраняват данните на потребителите. Различни програми запазват своите настройки в тази папка, отнасящи се до конкретния потребител.

А кой, ако не потребителите, най-често прави грешки? Затова, както се казва, сам Бог е заповядал да използваме NILFS2 за /home.

Още повече, че с разпространението на SSD сега можем да не се тревожим за силно падане на производителността при използване на файлови системи с CoW.

Да, можем да създаваме мигновени снимки на файловата система (снепшоти) колкото често и в ZFS, и в BTRFS, но винаги съществува риск, че изгубеното изменение на файл може да се окаже между снимките. И снимките също трябва да се администрират: да се изтриват старите. В NILFS2 всичко това се случва автоматично, буквално на всеки няколко секунди.

Създадох логически том с помощта на lvcreate (в групата томове nvme, тънък пул thin). Препоръчвам да се създава именно на том lvm, тъй като впоследствие той може лесно да бъде разширен. Препоръчвам да имате 50% свободно място на диска с NILFS2 за прилична дълбочина на версиите.

lvcreate -V10G -T nvme/thin -n home

и го форматирах в NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Започва записването на началните данни на файловата система на устройството
     Размер на блока: 4096  Устройство: /dev/nvme/home1  Размер на устройството: 10737418240
Инициализацията на файловата система беше успешна !!

След това трябва да копираме всички данни от текущото /home.

Сделах го веднага след като заредих компютъра, преди да вляза в своя акаунт, от аккаунта root. Ако бях влязъл с моя потребител, някакви програми щяха да отворят сокети и файлове в папката на моя потребител /home/user, което щеше да затрудни чистото копиране. Както е известно, домашната папка за потребителя root обикновено се намира на пътя /root, затова в разлога /home никакви файлове няма да се отворят.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

По отношение на последния ред см. статия.

След това редактираме /etc/fstab, в която се монтира файловата система за /home, на

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Опция noatime е необходима за повишаване на производителността, за да не се променя atime при всяко обръщение към файловете. След това перезареждаме.

Видове снимки в NILFS2.

Обикновената снимка без защита от изтриване се нарича чекпоинт (checkpoint или точка на възстановяване).
Снимка с защита от автоматично изтриване се нарича снепшот (snapshot), след това просто снимка.

Прегледът на чекпоинтите става с помощта на командата lscp

Преглед на снимките (снепшотовете) lscp -s

Можем и сами да създаваме снимки и чекпоинти по всяко време с помощта на:

mkcp [-s] устройство

Възстановяваме данните.

NILFS позволява да монтираме неограничен брой стари снимки паралелно с работата с основния клон на ФС. Но само в режим за четене.

Всичко е устроено така. Обикновените чекпоинти, които NILFS2 прави, могат да бъдат автоматично изтрити по всяко време (когато свърши дисковото пространство или по правилата на nilfs_cleanerd), затова преди монтажа трябва да преведем чекпоинта в снепшот или, по руски казано, да фиксираме снимката.

chcp ss номер_чекпоинта

След това можем да монтираме снимката, например така:

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

След това копираме възстановяваните файлове от снимката в /home.
А след това сваляме флага за неизтриване от снимката, за да може бъдещият автоматичен събирач на боклук да изтрие остарелите данни:

chcp cp номер_чекпоинта

Утилити за NILFS2

Тук обаче е проблем. Да, разбира се, можем да създаваме ФС, да променяме размера й онлайн, да преглеждаме списък на чекпоинтите, да ги правим и изтриваме. Пакетът nilfs2-utils предоставя минимален джентълменски набор.

Тъй като NTT прекрати финансирането, в момента няма бързи нискоуровневи утилити, които да позволяват извеждане на историята на промените в файловете и да правят diff между снимките.

Моята утилита n2u

За да запълня тази празнота, написах своята утилита n2u, която може да извежда историята на промените на конкретен файл/директория:

n2u log име_на_файл

Изходът изглежда приблизително така:

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

Работи доста бързо за избрания начин на реализиране: търси разлики между файловете чрез бисиекция, бързо монтира и сравнява файл/директория в различни снимки.

Може да зададете диапазон от чекпоинти с ключа -cp CP1:CP2 или -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

Можете също да видите разликите между чекпоинтите за конкретен файл или директория:

n2u diff -r cp1:cp2 име_на_файл

Може да се извлече цялата хронология на промените: всички разлики между чекпоинтите на конкретен файл/директория:

n2u blame [-r cp1:cp2] име_на_файл

Интервалът от дати в тази команда също се поддържа.

Обаждане до разработчиците

На Хабра има много специалисти. Моля, доразвийте NILFS2. Направете репликация, нискоуровневен бърз diff между ревизиите, reflink и други благинки!

Връзки

Официален сайт на NILFS.

Репозитории:
NILFS2.
Утилити и модули на NILFS2.

Розпратки:
Е-мейл разпратка на разработчици на NILFS2. Идентификатор за абонамент linux-nilfs.
Архив на разпратката.

Ръководство за настройка на nilfs_cleanerd.
Сравнителни тестове на производителността на EXT4, Btrfs, XFS & NILFS2.

Благодарности:

• На разработчиците на NILFS2: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi и Satoshi Moriai. Други основни contributors: Andreas Rohner, Dan McGee, David Arendt, David Smid, dexen deVries, Дмитрий Смирнов, Eric Sandeen, Jiro SEKIBA, Matteo Frigo, Hitoshi Mitake, Takashi Iwai, Вячеслав Дубейко.
• На компаниите Amblin Entertainment и Universal Pictures за чудесната серия филми „Назад в бъдещето“. Първият кадър на поста е взет от филма „Назад в бъдещето — 3“.
• На компаниите RUVDS за подкрепата и възможността за публикуване в техния блог в Хабра.

P.S. Забелязани грешки моля изпращайте на лични съобщения. Повишавам за това кармата.

Можете да експериментирате с NILFS2, поръчвайки виртуална машина от RUVDS по купонa по-долу. За всички нови клиенти безплатен тестов период от 3 дни.

Източник: habr.com