NILFS2 е бронирана файлова система за /home

Както знаете, ако може да се случи неприятност, тя определено ще се случи. Вероятно всеки е имал случаи, когато скорошен важен файл е бил случайно изтрит или текст е бил случайно избран и унищожен в текстов редактор.

Ако сте хостинг или собственик на уебсайт, тогава вероятно сте се натъквали на хакване на потребителски акаунти или вашия уебсайт. В такива случаи е важно да се възстанови хронологията, да се намери методът на влизане и уязвимостта, използвана от нападателя.

Файловата система NILFS2 е идеална за решаване на подобни проблеми.

Той присъства в ядрото на Linux от версия 2.6.30.

Особеността на тази файлова система е, че тя е подобна на система за контрол на версиите: винаги можете да върнете състоянието на системата назад и да погледнете какво е било преди известно време.

За да предоставите тази функционалност, не е необходимо да конфигурирате Cron скриптове, да правите моментни снимки и т.н. Файловата система NILFS2 прави това сама. Той никога не презаписва стари данни и винаги записва в нови области на диска, ако има достатъчно свободно дисково пространство. В пълно съответствие с принципа Copy-on-Write.

Всъщност всяка промяна на файл автоматично създава нова моментна снимка на файловата система, така че можете да използвате този FS като машина на времето и да превъртите състоянието на файловете назад.

История

NILFS2 е разработен в дълбините на Nippon Telegraph and Telephone Corporation, всъщност държавна (има контролен пакет) и най-голямата телекомуникационна компания в Япония. По-конкретно, в CyberSpace Laboratories под ръководството Рюсуке Кониши.

За какво точно е разработен е неизвестно, но може да се предположи, че такъв FS, с неговата функционалност „машина на времето“, е идеален за съхраняване на данни, в които разузнавателните служби биха искали да копаят, за да възпроизведат цялата картина на SMS, имейли и т.н.

NILFS2 също е потенциално много ценен инструмент за услуги за вътрешна сигурност, тъй като ви позволява да възстановите всички изтрити писма в пощенската база данни, разкривайки задръстванията на служители, които впоследствие могат да се опитат да ги прикрият, като изтрият или променят своите файлове.

Как можете да проследите цялата си история на кореспонденция?На Linux сървъри (и това е мястото, където трябва да се инсталира NILFS2 за целите на вътрешната сигурност), файловият метод за съхраняване на имейли много често се използва за съхраняване на имейл съобщения. Така нареченият формат Maildir. Достатъчно за поставяне Сървър за куриерска поща и конфигурирайте съхранението на поща в Maildir. Друг формат MBOX е голям текстов файл, който може лесно да бъде анализиран на отделни съобщения.

Ако пощенският сървър използва база данни, тогава NILFS2 ще направи възможно възстановяването на точното време на промените в базата данни и възможността за възстановяване на базата данни във всеки един от тези моменти. И тогава трябва да използвате инструменти за база данни, за да видите какво е имало в нея в този момент...

Нещо обаче се обърка. Или японското правителство промени решението си да наблюдава всички (по принципа на Яровая), или производителността на NILFS2 на традиционните твърди дискове се оказа под номинала и NILFS2 беше пуснат под GPL лиценз и много бързо влезе в ядрото на Linux, тъй като нямаше особени оплаквания относно кода, написан от висококвалифицирани японски, разработчиците на ядрото на Linux не го имаха.

Какво представлява NILFS2?

От гледна точка на използване: на система за контрол на версиите SVN. Всяка контролна точка на FS е ангажимент, който се прави автоматично без знанието на потребителя, когато има някаква промяна: било то изтриване, промяна на съдържанието на файл или промяна на правата за достъп. Всеки ангажимент има число, което нараства линейно.

От гледна точка на програмист: кръгъл буфер. Файловата система натрупва промените и ги записва в част, равна на приблизително 8 MB (2000 * 4096, където 2000 е броят на елементите в блока, а 4096 е размерът на страницата с памет). Целият диск е разделен на такива части. Записът продължава последователно. Когато свободното място свърши, най-старите моментни снимки се изтриват и частите се презаписват.

Основни NILFS2 екстри

• Версиониране!!!
• Процедурата за възстановяване на файлова система след повреда е проста: при зареждане се търси последното парче, което има правилната контролна сума, и върху него се инсталира суперблок. Това е почти незабавна операция.
• Поради факта, че записът винаги протича линейно, тогава:
  • може да покаже добри резултати, когато работи на SSD с бавни произволни записи.
  • NILFS2 спестява SSD ресурс, тъй като почти няма коефициент на умножение при запис.
    По-точно, не е повече от 2.Факт е, че при циклично презаписване на целия диск, NILFS2 ще прехвърли непроменени данни на нови части (парчета).

    Ако имаме 10% непроменени данни на диска, тогава ще получим 10% увеличение на записа с 1 пълно презаписване. Ами 50% увеличение при 50% пълнота на устройството за 1 пълно презаписване на диска.

    Максималната печалба при запис е 2. Това е много ниско, като се има предвид, че всичко се записва последователно. Като цяло, анимацията за запис ще бъде по-малка от тази на конвенционална фрагментирана файлова система с 4096-байтов сектор. (Мисъл, вдъхновена от коментар).

• Потенциална лекота на внедряване на репликация към отдалечен NILFS2 FS

NILFS2 за /home

В Unix-подобни операционни системи, като правило, има /home папка, в която се съхраняват потребителски данни. Различни програми запазват своите специфични за потребителя настройки в тази папка.

И кой, ако не потребителите, прави грешки най-често? Следователно, както се казва, самият Бог нареди използването на NILFS2 на /home.

Освен това, с широкото използване на SSD, вече не трябва да се тревожим за сериозни загуби, когато използваме CoW файлови системи.

Да, можем да създаваме моментни снимки на FS толкова често, колкото пожелаем в ZFS и BTRFS, но винаги има риск изгубена промяна на файла да се окаже между моментните снимки. И снимките все още трябва да се администрират: старите трябва да бъдат изтрити. В NILFS2 всичко това се случва автоматично, буквално на всеки няколко секунди.

Създадох логически том с помощта на lvcreate (в групата томове nvme, thin pool thin). Препоръчвам да го създадете на тома lvm, тъй като може лесно да бъде разширен по-късно. Препоръчвам да имате 50% свободно дисково пространство с NILFS2 за прилична дълбочина на версията.

lvcreate -V10G -T nvme/thin -n home

и го форматира в NILFS2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing file system initial data to the device
      Blocksize:4096  Device:/dev/nvme/home1  Device Size:10737418240
File system initialization succeeded !!

След това трябва да копирате всички данни от текущия /home.

Направих това веднага след стартиране на компютъра, преди да вляза в акаунта си като root потребител. Ако трябваше да вляза като мой потребител, някои програми биха отворили сокети и файлове в папката /home/user на моя потребител, което би затруднило чистото копиране. Както знаете, домашната папка за root потребителя обикновено се намира на /root пътя, така че няма да се отварят файлове в /home дяла.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

За последния ред вижте Статия.

След това редактираме /etc/fstab, в който е монтирана файловата система за /home

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Вариант noatime необходими за подобряване на производителността, така че atime да не се променя с всеки достъп до файл. След това рестартираме.

Типове изображения в NILFS2.

Обикновена моментна снимка без имунитет срещу изтриване се нарича контролна точка или точка за възстановяване.
Моментна снимка, защитена от автоматично изтриване, се нарича моментна снимка, а след това просто снимка.

Прегледът на контролните точки се извършва с помощта на командата lscp

Преглед на моментни снимки lscp -s

Можем сами да създаваме моментни снимки и контролни точки по всяко време, като използваме:

mkcp [-s] устройство

Възстановяваме данни.

NILFS ни позволява да монтираме толкова стари снимки, колкото искаме, паралелно с работата с основния клон на FS. Но само в режим на четене.

Всичко е подредено така. Редовните контролни точки, които прави NILFS2, могат да бъдат автоматично изтрити по всяко време (когато дисковото пространство свърши или според правилата на nilfs_cleanerd), така че преди инсталирането трябва да конвертираме контролната точка в моментна снимка или, казано на руски, да заснемем моментната снимка.

chcp ss номер_чекпоинта

След това можем да монтираме моментната снимка, например, така:

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

След което копираме възстановените файлове от моментната снимка в /home.
И впоследствие премахваме флага за неизтриване от моментната снимка, така че в бъдеще автоматичният събирач на отпадъци да може да премахва остарелите данни:

chcp cp номер_чекпоинта

Помощни програми за NILFS2

Но това е проблемът. Да, разбира се, можем да създадем файлова система, да променим нейния размер онлайн, да прегледаме списъка с точки на предизвикателства, да ги създадем и изтрием. Пакетът nilfs2-utils предоставя минимален джентълменски комплект.

Тъй като NTT е ограничил финансирането си, няма бързи помощни програми на ниско ниво, които ви позволяват да показвате историята на промените на файловете или да правите разлика между моментни снимки.

Моята помощна програма n2u

За да запълня този вакуум, написах вашата помощна програма n2u, който може да показва историята на промените в конкретен файл/директория:

n2u log filename

Резултатът е нещо подобно:

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

Работи доста бързо за избрания метод на внедряване: търси разлики между файловете, използвайки метода на разполовяване, бързо монтира и сравнява файла/директорията в различни моментни снимки.

Можете да зададете набор от контролни точки с помощта на ключа -cp CP1:CP2 или -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

Можете също така да видите разликата между контролните точки за конкретен файл или директория:

n2u diff -r cp1:cp2 filename

Можете да покажете цялата хронология на промените: всички разлики между контролните точки на конкретен файл/директория:

n2u blame [-r cp1:cp2] filename

Интервалът на датата в тази команда също се поддържа.

Вик към разработчиците

В Хабре има много специалисти. Моля, завършете NILFS2. Направете репликация, бърза разлика на ниско ниво между ревизии, препратка и други екстри!

Позоваването

Официален уебсайт на NILFS.

Хранилища:
NILFS2.
NILFS2 помощни програми и модули.

бюлетини:
Имейл бюлетин за разработчици на NILFS2. ID за абонамент за linux-nilfs.
Архив на бюлетин.

ръководство за настройка на nilfs_cleanerd.
Бенчмаркинг тестове за производителност EXT4, Btrfs, XFS & NILFS2.

Благодаря:

• Разработчици на NILFS2: Ryusuke Konishi, Koji Sato, Naruhiko Kamimura, Seiji Kihara, Yoshiji Amagai, Hisashi Hifumi и Satoshi Moriai. Други големи сътрудници са: Андреас Рохнер, Дан Макгий, Дейвид Аренд, Дейвид Смид, Дексен деВрис, Дмитрий Смирнов, Ерик Сандийн, Джиро СЕКИБА, Матео Фриго, Хитоши Митаке, Такаши Ивай, Вячеслав Дубейко.
• На Amblin Entertainment и Universal Pictures за прекрасната поредица от филми. "Завръщане в бъдещето". Първата снимка на публикацията е взета от филма „Завръщане в бъдещето 3“.
• компания РУВДС за подкрепа и възможност да публикувате във вашия блог на Хабре.

PS Моля, изпращайте грешките, които забележите, на лично съобщение. Увеличавам кармата си за това.

Можете да експериментирате с NILFS2, като поръчате виртуална машина от РУВДС с купона по-долу. За всички нови клиенти има безплатен пробен период от 3 дни.

Източник: www.habr.com