НИЛФС2 - систем датотека отпоран на метке за /хоме

Као што знате, ако се невоља може десити, сигурно ће се десити. Вероватно је свако имао случајеве када је недавна важна датотека случајно обрисана, или је текст случајно одабран и уништен у уређивачу текста.

Ако сте хостер или власник веб локације, вероватно сте наишли на хаковање корисничких налога или ваше веб странице. У таквим случајевима, важно је вратити хронологију, пронаћи начин уласка и рањивост коју користи нападач.

Систем датотека НИЛФС2 је савршен за решавање таквих проблема.

Присутан је у Линук кернелу од верзије 2.6.30.

Посебност овог система датотека је у томе што је сличан систему за контролу верзија: увек можете да вратите стање система уназад и погледате како је било пре неког времена.

Да бисте обезбедили ову функционалност, не морате да конфигуришете Црон скрипте, правите снимке итд. Систем датотека НИЛФС2 то ради сам. Никада не преписује старе податке и увек уписује у нове области диска ако има довољно слободног простора на диску. У потпуности у складу са принципом Цопи-он-Врите.

У ствари, свака промена датотеке аутоматски ствара нови снимак система датотека, тако да можете користити овај ФС као временску машину и премотавати стање датотека.

Прича

НИЛФС2 је развијен у дубинама Ниппон Телеграпх анд Телепхоне Цорпоратион, заправо, државна (има контролни пакет акција) и највећа телекомуникациона компанија у Јапану. Тачније, у ЦиберСпаце Лабораториес под руководством Риусуке Конисхи.

За шта је тачно развијен, није познато, међутим, може се претпоставити да је такав ФС, са својом функционалношћу „временске машине“, идеалан за складиштење података у које би обавештајне службе можда желеле да копају како би поново приказале целу слику. СМС, мејлови итд...

НИЛФС2 је такође потенцијално веома вредан алат за интерне безбедносне службе, јер вам омогућава да повратите сва избрисана писма у бази података поште, откривајући довратке запослених који би касније могли да покушају да их прикрију брисањем или променом њихових датотека.

Како можете пратити читаву историју ваше преписке?На Линук серверима (а ту треба да се инсталира НИЛФС2 ради интерне безбедности), метод фајла за чување е-поште се врло често користи за чување е-порука. Формат тзв Маилдир. Довољно да се стави Цоуриер Маил Сервер и конфигуришите складиште поште у Маилдир-у. Други формат мбок је велика текстуална датотека која се лако може рашчланити на појединачне поруке.

Ако сервер поште користи базу података, онда ће НИЛФС2 омогућити враћање тачног времена промена базе података и могућност враћања базе података у било ком од ових тренутака. А онда морате да користите алате базе података да видите шта је било у њој у том тренутку...

Међутим, нешто је пошло наопако. Или се јапанска влада предомислила да прати свакога (а ла Јароваја принцип), или се показало да су перформансе НИЛФС2 на традиционалним ХДД-овима испод нивоа, а НИЛФС2 је пуштен под ГПЛ лиценцом и врло брзо је ушао у Линук кернел, пошто је није било посебних притужби на код који су написали висококвалификовани јапански, програмери Линук кернела га нису имали.

Какав је НИЛФС2?

Са становишта употребе: на систему контроле верзија СВН. Свака ФС контролна тачка је урезивање које се врши аутоматски без знања корисника кад год постоји било каква промена: било да је у питању брисање, промена садржаја датотеке или промена права приступа. Свако урезивање има број који се линеарно повећава.

Са тачке гледишта програмера: кружни бафер. Систем датотека акумулира промене и уписује их у комад од приближно 8 МБ (2000 * 4096, где је 2000 број елемената у блоку, а 4096 величина меморијске странице). Цео диск је подељен на такве делове. Снимање се одвија узастопно. Када понестане слободног простора, најстарији снимци се бришу и делови се преписују.

Основне НИЛФС2 доброте

• Версионинг!!!
• Процедура за враћање система датотека након квара је једноставна: при учитавању се тражи последњи комад који има исправну контролну суму и на њега се инсталира суперблок. Ово је скоро тренутна операција.
• Због чињенице да се снимање увек одвија линеарно, онда:
  • може показати добре резултате када ради на ССД-у са спорим насумичним записима.
  • НИЛФС2 штеди ССД ресурсе, пошто скоро да нема фактора множења уписивања.
    Тачније, није више од 2.Чињеница је да ће приликом цикличког преписивања целог диска НИЛФС2 преносити непроменљиве податке на нове делове (комадове).

    Ако имамо 10% непроменљивих података на диску, онда ћемо добити повећање писања за 10% уз 1 комплетно поновно уписивање. Па, повећање од 50% при 50% попуњености уређаја за 1 потпуно поновно уписивање диска.

    Максимални добитак при писању је 2. Ово је веома мало с обзиром на то да се све уписује секвенцијално. Генерално, анимација писања ће бити мања од оне код конвенционалног фрагментираног система датотека са сектором од 4096 бајта. (Мисао инспирисана коментар).

• Потенцијална лакоћа имплементације репликације на удаљени НИЛФС2 ФС

НИЛФС2 за /хоме

У оперативним системима сличним Унику, по правилу постоји директоријум /хоме у коме се чувају подаци корисника. Различити програми чувају своја корисничка подешавања у овој фасцикли.

А ко, ако не корисници, најчешће греши? Стога је, како кажу, сам Бог наредио употребу НИЛФС2 на /хоме.

Штавише, са широко распрострањеном употребом ССД-а, сада више не морамо да бринемо о озбиљним губицима када користимо ЦоВ системе датотека.

Да, можемо да правимо ФС снимке онолико често колико желимо у ЗФС и БТРФС, али увек постоји ризик да ће изгубљена промена датотеке завршити између снимака. А слике и даље треба администрирати: старе треба избрисати. У НИЛФС2, све ово се дешава аутоматски, буквално сваких неколико секунди.

Направио сам логички волумен користећи лвцреате (у групи волумена нвме, танак базен). Препоручујем да га направите на лвм волумену, пошто се касније може лако проширити. Препоручујем да имате 50% слободног простора на диску са НИЛФС2 за пристојну дубину верзије.

lvcreate -V10G -T nvme/thin -n home

и форматирао га у НИЛФС2:

mkfs.nilfs2 -L nvme_home /dev/nvme/home

mkfs.nilfs2 (nilfs-utils 2.1.5)
Start writing file system initial data to the device
      Blocksize:4096  Device:/dev/nvme/home1  Device Size:10737418240
File system initialization succeeded !!

Након овога, потребно је да копирате све податке из тренутног /хоме.

Ово сам урадио одмах након покретања рачунара, пре него што сам се пријавио на свој налог, као роот корисник. Ако бих се пријавио као мој корисник, неки програми би отворили утичнице и датотеке у фолдеру /хоме/усер мог корисника, што би отежало чисту копију. Као што знате, почетна фасцикла за роот корисника се обично налази на /роот путањи, тако да се датотеке неће отворити на /хоме партицији.

mkdir /mnt/newhome
mount -t nilfs2 /dev/nvme/home /mnt/newhome
cp -a /home/. /mnt/newhome

За последњу линију, види статью.

Затим уређујемо /етц/фстаб, у који је монтиран систем датотека за /хоме

/dev/disk/by-label/nvme_home /home nilfs2    noatime 0 0

Опција noatime потребно за побољшање перформанси тако да се време не мења са сваким приступом датотеци. Затим поново покрећемо систем.

Врсте слика у НИЛФС2.

Редовни снимак без имунитета на брисање назива се контролна тачка или тачка опоравка.
Снимак заштићен од аутоматског брисања назива се снимак, а затим једноставно снимак.

Преглед контролних тачака се врши помоћу команде лсцп

Прикажи снимке лсцп -с

Можемо сами да креирамо снимке и контролне тачке у било ком тренутку користећи:

mkcp [-s] устройство

Враћамо податке.

НИЛФС нам омогућава да монтирамо онолико старих снимака колико желимо паралелно са радом са главном ФС граном. Али само у режиму читања.

Све је овако уређено. Редовне контролне тачке које НИЛФС2 прави могу се аутоматски избрисати у било ком тренутку (када понестане простора на диску или у складу са правилима нилфс_цлеанерд), тако да пре инсталације морамо да конвертујемо контролну тачку у снимак или, на руском језику, снимимо снимак.

chcp ss номер_чекпоинта

Након тога, можемо монтирати снимак, на пример, овако:

mount -t nilfs2 -r -o cp=номер_чекпоинта /dev/nvme/home /mnt/nilfs/номер_чекпоинта

Након тога копирамо враћене датотеке са снимка у /хоме.
И након тога уклањамо заставицу без брисања са снимка тако да у будућности аутоматски сакупљач смећа може да уклони застареле податке:

chcp cp номер_чекпоинта

Услужни програми за НИЛФС2

Али ово је проблем. Да, наравно, можемо креирати систем датотека, променити његову величину на мрежи, прегледати листу изазовних тачака, креирати их и избрисати. Пакет нилфс2-утилс пружа минималан џентлменски сет.

Пошто је НТТ смањио своје финансирање, не постоје брзи услужни програми ниског нивоа који вам омогућавају да прикажете историју промена датотека или направите разлику између снимака.

Мој н2у услужни програм

Да попуним овај вакуум написао сам ваш н2у услужни програм, који може да прикаже историју промена одређене датотеке/директоријума:

n2u log filename

Излаз је отприлике овако:

          CHECKPOINT        DATE     TIME     TYPE          SIZE  MODE
             1787552  2019-11-24 22:08:00    first          7079    cp
             1792659  2019-11-25 23:09:05  changed          7081    cp

Ради прилично брзо за изабрани метод имплементације: тражи разлике између датотека користећи методу бисекције, брзо монтира и упоређује датотеку/директоријум у различитим снимцима.

Можете подесити опсег контролних тачака помоћу тастера -cp CP1:CP2 или -cp {YEAR-MM-DD}:{YEAR-MM-DD}.

Такође можете видети разлику између контролних тачака за одређену датотеку или директоријум:

n2u diff -r cp1:cp2 filename

Можете приказати целу хронологију промена: све разлике између контролних тачака одређене датотеке/директоријума:

n2u blame [-r cp1:cp2] filename

Интервал датума у ​​овој команди је такође подржан.

Вапај за програмере

На Хабреу има много стручњака. Завршите НИЛФС2. Направите репликацију, брзу разлику ниског нивоа између ревизија, рефлинк и друге доброте!

референце

Званичан сајт НИЛФС-а.

Спремишта:
НИЛФС2.
НИЛФС2 услужни програми и модули.

билтени:
Е-маил билтен за НИЛФС2 програмере. ИД за линук-нилфс претплату.
Архива билтена.

водич за подешавање нилфс_цлеанерд.
Бенцхмаркинг ЕКСТ4, Бтрфс, КСФС & НИЛФС2 тестови перформанси.

Признања:

• Програмери НИЛФС2: Риусуке Конисхи, Који Сато, Нарухико Камимура, Сеији Кихара, Иосхији Амагаи, Хисасхи Хифуми и Сатосхи Мориаи. Остали главни сарадници су: Андреас Рохнер, Дан МцГее, Давид Арентт, Давид Смид, Декен деВриес, Дмитри Смирнов, Ериц Сандеен, Јиро СЕКИБА, Маттео Фриго, Хитосхи Митаке, Такасхи Иваи, Вјачеслав Дубејко.
• За Амблин Ентертаинмент и Универсал Пицтурес за дивну серију филмова. "Повратак у будућност". Прва слика поста је преузета из филма „Повратак у будућност 3“.
• Компаније РУВДС за подршку и могућност објављивања на свом блогу на Хабре.

ПС Све грешке које приметите пошаљите у приватну поруку. Повећавам своју карму за ово.

Можете експериментисати са НИЛФС2 тако што ћете наручити виртуелну машину од РУВДС са купоном испод. За све нове клијенте постоји бесплатан пробни период од 3 дана.

Извор: ввв.хабр.цом