Нещо за inode

Периодично, за да се преместя в Централния разпределителен център, провеждам интервюта в различни големи компании, главно в Санкт Петербург и Москва, за позиция DevOps. Забелязах, че много компании (много добри компании, например Yandex) задават два подобни въпроса:

• какво е inode;
• по какви причини може да получите грешка при запис на диск (или например: защо може да ви свърши дисковото пространство, същността е същата).

Както често се случва, бях сигурен, че познавам добре тази тема, но веднага щом започнах да обяснявам, празнините в знанията станаха очевидни. За да систематизирам знанията си, да попълня пропуските и вече да не се смущавам, пиша тази статия, може би ще бъде полезна на някой друг.

Ще започна от дъното, т.е. от твърд диск (ще изхвърлим флаш устройства, SSD и други модерни неща; например, нека разгледаме всяко старо устройство от 20 или 80 гига, тъй като размерът на блока там е 512 байта).

Твърдият диск не знае как да адресира своето пространство байт по байт, той условно е разделен на блокове. Номерирането на блокове започва от 0. (Това се нарича LBA, подробности тук: ru.wikipedia.org/wiki/LBA)

Както може да се види от фигурата, определих LBA блокове като HDD ниво. Между другото, можете да видите какъв размер на блока има вашият диск по следния начин:

root@ubuntu:/home/serp# blockdev --getpbsz /dev/sdb
512

Горното ниво е дял, един за целия диск (отново за простота). Най-често се използват два вида маркиране на дялове: msdos и gpt. Съответно, msdos е стар формат, който поддържа дискове до 2Tb, gpt е нов формат, способен да адресира до 1 зетабайт от 512 байтови блокове. В нашия случай имаме дял от тип msdos, както се вижда от фигурата, дялът започва с блок №1, докато нулата се използва за MBR.

В първия дял създадох файлова система ext2, нейният размер на блока по подразбиране е 4096 байта, което също е отразено на фигурата. Можете да видите размера на блока на файловата система по следния начин:

root@ubuntu:/home/serp# tune2fs -l /dev/sdb1
tune2fs 1.42.9 (4-Feb-2014)
Filesystem volume name:   <none>
Last mounted on:          <not available>
Filesystem UUID:          a600bf40-f660-41f6-a3e6-96c303995479
Filesystem magic number:  0xEF53
Filesystem revision #:    1 (dynamic)
Filesystem features:      ext_attr resize_inode dir_index filetype sparse_super large_file
Filesystem flags:         signed_directory_hash
Default mount options:    user_xattr acl
Filesystem state:         clean
Errors behavior:          Continue
Filesystem OS type:       Linux
Inode count:              65536
Block count:              261888
Reserved block count:     13094
Free blocks:              257445
Free inodes:              65525
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      63
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         8192
Inode blocks per group:   512
Filesystem created:       Fri Aug  2 15:02:13 2019
Last mount time:          n/a
Last write time:          Fri Aug  2 15:02:14 2019
Mount count:              0
Maximum mount count:      -1
Last checked:             Fri Aug  2 15:02:13 2019
Check interval:           0 (<none>)
Reserved blocks uid:      0 (user root)
Reserved blocks gid:      0 (group root)
First inode:              11
Inode size:               256
Required extra isize:     28
Desired extra isize:      28
Default directory hash:   half_md4
Directory Hash Seed:      c0155456-ad7d-421f-afd1-c898746ccd76

Параметърът, от който се нуждаем, е „Размер на блока“.

Сега интересната част е как да прочетем файла /home/serp/testfile? Файлът се състои от един или повече блокове на файловата система, в които се съхраняват неговите данни. Като знаете името на файла, как да го намерите? Кои блокове да чета?

Това е мястото, където inodes са полезни. Файловата система ext2fs има "таблица", която съдържа информация за всички inodes. Броят на inodes в случая на ext2fs се задава при създаването на файловата система. Разглеждаме необходимите числа в параметъра „Inode count“ на изхода на tune2fs, т.е. имаме 65536 бр. Inode съдържа информацията, от която се нуждаем: списък с блокове на файловата система за файла, който търсим. Как да намеря номера на inode за даден файл?

Съответното име и номер на inode се съдържат в директорията, а директория в ext2fs е специален тип файл, т.е. също има свой собствен номер на inode. За да се прекъсне този порочен кръг, на главната директория беше присвоен „фиксиран“ inode номер „2“. Нека да разгледаме съдържанието на inode номер 2:

root@ubuntu:/# debugfs /dev/sdb1
debugfs 1.42.9 (4-Feb-2014)
debugfs:  stat <2>

Inode: 2   Type: directory    Mode:  0755   Flags: 0x0
Generation: 0    Version: 0x00000000:00000002
User:     0   Group:     0   Size: 4096
File ACL: 0    Directory ACL: 0
Links: 3   Blockcount: 8
Fragment:  Address: 0    Number: 0    Size: 0
 ctime: 0x5d43cb51:16b61bcc -- Fri Aug  2 16:34:09 2019
 atime: 0x5d43c247:b704301c -- Fri Aug  2 15:55:35 2019
 mtime: 0x5d43cb51:16b61bcc -- Fri Aug  2 16:34:09 2019
crtime: 0x5d43b5c6:00000000 -- Fri Aug  2 15:02:14 2019
Size of extra inode fields: 28
BLOCKS:
(0):579
TOTAL: 1

Както можете да видите, директорията, от която се нуждаем, се съдържа в блок номер 579. В нея ще намерим номера на възела за домашната папка и така нататък по веригата, докато в директорията serp не видим номера на възела за искания файл. Ако изведнъж някой иска да провери дали номерът е правилен и дали необходимата информация е там, не е трудно. Ние правим:

root@ubuntu:/# dd if=/dev/sdb1 of=/home/serp/dd_image bs=4096 count=1 skip=579
1+0 records in
1+0 records out
4096 bytes (4,1 kB) copied, 0,000184088 s, 22,3 MB/s
root@ubuntu:/# hexdump -c /home/serp/dd_image

В изхода можете да прочетете имената на файловете в директорията.

И така стигам до основния въпрос: „поради какви причини може да възникне грешка в записа?“

Естествено, това ще се случи, ако във файловата система няма останали свободни блокове. Какво може да се направи в този случай? Освен очевидното „изтрийте всичко ненужно“, трябва да запомните, че във файловите системи ext2,3 и 4 има такова нещо като „Резервиран брой блокове“. Ако погледнете списъка по-горе, имаме „13094“ такива блока. Това са блокове, които могат да се записват само от root потребителя. но ако трябва бързо да разрешите проблема, като временно решение можете да ги направите достъпни за всички, което води до малко свободно място:

root@ubuntu:/mnt# tune2fs -m 0 /dev/sdb1
tune2fs 1.42.9 (4-Feb-2014)
Setting reserved blocks percentage to 0% (0 blocks)

Тези. по подразбиране имате 5% от дисковото пространство, което не е налично за запис, и предвид обема на съвременните дискове това може да бъде стотици гигабайти.

Какво друго би могло да бъде? Възможно е също така да има свободни блокове, но да няма повече възли. Това обикновено се случва, ако имате куп файлове във вашата файлова система, които са по-малки от размера на блока на файловата система. Имайки предвид, че 1 inode се изразходва за 1 файл или директория, а общо имаме (за дадена файлова система) 65536 - ситуацията е повече от реална. Това може ясно да се види от изхода на командата df:

serp@ubuntu:~$ df -hi
Filesystem     Inodes IUsed IFree IUse% Mounted on
udev             493K   480  492K    1% /dev
tmpfs            493K   425  493K    1% /run
/dev/xvda1       512K  240K  273K   47% /
none             493K     2  493K    1% /sys/fs/cgroup
none             493K     2  493K    1% /run/lock
none             493K     1  493K    1% /run/shm
none             493K     2  493K    1% /run/user
/dev/xvdc1       320K  4,1K  316K    2% /var
/dev/xvdb1        64K   195   64K    1% /home
/dev/xvdh1       4,0M  3,1M  940K   78% /var/www
serp@ubuntu:~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
udev            2,0G  4,0K  2,0G   1% /dev
tmpfs           395M  620K  394M   1% /run
/dev/xvda1      7,8G  2,9G  4,6G  39% /
none            4,0K     0  4,0K   0% /sys/fs/cgroup
none            5,0M     0  5,0M   0% /run/lock
none            2,0G     0  2,0G   0% /run/shm
none            100M     0  100M   0% /run/user
/dev/xvdc1      4,8G  2,6G  2,0G  57% /var
/dev/xvdb1      990M  4,0M  919M   1% /home
/dev/xvdh1       63G   35G   25G  59% /var/www

Както ясно се вижда на дяла /var/www, броят на свободните блокове във файловата система и броят на свободните възли варират значително.

В случай, че ви свършат inodes, няма да ви кажа магии, защото... няма такива (ако греша, уведомете ме). Така че за дялове, в които се размножават малки файлове, трябва да изберете файловата система разумно. Например btrfs inodes не може да завърши, защото При необходимост динамично се създават нови.

Източник: www.habr.com