Релиз на ядрото Linux 5.16

След два месеца разработка, Линус Торвалдс представи версията на ядрото Linux 5.16. Сред най-забележителните промени са системният повик futex_waitv за увеличаване на производителността на Windows игрите в Wine, проследяване на грешки във файловата система чрез fanotify, концепцията за фолианти в системата за управление на паметта, поддръжка на CPU инструкции AMX, възможност за резервиране на памет от мрежови сокети, поддръжка в netfilter за класификация на пакети на етапа «egress», ангажиране на подсистемата DAMON за предварително изтласкване на неизползвани области на паметта, подобряване на обработката на претоварвания при голям обем операции за запис, поддръжка на многодискови твърди дискове.

В новата версия са включени 15415 поправки от 2105 разработчици, размерът на пача е 45 MB (промените засягат 12023 файла, добавени са 685198 реда код, 263867 реда са премахнати). Около 44% от всички представени в 5.16 промени са свързани с драйвера на устройства, приблизително 16% от промените се отнасят до обновяване на кода, специфичен за хардуерни архитектури, 16% са свързани с мрежовия стек, 4% — с файловите системи и 4% с вътрешните подсистеми на ядрото.

Основни нововъведения в ядрото 5.16:

• Дисковата подсистема, вход/изход и файловите системи
  • В механизма fanotify са добавени средства за мониторинг на състоянието на файловата система и проследяване на възникването на грешки. Информацията за грешките се предава чрез нов тип събития — FAN_FS_ERROR, които могат да бъдат прихванати в изпълнителното пространство на потребителските системи за мониторинг за оперативно информиране на администратора или стартиране на процеси за възстановяване. При каскадно възникване на серия от грешки fanotify осигурява доставката на съобщение за първата грешка заедно с общия брояч на проблеми, за да се опрости последващият анализ на причините за срива. Поддръжката на проследяване на грешки засега е реализирана само за файловата система Ext4.
  • Подобрена е обработката на претоварвания при изпълнение на операции по запис (write congestion), които възникват, когато обемът на операциите по запис надвишава пропускната способност на носителя и системата е принудена да блокира заявките на процеса за запис до завършването на вече изпратените заявки. В новата версия механизмат на ядрото за получаване на информация относно възникването на претоварването и блокирането на задачите е преработен изцяло, тъй като в старата реализация се наблюдаваха проблеми с взаимодействието на обработката на претоварването с изместването на страници от паметта в раздела за обмен при недостиг на памет в системата.
  • В Btrfs е реализирана поддръжка на технологията за зониране на устройства (Zoned Namespace), която се прилага в твърдите дискове или NVMe SSD за разделяне на пространството за съхранение на зони, съставляващи групи от блокове или сектори, в които е позволено само последователно добавяне на данни с актуализиране на цялата група от блокове. Освен това, направени са малки оптимизации в логването на inode, довели до увеличение на пропускната способност в теста dbench с 3% и намаляване на забавянето с 11%. Преработен е механизмът за логване на каталози, при който за повишаване на ефективността е намален броят на операциите за търсене и блокирането в дървото. Увеличена е скоростта на вставяне на елементи в структурата btree в пакетен режим (времето за масово вставяне на елементи е намалено с 4%, а за изтриване с 12%). Добавена е ограничена поддръжка за използване на компресия при запис на непълни страници, както и възможност за дефрагментация на подстраници (subpage). Извършена е подготовка за включване на поддръжка на втората версия на протокола за команда „send“.
  • В файловата система XFS е намалено потреблението на памет чрез използване на отделни кешове slab за често използвани елементи и намаляване на някои структури от данни.
  • В файловата система Ext4 са регистрирани само поправки на грешки и по-точно изчисляване на параметрите за отложена инициализация на таблицата Inode.
  • На ниво блочни устройства са реализирани оптимизации, позволяващи значително повишаване на ефикасността на свързването на операциите с ядрата на CPU.
  • Добавена е начална поддръжка за твърди дискове с множество независими приводни механизми (multi-actuator), които дават възможност за едновременно достъп до множество сектори в различни зони на магнитната пластина.
  • Добавена нова ioctl-команда CDROM_TIMED_MEDIA_CHANGE за определяне на събития за смяна на носителя в оптичния диск.
  • В файловата система EROFS (Enhanced Read-Only File System) е добавена възможност за работа върху няколко устройства за съхранение. Различните устройства могат да бъдат отразени в едно 32-битово адресно пространство на блоковете. Също така е добавена поддръжка за компресия с използване на алгоритъма LZMA.
  • В файловата система F2FS са добавени опции за монтиране за управление на фрагментацията на файловете при разполагане в хранилището (например, за отстраняване на грешки в оптимизациите при работа с фрагментирани хранилища).
  • В CEPH по подразбиране са включени операции за създаване и изтриване на директории в асинхронен режим (за възстановяване на старото поведение трябва да се използва флаг ‘-o wsync’ при монтиране). Добавено е проследяване на метрики, следящи операции по копиране на външни обекти.
  • В CIFS е добавен параметър за монтиране tcpnodelay, при който за мрежовия сокет се прилага режим tcp_sock_set_nodelay, който изключва изчакването за запълване на опашката в TCP стека. Добавена е поддръжка за вложени DFS Link (Distributed File System) при повторно монтиране.
  • Добавена е поддръжка за завършване на заявки към блочно устройство в пакетен режим. Тестовете показаха увеличение на интензивността на операциите при случайно четене с устройствата Optane от 6.1 до 6.6 млн IOPS на едно ядро CPU.
• Памет и системни услуги
  • Добавен е нов системен повик futex_waitv, който позволява проследяване на състоянието на няколко фьюлекса с едно системно повикване. Посочената функция напомня на наличната в Windows функционалност WaitForMultipleObjects, чиято емуляция чрез futex_waitv може да бъде полезна за повишаване на производителността на Windows игри, стартирани под управление на Wine или Proton. Освен това, едновременното изчакване на фьюлекси може да се използва и за оптимизиране на производителността на родните версии на игри за Linux.
  • Реализирана е концепцията за фолианти на страниците на паметта (page folios), чиято употреба в някои подсистеми на ядрото ще ускори управлението на паметта при типични натоварвания. В момента основната подсистема за управление на паметта в ядрото вече е прехвърлена на фолианти и е реализиран страничен кеш, а в бъдеще е предвидено прехвърляне на файловите системи. В ядрото също така се планира добавяне на поддръжка за многостранични фолианти.

    Фолиантите наподобяват обединените страници на паметта (compound pages), но се различават с подобрена семантика и по-разбираема организация на работата. За управление на системната памет наличната ОЗУ се разделя на страници памет, размерът на които зависи от архитектурата, но на системи x86 се измерва в килобайти (обикновено 4096 байта). Съвременните системи разполагат с десетки гигабайти ОЗУ, което усложнява управлението на паметта поради необходимостта от обработка на огромен брой страници памет. За намаляване на броя на страниците в ядрото беше реализирана концепцията за обединени страници (compound pages) със структури, обхващащи повече от една физическа страница памет. Но API-то за манипулация на обединените страници на паметта оставяше много да се желае и водеше до допълнителни разходи.

  • В планировчика на задачите е добавен обработчик, който взема предвид клъстеризацията на кеша в CPU. В някои процесори, като Kunpeng 920 (ARM) и Intel Jacobsville (x86), определен брой ядра на CPU, обикновено 4, може да споделят L3 или L2 кеш. Вземането под внимание на подобни топологии може значително да повиши ефективността на разпределението на задачите по ядрата на CPU в планировчика, тъй като преместенето на задачи в рамките на един и същ клъстер на CPU позволява повишаване на пропускливостта на достъпа до паметта и намаляване на конкуренцията в кеша.
  • Добавена е поддръжка за инструкции AMX (Advanced Matrix Extensions), реализирани в предстоящите сървърни процесори Intel Xeon Scalable, разработвани под кодовото наименование Sapphire Rapids. AMX предлага нови настраиваеми регистри TMM "TILE" и инструкции за манипулация с данни в тези регистри, като TMUL (Tile matrix MULtiply) за умножение на матрици.
  • Реализирани са няколко нови възможности, основани на добавената в предишния брой подсистема DAMON (Data Access MONitor), която позволява проследяване на достъпа до данни в оперативната памет, свързано с избрания процес, работещ в пространството на потребителя. Например, подсистемата дава възможност за анализ на кои точно области на паметта е имал достъп процесът през цялото време на работата си, а кои области на паметта остават неосъществени.
    • DAMON_RECLAIM за идентифициране и изтласкване на области на паметта, до които не е имало достъп. Механизмът може да се използва за предварително мека изтласкване на страници памет в условия на приближаване до изчерпване на свободната памет.
    • DAMOS (схеми за операции, базирани на мониторинг на достъпа до данни) за прилагане на зададени операции madvise(), като освобождаване на допълнителна свободна памет, към области на паметта на процеса, за които се фиксира определена честота на достъп. Настройката на параметрите на DAMOS се извършва чрез debugfs.
    • Възможност за мониторинг на физическото адресно пространство на паметта (по-рано можеше да се проследява само виртуални адреси).
  • Реализацията на алгоритъма за компресия zstd беше обновена до версия 1.4.10, което позволи значително увеличение на производителността на различни подсистеми на ядрото, в които се прилага компресия (например, разархивирането на ядрото е ускорено с 35%, производителността на разархивиране на компресирани данни в Btrfs и SquashFS се е увеличила с 15%, а в ZRAM — с 30%). Първоначално в ядрото беше използвана отделна реализация на zstd, базирана на версия 1.3.1, пусната преди повече от три години и не включваща много важни оптимизации. Освен преминаването към актуалната версия, добавената пач също опростява синхронизацията с upstream-ветката на zstd, което позволява генерирането на код за включване в ядрото директно от основния репозиторий на zstd. В бъдеще кодът на zstd в ядрото планира да бъде актуализиран с излизането на нови версии на библиотеката zstd.
  • Внесена е значителна част от подобренията в подсистемата eBPF. Добавена е възможността за извикване на функции от модулите на ядрото от BPF-програми. Реализирана е функцията bpf_trace_vprintk(), която позволява извеждане на повече от три аргумента, за разлика от bpf_trace_printk(). Добавена е нова структура за съхранение на данни (BPF map) - bloom filter, която позволява използване на името си за определяне на наличието на елемент в набор. Добавен е нов атрибут BTF_KIND_TAG, който може да се използва в BPF-програми за свързване на тагове към параметрите на функции, например, за улесняване на откриването на грешки в потребителските програми. В libbpf е разрешено създаването на собствени секции .rodata.* / .data.*, реализирана е поддръжка на събития за трасировка uprobe и kprobe, добавен е API за копиране на всички типове BTF от един обект в друг. Поддръжката на AF_XDP е изнесена от libbpf в отделна библиотека libxdp. За архитектурата MIPS е реализиран JIT-компилатор за виртуалната машина BPF.
  • За архитектурата ARM64 е реализирана поддръжка на разширения ARMv8.6 за таймера, включително позволяващи самосинхронизация на представянето на системните регистри без използване на инструкции ISB.
  • За архитектурата PA-RISC е реализирана възможност за използване на механизма KFENCE за откриване на грешки при работа с паметта, а също така е добавена поддръжка на детектора за състояния на гонка KCSAN.
  • Предоставена е възможност за настройка на правата за достъп до tracefs на ниво индивидуални потребители и групи, например, сега може да се разреши достъпът до средствата за трасировка само на членовете на определена група.
• Виртуализация и сигурност
  • В подсистемите io_uring и device-mapper е реализирана поддръжка за генериране на събития за одит. В io_uring е предоставена възможност за управление на достъпа чрез модули LSM. Добавена е възможност за одит на системния извик координат openat2().
  • Кодът на ядрото е напълно освободен от непрекъснати изрази case в switch (без return или break след всеки блок case). При компилирането на ядрото вече ще може да се използва режимът «-Wimplicit-fallthrough».
  • Включени са изменения за затягане на проверките на границите при изпълнение на функцията memcpy().
  • В интерфейса на асинхронния вход/изход io_uring е реализирана възможност за прилагане на политики за безопасност, определени от модулите SELinux и Smack, към операциите за вход/изход.
  • В подсистемата IMA (Integrity Measurement Architecture), която позволява на външна услуга да верифицира състоянието на подсистемите на ядрото, за да се увери в тяхната автентичност, е реализирана възможността за прилагане на правила, основани на идентификатора на групата (GID), към която принадлежи файлът или в която влиза потребителят, който се обръща към файла.
  • По подразбиране са деактивирани някои разширени механизми за защита на потоците seccomp() от атаки от клас Spectre, които са оценени като излишни и значително не подобряват сигурността, но негативно влияят на производителността. Прегледано е прилагането на защитата Retpoline.
  • Премахната е реализацията на механизма cryptoloop, на мястото на който през 2004 г. е внедрен dm-crypt и при необходимост поддържа същите алгоритми.
  • По подразбиране е забранен непривилегированият достъп до подсистемата eBPF. Промената е направена, за да предотврати използването на BPF-програми за заобикаляне на защитата от атаки по странични канали. При необходимост администраторът може да върне възможността за използване на eBPF от непривилегировани потребители.
  • В хипервизора ACRN, предназначен за изпълнение на задачи в реално време и използване в критически важни системи, е добавена поддръжка за създаване/изтриване на виртуални устройства и пробив на MMIO устройства.
  • В криптографския движок е добавена поддръжка на определения KPP (Key-agreement Protocol Primitives), които опростяват логиката на разработването на драйвери за криптосистеми.
  • За хипервизора Hyper-V е реализирана поддръжка за режим на изолация виртуални машини, включващ криптиране на съдържанието на паметта.
  • В хипервизора KVM добавена е поддръжка на архитектурата RISC-V. Реализирана е възможността за миграция вътре в хост-околната среда на виртуални машини, изпълнявани с помощта на разширения AMD SEV и SEV-ES. Добавен е API за live-миграция на гостови системи, криптирани с помощта на AMD SEV (Secure Encrypted Virtualization).
  • За архитектурата PowerPC по подразбиране е активиран режим STRICT_KERNEL_RWX, блокиращ използването на страници памет, които са достъпни едновременно за запис и изпълнение.
  • На 32-разрядни системи x86 е прекратена поддръжката на горещо свързване на памет (Memory hotplug), което повече от година е било извън работа.
  • От ядрото е изключена библиотеката liblockdep, която сега ще се поддържа отделно от ядрото.
• Мрежова подсистема
  • За сокетите е реализирана нова опция SO_RESERVE_MEM, с помощта на която може да се резервира определен обем памет за сокета, който винаги ще остане достъпен за него и няма да бъде изтеглен. Използването на тази опция позволява постигане на увеличаване на производителността чрез намаляване на операциите по разпределение и освобождаване на памет в мрежовия стек, особено при условия на недостиг на памет в системата.
  • Добавена е поддръжка на протокола за автоматично тунелиране на multicast трафик (Automatic Multicast Tunneling, RFC 7450), който позволява доставка на multicast трафик от мрежи с поддръжка на Мulticast до получатели в мрежи без Multicast. Протоколът работи чрез инкапсулация в UDP пакети.
  • Подобрена е инкапсуляцията на данни IOAM (In-situ Operations, Administration, and Maintenance) в транзитни пакети.
  • В ethtool netlink API е добавена възможност за управление на режимите на енергийна консумация на приемопредавателите.
  • В подсистемата netfilter е реализирана възможността за класификация на пакетите на ниво egress, т.е. в момента, когато драйверът получава пакет от мрежовия стек на ядрото. В nftables поддръжката на съответните филтри е налична от версия 1.0.1. В netfilter е добавена възможност за съпоставяне и промяна на вътрешните заглавия и данни за UDP и TCP (вътрешно заглавие / полезна информация), които следват транспортното заглавие.
  • Добавени са нови sysctl параметри arp_evict_nocarrier и ndisc_evict_nocarrier, при които кешът ARP и таблицата ndisc (откриване на съседите) ще бъдат почиствани в случай на загуба на връзка (NOCARRIER).
  • В механизма за управление на мрежовите опашки fq_codel (Controlled Delay) са добавени режимите Low Latency, Low Loss и Scalable Throughput (L4S).
• Оборудване
  • В драйвера amdgpu е реализирана начална поддръжка на спецификацията DP 2.0 (DisplayPort 2.0) и възможностите за тунелиране на DisplayPort през USB4. За APU Cyan Skillfish (с GPU Navi 1x) е добавена поддръжка на контролери за дисплея. Разширена е поддръжката на APU Yellow Carp (мобилни процесори Ryzen 6000 „Rembrandt“).
  • В драйвера i915 е стабилизирана поддръжката на чиповете Intel Alderlake S и е реализирана поддръжка на технологията Intel PXP (Protected Xe Path), която позволява организирането на работа на хардуерно защитен графичен сеанс на системи с чипове Intel Xe.
  • В драйвера nouveau е проведена работа по отстраняване на грешки и подобряване на стила на кода.
  • Добавена е поддръжка за x86-совместими CPU Vortex (Vortex86MX). Linux на подобни процесори е работил и преди, но явната идентификация на указаните CPU е необходима за деактивиране на защита от атаки Spectre/Meltdown, които не се прилагат към тези чипове.
  • Добавена е начална поддръжка за x86-платформи Surface Pro 8 и Surface Laptop Studio.
  • Добавен е драйвер за поддръжка на звукови чипове, използвани в APU AMD Yellow Carp, Van Gogh, както и поддръжка на звукови системи и кодеци Cirrus CS35L41, Maxim MAX98520/MAX98360A, Mediatek MT8195, Nuvoton NAU8821, NVIDIA Tegra210, NXP i.MX8ULP, Qualcomm AudioReach, Realtek ALC5682I-VS, RT5682S, RT9120, Rockchip RV1126 и RK3568.
  • Добавен е драйвер ishtp_eclite за достъп до вградените контролери Intel PSE (Programmable Service Engine) чрез протокола ISHTP (Integrated Sensor Hub Transport Protocol), например, за получаване на данни за батерията, температурата и информация, свързана с UCSI (USB Type-C Connector System Software Interface).
  • Добавен е драйвер за игрални контролери Nintendo Switch, поддържащ устройства Switch Pro и Joy-Cons. Добавена е поддръжка за таблети Wacom Intuos BT (CTL-4100WL/CTL-6100WL) и клавиатурата Apple 2021 Magic Keyboard. Подобрена е поддръжката на контролери Sony PlayStation DualSense. Добавена е поддръжка на странични бутони на мишка Xiaomi Mi.
  • Добавен е драйвер RT89 с поддръжка на безжични чипове Realtek 802.11ax, както и драйвери за Ethernet-адаптери Asix AX88796C-SPI и комутатори Realtek RTL8365MB-VC.
  • За чиповете Apple M1 са добавени драйвери за PCI и PASemi i2c.
  • Добавена е поддръжка за ARM SoC, устройства и платки Raspberry Pi Compute Module 4, Fairphone 4, Snapdragon 690, LG G Watch R, Sony Xperia 10 III, Samsung Galaxy S4 Mini Value Edition, Xiaomi MSM8996 (Mi 5, Mi Note 2, Mi 5s, Mi Mix, Mi 5s Plus и Xiaomi Mi 5), Sony Yoshino (Sony Xperia XZ1 и Sony Xperia XZ Premium), F(x)tec Pro1 QX1000, Microchip LAN966, CalAmp LMU5000, Exegin Q5xR5, sama7g5, Samsung ExynosAutov9, Rockchip RK3566, RK3399 ROCK Pi 4A+, RK3399 ROCK Pi 4B+, Firefly ROC-RK3328-PC, Firefly ROC-RK3399-PC-PLUS, ASUS Chromebook Tablet CT100, Pine64 Quartz64-A, Netgear GS110EMX, Globalscale MOCHAbin 7040, NXP S32G2, Renesas R8A779M*, Xilinx Kria, Radxa Zero, JetHub D1/H1, Netronix E70K02.

Източник: opennet.ru