Релиз на ядро Linux 5.15

След два месеца разработка, Линус Торвалдс представи версията на ядрото Linux 5.15. Сред най-забележителните промени: нов драйвер за NTFS с поддръжка на запис, модул ksmbd за SMB-сървър, подсистема DAMON за мониторинг на достъпа до паметта, примитиви за заключване за режим в реално време, поддръжка на fs-verity в Btrfs, системен повик process_mrelease за системи за реагиране при недостиг на памет, модул за отдалечена атестация dm-ima.

В новую версию принято 13499 исправлений от 1888 разработчиков, размер патча — 42 МБ (изменения затронули 10895 файлов, добавлено 632522 строк кода, удалено 299966 строк). Около 45% всех представленных в 5.15 изменений связаны с драйверами устройств, примерно 14% изменений имеют отношение к обновлению кода, специфичного для аппаратных архитектур, 14% связано с сетевым стеком, 6% — с файловыми системами и 3% c внутренними подсистемами ядра.

Основни нововъведения:

• Дисковата подсистема, вход/изход и файловите системи
  • В ядрото е приета нова реализация на файловата система NTFS, отворена от компанията Paragon Software. Новият драйвер може да работи в режим на запис и поддържа всички възможности на актуалната версия NTFS 3.1, включително разширени атрибути на файловете, списъци за достъп (ACL), режим на компресия на данни, ефективна работа с пропуски в файловете (sparse) и възпроизвеждане на промените от журнала за възстановяване на целостта след сривове.
  • В файловата система Btrfs е реализирана поддръжка на механизма fs-verity, прилаган за прозрачен контрол на целостта и автентичността на отделни файлове чрез криптографски хешове или ключове, асоциирани с файловете и съхранявани в метаданните. По-рано fs-verity беше достъпен само за файловите системи Ext4 и F2fs.

    В Btrfs е добавена и поддръжка наMapping на идентификатори на потребители за монтирани файлови системи (по-рано се поддържаше за файловите системи FAT, ext4 и XFS). Указаната възможност позволява свързването на файлове на определен потребител на монтиран чужд дял с друг потребител в текущата система.

    Среди других изменений в Btrfs: ускорение добавления ключей в индекс каталога для повышения производительности создания файлов; возможность работы raid0 с одним устройством, а raid10 с двумя (например, в процессе переконфигурирования массива); опция «rescue=ibadroots» для игнорирования некорректного дерева экстентов; ускорение операции «send»; снижение конфликтов блокировок во время операций переименования; возможность использования секторов 4K на системах с размером страницы памяти 64K.

  • В XFS е стабилизирана възможността за използване на файловата система след 2038 година. Реализиран е механизъм за отложена деактивация на inode и поддръжка на отложено задаване и изтриване на атрибути на файлове. С цел избягване на проблеми е премахната възможността за изключване на дисковите квоти за вече монтирани дялове (може принудително да се изключат квотите, но свързаният с тях брояч ще продължи да работи, следователно за пълно изключване е необходимо повторно монтиране).
  • В EXT4 е проведена работа по увеличаване на производителността на запис на delalloc-буферите и обработка на осиротели (orphan) файлове, които продължават да съществуват, защото остават отворени, но не са свързани с директория. Обработката на операции discard е преместена извън jbd2-потока kthread, за да се избегнат блокировки на операциите с метаданни.
  • В F2FS добавлена опция «discard_unit=block|segment|section» для привязки операций discard (пометка освобождённых блоков, которые уже можно не хранить физически) к выравниванию относительно блока, сектора, сегмента или секции. Добавлена поддержка отслеживания изменения задержек при ввода/выводе.
  • В файловата система EROFS (Extendable Read-Only File System) е добавена поддръжка за директно въвеждане/извеждане за файлове, съхранявани без компресия, както и поддръжка на fiemap.
  • В OverlayFS реализована корректная обработка флагов монтирования «immutable», «append-only», «sync» и «noatime».
  • В NFS е подобрена обработката на ситуации, когато NFS-сървърът е спрял да отговаря на заявки. Добавена е възможност за монтиране от вече използвано сървър, но достъпно чрез друг мрежов адрес.
  • Започна подготовката за пренаписване на подсистемата FSCACHE.
  • Добавена е поддръжка за EFI-дялове с нестандартно разположение на таблиците GPT.
  • В механизма fanotify е реализиран нов флаг FAN_REPORT_PIDFD, който води до указване на pidfd в числото на връщаните метаданни. Pidfd помага за обработка на ситуации с повторно използване на PID за по-точна идентификация на процесите, които достъпват наблюдаваните файлове (pidfd е свързан с конкретен процес и не се променя, докато PID може да бъде свързан с друг процес след завършването на текущия процес, асоцииран с този PID).
  • В системния вик move_mount() е добавена възможност за добавяне на точки за монтиране в съществуващи общи групи, което решава проблемите със запазването и възстановяването на състоянието на процесите в инструментария CRIU, при наличието на множество пространства за монтиране, споделяни в изолирани контейнери.
  • Добавена е защита от скрити състояния на състезание, които потенциално могат да доведат до повреждане на файлове при изпълнение на четене от кеша по време на обработка на празнини в файла.
  • Поддръжката на задължителни (mandatory) блокировки на файлове, реализирани чрез блокиране на системни повиквания, довеждащи до промяна на файла, е спряна. Поради възможни състояния на състезание, тези блокировки са считани за ненадеждни и преди много години бяха обявени за остарели.
  • Подсистемата LightNVM, позволяваща директен достъп до SSD-накопителя, заобикаляйки слоя на емулация, е премахната. LightNVM е загубил смисъл след появата на стандартите NVMe, предвиждащи възможност за зониране (ZNS, Zoned Namespace).
• Памет и системни услуги
  • Реализирана е подсистема DAMON (Data Access MONitor), която позволява проследяване на активността, свързана с достъпа до данни в оперативната памет, свързана с избран процес, работещ в потребителското пространство. Подсистемата позволява анализ на кои точно области от паметта е достъпван процеса през всичкото време на работата си, а кои области от паметта са останали неизползвани. Между особеностите на DAMON се открояват ниско натоварване на ЦПУ, малък разход на памет, висока точност и предсказуеми постоянни разходи, независещи от размера. Подсистемата може да се използва както от ядрото за оптимизация на управлението на паметта, така и от утилити в потребителското пространство за разбиране на това, какво точно прави процеса и оптимизиране на използването на паметта, например, освобождаване на излишната памет за системата.
  • Реализиран е системен повик process_mrelease, което позволява ускоряване на процеса по освобождаване на паметта при завършване на изпълнението на процеса. При нормални условия освобождаването на ресурсите и приключването на процеса не се извършва мигновено и по различни причини може да бъде забавено, което пречи на работата на функциониращите в пространството на потребителя системи за ранно реагиране на недостиг на памет, като oomd (предоставяна в systemd) и lmkd (използвана в Android). Чрез повикването process_mrelease подобни системи могат да инициират връщане на паметта от принудително прекратени процеси по-предсказуемо.
  • От клона на ядрото PREEMPT_RT, в който се развива поддръжката за работа в режим на реално време, са преместени варианти на примитиви за организация на блокировки mutex, ww_mutex, rw_semaphore, spinlock и rwlock, основани на подсистемата RT-Mutex. В SLUB slab allocator са добавени изменения, които подобряват работата в режим PREEMPT_RT и намаляват влиянието върху прекъсванията.
  • В cgroup е добавена поддръжка на атрибута за планиране на задачи SCHED_IDLE, позволяваща да се снабдят с този признак всички процеси в групата, които принадлежат на определен cgroup. Т.е. тези процеси ще бъдат стартирани само когато в системата няма други задачи, чакащи за изпълнение. В противовес на задаването на атрибута SCHED_IDLE на всеки процес поотделно, при свързването на SCHED_IDLE към cgroup се взима предвид относителният тегло на задачите в рамките на групата.
  • Механизмът за отчитане на потреблението на памет в cgroup е разширен с възможността за проследяване на допълнителни структури от данни на ядрото, включително създадените за polling, обработка на сигнали и пространства на имена.
  • Добавена е поддръжка за асиметрично планиране на привързването на задачи към процесорни ядра на архитектури, при които някои CPU поддържат изпълнение на 32-битови задачи, а други работят само в 64-битов режим (например, ARM). Новият режим позволява при планирането на изпълнението на 32-битови задачи да се взимат предвид само CPU, поддържащи 32-битови задачи.
  • В интерфейса на асинхронния вход/изход io_uring се е появила поддръжка за отваряне на файлове директно в индексната таблица fixed-file, без да се използва файлов дескриптор, което позволява значително ускоряване на някои типове операции, но противоречи на традиционния за Unix процес на използване на файлови дескриптори за отваряне на файлове.

    В io_uring для подсистемы BIO (Block I/O Layer) реализован новый механизм повторной переработки («BIO recycling»), позволяющий снизить накладные расходы в процессе управления внутренней памятью и примерно на 10% увеличить число обрабатываемых операций ввода/вывода в секунду. В io_uring также добавлена поддержка системных вызовов mkdirat(), symlinkat() и linkat().

  • За BPF-програмите е реализирана възможност за заявка и обработка на събития от таймер. Добавен е итератор за UNIX-сокети, а също така е реализирана възможност за получаване и задаване на опции за сокетите за setsockopt. В BTF dumper е добавена поддръжка за типизирани данни.
  • На системи NUMA с различни типове памет с различна производителност, в ситуация на изчерпване на свободното пространство, е реализирано прехвърляне на изхвърлени страници памет от динамичната памет (DRAM) в по-бавна постоянна памет (Persistent Memory) вместо да се изтриват тези страници. Проведените тестове показват, че тактиката обикновено подобрява производителността на подобни системи. Също така е реализирана възможност за разпределяне на страници памет за процеса от избран набор от NUMA възли.
  • За архитектурата ARC е реализирана поддръжка на три- и четиристепенни таблици страници памет, което в бъдеще ще позволи поддръжка на 64-битови процесори ARC.
  • За архитектурата s390 е реализирана възможност за прилагане на механизма KFENCE за откриване на грешки при работа с памет, а също така е добавена поддръжка за детектора на състезателни условия KCSAN.
  • Добавена е поддръжка за индексиране на списъка с съобщения, изведени чрез printk(), което позволява извличане на всички подобни съобщения и проследяване на промените в потребителското пространство.
  • В mmap() е прекратена поддръжката на опцията VM_DENYWRITE, а кодът на ядрото е освободен от използването на режима MAP_DENYWRITE, което е намалило броя на ситуациите, водещи до блокиране на записа в файл с грешка ETXTBSY.
  • В подсистему трассировки добавлен новый тип проверок «Event probes», которые можно прикреплять к существующим событиям трассировки, определяя собственный формат вывода.
  • При компилирането на ядрото с компилатора Clang по подразбиране сега е активиран вграден асемблер от проекта LLVM.
  • В рамках проекта по избавлению ядра от кода, приводящего к выводу предупреждений компилятором, проведён эксперимент с включением по умолчанию режима «-Werror», при котором предупреждения компилятора обрабатываются как ошибки. В процессе подготовки выпуска 5.15 Линус начал принимать только изменения, не приводящие к предупреждениям при сборке ядра и активировал сборку с «-Werror», но потом согласился с мнением о преждевременности такого решения и отложил включение «-Werror» по умолчанию. Управление включением флага «-Werror» при сборке производится при помощи параметра WERROR, который по умолчанию выставлен в значение COMPILE_TEST, т.е. пока включается только при тестовых сборках.
• Виртуализация и сигурност
  • В Device Mapper (DM) е добавен нов обработчик dm-ima с реализация на механизма за отдалечена атестация на базата на подсистемата IMA (Integrity Measurement Architecture), позволяваща на външен сервис да верифицира състоянието на подсистемите на ядрото, за да се увери в тяхната автентичност. На практика dm-ima позволява създаването на хранилища, свързани с външни облачни системи, в които с помощта на IMA се проверява достоверността на стартираната конфигурация на DM target.
  • В prctl() е реализирана нова опция PR_SPEC_L1D_FLUSH, при включване на която ядрото започва да изчиства съдържанието на кеша на първо ниво (L1D) всеки път при смяна на контекста. Този режим позволява селективно за най-важните процеси да се реализира допълнителна защита от използване на атаки по странични канали, провеждани за определяне на данни, оставащи в кеша в резултат на уязвимости, причинени от спекулативното изпълнение на инструкции в ЦП. Цената на включването на PR_SPEC_L1D_FLUSH (по подразбиране не активиран) е съществено намаляване на производителността.
  • Реализована возможность сборки ядра с добавлением в GCC флага «-fzero-call-used-regs=used-gpr», обеспечивающего обнуление всех регистров перед возвращением управления из функции. Указанная опция позволяет защититься от утечки информации из функций и на 20% сократить число блоков, пригодных для построения ROP-гаджетов (Return-Oriented Programming) в эксплоитах.
  • Реализирана е възможността за компилация на ядра за архитектура ARM64 под формата на клиенти за хипервизора Hyper-V.
  • Предложен новый фреймворк для разработки драйверов «VDUSE», позволяющий реализовывать виртуальные блочные устройства в пространстве пользователя и применять Virtio в качестве транспорта для доступа из гостевых систем.
  • Добавен е Virtio-драйвер за шина I2C, който позволява еймулиране на контролери I2C в режим на паравиртуализация с използване на отделни бекенди.
  • Добавен е Virtio-драйвер gpio-virtio, който позволява на гостуващите системи да получат достъп до GPIO линиите, предоставяни от хост системата.
  • Добавена е възможността за ограничаване на достъпа до страници с памет за драйвери на устройства с поддръжка на DMA на системи без I/O MMU (единица за управление на паметта).
  • В хипервизора KVM е реализирана възможността за извеждане на статистика под формата на линейни и логаритмични хистограми.
• Мрежова подсистема
  • В состав ядра добавлен модуль ksmbd с реализацией файлового сервера, использующего протокол SMB3. Модуль дополняет ранее доступную в ядре реализацию клиента SMB и в отличие от SMB-сервера, работающего в пространстве пользователя, более эффективен с точки зрения производительности, потребления памяти и интеграции с расширенными возможностями ядра. Ksmbd преподносится как высокопроизводительное и готовое для применения на встраиваемых устройствах расширение к Samba, при необходимости интегрируемое с инструментами и библиотеками Samba. Из возможностей ksmbd выделяется улучшенная поддержка технологии распределённого кэширования файлов (SMB leases) на локальных системах, которая позволяет существенно сократить трафик. В дальнейшем планируют добавить поддержку RDMA («smbdirect») и расширений протокола, связанных с усилением надёжности шифрования и верификацией по цифровым подписям.
  • В клиента CIFS е прекратена поддръжката на NTLM и по-малко надеждни алгоритми за удостоверяване, основани на алгоритъма DES и използвани в протокола SMB1.
  • В реализацията на мрежовите мостове за vlan е реализирана поддръжка на multicast.
  • В драйвера bonding, използван за агрегация на мрежови интерфейси, е добавена поддръжка на подсистемата XDP (eXpress Data Path), позволяваща манипулиране на мрежовите пакети на етапа преди обработката им от мрежовия стек на ядрото на Linux.
  • В безжичния стек mac80211 е реализирана поддръжка за 6GHZ STA (Special Temporary Authorization) в режимите LPI, SP и VLP, както и възможност за задаване на индивидуални TWT (Target Wake Time) в режима на достъпна точка.
  • Добавена е поддръжка на протокола MCTP (Management Component Transport Protocol), използван за взаимодействие между управляващите контролери и свързаните с тях устройства (хост-процесори, периферни устройства и др.).
  • Продължава интеграцията в ядрото MPTCP (MultiPath TCP), разширение на протокола TCP за организиране на работата на TCP-соединението с доставка на пакети едновременно по няколко маршрута през различни мрежови интерфейси, свързани към различни IP-адреси. В новото издание е добавена поддръжка на адреси в режим fullmesh.
  • В netfilter са добавени обработчици на мрежови потоци, инкапсулирани в протокола SRv6 (Segment Routing IPv6).
  • Добавена е поддръжка на sockmap за потокови Unix-сокети.
• Оборудване
  • В драйвере amdgpu реализована поддержка APU Cyan Skillfish (оснащены GPU Navi 1x). Для APU Yellow Carp реализована поддержка видеокодеков. Улучшена поддержка GPU Aldebaran. Добавлены новые идентификаторы карт на базе GPU Navi 24 «Beige Goby» и RDNA2. Предложена улучшенная реализация виртуальных экранов (VKMS). Реализована поддержка отслеживания температуры чипов AMD Zen 3.
  • В драйвера amdkfd (за дискретни GPU, като Polaris) е реализиран мениджър на споделена виртуална памет (SVM, shared virtual memory) на базата на подсистемата HMM (Heterogeneous memory management), позволяваща използването на устройства със собствени блокове за управление на паметта (MMU, memory management unit), които могат да получават достъп до основната памет. Включително с помощта на HMM може да се организира съвместно адресно пространство между GPU и CPU, в което GPU може да получава достъп до основната памет на процеса.
  • В драйвера i915 за видеокарти Intel е разширено използването на мениджъра за управление на видеопаметта TTM и е включена възможността за управление на консумацията на енергия на базата на GuC (Graphics micro Controller). Започна подготовката за реализиране на поддръжка за графичната карта Intel ARC Alchemist и GPU Intel Xe-HP.
  • В драйвера nouveau е реализирано управление на подсветката на панелите eDP чрез DPCD (DisplayPort Configuration Data).
  • В драйвера msm е добавена поддръжка за GPU Adreno 7c Gen 3 и Adreno 680.
  • За чипа Apple M1 е реализиран драйвер IOMMU.
  • Добавен е звуков драйвер за системи на базата на APU AMD Van Gogh.
  • В секцията staging е добавен драйвер Realtek R8188EU, който замени стария вариант на драйвера (rtl8188eu) за безжични чипове Realtek RTL8188EU 802.11 b/g/n.
  • Включен е драйвер ocp_pt за разработваната от компанията Meta (Facebook) PCIe-плата с реализиране на миниатюрни атомни часовници и GNSS-ресивер, които могат да се използват за организация на работа на изолирани сървъри синхронизации на точно време.
  • Добавена е поддръжка за смартфонки Sony Xperia 10II (Snapdragon 665), Xiaomi Redmi 2 (Snapdragon MSM8916), Samsung Galaxy S3 (Snapdragon MSM8226), Samsung Gavini/Codina/Kyle.
  • Добавена е поддръжка за ARM SoC и платформи NVIDIA Jetson TX2 NX Developer Kit, Sancloud BBE Lite, PicoITX, DRC02, SolidRun SolidSense, SKOV i.MX6, Nitrogen8, Traverse Ten64, GW7902, Microchip SAMA7, Qualcomm Snapdragon SDM636/SM8150, Renesas R-Car H3e-2G/M3e-2G, Marvell CN913x, ASpeed AST2600 (сървърни платформи Facebook Cloudripper, Elbert и Fuji), 4KOpen STiH418-b2264.
  • Добавена е поддръжка за LCD панели Gopher 2b, EDT ETM0350G0DH6/ETMV570G2DHU, LOGIC Technologies LTTD800480070-L6WH-RT, Multi-Innotechnology MI1010AIT-1CP1, Innolux EJ030NA 3.0, ilitek ili9341, E Ink VB3300-KCA, Samsung ATNA33XC20, Samsung DB7430, WideChips WS2401.
  • Добавен е драйвер LiteETH с поддръжка на Ethernet контролери, използвани в софтуерни SoC LiteX (за FPGA).
  • В драйвера usb-audio е добавена опция lowlatency за управление на включването в режим с минимални закъснения. Също така е добавена опция quirk_flags за предаване на специфични за устройството настройки.

Одновременно латиноамериканский Фонд свободного ПО сформировал вариант полностью свободного ядра 5.15 — Linux-libre 5.15-gnu, очищенного от элементов прошивок и драйверов, содержащих несвободные компоненты или участки кода, область применения которых ограничена производителем. В новом выпуске реализован вывод сообщения в лог о завершении чистки. Устранены проблемы при формирования пакетов с использованием mkspec, улучшена поддержка пакетов snap. Убраны некоторые предупреждения, выводимые при обработке заголовочного файла firmware.h. Разрешён вывод некоторых видов предупреждений («format-extra-args», комментарии, неиспользуемые функции и переменные) при сборке в режиме «-Werror». Добавлена чистка драйвера gehc-achc. Обновлён код чистки блобов в драйверах и подсистемах adreno, btusb, btintel, brcmfmac, aarch64 qcom. Прекращена чистка драйверов prism54 (удалён) и rtl8188eu (заменён на r8188eu).

Източник: opennet.ru