Релиз на ядрото Linux 6.18

След две месеца разработка, Линус Торвалдс представи версия на Linux 6.18. Сред най-забележителните промени: dm-pcache за дисково кеширане в енергонезависима памет (PMEM), премахване на Bcachefs, онлайн режим за проверка на XFS, драйвъри Binder (Android IPC) и Tyr (GPUs Mali) на Rust, възможност за създаване на USB драйвъри на Rust, оптимизация на кеширането в алокатора на паметта SLUB, адресация на пространствата от имена чрез файлови дескриптори, ускоряване на работа с подмяна (swap), верификация на BPF програми по цифрова подпис, виртуализация Intel CET в KVM, мрежов протокол PSP (хибрид на TLS и IPsec), поддръжка на IP разширение AccECN, оптимизация на UDP стека.

В новата версия са приети 15035 поправки от 2217 разработчици, размерът на пача е 45 MB (промените засегнаха 13142 файла, добавени са 601897 реда код, изтрити са 355006 реда). В предходния релийз имаше 14334 поправки от 2118 разработчици, размерът на пача е 46 MB. Около 40% от всички представени в 6.18 промени са свързани с драйвъри на устройства, около 16% от промените се отнасят до актуализация на код, специфичен за хардуерни архитектури, 12% са свързани с мрежовия стек, 5% с файловите системи и 3% с вътрешните подсистеми на ядрото.

Основни нововъведения в ядрото 6.18 (1, 2, 3):

• Дискова подсистема, вход/изход и файлови системи
  • В Device Mapper е добавен обработчик dm-pcache за използване на постоянна памет (CXL памет, адресирана чрез DAX устройство) като допълнителен високопроизводителен кеш преди по-бавните традиционни дискови или флаш устройства. Dm-pcache осигурява запазване на съдържанието на кеша в случай на срив (crash-safe) благодарение на използването на енергонезависима памет, дублиране на метаданни и проверка на целостта на данните и метаданните чрез контролните суми CRC32. В момента се поддържа само кеширане в режим на отложено записване (write-back).
  • От ядрото е премахнат кодът на файловата система Bcachefs, която сега ще бъде разпространявана под формата на външен модул, компилиран с помощта на инструмента DKMS (Dynamic Kernel Module Support). Кодът на Bcachefs може да бъде върнат в ядрото, след като Кент Оверстрит наистина докаже възможността за коректно взаимодействие с останалите разработчици на ядрото и способността да следва утвърдените правила за разработка.
  • В системния повик pwritev2() е добавен флаг RWF_NOSIGNAL, който деактивира изпращането на сигнал SIGPIPE при запис в разкъсани неназовани канали или сокети.
  • В Procfs е добавена опция за монтиране "pidns" за указване на пространства за идентификатори на процеси (PID namespace). Например: "mount -t proc -o pidns=\/proc\/self\/ns\/pid proc \/tmp\/proc".
  • В XFS е обявена за стабилна и е включена по подразбиране възможността за прилагане на утилитата fsck за проверка и отстраняване на установени проблеми в online режим, без демонтиране на файловата система. Добавени са системни повици file_getattr и file_setattr за промяна на атрибутите на специални файлове (всякакви inode). В KConfig по подразбиране са деактивирани опции XFS_SUPPORT_V4 (4-та версия XFS) и XFS_SUPPORT_ASCII_CI (режим без чувствителност към регистъра на ASCII символи), които са обявени за остарели. Премахнати са остарелите опции за монтиране attr2, noattr2, ikeep и noikeep.
  • В MD RAID е реализиран нов тип битови карти — llbitmap (lockless bitmap), работещи без блокировки и осигуряващи по-висока производителност.
  • От общата структура "inode" е изнесена информацията, свързана с криптиране и верификация (указатели i_crypt_info и i_verity_info). Това изменение позволява намаляване на потреблението на памет в файловите системи, които не поддържат криптиране и верификация.
  • В подсистемата FUSE е добавена поддръжка на системен повик copy_file_range() и директно копиране на диапазони с 64-битов тип (преди поддържането беше само 32-битов размер). Добавена е поддръжка за инициализация в синхронен режим по време на монтиране (FUSE_DEV_IOC_SYNC_INIT).
  • В ФС ext4 е реализирана възможността за използване на 32-битови идентификатори на потребители (uid) и групи (gid) при достъп до резервирани блокове. Добавени са ioctl операции за настройка и четене на параметри на суперблока на монтираните ФС (tune2fs ще може да променя параметри в суперблока без права за запис в блочно устройство). Пълно премахване на остарелите настройки, специфични за ext3.
  • В f2fs е добавена опция за монтиране „lookup_mode“ за избор на режим на търсене: perf — хеш базирано търсене, compat — линейно търсене, auto — автоматичен избор. Промяната на режима е целесъобразна за конфигурации с директории, в които регистърът на символите не се взима предвид. Текущият режим на търсене може да се разбере чрез файла „/sys/fs/f2fs//effective_lookup_mode“. Добавена е възможност за резервиране на inode, достъпни само за привилегировани потребители.
  • В Overlayfs е добавен режим на работа без оглед на регистъра на символите, включван на ниво слоеве на файловата система (настройването за отделни директории все още не се поддържа).
  • В BTRFS е подобрено разпаралеляването на операции при високо натоварване на четене и ниско натоварване на запис, времето за фиксиране на транзакции е съкратено, значително намалено е времето за синхронизация (от минути до десетки секунди). Осигурена е възможност за използване на блокове (bs), по-големи от страницата в паметта (ps).
  • В ksmbd (работещ на ниво ядро SMB-сървър) е добавен параметър за ограничаване на максималния брой връзки от едно. IP адреси. smbdirect, smbclient и smbserver са преминали към използването на стандартни структури на ядрото.
  • В SQUASHFS е добавена възможност за използване в системния повик lseek() на опциите SEEK_DATA и SEEK_HOLE за търсене на данни и пропуски в разредените файлове. В някои тестове е регистрирано увеличаване на производителността при копиране на разредени файлове до 150 пъти.
  • В EXFAT е добавена поддръжка за ioctl FS_IOC_GETFSLABEL и FS_IOC_SETFSLABEL за четене и запис на етикети на дялове. Осигурена е възможност за промяна на опциите за монтиране по време на повторно монтиране. Ускорено е зареждането на битовите карти.
  • В NTFS3 е добавена поддръжка за ioctl FS_IOC_GETFSLABEL и FS_IOC_SETFSLABEL за четене и задаване на етикети на дялове.
• Памет и системни услуги
  • Приета е реализация на механизма за междупроцесно взаимодействие Binder, написана на Rust. Binder се използва в Android за организиране на взаимодействия между процеси и отдалечени извиквания на методи (един Android процес може да извика метод или функция в друг Android процес, използвайки Binder за идентификация, извикване и предаване на аргументи между процесите). Кодът на Binder беше преписан на Rust в рамките на инициативата на Google за повишаване на сигурността на Android.
  • В SLUB, алокаторът на паметта на ядрото, е внедрен опционален слой за кеширане "sheaves", който използва няколко кеша, всеки от които е свързан с отделно ядро на CPU, което позволява локализиране на операциите при разпределяне или освобождаване на памет от едно ядро. Такъв кеш подобри производителността на разпределянето и освобождаването на памет в ядрото, благодарение на елиминирането на излишните синхронизационни примитиви, изисквани при намесата на различни ядра CPU. В проведените тестове увеличението на производителността е било от 6.3% до 31% в зависимост от вида натоварване.
  • Добавена е възможността за създаване на файлови дескриптори, свързани с определено пространство от имена (namespace). За разлика от достъпа до пространствата от имена по идентификатори (\/proc\/\/ns\/), файловият дескриптор е прикрепен към конкретен екземпляр на пространството от имена и изключва ситуация, при която идентификаторът е повторно разпределен и сочи вече към друг обект. По аналогия с използването на pidfds, отварянето на файлови дескриптори, които сочат към пространства от имена, се осъществява чрез функциите open_by_handle_at() и name_to_handle_at().
  • Реализиран е механизъм "Swap Table", позволяващ повишаване на производителността на страничната памет. Ускорението се постига благодарение на намаляване на конкуренцията за достъп до кеша за странична памет, по-ефективно търсене в кеша и намаляване на фрагментацията. Бекендът, базиран на Swap Table, се използва за кеширане на страничната памет вместо бекенда XArray и позволи средно увеличение на производителността с 5-20%. В теста usemem пропускната способност е увеличена с 17-28%, в теста за многопоточна прегрупировка на ядрото времето за компилиране е намалено с 1.12-3.19%, тестът redis-benchmark с BGSAVE показа увеличение на броя на обработваните заявки с 6-7%.
  • Подсистемата Zswap е преминала на директно използване на системата за разпределяне на памет zsmalloc вместо слоя zpool, който вече не се използва и е премахнат от ядрото.
  • За управление на поведението на зареждача на микрокода в системите x86 е реализирана опция за командния ред "microcode=списък флагове". В сегашния си вид новата опция замества "microcode.force_minrev" и също така позволява задаване на минимално допустимата версия на микрокода за зареждане.
  • Започна работа по реорганизация на прекомерно разширената структура «page», използвана за управление на оперативната памет. Добавен е тип ‘memdesc_flags_t», за полета с универсални флагове, които ще могат да се използват след очакваното в бъдеще отделяне от структурата «page» на отделни структури за slab и фолианти (folio).
  • За архитектурата nios2, използвана в процесорите Altera Nios II (soft-процесор на базата на FPGA), е реализирана поддръжка на системния повик clone3().
  • В конфигурацията на ядрото (KConfig) е добавен атрибут «transitional», който може да се използва за маркиране на настройки, не показвани в потребителските интерфейси, като «make menuconfig», и не включвани в генерираните файлове с конфигурация. Основната цел на атрибута е опростяване на преименуването на опции, запазвайки обратната съвместимост.
  • Минималната версия на компилатора Clang, с който може да бъде събрано ядрото, е повишена до инструментария LLVM 15. В Debian 12 и Ubuntu 22.04 се предлага LLVM 14.
  • Продължи пренасянето на изменения от клона Rust-for-Linux, свързани с използването на езика Rust като втори език за разработка на драйвери и модули на ядрото (поддръжката на Rust не е активна по подразбиране и не води до включване на Rust в списъка с задължителни зависимости за компилация на ядрото). В новата версия за кода на езика Rust са реализирани атомарни операции с памет, структура maple tree, възможност за създаване на файлове DebugFS и функции за манипулация с битови карти. Разширен е достъпът до API за разработка на драйвери. Добавен е пълен набор от абстракции за разработка на драйвери за USB-устройства (пример USB-драйвер). В утилитата perf е добавена поддръжка на отладъчни символи, генерирани от компилатора rustc.
• Виртуализация и безопасност
  • Добавена е поддръжка за криптографска верификация на зарежданите BPF-програми по цифрова подпечатка. В бъдеще тази възможност ще бъде разширена със средства за определяне на правила за зареждане на подписани BPF-програми и предоставяне на непривилегировани потребители на възможността да използват верифицирани BPF-програми.
  • В хипервизора KVM е реализирана поддръжка на виртуализацията на Intel CET (Control-flow Enforcement Technology), използвана за защита от експлоити, които прибягват до техники на връщане-ориентирано програмиране (ROP — Return-Oriented Programming). Същността на защитата е, че след предаването на контрола на функция, адресът на връщане се запазва от процесора не само в обикновения стек, но и в отделен тъмен стек, който не може да бъде променен директно.
  • Добавена е възможността за използване на повече от 255 CPU в гостуващи системи, работещи под управлението на хипервизора Bhyve на хостове с FreeBSD 15.
  • Добавен е слой dibs (Direct Internal Buffer Sharing) за управляемо споделяне на буфери в изолирана среда, такава като хипервизор или инстанция на ядрото Linux.
  • В подсистемата за одит е добавена поддръжка на работа с няколко едновременно активни модула LSM (Linux Security Module).
  • Добавен е virtio-драйвер spi-virtio за достъп до SPI устройство (Serial Peripheral Interface) от на виртуални машини.
  • В хипервизора KVM е добавена поддръжка на режима SEV-SNP CipherText Hiding, който блокира четенето на шифротекста в паметта на защитените гостуващи системи от неразрешен CPU.
  • Добавен е драйвер qtee за TEE среди (Trusted Execution Environment) на чиповете Qualcomm.
• Мрежовата подсистема
  • Добавена е поддръжка за криптиране на TCP връзки, използвайки протокола PSP (PSP Security Protocol), разработен от Google за криптиране на трафика между дата центрове. PSP осигурява криптиране, криптографски контрол на целостта и автентикация на източника, реализирайки своеобразна комбинация от възможностите на протоколите TLS и IPsec. В PSP се прилага криптиране на ниво отделни мрежови връзки, а не на целия канал на комуникация. PSP използва отделни криптиращи ключове за различни тунелирани TCP връзки за строго изолиране на трафика от различни приложения и обработващи устройства. За намаляване на натоварването на CPU се поддържа прехвърляне на операции по криптиране и декриптиране на мрежовите карти (offload). За транспорт на данни се използва протокол UDP, над който се прехвърля съдържанието на оригиналния TCP пакет.
    
  • Добавена начална поддръжка на разширението AccECN (Accurate Explicit Congestion Notification), което представлява подобрена версия на разширението ECN, позволяваща на хостовете, в случай на претоварване, да маркират IP пакети вместо да ги отхвърлят, предоставяйки възможност за определяне на възникването на началната фаза на задръстването в комуникационните канали без загуба на пакети. Оригиналното разширение ECN има ограничение, допускащо издаването само на един сигнал за претоварване в рамките на един цикъл на приемане-предаване TCP (RTT, Round-Trip Time, изпращане на запитване и получаване на отговор). AccECN премахва това ограничение и дава възможност на получателя да предава на изпращача повече от една етикета за претоварване в заглавката на TCP пакета. Алгоритмите за управление на претоварването могат да използват получената информация за по-точно реагиране на претоварванията и да не прибягват до рязко намаляване на интензивността на изпращане на пакети при появата на незначително претоварване.
  • В UDP стека е оптимизирана обработката на входящи пакети в условия на DDoS атаки, водещи до постъпването на голям брой пакети в един или повече UDP сокети. Направените оптимизации, като намаляване на конкуриращите блокировки, оптимизация на разположението на структурите от данни в паметта и използването на блокировки, вземащи предвид архитектурата NUMA (Non-Uniform Memory Access), позволиха увеличаване на производителността при приемане на UDP пакети с 47% и повече в екстремни условия.
  • Реализирана е възможността за деактивиране на кеширането на входно/изходни операции в NFS сървъра, което позволява използването на NFS сървера в системи с малък обем памет (например, ограничени облачни среди). Деактивирането на кеша също може да бъде полезно на натоварени NFS сървъри, за да се избегне извеждането от кеша на данни, свързани с локални устройства за съхранение, поради освобождаване на памет за кеша на NFS.
  • Максималният размер на буферите на входящите и изходящите пакети за мрежови сокети (net.core.rmem_max и net.core.wmem_max) е увеличен от 2 MB на 4 MB. По подразбиране зададеният размер не е променен (net.core.rmem_default и net.core.wmem_default = 2 MB).
  • Добавен е драйвер за ускорителя на мрежови операции Qualcomm PPE (Packet Processing Engine), използван в SoC Qualcomm IPQ9574.
• Оборудване
  • В ядрото е приет драйвера Tyr, написан на Rust, който осигурява работа с GPU ARM Mali, включително технологии CSF (Сommand Stream Frontend), като Mali G310, G510 и G710. Драйверът все още не е готов за постоянно използване от обикновените потребители и е в процес на експериментално тестване на абстракции за разработка на драйвери на Rust.
  • В драйверите за входни устройства с интерфейс HID (Human interface device) е добавена поддръжка за тачпадове с тактилна обратна връзка и сензори за сила на натиск.
  • Продължава работата по drm-драйвера (Direct Rendering Manager) Xe за GPU на базата на архитектура Intel Xe, която се използва в видеокартите Intel от семейството Arc и интегрираната графика, започвайки с процесорите Tiger Lake. В новата версия е добавен интерфейс madvise, включена е поддръжка за SR-IOV PF (Single Root I/O Virtualization Physical Function), добавена е поддръжка за режима Intel PSMI за валидиране на оборудването, осигурена е обработка на информация за грешки, предавана от фърмуера, реализиран е профил за енергийна консумация SLPC и е добавена поддръжка за зареждане на допълнителни фърмуери (например за контролер на охладителя и регулатор на напрежение) по време на теста на драйвера.
  • В драйвера AMDGPU е добавена поддръжка за устройства с APU Cyan Skillfish, подобрена е поддръжката за AMD GCN 1.0, реализирана е съвместимост с инструмента criu, в sysfs са добавени температурни метрики и са разрешени запитвания за ремапинг на MMIO от пространството на потребителя.
  • В драйвера i915 е включена поддръжка за чипове от семейството Wildcat Lake и е подобрена работата с GPU Jasper Lake, Elkhart Lake, Gen7 и Gen6.
  • В драйвера Nouveau по подразбиране са активирани GSP-фърмуерите NVIDIA и е подобрена обработката на грешки.
  • Продължава интеграцията на компонентите на драйвера Nova за GPU NVIDIA, оборудвани с GSP-фърмуери, използвани от серия NVIDIA GeForce RTX 2000 на базата на микроархитектура Turing. Драйверът е написан на Rust. В новата версия е разширена поддръжката на GSP-фърмуери, подобрена е реализацията на макроса «register!», добавена е поддръжка за класове PCI-устройства и идентификатори на производители.
  • Добавен е драйверът rocket за NPU ускорители, използвани в SoC Rockchip RK3588.
  • Добавен е параметър на ядрото «boot_display» за избор на изходно устройство за показване на процеса на зареждане на системи с множество GPU.
  • В драйвера vesadrm е реализирана поддръжка на 8-битови палитри.
  • В драйвера msm е добавена поддръжка на GPU Adreno 663 и е реализирана поддръжка на технологията за намаляване на енергийното потребление IFPC (Inter Frame Power Collapse).
  • В драйвера panthor е добавена поддръжка на GPU Mali-G710, Mali-G510, Mali-G310, Mali-Gx15, Mali-Gx20 и Mali-Gx25.
  • Добавена е поддръжка за звукови системи ASoC Qualcomm Glymur и PM4125, Realtek RT1321, Shanghai FourSemi FS2104/5S, Texas Instruments PCM1754 и TAS2783A, qcs615, CS35L56 B2, tas2118, tas2x20, tas5825. Добавена е поддръжка за звукови USB карти Tascam US-144mkII и Presonus S1824c.
  • Добавена е поддръжка за ARM CPU Cortex-A320/A520AE/A720AE и C1-Nano/Pro/Premium/Ultra.
  • Добавена е поддръжка за ARM платформи, SoC и устройства: Apple M2 Pro, M2 Max и M2 Ultr, Sony Xperia SP, Samsung Galaxy S22, Samsung Galaxy S20 FE, ASUS Eee Pad Slider SL101, Lenovo ThinkBook 16, HP Omnibook X14 X1P42100, Dell Inspiron 7441 / Latitude 7455, Sige1, NanoPi Zero2, Axis Artpec8, NXP i.MX91, ROCK 2A/2F, Qualcomm Lemans Auto, Renesas RZ/T2H, RZ/N2H, RZ/T2H и RZ/N2H, Aspeed AST27xx, Meta Clemente BMC, Netcube Nagami som, Tqma91xx, Ultratronik i.MX8MP Ultra-MACH, i.MX8ULP EVK9, Buffalo WXR-1750DHP.

Същевременно латиноамериканският Фонд за свободен софтуер създаде вариант на напълно свободното ядро 6.18 — Linux-libre 6.18-gnu, отстранено от елементи на фърмуер и драйвери, съдържащи несвободни компоненти или участъци от код, чиято употреба е ограничена от производителя. В версия 6.18 е обновен кодът за очистка на blob-овете в драйверите Nova-Core, Intel XE, TI PRUeth, Lantiq GSWIP, Marvell WiFi-Ex. Извършена е очистка на имената на blob-овете в dts файловете (devicetree) за ARM чипове Qualcomm, Mediatek и TI ARM64. Неутрализирана е зареждането на blob-овете в новите драйвери FourSemi fs2104/5s, TI TAS2783 и Qualcomm GENI.

Източник: opennet.ru