Издание на ядрото Linux 6.18

След като два месеца разработки, Линус Торвалдс представи ядрото Linux 6.18. Сред най-забележителните промени са: dm-pcache за дисково кеширане в энергонезависима памет (PMEM), отстраняването на Bcachefs, онлайн режим на проверка на XFS, драйвери Binder (Android IPC) и Tyr (GPU Mali) на Rust, възможността за създаване на USB драйвери на Rust, оптимизация на кеширането в аллокатора на паметта SLUB, адресиране на пространствата на имената чрез файлови дескриптори, ускоряване на работата на подкачването (swap), верификация на BPF програми по цифрови подписи, виртуализация на Intel CET в KVM, мрежовия протокол PSP (хибрид на TLS и IPsec), поддръжка на IP разширения AccECN и оптимизация на UDP стека.

В новата версия са включени 15035 корекции от 2217 разработчици, размерът на пача е 45 МБ (промените засягат 13142 файла, добавени са 601897 реда код, премахнати са 355006 реда). В предишното издание имаше 14334 корекции от 2118 разработчици, размерът на пача беше 46 МБ. Около 40% от всички промени в 6.18 са свързани с драйвери на устройства, приблизително 16% от промените се отнасят до актуализация на код, специфичен за хардуерни архитектури, 12% са свързани с мрежов стек, 5% — с файлови системи и 3% — с вътрешни подсистеми на ядро.

Основните нововъведения в ядрото 6.18 (1, 2, 3):

• Дисковата подсистема, вход/изход и файловите системи
  • В Device Mapper е добавен обработчик dm-pcache за използване на постоянна памет (CXL памет, адресирана чрез DAX устройство) като допълнителен високопроизводителен кеш преди по-бавните традиционни дискови или флаш носители. Dm-pcache осигурява запазването на съдържанието на кеша в случай на аварии (crash-safe) благодарение на използването на энергонезависима памет, дублиране на метаданни и проверка на целостта на данните и метаданните с контрольни суми CRC32. В момента се поддържа само кеширане в режим на отложена запис (write-back).
  • От ядрото е премахнат кодът на файловата система Bcachefs, която сега ще бъде разпространявана под формата на външен модул, компилиран с помощта на инструментария DKMS (Dynamic Kernel Module Support). Кодът на Bcachefs може да бъде върнат в състава на ядрото след като Кент Оверстрит наистина докаже възможността за коректно взаимодействие с други разработчици на ядрото и способността да следва установените правила за разработка.
  • В системния повик pwritev2() е добавен флаг RWF_NOSIGNAL, който деактивира изпращането на сигнал SIGPIPE при запис в прекъснати неименувани канали или сокети.
  • В Procfs е добавена опция за монтиране «pidns» за указване на пространства за имена на идентификатори на процеси (PID namespace). Например: «mount -t proc -o pidns=\/proc\/self\/ns\/pid proc \/tmp\/proc».
  • В XFS е обявена стабилна и включена по подразбиране възможността за прилагане на утилитата fsck за проверка и корекция на установени проблеми в online-режим, без да се отмонтира файловата система. Добавени са системни повикове file_getattr и file_setattr за промяна на атрибутите на специални файлове (всеки inode). В KConfig по подразбиране са деактивирани опциите XFS_SUPPORT_V4 (4-та версия XFS) и XFS_SUPPORT_ASCII_CI (режим без разглеждане на регистъра на символите ASCII), обявени за остарели. Премахнати са остарелите опции за монтиране attr2, noattr2, ikeep и noikeep.
  • В MD RAID е реализиран нов тип битови карти — llbitmap (lockless bitmap), работещи без блокировки и осигуряващи по-висока производителност.
  • От общата структура «inode» е извлечена информация, свързана с криптиране и верификация (указатели i_crypt_info и i_verity_info). Тази промяна позволява да се намали потреблението на памет в файловите системи, които не поддържат криптиране и верификация.
  • В подсистемата FUSE е добавена поддръжка на системния повик copy_file_range() и директно копиране на диапазони с използване на размер с 64-битов тип (по-рано се поддържаше само 32-битов размер). Добавена е поддръжка и за инициализация в синхронен режим по време на монтиране (FUSE_DEV_IOC_SYNC_INIT).
  • В ФС ext4 е реализирана способността за използване на 32-битови идентификатори на потребители (uid) и групи (gid) при достъп до резервирани блокове. Добавени са ioctl-операции за настройка и четене на параметри на суперблока на монтирани ФС (tune2fs ще може да променя параметрите в суперблока без права за запис в блочно устройство). Пълно е премахнато остарелото конфигуриране, специфично за ext3.
  • В f2fs е добавена опция за монтиране «lookup_mode» за избор на режим на търсене: perf — хеш търсене, compat — линейно търсене, auto — автоматичен избор. Промяната на режима има смисъл за конфигурации с директории, в които не се отчита регистърът на символите. Активният режим на търсене може да се определи чрез файла «\/sys\/fs\/f2fs\/\/effective_lookup_mode». Добавена е възможност за резервиране на inode, достъпни само за привилегировани потребители.
  • В Overlayfs е добавен режим на работа без регистрационно различие на символите, активиращо се на ниво слоеве на файловата система (включването на отделни директории все още не се поддържа).
  • В BTRFS е подобрено разпределението на операциите при високо натоварване на четене и ниско натоварване на запис, намалено е времето за фиксация на транзакции и значително е съкратено времето за синхронизация (от минути до десетки секунди). Предоставена е възможност за използване на блокове (bs), по-големи от страницата на паметта (ps).
  • В ksmbd (работещ на ниво ядро SMB-сервер) е добавен параметър за ограничаване на максималния брой връзки от едно устройство. IP адреси. smbdirect, smbclient и smbserver са преминали на използване на стандартни структури на ядрото.
  • В SQUASHFS е добавена възможност за използване в системния повик lseek() опции SEEK_DATA и SEEK_HOLE за търсене на данни и дупки в разредени файлове. В някои тестове е отбелязано увеличение на производителността при копиране на разредени файлове до 150 пъти.
  • В EXFAT е добавена поддръжка на ioctl FS_IOC_GETFSLABEL и FS_IOC_SETFSLABEL за четене и запис на етикети на дялове. Предоставена е възможност за промяна на опциите за монтиране по време на повторно монтиране. Ускорено е зареждането на битовите карти.
  • В NTFS3 е добавена поддръжка на ioctl FS_IOC_GETFSLABEL и FS_IOC_SETFSLABEL за четене и настройка на етикети на дялове.
• Памет и системни услуги
  • Приета е реализация на механизма за междупроцесно взаимодействие Binder, написан на езика Rust. Binder се използва в Android за организиране на взаимодействието между процесите и отдалеченото извикване на методи (един Android процес може да извика метод или функция в друг Android процес, използвайки Binder за идентификация, извикване и предаване на аргументи между процесите). Кодът на Binder е пренаписан на Rust в рамките на инициативата на Google за повишаване на сигурността на Android.
  • В SLUB, аллокатор на паметта на ядрото, е реализиран опционален слой за кеширане «sheaves», използващ няколко кеша, всеки от които е свързан с отделно ядро на CPU, което позволява локализиране на операции при разпределение или освобождаване на памет. Такъв кеш увеличи производителността на разпределението и освобождаването на памет в ядрото, благодарение на премахването на излишните примитиви за синхронизация, необходими при ангажиране на различни ядра на CPU. В проведените тестове увеличението на производителността варира от 6.3% до 31% в зависимост от вида натоварване.
  • Добавена е възможност за създаване на файлови дескриптори, свързани с определено пространство от имена (namespace). За разлика от достъпа до пространствата от имена по идентификатори (／proc／<pid>／ns／), файловият дескриптор се закрепва за конкретен екземпляр на пространството от имена и изключва ситуацията, при която идентификаторът е повторно разпределен и сочи вече към друг обект. По аналогия с употребата на pidfds, отварянето на файлови дескриптори, които се отнасят към пространствата от имена, се извършва чрез функциите open_by_handle_at() и name_to_handle_at().
  • Реализиран е механизъм «Swap Table», който повишава производителността на страниците за обмен. Ускорението се постига благодарение на намаляване на конкуренцията за достъп до кеша за обмен, по-ефективно търсене в кеша и намаляване на фрагментацията. Бекендът на базата на Swap Table е задействан за кеширане на обмена, вместо бекенда XArray и е позволил в средно 5-20% повишаване на производителността. В теста usemem пропускната способност е нараснала с 17-28%, а в теста за многопоточна пререгистрация на ядрото, времето за компилация е намалено с 1.12-3.19%. Теста redis-benchmark с BGSAVE показа увеличение на обработваните заявки с 6-7%.
  • Подсистемата Zswap е преминала на директно използване на системата за разпределение на памет zsmalloc вместо слоя zpool, който вече не се използва и е премахнат от ядрото.
  • За управление на поведението на загрузчика на микрокода в системи x86 е реализирана опция за команда «microcode=списък флагове». В настоящия си вид новата опция е наследила «microcode.force_minrev» и също така позволява да се зададе минималната допустима версия на микрокода за зареждане.
  • Започна работа по реорганизацията на излишно обременената структура «page», използвана за управление на страници оперативна памет. Добавен е тип ‘memdesc_flags_t» за полета с универсални флагове, които ще могат да се използват след очакваното в бъдеще отделяне от структурата «page» на отделни структури за slab и фолианти (folio).
  • За архитектурата nios2, използвана в процесорите Altera Nios II (soft-процесор на базата на FPGA), е реализирана поддръжка на системния вик clone3().
  • В конфигурацията на ядрото (KConfig) е добавен атрибут «transitional», който може да се използва за маркиране на настройки, които не се показват в потребителските интерфейси, като «make menuconfig», и не се включват в генерираните конфигурационни файлове. Основната цел на атрибута е улесняване на преименуването на опции, запазвайки обратна съвместимост.
  • Минималната версия на компилатора Clang, с която може да се компилира ядрото, е повишена до инструментария LLVM 15. В Debian 12 и Ubuntu 22.04 се предлага LLVM 14.
  • Продължи преместването на промените от клона Rust-for-Linux, свързани с използването на езика Rust като втори език за разработка на драйвери и модули на ядрото (поддръжката на Rust не е активирана по подразбиране и не води до включването му в задължителните зависимости за компилация на ядрото). В новата версия за кода на езика Rust са реализирани атомарни операции с памет, структура maple tree, възможност за създаване на файлове DebugFS и функции за манипулиране на битови карти. Достъпът до API за разработка на драйвери е разширен. Добавен е пълен набор от абстракции за разработка на драйвери за USB-устройства (пример за USB-драйвер). В утилитата perf е добавена поддръжка на отладъчни символи, генерирани от компилатора rustc.
• Виртуализация и сигурност
  • Добавена е поддръжка за криптографска верификация на зарежданите BPF-програми по цифрова подпис. В бъдеще тази възможност ще бъде разширена с инструменти за определяне на правила за зареждане на подписани BPF-програми и предоставяне на непривилегировани потребители възможността да използват верифицирани BPF-програми.
  • В хипервизора KVM е реализирана поддръжка на виртуализация на разширенията Intel CET (Control-flow Enforcement Technology), използвани за защита от експлоити, използващи методи за връщане на ориентирано програмиране (ROP — Return-Oriented Programming). Същността на защитата е, че след предаване на управлението на функция, адресът на връщане се запазва от процесора не само в обикновения стек, но и в отделен тъмен стек, който не може да бъде променян пряко.
  • Добавена е възможността за използване на повече от 255 CPU в гост системи, работещи под хипервизора Bhyve на хостове с FreeBSD 15.
  • Добавен е слой dibs (Direct Internal Buffer Sharing) за управляемо споделяне на буфери в изолирана среда, като хипервизор или инстанция на ядрото на Linux.
  • В подсистемата за аудиторска проверка е добавена поддръжка за работа с няколко едновременно активирани модула LSM (Linux Security Module).
  • Добавен е virtio-драйвер spi-virtio за достъп до SPI-устройство (Serial Peripheral Interface) от виртуални машини.
  • В хипервизора KVM е добавена поддръжка на режим SEV-SNP CipherText Hiding, който блокира четенето на шифротекста на паметта на защитените гост системи в неразрешени CPU.
  • Добавен е драйвер qtee за TEE среди (Trusted Execution Environment) на чиповете Qualcomm.
• Мрежова подсистема
  • Добавена е поддръжка за криптиране на TCP-съединения, използвайки протокол PSP (PSP Security Protocol), разработен от Google за криптиране на трафика между датацентровете. PSP осигурява криптиране, криптографски контрол на целостта и автентификация на източника, реализирайки своеобразна комбинация от възможностите на протоколите TLS и IPsec. В PSP се прилага криптиране на ниво отделни мрежови съединения, а не на целия канал на комуникация. PSP използва отделни ключове за криптиране за различни тунелирани TCP-съединения за строга изолация на трафика от различни приложения и обработващи единици. За намаляване на натоварването на CPU се поддържа износ на операции по криптиране и декриптиране на страна на мрежовите карти (offload). За транспорт на данни се използва протокола UDP, върху който се пробива съдържанието на оригиналния TCP пакет.
    
  • Добавена начална поддръжка на разширението AccECN (Accurate Explicit Congestion Notification), което е подобрена версия на разширението ECN. То позволява на хостовете да маркират IP пакетите в случай на претоварване, вместо да ги отблъскват, което дава възможност за откриване на началния етап на задръстване в комуникационните канали без загуба на пакети. Оригиналното разширение ECN има ограничение, което позволява подаването на само един сигнал за претоварване в рамките на един цикъл на предаване (RTT, Round-Trip Time, изпращане на запитване и получаване на отговор). AccECN премахва това ограничение, позволявайки на получателя да предава на изпращача повече от една марка за претоварване в заглавката на TCP пакета. Алгоритмите за управление на претоварванията могат да използват получената информация за по-точно реагиране на претоварванията, без да се налага рязко намаляване на интензивността на изпращане на пакети при появата на незначително претоварване.
  • В UDP стека е оптимизирана обработката на входящи пакети при условия на DDoS атаки, водещи до постъпването на голям брой пакети в един или няколко UDP сокета. Направените оптимизации, като намаляване на конкуриращите блокировки, оптимизация на разположението на структурите данни в паметта и използването на блокировки, които отчитат архитектурата NUMA (Non-Uniform Memory Access), позволиха да се увеличи производителността при приемане на UDP пакети с 47% и повече в екстремни условия.
  • Реализирана е възможността за деактивиране на кеширането на вход/изход в NFS сървъра, което позволява използването на NFS сървър в системи с малък обем на паметта (например, нарязани облачни среди). Деактивирането на кеша също може да е полезно на натоварени NFS сървъри, за да се избегне изтласкването от кеша на данни, свързани с локалните дискове, за освобождаване на памет за кеша на NFS.
  • Максималният размер на буферите за входящи и изходящи пакети за мрежови сокети (net.core.rmem_max и net.core.wmem_max) е увеличен от 2 MB на 4 MB. Стандартният размер, зададен по подразбиране, не е променен (net.core.rmem_default и net.core.wmem_default = 2 MB).
  • Добавен е драйвер за ускорителя на мрежови операции Qualcomm PPE (Packet Processing Engine), използван в SoC Qualcomm IPQ9574.
• Оборудване
  • Ядрото приеме драйвер Tyr, написан на Rust, който осигурява работа с GPU ARM Mali, в които се прилага технология CSF (Сommand Stream Frontend), като Mali G310, G510 и G710. Драйверът все още не е готов за постоянно използване от обикновените потребители и се разглежда като експериментален прототип за тестване на абстракции за разработка на драйвери на езика Rust.
  • В драйверите за устройства за въвеждане с интерфейс HID (Human interface device) е добавена поддръжка на тъчпадове с тактилна обратна връзка и датчици за сила на натиска.
  • Продължава работата по drm-драйвера (Direct Rendering Manager) Xe за GPU, базирани на архитектурата Intel Xe, която се използва в видеокартите Intel от серията Arc и интегрираната графика, започвайки с процесорите Tiger Lake. В новата версия е добавен интерфейс madvise, включена е поддръжка на SR-IOV PF (Single Root I/O Virtualization Physical Function), добавена е поддръжка на режима Intel PSMI за валидиране на хардуера, осигурена е обработка на предавани от фърмуера информация за грешки, реализиран е профил на енергийна консумация SLPC, добавена е поддръжка на зареждане на спомагателни фърмуери (например, към контролера на охладителя и регулатора на напрежението) по време на проверка на драйвера.
  • В драйвера AMDGPU е добавена поддръжка на устройства с APU Cyan Skillfish, подобрена е поддръжката на AMD GCN 1.0, реализирана е съвместимост с инструмента criu, в sysfs са добавени метрики за температура, разрешени са заявки за ремапинг на MMIO от потребителското пространство.
  • В драйвера i915 е включена поддръжка на чиповете от семейството Wildcat Lake и е подобрена работата с GPU Jasper Lake, Elkhart Lake, Gen7 и Gen6.
  • В драйвера Nouveau по подразбиране са задействани GSP-фърмуери на NVIDIA и е подобрена обработката на грешки.
  • Продължена интеграция на компонентите на драйвера Nova за GPU NVIDIA, оборудвани с GSP-прошивки, използвани от серията NVIDIA GeForce RTX 2000, базирана на микроархитектурата Turing. Драйверът е написан на Rust. В новата версия е разширена поддръжката на GSP-прошивки, подобрена е реализацията на модула «register!», добавена е поддръжка на класове PCI-устройства и идентификатори на производители.
  • Добавен е драйвер rocket за NPU ускорители, използвани в SoC Rockchip RK3588.
  • Добавен е параметър в ядрото «boot_display» за избор на изходно устройство за показване на процеса на зареждане на системи с няколко GPU.
  • В драйвера vesadrm е реализирана поддръжка на 8-битови палитри.
  • Към драйвера msm е добавена поддръжка на GPU Adreno 663 и е реализирана технология за намаляване на енергопотреблението IFPC (Inter Frame Power Collapse).
  • Към драйвера panthor е добавена поддръжка на GPU Mali-G710, Mali-G510, Mali-G310, Mali-Gx15, Mali-Gx20 и Mali-Gx25.
  • Добавена е поддръжка на звукови системи ASoC Qualcomm Glymur и PM4125, Realtek RT1321, Shanghai FourSemi FS2104/5S, Texas Instruments PCM1754 и TAS2783A, qcs615, CS35L56 B2, tas2118, tas2x20, tas5825. Добавена е поддръжка на звукови USB карти Tascam US-144mkII и Presonus S1824c.
  • Добавена е поддръжка на ARM CPU Cortex-A320/A520AE/A720AE и C1-Nano/Pro/Premium/Ultra.
  • Добавена е поддръжка на ARM платформи, SoC и устройства: Apple M2 Pro, M2 Max и M2 Ultra, Sony Xperia SP, Samsung Galaxy S22, Samsung Galaxy S20 FE, ASUS Eee Pad Slider SL101, Lenovo ThinkBook 16, HP Omnibook X14 X1P42100, Dell Inspiron 7441/Latitude 7455, Sige1, NanoPi Zero2, Axis Artpec8, NXP i.MX91, ROCK 2A/2F, Qualcomm Lemans Auto, Renesas RZ/T2H, RZ/N2H, RZ/T2H и RZ/N2H, Aspeed AST27xx, Meta Clemente BMC, Netcube Nagami som, Tqma91xx, Ultratronik i.MX8MP Ultra-MACH, i.MX8ULP EVK9, Buffalo WXR-1750DHP.

Междувременно латиноамериканският Фонд за свободен софтуер е изготвил вариант на напълно свободно ядро 6.18 — Linux-libre 6.18-gnu, почистено от елементи на прошивки и драйвери, съдържащи несвободни компоненти или части от код, чийто обхват е ограничен от производителя. В изданието 6.18 е обновен кодът за почистване на blob-овете в драйверите Nova-Core, Intel XE, TI PRUeth, Lantiq GSWIP, Marvell WiFi-Ex. Извършено е почистване на имената на blob-овете в dts-файловете (devicetree) за ARM-чипове Qualcomm, Mediatek и TI ARM64. Неутрализирано е зареждането на blob-ове в новите драйвери FourSemi fs2104/5s, TI TAS2783 и Qualcomm GENI.

Източник: opennet.ru