Релиз на ядрото Linux 5.9

След като работи два месеца, Линус Торвалдс представи новата версия на ядрото Linux 5.9. Сред най-забележителните промени: ограничаване на вноса на символи от проприетарни модули в GPL-модули, ускоряване на операциите по превключване на контекста с помощта на процесорна инструкция FSGSBASE, поддръжка на компресия на образа на ядрото с помощта на Zstd, преработка на разпределението на приоритетите за потоци в ядрото, поддръжка на протокол PRP (Parallel Redundancy Protocol), планиране с оглед на пропускателната способност в планиращия механизъм deadline, предсказуемо опаковане на страници памет, capability-флаг CAP_CHECKPOINT_RESTOR, системен повик close_range(), повишаване на производителността на dm-crypt, премахване на кода за 32-битови гост системи Xen PV, нов механизъм за управление на паметта slab, опция „rescue“ в Btrfs, поддръжка на inline-шифриране в ext4 и F2FS.

В новата версия са приети 16074 поправки от 2011 разработчици,
размерът на пача е 62 МБ (промените засегнаха 14548 файлове, добавени са 782155 реда код, изтрити са 314792 реда). Около 45% от всички изменения в 5.9
са свързани с драйвери на устройства, приблизително 15% от промените имат
отношение към актуализацията на код, специфичен за хардуерни архитектури, 13%
отношение с мрежовия стек, 3% — с файловите системи и 3% c вътрешните
подсистеми на ядрото.

Основни нововъведения:

• Памет и системни услуги
  • Ужесточена защита срещу използването на GPL-прослоеки за свързване на проприетарни драйвери с компоненти на ядрото, достъпни само за модули с лиценз GPL. Флагът TAINT_PROPRIETARY_MODULE вече се наследява във всички модули, импортиращи символи от модули с този флаг. Ако GPL-модулът се опита да импортира символи от не-GPL модул, то този GPL-модул наследява етикета TAINT_PROPRIETARY_MODULE и не може да получава достъп до компонентите на ядрото, налични само за модули с лиценз GPL, дори ако модулът преди това е импортировал символи от категорията „gplonly“. Обратната блокировка (експорт само на EXPORT_SYMBOL_GPL в модули, импортирали EXPORT_SYMBOL_GPL), която би могла да наруши работата на проприетарни драйвери, не е реализирана (наследява се само флагът на проприетарния модул, но не и GPL-привързването).
  • Добавено поддръжка на механизма kcompactd за предсказуемо опаковане на страници памет в фонов режим, който позволява да се увеличи броят на големите страници памет, налични за ядрото. Според предварителните оценки, фоновата упаковка с минимални разходи позволява 70-80 пъти да се намалят закъсненията при разпределяне на големи страници памет (huge-page) в сравнение с предходния механизъм на упаковка, активиран при необходимост (on-demand). За задаване на границите на външната фрагментация, която ще осигури kcompactd, е добавен sysctl vm.compaction_proactiveness.
  • Добавено поддръжка на компресия на образа на ядрото с използване на алгоритъм Zstandard (zstd).
  • За системи x86 е внедрена поддръжка на процесорна инструкция FSGSBASE, позволяваща четене и промяна на съдържанието на регистрите FS/GS от потребителското пространство. В ядрото FSGSBASE се използва за ускоряване на операциите за превключване на контекста чрез изключване на излишни операции за запис на MSR за GSBASE, а в потребителското пространство позволява да се избегнат излишни системни повици за промяна на FS/GS.
  • Добавен параметърът „allow_writes“, позволяващ забрана на промени на MSR-регистри на процесора от потребителското пространство и ограничаване на достъпа до съдържанието на данните в регистрите с операции за четене, тъй като промяната на MSR може да доведе до проблеми. По подразбиране записът не е забранен, а промяната на MSR се отразява в логовете, но в бъдеще се планира да се премине в режим само за четене по подразбиране.
  • В интерфейса на асинхронния вход/изход io_uring добавена е пълна поддръжка на асинхронни операции за буферирано четене, не изискващи ангажиране на потоци от ядрото. Поддръжка на запис се очаква в следващия релиз.
  • В планировчика за вход/изход deadline реализирано планирането с оглед на пропускната способност, , позволяващо да взема правилни решения на асиметрични системи, такива като системи ARM, базирани на архитектури DynamIQ и big.LITTLE, комбиниращи в един чип мощни и по-малко производителни енергийно ефективни ядра на CPU. В частност, новият режим позволява да се избегнат несъответствия при планирането, когато бавното ядро на CPU не разполага с необходимите ресурси за изпълнение на задачата в зададения срок.
  • Моделът за потребление на енергия в ядрото (Energy Model framework) сега описва не само обхваща поведението на енергийното потребление на CPU, но и периферни устройства.
  • Реализиран е системен повик close_range(), позволяващ на процеса да затвори диапазон от отворени файлови дескриптори.
  • От реализация на текстовата конзола и драйвера fbcon изтрит код, осигуряващ възможност за програмирано превъртане на текста назад (CONFIG_VGACON_SOFT_SCROLLBACK) с повече от обема на видеопаметта в текстовия режим VGA.
  • Преработен алгоритъм за определяне на приоритетите за потоците вътре в ядрото. Новият вариант осигурява по-добра последователност във всички подсистеми на ядрото при задаването на приоритети за задачи в реално време.
  • Добавен sysctl sched_uclamp_util_min_rt_default за управление на параметрите за принудително регулиране на честотата на CPU за задачи в реално време (например, може да се променя поведението по време на изпълнение на задачи в реално време за спестяване на енергия при преминаване на захранване от батерия или на мобилни системи).
  • Извършена е подготовка за внедряване на поддръжка на технологията Transparent Huge Pages в страничния кеш.
  • В механизма fanotify са реализирани нови флагове FAN_REPORT_NAME и FAN_REPORT_DIR_FID за предаване на информация за родителското име и уникалния идентификатор FID при настъпване на събития за създаване, изтриване или преместване на елементи в директория и не свързани с директории обекти.
  • За cgroups реализиран нов контролер за разпределение на паметта slab (контролер за памет slab), който се отличава с прехвърлянето на отчитането на slab от нивото на страници памет към нивото на обекти в ядрото, което позволява споделяне на slab-страници между различни cgroup, вместо да се отделят отделни кешове slab за всяка cgroup. Предложеният подход позволява да се повиши ефективността на използване на slab, намалявайки размера на използваната памет за slab с 30-45%, значително намалявайки общото потребление на памет от ядрото и намалявайки фрагментацията на паметта.
  • В звуковата подсистема ALSA и в USB стека, в съответствие спрепоръките за използване на инклизивна терминология в ядрото на Linux, извършена е пречистка на неполиткоректни термини. Кодът е изчистен от използването на думите „slave“, „master“, „blacklist“ и „whitelist“. недавно приетите При компилиране на ядрото с компилатора Clang
• Виртуализация и сигурност
  • възможност за настройка (CONFIG_INIT_STACK_ALL_ZERO) на автоматичната инициализация с нулево значение на всички променливи, съхранявани в стека (приготвя се с „-ftrivial-auto-var-init=zero“). се появи В подсистемата seccomp, при използването на режима на контрол на процеса в пространството на потребителя,
  • В подсистемата seccomp, при използване на режима за контрол на процесите в потребителското пространство, е добавена възможност за вмъквания в проследявания процес на файлови дескриптори за пълна емуляция на системни повиквания, водещи до създаването на файлови дескриптори. Функционалността е необходима в изолирани контейнерни системи и реализации на пясъчник за Chrome.
  • За архитектури xtensa и csky е добавена поддръжка за ограничаване на системни повиквания чрез подсистемата seccomp. За xtensa е реализирана и поддръжка на механизма за одит.
  • Добавен нов флаг за способност CAP_CHECKPOINT_RESTORE, който позволява предоставянето на достъп до възможности, свързани със замразяване и връщане на състояния на процесите, без предаване на допълнителни привилегии.
  • В GCC 11 са реализирани всички възможности, необходими за
    инструмента за отстраняване на грешки KCSAN (Kernel Concurrency Sanitizer), предназначен за динамично откриване на условия на гонка в ядрото. По този начин KCSAN вече може да се използва с ядра, компилирани в GCC.
  • За AMD Zen и по-нови модели CPU е добавена подкрепа за P2PDMA технология, позволяваща използването на DMA за директен трансфер на данни между паметта на две устройства, свързани към PCI шина.
  • В dm-crypt е добавен режим, позволяващ намаляване на закъсненията чрез извършване на криптографска обработка на данни без използване на работни опашки. Този режим е необходим и за правилната работа с зонирани блочни устройства (устройства с области, които трябва да се записват последователно с актуализиране на цялата група блокове). Извършена е работа по увеличаване на пропускната способност и намаляване на закъсненията в dm-crypt.
  • Премахнат е кодът за поддръжка на 32-битови гост системи, работещи в режим на паравиртуализация под управлението на хипервизора Xen. Потребителите на подобни системи трябва да преминат на използване на 64-битови ядра в гост опции или да използват вместо паравиртуализация (PV) режимите на пълна (HVM) или комбинирана (PVH) виртуализация.
• Дисковата подсистема, вход/изход и файловите системи
  • В файловата система Btrfs е реализирана опция за монтиране „rescue“, унифицираща достъпа до всички други опции за възстановяване. Премахната е поддръжката на опциите „alloc_start“ и „subvolrootid“, обявена за остаряла опцията „inode_cache“. Извършена е оптимизация на производителността, особено забележимо ускорено е изпълнението на операции fsync(). Добавено възможност за използване на алтернативни типове проверки на суми, различни от CRC32c.
  • Добавено възможност за използване на inline криптиране (Inline Encryption) в файловите системи ext4 и F2FS, за включването на което е предвидена опция за монтиране "inlinecrypt". Режимът на inline криптиране позволява използването на вградени механизми за криптиране в контролера на устройството, осигуряващи прозрачна криптиране и декриптиране на входящи/изходящи данни.
  • В XFS осигурен изхвърляне на inode (flush) в напълно асинхронен режим, без да блокира процесите по време на операцията по почистване на паметта. Решен е дългогодишният проблем с квотите, поради който предупрежденията за превишаване на мекия лимит и ограниченията за брой inode не се проследяваха коректно. Унифицирана е реализацията на поддръжка на DAX за ext4 и xfs.
  • В Ext4 е реализирана предварително зареждане на битови карти за разпределение на блоковете. В комбинация с ограничение за сканиране на неинициализирани групи, оптимизацията е позволила значително съкращаване на времето за монтиране на много големи дялове.
  • В F2FS е добавен ioctl F2FS_IOC_SEC_TRIM_FILE, позволяващ използването на команди TRIM/discard за физическо нулиране на указаните данни в файла, например за премахване на ключове за достъп без остатъчни данни на устройството.
    В F2FS също е добавен нов режим на събиране на боклук GC_URGENT_LOW, който работи по-агресивно, като изключва определени проверки за състояние на бездействие (idle) преди стартиране на събирача на боклук.
  • В bcache размерът на bucket_size за екстентите е увеличен от 16 на 32 бита в рамките на подготовката за поддръжка на кэш за зонирани устройства.
  • В подсистемата SCSI е добавена възможност за използване на inline криптиране на база вградени средства за хардуерно криптиране, предоставени от UFS контролери (Universal Flash Storage).
  • Добавен е нов параметър на командния ред на ядрото "debugfs", позволяващ управление на достъпа до одноимённата псевдо-FS.
  • В клиента NFSv4.2 е осигурена поддръжка на разширени атрибути на файловете (xattr).
  • В dm-dust е добавен интерфейс за извеждане на списък на всички открити bad-блокове на диска ("dmsetup message dust1 0 listbadblocks").
  • За md/raid5 е добавен параметър /sys/block/md1/md/stripe_size за настройка на размера на STRIPE блока.
  • За NVMe устройства е добавена поддръжка на команди за зониране на устройството (ZNS, NVM Express Zoned Namespace), позволяваща разделянето на пространството за съхранение на зони, съставляващи групи блокове, за по-пълно управление на разположението на данните на устройството.
• Мрежова подсистема
  • В Netfilter е добавена възможност за отказване на пакети на етапа преди проверка на маршрутизацията (изразът REJECT вече може да се използва не само в веригите INPUT, FORWARD и OUTPUT, но и на етап PREROUTING за icmp и tcp).
  • В nftables е добавена възможност за одит на събития, свързани с промяна на конфигурация.
  • В nftables в API netlink е добавена поддръжка на анонимни вериги, чиято имена се назначават динамично от ядро. При изтриване на свързано с анонимна верига правило, автоматично се изтрива и самата верига.
  • В BPF е добавена поддръжка на итератори за обход, филтриране и промяна на елементи в асоциативни масиви (map) без копиране на данни в пространството на потребителя. Итераторите могат да се използват за TCP и UDP сокети, което позволява на BPF програмите да преминават през списъци с отворени сокети и да извлекат необходимата информация от тях.
  • Добавен е нов тип BPF програми BPF_PROG_TYPE_SK_LOOKUP, които се стартират, когато ядрото търси подходящ слушащ сокет за входящо свързване. Чрез такава BPF програма могат да се създават обработчици, които вземат решения за това с кой сокет да се асоциира свързването, без ограничения от системния повик bind(). Например, може да се организира свързването на един сокет с диапазон от адреси или портове. Освен това, в bpf_setsockopt() е добавена поддръжка на флага SO_KEEPALIVE и е реализирана възможността за поставяне на обработчици BPF_CGROUP_INET_SOCK_RELEASE, които се извикват при освобождаване на сокета.
  • Реализирана е поддръжка на протокол PRP (Паралелен протокол за резервиране), който позволява на база Ethernet прозрачно за приложенията да превключва на резервен канал в случай на неизправност на всякакви компоненти от мрежата.
  • В стек mac80211 е добавена поддръжка на четиристепенна договореност за канала WPA/WPA2-PSK в режим на точка за достъп.
  • Добавена е възможност за превключване на планировчика qdisc (queuing discipline) да използва по подразбиране алгоритма за управление на мрежовите опашки FQ-PIE (Flow Queue PIE), нацелен на намаляване на негативното влияние на междинното буфериране на пакетите върху граничното мрежово оборудване (bufferbloat) в мрежи с кабелни модеми.
  • Добавени са нови възможности в MPTCP (MultiPath TCP), разширение на TCP протокола за организиране на работа на TCP-съединението с доставяне на пакети едновременно по няколко маршрута през различни мрежови интерфейси, свързани с различни IP-адреси. Добавена е поддръжка на syn cookie, DATA_FIN, автоматична настройка на буферите, диагностика на сокетите и използване на флаговете REUSEADDR, REUSEPORT и V6ONLY в setsockopt.
  • За виртуалните маршрутизиращи таблици VRF (Virtual Routing and Forwarding), които позволяват организирането на работа на няколко домейна на маршрутизиране в една система, е реализиран режим „строг“. В този режим виртуалната таблица може да бъде асоциирана само с маршрутизираща таблица, която не се използва в други виртуални таблици.
  • В безжичния драйвер ath11k е добавена поддръжка на честота 6GHz и спектрално сканиране.
• Оборудване
  • Премахнат е кодът за поддръжка на архитектурата UniCore, разработена в микропроцесорния център на Пекинския университет и включена в ядрото на Linux през 2011 година. Тази архитектура от 2014 година не се поддържа и няма поддръжка в GCC.
  • За архитектурата RISC-V е реализирана поддръжка на kcov (debugfs-интерфейс за анализ на покритие на кода на ядрото), kmemleak (система за откриване на утечки на памет), защита на стека, метки на преминаване и tickless-операции (независима от сигналите таймерна многозадачност).
  • За архитектурата PowerPC е реализирана поддръжка на опашки за spinlock, което значително увеличи производителността в ситуации на конфликти при блокировки.
  • За архитектурите ARM и ARM64 по подразбиране е активиран механизъм за регулиране на честотата на процесора schedutil (cpufreq governor), който за вземане на решение за промяна на честотата директно използва информация от планиращия процес и може веднага да се свърже с драйверите cpufreq за бърза промяна на честотата, моментално настройвайки параметрите на работата на CPU спрямо текущото натоварване.
  • В DRM-драйвера i915 за видеокарти Intel е включена поддръжка на чипове на базата на микроархитектура Rocket Lake и е добавена начален поддръжка за дискретни карти Intel Xe DG1.
  • В драйвера amdgpu е добавена начален поддръжка за GPU AMD Navi 21 (Navy Flounder) и Navi 22 (Sienna Cichlid). Добавена е поддръжка за механизми за ускорение на кодиране и декодиране на видео UVD/VCE за GPU Southern Islands (Radeon HD 7000).
    Добавена е собственост за завъртане на дисплея на 90, 180 или 270 градуса.

    Интересно е, че драйверът за GPU AMD е най-голямият драйвер в ядрото — включва около 2.71 млн. реда код, което е приблизително 10% от общия размер на ядрото (27.81 млн. реда). От тези редове, 1.79 млн. са за автоматично генерирани заглавни файлове с данни за регистрите на GPU, а Си-кодът включва 366 хиляди реда (за сравнение, драйверът Intel i915 съдържа 209 хиляди реда, а Nouveau — 149 хиляди).

  • В драйвера Nouveau е добавена поддръжка на покадрова проверка за цялост чрез CRC (Cyclic Redundancy Checks) в дисплейните модули на GPU NVIDIA. Реализацията е базирана на документацията, предоставена от NVIDIA.
  • Добавени са драйвери за LCD панели: Frida FRD350H54004, KOE TX26D202VM0BWA, CDTech S070PWS19HP-FC21, CDTech S070SWV29HG-DC44, Tianma TM070JVHG33 и Xingbangda XBD599.
  • В звуковата подсистема ALSA е реализирана поддръжка на Intel Silent Stream (режим на постоянно поддържане на захранване за външни HDMI устройства, за да се избегне забавяне при стартиране на възпроизвеждането) и ново устройство за управление на подсветката на бутоните за активиране на микрофона и изключване на звука, както и поддръжка на ново оборудване, включително контролер Loongson 7A1000.
  • Добавена е поддръжка за ARM платформи, устройства и платформи: Pine64 PinePhone v1.2, Lenovo IdeaPad Duet 10.1, ASUS Google Nexus 7, Acer Iconia Tab A500, Qualcomm Snapdragon SDM630 (използван в Sony Xperia 10, 10 Plus, XA2, XA2 Plus и XA2 Ultra), Jetson Xavier NX, Amlogic WeTek Core2, Aspeed EthanolX, пет нови платформи базирани на NXP i.MX6, MikroTik RouterBoard 3011, Xiaomi Libra, Microsoft Lumia 950, Sony Xperia Z5, MStar, Microchip Sparx5, Intel Keem Bay, Amazon Alpine v3, Renesas RZ/G2H.

Одновременно латиноамерикански Фонд за свободен софтуер сформира
вариант напълно свободното ядро 5.9 — Linux-libre 5.9-gnu, освободено от елементи на фърмуери и драйвери, съдържащи несвободни компоненти или участъци от код, чието приложение е ограничено от производителя. В новото издание е забранено зареждането на блобове в драйверите за WiFi rtw8821c и SoC MediaTek mt8183. Актуализиран е кодът за почистване на блобовете в драйверите и подсистемите Habanalabs, Wilc1000, amdgpu, mt7615, i915 CSR, Mellanox mlxsw (Spectrum3), r8169 (rtl8125b-2) и x86 touchscreen.

Източник: opennet.ru