Версия на ядрото на Linux 5.16

След два месеца разработка Линус Торвалдс представи версията на Linux ядрото 5.16. Сред най-забележителните промени: системното извикване futex_waitv за подобряване на производителността на игрите на Windows във Wine, проследяване на грешки във FS чрез fanotify, концепцията за фолио в системата за управление на паметта, поддръжка за инструкции на AMX процесор, възможност за резервиране на памет за мрежови сокети, поддръжка за класифициране на пакети на етапа в netfilter „излизане“, използване на подсистемата DAMON за проактивно изгонване на неизползвани области на паметта, подобряване на обработката на претоварвания с голям обем операции за запис, поддръжка за твърди дискове с няколко устройства.

Новата версия включва 15415 2105 корекции от 45 12023 разработчици, размерът на корекцията е 685198 MB (промените засягат 263867 44 файла, добавени са 5.16 16 реда код, 16 4 реда са изтрити). Около 4% от всички промени, въведени в XNUMX, са свързани с драйвери на устройства, приблизително XNUMX% от промените са свързани с актуализиране на код, специфичен за хардуерни архитектури, XNUMX% са свързани с мрежов стек, XNUMX% са свързани с файлови системи и XNUMX% са свързани с вътрешни подсистеми на ядрото.

Ключови иновации в ядрото 5.16:

• Дискова подсистема, I/O и файлови системи
  • Към механизма fanotify са добавени инструменти за наблюдение на състоянието на файловата система и проследяване на възникването на грешки. Информацията за грешки се предава с помощта на нов тип събития - FAN_FS_ERROR, които могат да бъдат прихванати в системи за наблюдение, работещи в потребителското пространство, за да информират своевременно администратора или да стартират процеси на възстановяване. Когато поредица от грешки възникне каскадно, fanotify гарантира, че първото съобщение за грешка се доставя заедно с общ брояч на проблеми, за да опрости последващия анализ на причината за повредата. Поддръжката за проследяване на грешки в момента се прилага само за файловата система Ext4.
  • Подобрено управление на задръстванията при запис, които възникват, когато обемът на операциите за запис надвиши пропускателната способност на устройството и системата е принудена да блокира заявките за запис на процеса, докато заявките, които вече са били изпратени, не бъдат завършени. В новата версия механизмът на ядрото, използван за получаване на информация за появата на претоварване и блокиране на задачи, е напълно преработен, тъй като в старата реализация имаше проблеми със свързването на обработката на претоварване при запис с изместването на страниците на паметта в swap раздел, когато няма достатъчно памет в системата.
  • Btrfs прилага поддръжка за технология за зониране на устройства (Zoned Namespace), използвана в твърди дискове или NVMe SSD за разделяне на пространството за съхранение на зони, които съставляват групи от блокове или сектори, в които е разрешено само последователно добавяне на данни, актуализирайки цялата група от блокове. Освен това бяха направени незначителни оптимизации за регистрирането на inode, което увеличи пропускателната способност в dbench теста с 3% и намали латентността с 11%. Механизмът за регистриране на директорията е преработен, при което броят на операциите за търсене и блокиране в дървото е намален, за да се увеличи ефективността. Вмъкването на елементи в btree структурата в пакетен режим е ускорено (времето за масово вмъкване на елементи е намалено с 4%, а изтриването с 12%). Добавена е ограничена поддръжка за използване на компресия при писане на частични страници, както и възможност за дефрагментиране на подстраници. Направена е подготовка за активиране на поддръжка за втората версия на протокола за командата „изпрати“.
  • Файловата система XFS намалява потреблението на памет чрез използване на отделни кеш памети за често използвани елементи и намаляване на някои структури от данни.
  • Във файловата система Ext4 са отбелязани само корекции на грешки и по-точно изчисляване на мързеливите параметри за инициализация на таблицата Inode.
  • Внедрени са оптимизации на ниво блоково устройство, за да се повиши значително ефективността на свързване на операциите към ядрата на процесора.
  • Добавена първоначална поддръжка за твърди дискове с множество независими устройства (мулти-задвижващ механизъм), което прави възможно едновременен достъп до няколко сектора в различни области на магнитната плоча.
  • Добавена е нова ioctl команда CDROM_TIMED_MEDIA_CHANGE за откриване на събития за промяна на носител в оптично дисково устройство.
  • Файловата система EROFS (Подобрена файлова система само за четене) добави възможността да работи върху множество устройства за съхранение. Различни устройства могат да бъдат картографирани към едно 32-битово блоково адресно пространство. Добавена е и поддръжка за компресия с помощта на алгоритъма LZMA.
  • Към файловата система F2FS са добавени опции за монтиране, за да се контролира фрагментацията на файлове, когато се поставят в хранилище (например за отстраняване на грешки при оптимизации за работа с фрагментирано хранилище).
  • CEPH позволява създаване и изтриване на асинхронна директория по подразбиране (използвайте флага '-o wsync' при монтиране, за да се върнете към старото поведение). Добавена поддръжка на показатели, които проследяват операциите по копиране на външни обекти.
  • Към CIFS е добавен параметър за монтиране tcpnodelay, който задава режима tcp_sock_set_nodelay за мрежовия сокет, който деактивира изчакването опашката да запълни TCP стека. Добавена е поддръжка за вложени DFS връзки (разпределена файлова система) при повторно монтиране.
  • Добавена е поддръжка за изпълнение на заявки към блоково устройство в пакетен режим. Тестването на промяната показа увеличение на интензивността на операциите за произволно четене от Optane устройства от 6.1 на 6.6 милиона IOPS на едно ядро ​​на процесора.
• Памет и системни услуги
  • Добавено е ново системно извикване futex_waitv, което ви позволява да наблюдавате състоянието на няколко фютекса наведнъж, като използвате едно системно извикване. Тази функция напомня на функционалността WaitForMultipleObjects, налична в Windows, чиято емулация чрез futex_waitv може да бъде полезна за подобряване на производителността на игрите на Windows, работещи под Wine или Proton. В допълнение, едновременното изчакване на фютексове може да се използва и за оптимизиране на производителността на собствените компилации на игри за Linux.
  • Реализирана е концепцията за фолио на страници, чието използване в някои подсистеми на ядрото ще ускори управлението на паметта при типични работни натоварвания. Понастоящем основната подсистема за управление на паметта в ядрото и внедряването на кеша на страниците вече са прехвърлени към фолио, а файловите системи се планират да бъдат прехвърлени в бъдеще. В бъдеще се планира също да се добави поддръжка за многостранични фолиа към ядрото.

    Томовете наподобяват съставни страници, но имат подобрена семантика и по-ясна организация на работата. За да управлява системната памет, наличната RAM е разделена на страници с памет, чийто размер варира в зависимост от архитектурата, но на x86 системи се измерва в килобайти (обикновено 4096 байта). Съвременните системи идват с десетки гигабайта RAM, което прави управлението на паметта по-сложно поради необходимостта от обработка на огромен брой страници с памет. За да намали броя на страниците, ядрото по-рано имплементира концепцията за съставни страници със структури, обхващащи повече от една физическа страница от паметта. Но API за манипулиране на обединени страници с памет остави много да се желае и доведе до допълнителни разходи.

  • Към планировчика на задачи е добавен манипулатор, който взема предвид клъстерирането на кеша на процесора. В някои процесори, като Kunpeng 920 (ARM) и Intel Jacobsville (x86), определен брой CPU ядра, обикновено 4, могат да комбинират L3 или L2 кеш. Вземането под внимание на такива топологии може значително да подобри ефективността на разпределението на задачите между ядрата на процесора в планировчика на задачи, тъй като преместването на задачи в рамките на един и същ клъстер на процесора позволява увеличаване на пропускателната способност за достъп до паметта и намаляване на конкуренцията за кеша.
  • Добавена е поддръжка за AMX (Advanced Matrix Extensions) инструкции, внедрени в предстоящите сървърни процесори Intel Xeon Scalable, с кодово име Sapphire Rapids. AMX предлага нови конфигурируеми TMM "TILE" регистри и инструкции за манипулиране на данни в тези регистри, като TMUL (Tile matrix MULTiply) за умножение на матрици.
  • Бяха внедрени няколко нови функции въз основа на подсистемата DAMON (Data Access MONitor), добавена в последната версия, която ви позволява да наблюдавате достъпа до данни в RAM във връзка с избрания процес, изпълняван в потребителското пространство. Например, подсистемата дава възможност да се анализира кои области на паметта са имали достъп до процеса по време на цялата му работа и кои области на паметта са останали непотърсени.
    • DAMON_RECLAIM за идентифициране и отстраняване на области от паметта, които не са били достъпни. Механизмът може да се използва за проактивно меко отстраняване на страници от паметта, когато свободната памет е почти изчерпана.
    • DAMOS (Операционни схеми, базирани на наблюдение на достъпа до данни) за прилагане на определени операции madvise(), като например освобождаване на допълнителна свободна памет, за обработка на области на паметта, за които е фиксирана определена честота на достъп до паметта. Параметрите на DAMOS се конфигурират чрез debugfs.
    • Възможност за наблюдение на физическото адресно пространство на паметта (преди това можеха да се наблюдават само виртуални адреси).
  • Изпълнението на алгоритъма за компресия zstd е актуализирано до версия 1.4.10, което значително подобри производителността на различни подсистеми на ядрото, които използват компресия (например разопаковането на изображение на ядрото е ускорено с 35%, производителността на разопаковане на компресирани данни в Btrfs и SquashFS се е увеличил с 15%, а в ZRAM - с 30%). Първоначално ядрото използваше отделна реализация на zstd, базирана на версия 1.3.1, която беше пусната преди повече от три години и не включваше много важни оптимизации. В допълнение към преминаването към текущата версия, добавената корекция също така опростява синхронизирането с клона нагоре по веригата на zstd, което ви позволява да генерирате код за включване в ядрото директно от главното хранилище на zstd. В бъдеще се планира zstd кодът в ядрото да бъде актуализиран с пускането на нови версии на zstd библиотеката.
  • Голяма част от подобренията са направени в подсистемата eBPF. Добавена е възможност за извикване на функции на модул на ядрото от BPF програми. Функцията bpf_trace_vprintk() е внедрена, за разлика от bpf_trace_printk(), която ви позволява да извеждате повече от три аргумента наведнъж. Добавен е нов филтър за разцвет на структура за съхранение на данни (BPF карта), който ви позволява да използвате вероятностната структура от данни със същото име, за да определите присъствието на елемент в набор. Добавен е нов атрибут BTF_KIND_TAG, който може да се използва в BPF програми за свързване на тагове към функционални параметри, например, за да се опрости откриването на грешки в потребителските програми. В libbpf е възможно да създадете свои собствени секции .rodata.*/.data.*, внедрена е поддръжка за събития за проследяване на uprobe и kprobe и е добавен API за копиране на всички типове BTF от един обект в друг. Поддръжката на AF_XDP е преместена от libbpf в отделна библиотека libxdp. За MIPS архитектурата е внедрен JIT компилатор за виртуалната машина BPF.
  • За архитектурата ARM64 е внедрена поддръжка за разширения ARMv8.6 за таймера, включително такива, които позволяват самосинхронизиращо се представяне на системните регистри без използване на ISB инструкции.
  • За архитектурата PA-RISC е реализирана възможността за използване на механизма KFENCE за откриване на грешки при работа с памет и е добавена поддръжка за детектор на условия на състезание KCSAN.
  • Възможно е да конфигурирате права за достъп до tracefs на ниво отделни потребители и групи; например вече можете да разрешите достъп до инструментите за проследяване само на членове на определена група.
• Виртуализация и сигурност
  • Подсистемите io_uring и device-mapper реализират поддръжка за генериране на одитни събития. io_uring предоставя възможност за контрол на достъпа чрез LSM модули. Добавена е възможност за одит на системното извикване openat2().
  • Кодът на ядрото е напълно освободен от непрекъснати изрази за случай в switch (няма връщане или прекъсване след всеки блок за case). При изграждането на ядрото вече ще е възможно да се използва режимът „-Wimplicit-fallthrough“.
  • Включени промени за затягане на проверките на границите при изпълнение на функцията memcpy().
  • Асинхронният входно-изходен интерфейс io_uring реализира възможността за прилагане на политики за сигурност, дефинирани от модулите SELinux и Smack, към входно-изходни операции.
  • Подсистемата IMA (Integrity Measurement Architecture), която позволява на външна услуга да проверява състоянието на подсистемите на ядрото, за да гарантира тяхната автентичност, прилага способността за прилагане на правила въз основа на груповия идентификатор (GID), към който принадлежи файлът или към който потребителят достъпът до файла принадлежи.
  • Деактивирани по подразбиране някои усъвършенствани механизми за защита на нишките seccomp() от атаки на Spectre, които се считат за ненужни и не подобряват значително сигурността, но оказват отрицателно въздействие върху производителността. Използването на Retpoline защита е преработено.
  • Премахнато е изпълнението на механизма cryptoloop, който през 2004 г. беше заменен от dm-crypt и, ако е необходимо, поддържа същите алгоритми.
  • По подразбиране непривилегированият достъп до подсистемата eBPF е забранен. Промяната беше направена, за да се предотврати използването на BPF програми за заобикаляне на защитата срещу атаки от странични канали. Ако е необходимо, администраторът може да възстанови възможността непривилегированите потребители да използват eBPF.
  • Хипервизорът ACRN, предназначен за задачи в реално време и използване в критични за мисията системи, има добавена поддръжка за създаване/изтриване на виртуални устройства и препращане на MMIO устройства.
  • Поддръжката на дефиниции на KPP (примитиви на протокола за ключово споразумение) е добавена към крипто двигателя, опростявайки логиката на разработване на драйвери за криптосистеми.
  • Хипервайзорът Hyper-V вече поддържа режим на изолиране на виртуална машина, който включва криптиране на съдържанието на паметта.
  • KVM хипервайзорът е добавил поддръжка за RISC-V архитектурата. Внедрена е възможността за мигриране на виртуални машини, работещи с помощта на разширенията AMD SEV и SEV-ES в хост средата. Добавен API за миграция на живо на системи за гости, криптирани с помощта на AMD SEV (Secure Encrypted Virtualization).
  • За архитектурата на PowerPC режимът STRICT_KERNEL_RWX е активиран по подразбиране, което блокира използването на страници с памет, които са едновременно достъпни за писане и изпълнение.
  • При 32-битови x86 системи поддръжката за hotplug на паметта е преустановена, която не работи повече от година.
  • Библиотеката liblockdep е премахната от ядрото и сега ще се поддържа отделно от ядрото.
• Мрежова подсистема
  • За сокетите е внедрена нова опция SO_RESERVE_MEM, с която можете да запазите определено количество памет за сокет, което винаги ще остане достъпно за сокета и няма да бъде премахвано. Използването на тази опция ви позволява да постигнете повишена производителност чрез намаляване на разпределението на паметта и операциите по възстановяване в мрежовия стек, особено когато възникнат условия на недостатъчна памет в системата.
  • Добавена е поддръжка за протокола Automatic Multicast Tunneling (RFC 7450), който позволява доставянето на мултикаст трафик от мрежи, които поддържат Multicast, към получатели в мрежи без Multicast. Протоколът работи чрез капсулиране в UDP пакети.
  • Подобрено капсулиране на IOAM (операции, администриране и поддръжка на място) данни в транзитни пакети.
  • Възможността за контролиране на режимите на консумация на енергия на трансивъра е добавена към ethtool netlink API.
  • Подсистемата netfilter реализира способността за класифициране на пакети на изходно ниво, т.е. на етапа, когато драйверът получава пакет от мрежовия стек на ядрото. В nftables поддръжката за съответните филтри се появи във версия 1.0.1. Netfilter добави възможност за сравняване и промяна на вътрешни заглавки и данни за UDP и TCP (вътрешна заглавка / полезен товар), идващи след транспортната заглавка.
  • Добавени са нови sysctl параметри arp_evict_nocarrier и ndisc_evict_nocarrier, когато са зададени, ARP кешът и таблицата ndisc (откриване на съседи) ще бъдат изчистени в случай на повреда на връзката (NOCARRIER).
  • Режимите Low Latency, Low Loss и Scalable Throughput (L4S) са добавени към fq_codel (Controlled Delay) мрежов механизъм за управление на опашка.
• Оборудование
  • Драйверът amdgpu осигурява първоначална поддръжка за спецификацията DP 2.0 (DisplayPort 2.0) и DisplayPort тунелиране през USB4. За Cyan Skillfish APU (оборудвани с GPU Navi 1x) е добавена поддръжка за контролери на дисплея. Поддръжката за Yellow Carp APU (мобилни процесори Ryzen 6000 “Rembrandt”) е разширена.
  • Драйверът i915 стабилизира поддръжката за чипове Intel Alderlake S и внедрява поддръжка за технологията Intel PXP (Protected Xe Path), която ви позволява да организирате хардуерно защитена графична сесия на системи с чипове Intel Xe.
  • Беше извършена работа в драйвера nouveau за коригиране на грешки и подобряване на стила на кода.
  • Добавена е поддръжка за x86-съвместими процесори Vortex (Vortex86MX). Linux е работил с подобни процесори и преди, но беше необходима изрична идентификация на посочените процесори, за да се деактивира защитата срещу атаки Spectre/Meltdown, които не са приложими за посочените чипове.
  • Добавена първоначална поддръжка за x86 платформи за Surface Pro 8 и Surface Laptop Studio.
  • Добавен драйвер за поддръжка на звукови чипове, използвани в AMD Yellow Carp, Van Gogh APU, също така добавена поддръжка за звукови системи и кодеци Cirrus CS35L41, Maxim MAX98520/MAX98360A, Mediatek MT8195, Nuvoton NAU8821, NVIDIA Tegra210, NXP i.MX8ULP, Qualcomm AudioReach, Realtek ALC5682I-VS, RT5682S, RT9120, Rockchip RV1126 и RK3568.
  • Добавен драйвер ishtp_eclite за достъп до вградени контролери Intel PSE (Programmable Service Engine), използващи ISHTP (Integratd Sensor Hub Transport Protocol), като например батерия, температура и UCSI (USB Type-C Connector System Software) интерфейс, свързан с информация).
  • Добавен е драйвер за игрови контролери Nintendo Switch, който поддържа Switch Pro и Joy-Cons. Добавена е поддръжка за таблети Wacom Intuos BT (CTL-4100WL/CTL-6100WL) и Apple 2021 Magic Keyboard. Подобрена поддръжка за контролери Sony PlayStation DualSense. Добавена е поддръжка за страничните бутони на мишката Xiaomi Mi.
  • Добавен RT89 драйвер с поддръжка за безжични чипове Realtek 802.11ax, както и драйвери за Asix AX88796C-SPI Ethernet адаптери и Realtek RTL8365MB-VC комутатори.
  • Добавени са драйвери за PCI и PASemi i1c за Apple M2 чипове.
  • Добавена е поддръжка за ARM SoС, устройства и платки Raspberry Pi Compute Module 4, Fairphone 4, Snapdragon 690, LG G Watch R, Sony Xperia 10 III, Samsung Galaxy S4 Mini Value Edition, Xiaomi MSM8996 (Mi 5, Mi Note 2, Mi 5s) , Mi Mix, Mi 5s Plus и Xiaomi Mi 5), Sony Yoshino (Sony Xperia XZ1 и Sony Xperia XZ Premium), F(x)tec Pro1 QX1000, Microchip LAN966, CalAmp LMU5000, Exegin Q5xR5, sama7g5, Samsung ExynosAutov9, Rockchip RK3566, RK3399 ROCK Pi 4A+, RK3399 ROCK Pi 4B+, Firefly ROC-RK3328-PC, Firefly ROC-RK3399-PC-PLUS, ASUS Chromebook Tablet CT100, Pine64 Quartz64-A, Netgear GS110EMX, Globalscale MOCHAbin 7040, NXP S32G2, Ren esas R8A779M*, Xilinx Kria, Radxa Zero, JetHub D1/H1, Netronix E70K02.

Източник: opennet.ru