Ослободување на јадрото Linux 5.16

По два месеци развој, Линус Торвалдс го објави јадрото. Linux 5.16 Меѓу најзначајните промени: системот futex_waitv повикува на подобрени перформанси Windows-игр в Wine, отслеживание ошибок в ФС через fanotify, концепция фолиантов в системе управления памятью, поддержка процессорных инструкций AMX, возможность резервирования памяти за сетевыми сокетами, поддержка в netfilter классификации пакетов на стадии «egress», задействование подсистемы DAMON для упреждающего вытеснения невостребованных областей памяти, улучшение обработки перегрузок при большом объёме операций записи, поддержка многоприводных жёстких дисков.

Новата верзија вклучува 15415 поправки од 2105 програмери, големината на закрпата е 45 MB (промените влијаеја на 12023 датотеки, додадени се 685198 линии код, избришани се 263867 линии). Околу 44% од сите промени воведени во 5.16 се поврзани со двигатели на уреди, приближно 16% од промените се поврзани со ажурирање код специфичен за хардверските архитектури, 16% се поврзани со мрежниот стек, 4% се поврзани со датотечни системи и 4% се поврзани со внатрешните потсистеми на јадрото.

Главните иновации во кернелот 5.16:

• Подсистем на диск, В/И и датотечни системи
  • Во механизмот fanotify се додадени алатки за следење на состојбата на датотечниот систем и следење на појавата на грешки. Информациите за грешките се пренесуваат со користење на нов тип на настани - FAN_FS_ERROR, кои може да се пресретнат во системите за следење што работат во корисничкиот простор за навремено информирање на администраторот или започнување на процесите за обновување. Кога се појавуваат каскадни низа грешки, fanotify осигурува дека првата порака за грешка е испорачана заедно со општ бројач на проблеми за да се поедностави последователната анализа на причината за дефектот. Поддршката за следење на грешки моментално е имплементирана само за датотечен систем Ext4.
  • Подобрено справување со застојот на запишување, што се случува кога обемот на операциите за запишување ја надминува пропусната моќ на уредот и системот е принуден да ги блокира барањата за запишување на процесот додека не се комплетираат барањата што се веќе поднесени. Во новата верзија, механизмот на кернелот што се користи за добивање информации за појавата на преоптоварување и блокирање на задачите е целосно редизајниран, бидејќи во старата имплементација имаше проблеми со спојување на обработката на преоптоварување за пишување со поместување на мемориските страници во swap. дел кога нема доволно меморија во системот.
  • Btrfs имплементира поддршка за технологијата за зонирање на уреди (Zoned Namespace), што се користи во хард дискови или NVMe SSD за да се подели просторот за складирање во зони, кои сочинуваат групи блокови или сектори, во кои е дозволено само секвенцијално додавање податоци, ажурирајќи ја целата група на блокови. Дополнително, беа направени мали оптимизации за евидентирање на иноди, што ја зголеми пропусната моќ во тестот dbench за 3% и ја намали латентноста за 11%. Механизмот за евидентирање директориуми е редизајниран, во кој бројот на операции за пребарување и блокирање во дрвото е намален за да се зголеми ефикасноста. Вметнувањето на елементите во структурата btree во серискиот режим е забрзано (времето за масовно вметнување на елементи е намалено за 4%, а бришењето за 12%). Додадена е ограничена поддршка за користење на компресија при пишување делумни страници, како и можност за дефрагментирање на потстраници. Направени се подготовки за да се овозможи поддршка за втората верзија на протоколот за командата „испрати“.
  • Датотечниот систем XFS ја намалува потрошувачката на меморија со користење на посебни кешови на плочи за често користените ставки и намалување на некои структури на податоци.
  • Во датотечниот систем Ext4, се забележуваат само поправки на грешки и попрецизна пресметка на параметрите за мрзлива иницијализација на табелата Inode.
  • Имплементирани се оптимизации на ниво на блок уред за значително да се зголеми ефикасноста на поврзувањето на операциите со јадрата на процесорот.
  • Додадена е почетна поддршка за хард дискови со повеќе независни дискови (мулти-активатор), што овозможува истовремено пристап до неколку сектори во различни области на магнетната плоча.
  • Додадена е нова команда ioctl CDROM_TIMED_MEDIA_CHANGE за откривање настани за промена на медиумот во драјв со оптички диск.
  • Датотечниот систем EROFS (Подобрен датотечен систем само за читање) додаде можност за работа на повеќе уреди за складирање. Различни уреди може да се мапираат на единечен 32-битен блок адресен простор. Додадена е и поддршка за компресија со помош на алгоритмот LZMA.
  • Опциите за монтирање се додадени во датотечниот систем F2FS за да се контролира фрагментацијата на датотеките кога се ставаат во складиштето (на пример, за отстранување грешки на оптимизациите за работа со фрагментирана меморија).
  • CEPH стандардно овозможува создавање и бришење на асинхрони директориуми (користете го знамето „-o wsync“ кога се монтирате за да се вратите на старото однесување). Додадено одржување на метрика што ги следи операциите за копирање на надворешни објекти.
  • Во CIFS е додаден параметар за монтирање tcpnodelay, кој го поставува режимот tcp_sock_set_nodelay за мрежниот приклучок, што го оневозможува чекањето за пополнување на редот во оџакот TCP. Додадена е поддршка за вгнездени DFS врски (Дистрибуиран датотечен систем) при повторно монтирање.
  • Додадена е поддршка за пополнување барања до блок уред во сериски режим. Тестирањето на промената покажа зголемување на интензитетот на операциите за случајно читање од Optane дискови од 6.1 на 6.6 милиони IOPS на едно јадро на процесорот.
• Мемориски и системски услуги
  • Добавлен новый системный вызов futex_waitv, позволяющий отслеживать состояние сразу нескольких фьютексов при помощи одного системного вызова. Указанная возможность напоминает доступную в Windows функциональность WaitForMultipleObjects, эмуляция которой через futex_waitv может быть полезной для повышения производительности Windows-игр, запускаемых под управлением Wine или Proton. Кроме того, одновременное ожидание фьютексов может применяться и для оптимизации производительности родных сборок игр для Linux.
  • Имплементиран е концептот на листови на страници, чија употреба во некои потсистеми на кернелот ќе го забрза управувањето со меморијата при типични оптоварувања. Во моментов, главниот потсистем за управување со меморијата во кернелот и имплементацијата на кешот на страници се веќе префрлени во фолио, а во иднина се планира да се префрлат датотечните системи. Во иднина, исто така, се планира да се додаде поддршка за фолија со повеќе страници во кернелот.

    Томите личат на сложени страници, но имаат подобрена семантика и појасна организација на работата. За управување со системската меморија, достапната RAM меморија е поделена на мемориски страници, чија големина варира според архитектурата, но на системите x86 се мери во килобајти (обично 4096 бајти). Современите системи доаѓаат со десетици гигабајти RAM, што го прави управувањето со меморијата покомплексно поради потребата од обработка на огромен број мемориски страници. За да се намали бројот на страници, кернелот претходно го имплементира концептот на сложени страници со структури кои опфаќаат повеќе од една физичка страница на меморија. Но, API за манипулирање со страниците со споена меморија остави многу да се посакува и доведе до дополнителни трошоци.

  • Додаден е управувач во распоредувачот на задачи што го зема предвид кластерирањето на кешот на процесорот. Во некои процесори, како што се Kunpeng 920 (ARM) и Intel Jacobsville (x86), одреден број јадра на процесорот, обично 4, може да комбинираат L3 или L2 кеш. Земањето предвид такви топологии може значително да ја подобри ефикасноста на дистрибуцијата на задачите низ јадрата на процесорот во распоредувачот на задачи, бидејќи преместувањето на задачите во рамките на истиот кластер на процесорот овозможува зголемување на протокот на пристап до меморијата и намалување на спорот во кешот.
  • Додадена е поддршка за инструкциите AMX (Advanced Matrix Extensions) имплементирани во претстојните Intel Xeon Scalable серверски процесори, со кодно име Sapphire Rapids. AMX нуди нови конфигурабилни TMM „TILE“ регистри и инструкции за манипулирање со податоците во овие регистри, како што е TMUL (Tile matrix MULtiply) за множење на матрицата.
  • Неколку нови функции се имплементирани врз основа на потсистемот DAMON (Data Access MONitor) додаден во последното издание, кој ви овозможува да го следите пристапот до податоците во RAM меморијата во однос на избраниот процес што се извршува во корисничкиот простор. На пример, потсистемот овозможува да се анализира до кои мемориски области пристапувал процесот во текот на целата негова работа, а кои мемориски области останале неподигнати.
    • DAMON_RECLAIM за да се идентификуваат и исфрлат мемориските области до кои не е пристапено. Механизмот може да се користи за проактивно омекнување на мемориските страници кога слободната меморија е при крај.
    • DAMOS (Data Access Monitoring-based Operation Schemes) за примена на одредени операции madvise(), како што е ослободување дополнителна слободна меморија, за обработка на мемориските области за кои е фиксирана одредена фреквенција на пристап до меморијата. Параметрите на DAMOS се конфигурираат преку дебагфирања.
    • Способност за следење на физичкиот адресен простор на меморијата (претходно можеа да се следат само виртуелните адреси).
  • Имплементацијата на алгоритмот за компресија zstd е ажурирана на верзијата 1.4.10, што значително ги подобри перформансите на различни потсистеми на кернелот кои користат компресија (на пример, отпакувањето на сликата на јадрото е забрзано за 35%, перформансите на отпакувањето на компресирани податоци во Btrfs и SquashFS е зголемен за 15%, а во ZRAM - за 30%). Јадрото првично користеше посебна имплементација на zstd, базирана на верзијата 1.3.1, која беше објавена пред повеќе од три години и не вклучуваше многу важни оптимизации. Покрај преместувањето на тековната верзија, додадената лепенка ја поедноставува и синхронизацијата со zstd upstream гранката, овозможувајќи ви да генерирате код за вклучување во кернелот директно од главното складиште zstd. Во иднина, кодот zstd во кернелот се планира да се ажурира додека се објавуваат новите верзии на библиотеката zstd.
  • Голем дел од подобрувањата се направени во потсистемот eBPF. Додадена е можност за повикување функции на модулот на јадрото од програмите BPF. Функцијата bpf_trace_vprintk() е имплементирана, за разлика од bpf_trace_printk(), која ви овозможува да излезете повеќе од три аргументи одеднаш. Додаден е нов филтер за расцутување на структурата за складирање податоци (BPF map), кој ви овозможува да ја користите веројатноста структура на податоци со истото име за да го одредите присуството на елемент во множеството. Додаден е нов атрибут BTF_KIND_TAG, кој може да се користи во програмите BPF за поврзување на ознаките со параметрите на функциите, на пример, за поедноставување на откривањето грешки во корисничките програми. Во libbpf, можно е да креирате сопствени секции .rodata.*/.data.*, имплементирана е поддршка за настаните за uprobe и kprobe trace и додаден е API за копирање на сите типови BTF од еден објект на друг. Поддршката AF_XDP е преместена од libbpf во посебна библиотека libxdp. За архитектурата MIPS, имплементиран е JIT компајлер за виртуелната машина BPF.
  • За архитектурата ARM64, имплементирана е поддршка за екстензии на ARMv8.6 за тајмерот, вклучувајќи ги и оние кои овозможуваат самосинхронизирано претставување на системските регистри без користење ISB инструкции.
  • За архитектурата PA-RISC, имплементирана е можноста за користење на механизмот KFENCE за откривање на грешки при работа со меморија, а додадена е и поддршка за детекторот за расна состојба KCSAN.
  • Можно е да се конфигурираат правата за пристап до трагите на ниво на поединечни корисници и групи, на пример, сега можете да дозволите пристап до алатките за следење само на членовите на одредена група.
• Виртуелизација и безбедност
  • Подсистемите io_uring и device-mapper спроведуваат поддршка за генерирање ревизорски настани. io_uring обезбедува можност за контрола на пристапот преку LSM модули. Додадена е можност за ревизија на системскиот повик openat2().
  • Кодот на јадрото е целосно ослободен од континуирани изрази на големи букви во прекинувачот (без враќање или прекин по секој блок на случај). При градење на кернелот, сега ќе може да се користи режимот „-Wimplicit-fallthrough“.
  • Вклучени промени за проверки за затегнување на границите при извршување на функцијата memcpy().
  • В интерфейсе асинхронного ввода/вывода io_uring реализована возможность применения к операциям ввода/вывода политик безопасности, определяемых модулями SELinux и Smack.
  • Подсистемот IMA (Integrity Measurement Architecture), кој овозможува надворешна услуга да ја потврди состојбата на потсистемите на јадрото за да ја обезбеди нивната автентичност, ја имплементира можноста за примена на правила врз основа на идентификаторот на групата (GID) на кој припаѓа датотеката или на која корисникот пристап до датотеката припаѓа.
  • Стандардно оневозможи некои напредни механизми за заштита на нишките seccomp() од нападите на Spectre, кои се сметаа за непотребни и не ја подобрија значително безбедноста, но негативно влијаеја на перформансите. Употребата на заштита од Retpoline е ревидирана.
  • Отстранета е имплементацијата на механизмот cryptoloop, кој во 2004 година беше заменет со dm-crypt и, доколку е потребно, ги поддржува истите алгоритми.
  • Стандардно, непривилегираниот пристап до потсистемот eBPF е забранет. Промената е направена за да се спречи користењето на програмите BPF за заобиколување на заштитата од напади на страничните канали. Доколку е потребно, администраторот може да ја врати можноста за непривилегирани корисници да користат eBPF.
  • ACRN хипервизорот, дизајниран за задачи во реално време и употреба во критични системи за мисијата, додаде поддршка за креирање/бришење виртуелни уреди и препраќање MMIO уреди.
  • Поддршката за дефинициите на KPP (Key-agreement Protocol Primitives) е додадена во крипто-моторот, поедноставувајќи ја логиката на развивање двигатели за криптосистеми.
  • Поддршката за режим на изолација е имплементирана за хипервизорот Hyper-V. виртуелни машини, што вклучува енкрипција на содржината на меморијата.
  • Во хипервизорот KVM Додадена е поддршка за RISC-V архитектурата. Имплементирана е миграција на виртуелни машини што работат со додатоците AMD SEV и SEV-ES во рамките на хост-окружувањето. Додаден е API за миграција во живо на гостински системи шифрирани со AMD SEV (безбедна шифрирана виртуелизација).
  • За архитектурата PowerPC, стандардно е овозможен режимот STRICT_KERNEL_RWX, кој го блокира користењето на мемориските страници кои се истовремено достапни за пишување и извршување.
  • На 32-битни x86 системи, поддршката за мемориски хотприклучок е прекината, што не е во функција повеќе од една година.
  • Библиотеката liblockdep е отстранета од кернелот и сега ќе се одржува одделно од кернелот.
• Мрежен потсистем
  • За приклучоците, имплементирана е нова опција SO_RESERVE_MEM, со која можете да резервирате одредена количина на меморија за штекер, која секогаш ќе остане достапна за штекерот и нема да се отстранува. Користењето на оваа опција ви овозможува да постигнете зголемени перформанси со намалување на операциите за распределба и враќање на меморијата во мрежниот оџак, особено кога се појавуваат услови на ниска меморија во системот.
  • Додадена е поддршка за протоколот Automatic Multicast Tunneling (RFC 7450), кој овозможува испорака на повеќекратен сообраќај од мрежи кои поддржуваат Multicast до примачи на мрежи без Multicast. Протоколот работи преку енкапсулација во UDP пакети.
  • Подобрена енкапсулација на податоците на IOAM (In-situ Operations, Administration, and Maintenance) во транзитни пакети.
  • Способноста да се контролираат режимите на потрошувачка на енергија на примопредавателот е додадена во netlink API на ethtool.
  • Подсистемот netfilter ја имплементира можноста за класификација на пакетите на ниво на излез, т.е. во фазата кога возачот добива пакет од стекот на мрежата на јадрото. Во nftables, поддршката за соодветните филтри се појави во верзијата 1.0.1. Netfilter додаде можност за споредување и менување на внатрешните заглавија и податоци за UDP и TCP (внатрешно заглавие / носивост) кои доаѓаат по заглавието за транспорт.
  • Додадени се нови параметри sysctl arp_evict_nocarrier и ndisc_evict_nocarrier, кога ќе се постави, кешот на ARP и табелата ndisc (откривање сосед) ќе се исчистат во случај на неуспех на врската (NOCARRIER).
  • Режимите на ниска латентност, мала загуба и скалабилна пропусност (L4S) се додадени на механизмот за управување со мрежните редици fq_codel (контролирано одложување).
• Оборудование
  • Возачот amdgpu обезбедува почетна поддршка за спецификацијата DP 2.0 (DisplayPort 2.0) и тунелирањето на DisplayPort преку USB4. За Cyan Skillfish APU (опремени со GPU Navi 1x) додадена е поддршка за контролери на екранот. Поддршката за Yellow Carp APU (мобилни процесори Ryzen 6000 „Rembrandt“) е проширена.
  • Драјверот i915 ја стабилизира поддршката за чиповите Intel Alderlake S и имплементира поддршка за технологијата Intel PXP (Заштитена патека Xe), која ви овозможува да организирате графичка сесија заштитена со хардвер на системи со чипови Intel Xe.
  • Работа е направена во двигателот nouveau за да се поправат грешките и да се подобри стилот на кодот.
  • Добавлена поддержка x86-совместимых CPU Vortex (Vortex86MX). Linux на подобных процессорах работал и раньше, но явная идентификация указанных CPU потребовалась для отключения защиты от атак Spectre/Meltdown, которые не применимы к указанным чипам.
  • Додадена е почетна поддршка за x86 платформи за Surface Pro 8 и Surface Laptop Studio.
  • Додаден е двигател за поддршка на звучни чипови што се користат во AMD Yellow Carp, Van Gogh APU, исто така додадена поддршка за звучни системи и кодеци Cirrus CS35L41, Maxim MAX98520/MAX98360A, Mediatek MT8195, Nuvoton NAU8821, NVIDIA Tegra210M, RealMaxPr. ALC8I-VS, RT5682S, RT5682, Rockchip RV9120 и RK1126.
  • Додаден е двигател ishtp_eclite за пристап до вградените контролери на Intel PSE (Програмабилни сервисни мотори) со помош на ISHTP (Integratd Sensor Hub Transport Protocol), како што се батеријата, температурата и UCSI (Системски софтвер за конектор USB Type-C) поврзан со информативниот интерфејс).
  • Додаден е двигател за контролери за игри Nintendo Switch што поддржува Switch Pro и Joy-Cons. Додадена е поддршка за Wacom Intuos BT таблети (CTL-4100WL/CTL-6100WL) и Apple 2021 Magic Keyboard. Подобрена поддршка за Sony PlayStation DualSense контролери. Додадена е поддршка за страничните копчиња на глувчето Xiaomi Mi.
  • Додаден е драјвер RT89 со поддршка за безжични чипови Realtek 802.11ax, како и драјвери за Asix AX88796C-SPI етернет адаптери и Realtek RTL8365MB-VC прекинувачи.
  • Додадени се драјвери за PCI и PASemi i1c за чиповите на Apple M2.
  • Додадена е поддршка за ARM SoС, уреди и табли Raspberry Pi Compute Module 4, Fairphone 4, Snapdragon 690, LG G Watch R, Sony Xperia 10 III, Samsung Galaxy S4 Mini Value Edition, Xiaomi MSM8996 (Mi 5, Mi Note 2, Mi 5s , Mi Mix, Mi 5s Plus и Xiaomi Mi 5), Sony Yoshino (Sony Xperia XZ1 и Sony Xperia XZ Premium), F(x)tec Pro1 QX1000, Microchip LAN966, CalAmp LMU5000, Exegin Q5xR5, sama7gAputov, Samsung Exynos RK5 , RK9 ROCK Pi 3566A+, RK3399 ROCK Pi 4B+, Firefly ROC-RK3399-PC, Firefly ROC-RK4-PC-PLUS, ASUS Chromebook таблет CT3328, Pine3399 Quartz100PX64Bin,GlobalX64S, S110G7040, како R32A2M * , Xilinx Kria, Radxa Zero, JetHub D8/H779, Netronix E1K1.

Извор: opennet.ru