Utgåvan av Linux-kärnan 5.16

Efter två månaders utveckling presenterade Linus Torvalds utgåvan av Linux-kärnan 5.16. Bland de mest framträdande förändringarna finns systemanropet futex_waitv för att öka prestandan för Windows-spel i Wine, felspårning i filsystemet via fanotify, konceptet med foliant i minneshanteringssystemet, stöd för processorinstruktioner AMX, möjligheten att reservera minne för nätverks-sockets, stöd i netfilter för paketklassificering under "egress", användning av DAMON-systemet för proaktiv utslagning av oanvända minnesområden, förbättrad hantering av överbelastningar vid stora skrivoperationer, samt stöd för multipla hårddiskar.

I den nya versionen har 15415 patchar accepterats från 2105 utvecklare, patchstorleken är 45 MB (förändringarna berör 12023 filer, 685198 rader kod har lagts till och 263867 rader har tagits bort). Ungefär 44% av alla ändringar i 5.16 relaterar till enhetsdrivrutiner, cirka 16% av ändringarna handlar om uppdatering av kod som är specifik för hårdvaruarkitekturer, 16% rör nätverksstacken, 4% handlar om filsystem och 4% om interna kärnsystem.

De huvudsakliga nyheterna i kärnan 5.16:

• Disksubsystem, in- och utmatning och filsystem
  • Fanotify-mekanismen har fått verktyg för att övervaka tillståndet hos filsystemet och spåra uppkomsten av fel. Information om fel överförs med hjälp av en ny typ av händelser - FAN_FS_ERROR, som kan fångas i användarutrymmet av övervakningssystem för att snabbt informera administratören eller starta återställningsprocesser. Vid kaskaduppkomsten av en serie fel säkerställer fanotify att meddelandet om det första felet levereras tillsammans med en totalräknare för problem, för att underlätta den efterföljande analysen av orsaken till kraschen. Stödet för felspårning har för närvarande implementerats endast för filsystemet Ext4.
  • Förbättrad hantering av skrivbelastningar (write congestion) vid skrivoperationer som uppstår när skrivoperationernas volym överskrider lagringens bandbredd och systemet tvingas blockera skrivprocessens förfrågningar tills redan skickade förfrågningar har genomförts. I den nya versionen har kärnans mekanism som används för att få information om uppkomsten av skrivbelastning och blockering av uppgifter helt omarbetats, eftersom den gamla implementationen hade problem med hantering av skrivbelastning i samband med utbyte av minnessidor till växlingsutrymme vid brist på minne i systemet.
  • I Btrfs har stöd för enhetsszoneringsteknik (Zoned Namespace) implementerats, som används i hårddiskar eller NVMe SSD:er för att dela lagringsutrymmet i zoner bestående av block eller sektorer, där endast sekventiell datainsättning är tillåten medan hela blockgrupper uppdateras. Dessutom har små optimeringar av inode-loggning genomförts, vilket har ökat genomströmningen i dbench-testet med 3 % och minskat fördröjningarna med 11 %. Mekanismen för katalogloggning har omarbetats för att öka effektiviteten genom att minska antalet sökningar och låsningarna i trädet. Insättning av element i btree-strukturen i batchläge har påskyndats (tiden för massinsättning av element har minskat med 4 % och borttagningar med 12 %). Begränsat stöd för användning av komprimering vid skrivning av ofullständiga sidor har lagts till, liksom möjligheten till defragmentering av subpages. Förberedelser har genomförts för att inkludera stöd för den andra versionen av protokollet för kommandot "send".
  • I filsystemet XFS har minnesförbrukningen minskats genom användning av separata slab-cachear för ofta använda element och genom att minska vissa datakonstruktioner.
  • I filsystemet Ext4 har endast fel som har rättats och en mer exakt beräkning av parametrarna för fördröjd initialisering av Inode-tabellen noterats.
  • På blockenhetsnivå har optimeringar implementerats som avsevärt ökar effektiviteten av bindning av operationer till CPU-kärnor.
  • Inledande stöd för hårddiskar med flera oberoende drivningar (multi-actuator) har lagts till, vilket möjliggör samtidig åtkomst till flera sektorer i olika zoner av den magnetiska plattan.
  • En ny ioctl-kommando CDROM_TIMED_MEDIA_CHANGE har lagts till för att identifiera media byten i optiska enheter.
  • I filsystemet EROFS (Enhanced Read-Only File System) har stöd för att fungera över flera lagringsenheter lagts till. Olika enheter kan återspeglas i ett enda 32-bitars adressutrymme för block. Stöd för komprimering med LZMA-algoritmen har också lagts till.
  • I F2FS-filsystemet har monteringsalternativ lagts till för att hantera fragmentering av filer när de placeras i lagring (till exempel för att felsöka optimeringar för fragmenterade lagringssystem).
  • I CEPH har operationer för att skapa och ta bort kataloger automatiskt aktiverats som standard i asynkront läge (för att återgå till gammalt beteende bör flaggan ‘-o wsync’ användas vid montering). Det har lagts till mätningar som spårar operationer för kopiering av externa objekt.
  • I CIFS har monteringsparametern tcpnodelay lagts till, vilket ställer in tcp_sock_set_nodelay-läget för nätverksocket, vilket inaktiverar väntan på att köerna i TCP-stacken ska fyllas. Stöd för inbäddade DFS-länkar (Distributed File System) har lagts till vid ommontering.
  • Stöd för att slutföra begärningar till blockenheter i batchläge har lagts till. Testning av förändringen visade en ökning av intensiteten för random read-operationer från Optane-enheter från 6,1 till 6,6 miljoner IOPS per kärna i CPU.
• Minne och systemtjänster
  • Ett nytt systemanrop futex_waitv har lagts till, vilket möjliggör att övervaka tillståndet hos flera futexar med ett enda systemanrop. Denna funktionalitet liknar den tillgängliga i Windows, WaitForMultipleObjects, vars emulering via futex_waitv kan vara användbar för att öka prestandan hos Windows-spel som körs under Wine eller Proton. Dessutom kan samtidig övervakning av futexar användas för att optimera prestandan hos inhemska spelförsamlingar för Linux.
  • Konceptet med minnessidor (page folios) har realiserats, vilket möjliggör snabbare minneshantering vid typiska belastningar i vissa delsystem av kärnan. För närvarande har den grundläggande minneshanteringssubsystemet i kärnan och implementeringen av sidcache redan överförts till foley, och i framtiden planeras en överföring av filsystem. Dessutom planeras det också att stödja fler-sidiga foley i kärnan.

    Foley liknar sammanslagna minnessidor (compound pages), men har förbättrad semantik och en mer begriplig arbetsorganisation. För att hantera systemminnet delas tillgängligt RAM-minne upp i minnessidor vars storlek beror på arkitekturen, men på x86-system mäts de i kilobyte (vanligtvis 4096 byte). Moderna system är utrustade med tiotals gigabyte RAM, vilket leder till en mer komplex minneshantering på grund av behovet av att hantera ett stort antal minnessidor. För att minska antalet sidor har konceptet med sammanslagna sidor (compound pages) implementerats i kärnan, med strukturer som täcker mer än en fysisk minnessida. Men API:et för att manipulera med sammanslagna sidor lämnade mycket att önska och ledde till ytterligare overhead.

  • En handler som beaktar cacheklustring i CPU har lagts till i schemaläggaren. I vissa processorer, som Kunpeng 920 (ARM) och Intel Jacobsville (x86), kan ett visst antal CPU-kärnor, vanligtvis 4, dela L3 eller L2-cache. Att ta hänsyn till sådana toppologier kan avsevärt öka effektiviteten i fördelningen av uppgifter bland CPU-kärnor i schemaläggaren, eftersom flyttning av uppgifter inom ett enda CPU-kluster ökar bandbredden för minnesåtkomst och minskar konkurrensen i cachen.
  • Stöd för AMX-instruktioner (Advanced Matrix Extensions) har lagts till, implementerade i de kommande serverprocessorerna Intel Xeon Scalable, som utvecklas under kodnamnet Sapphire Rapids. AMX erbjuder nya anpassningsbara register TMM "TILE" och instruktioner för att manipulera data i dessa register, som TMUL (Tile matrix MULtiply) för matrisprodukter.
  • Flera nya funktioner har implementerats baserat på den DAMON (Data Access MONitor) underavdelning som lades till i föregående version, vilket möjliggör övervakning av dataåtkomst i det operativa minnet i samband med den valda processen som körs i användarutrymmet. Till exempel ger underavdelningen möjlighet att analysera vilka specifika minnesområden processen har tillgått under hela sin livslängd, samt vilka minnesområden som förblev ouppskattade.
    • DAMON_RECLAIM för identifiering och utvisning av minnesområden som inte har tillgåtts. Mekanismen kan användas för proaktiv mjuk utvisning av minnessidor när man närmar sig brist på ledigt minne.
    • DAMOS (Data Access Monitoring-based Operation Schemes) för tillämpning av specificerade operationer madvise(), såsom frigöring av ytterligare ledigt minne, på minnesområden för vilka en viss åtkomstfrekvens registreras. Inställningarna för DAMOS konfigureras via debugfs.
    • Möjlighet att övervaka det fysiska adressutrymmet av minnet (tidigare kunde man endast övervaka virtuella adresser).
  • Implementeringen av zstd-komprimeringsalgoritmen har uppdaterats till version 1.4.10, vilket har lett till en betydande ökning av prestanda i olika kärnunderavdelningar där komprimering tillämpas (till exempel har uppackning av kärnbilden accelererats med 35%, medan prestanda för uppackning av komprimerade data i Btrfs och SquashFS har ökat med 15%, och i ZRAM med 30%). Ursprungligen användes en separat implementation av zstd i kärnan, baserad på version 1.3.1, som släpptes för mer än tre år sedan och som inte inkluderade många viktiga optimeringar. Förutom att vi går över till den aktuella versionen förenklar den tillagda patchen även synkroniseringen med upstream-grenen av zstd, vilket möjliggör generering av kod för inkludering i kärnan direkt från huvudrepo av zstd. I framtiden planeras kod av zstd i kärnan att uppdateras i takt med att nya versioner av zstd-biblioteket släpps.
  • En stor mängd förbättringar har införts i eBPF-subsystemet. Möjlighet att anropa funktioner från kärnmoduler ur BPF-program har lagts till. Funktionen bpf_trace_vprintk() har implementerats, vilket skiljer sig från bpf_trace_printk() och tillåter att skriva ut fler än tre argument på en gång. En ny datalagringsstruktur (BPF map) bloom filter har lagts till, vilket möjliggör användning av en sannolikhetsdatabashanteringsstruktur för att avgöra om ett element finns i en uppsättning. En ny attribut BTF_KIND_TAG har lagts till, som kan användas i BPF-program för att koppla taggar till funktionsparametrar, till exempel för att förenkla felidentifiering i användarprogram. I libbpf har det blivit möjligt att skapa egna sektioner .rodata.*\/data.*, stöd för spårningseventen uprobe och kprobe har implementerats, och ett API för att kopiera alla typer av BTF från ett objekt till ett annat har lagts till. Stödet för AF_XDP har flyttats ut från libbpf till ett separat bibliotek libxdp. För MIPS-arkitekturen har en JIT-kompilator för BPF virtuella maskin implementerats.
  • För ARM64-arkitekturen har stöd för ARMv8.6-förlängningar för timern implementerats, inklusive de som möjliggör självsynergi av systemregister utan att använda ISB-instruktioner.
  • För PA-RISC-arkitekturen har det blivit möjligt att använda KFENCE-mekanismen för att upptäcka minnesfel, och stöd för KCSAN-racedetektorer har lagts till.
  • Möjlighet till att konfigurera accessrättigheter till tracefs på användar- och gruppnivå har tillhandahållits, till exempel kan nu åtkomst till spårningsverktyg endast ges till medlemmar i en viss grupp.
• Virtualisering och säkerhet
  • I io_uring- och device-mapper-subsystemen har stöd för att generera revisionshändelser implementerats. I io_uring har tillgångshantering genom LSM-moduler lagts till. Möjlighet till revision av systemanropet openat2() har lagts till.
  • Kärnkoden har helt befriats från oavbrutna case-uttryck i switch (utan return eller break efter varje case-block). Vid kompilering av kärnan kan nu läget "-Wimplicit-fallthrough" tillämpas.
  • Ändringar för att skärpa gränskontroller vid körning av memcpy()-funktionen har ingått.
  • I gränssnittet för asynkron in-/utdata io_uring har möjligheten att tillämpa säkerhetspolicys på in-/utdataoperationer, definierade av SELinux och Smack-moduler, implementerats.
  • I IMA (Integrity Measurement Architecture) subsystem, which allows an external service to verify the state of the core subsystems to ensure their authenticity, has implemented the ability to apply rules based on the group identifier (GID) to which the file belongs or which the user accessing the file is part of.
  • Some advanced stream protection mechanisms of seccomp() against Spectre-class attacks are disabled by default, as they were considered excessive and did not significantly improve security but negatively impacted performance. The use of Retpoline protection has been revised.
  • The implementation of the cryptoloop mechanism has been removed, which was replaced by dm-crypt in 2004 and supports the same algorithms if necessary.
  • By default, unprivileged access to the eBPF subsystem is prohibited. This change has been made to prevent the use of BPF programs to bypass protection against side-channel attacks. If necessary, the administrator can restore the ability to use eBPF by unprivileged users.
  • The ACRN hypervisor, designed for real-time tasks and use in critical systems, has added support for creating/deleting virtual devices and forwarding MMIO devices.
  • Support for KPP (Key-agreement Protocol Primitives) definitions has been added to the cryptographic engine, simplifying the logic of driver development for cryptosystems.
  • Isolation mode has been implemented for the Hyper-V hypervisor virtuella maskiner, which involves encrypting the contents of memory.
  • I hypervisorn KVM support for the RISC-V architecture has been added. The ability to migrate virtual machines running using AMD SEV and SEV-ES extensions within the host environment has been implemented. An API for live migration of guest systems encrypted with AMD SEV (Secure Encrypted Virtualization) has been added.
  • For the PowerPC architecture, the STRICT_KERNEL_RWX mode is enabled by default, blocking the use of memory pages that are simultaneously writable and executable.
  • Support for memory hotplug on 32-bit x86 systems has been discontinued, which had been non-functional for over a year.
  • The liblockdep library has been removed from the kernel and will now be maintained separately from the kernel.
• Nätverkssystemet
  • För sockets har en ny möjlighet, SO_RESERVE_MEM, införts, vilket gör att du kan reservera ett visst minnesutrymme för en socket som alltid kommer att vara tillgängligt och inte tas bort. Användningen av den här funktionen gör det möjligt att öka prestandan genom att minska antalet minnesallokeringar och återlämnanden i nätverksstacken, särskilt under förhållanden med brist på minne i systemet.
  • Stöd för protokollet för automatisk tunnelerings multicast-trafik (Automatic Multicast Tunneling, RFC 7450) har lagts till, vilket gör det möjligt att leverera multicast-trafik från nätverk som stöder multicast till mottagare i nätverk utan multicast. Protokollet fungerar genom att kapsla in i UDP-paket.
  • Inkapsering av IOAM (In-situ Operations, Administration, and Maintenance) data i transitpaket har förbättrats.
  • I ethtool netlink API har möjligheten att styra strömförbrukningslägen för sändare och mottagare lagts till.
  • I netfilter-subsystemet har möjligheten att klassificera paket på egress-nivå, dvs. när drivrutinen tar emot ett paket från kärnans nätverksstack, införts. I nftables infördes stöd för motsvarande filter i version 1.0.1. I netfilter har möjligheten att matcha och ändra interna rubriker och data för UDP och TCP (inner header / payload) som kommer efter transportrubriken, lagts till.
  • Nya sysctl-parametrar arp_evict_nocarrier och ndisc_evict_nocarrier har lagts till. När dessa är inställda kommer ARP-cache och ndisc-tabellen (neighbor discovery) att rensas vid förlust av anslutning (NOCARRIER).
  • I mekanismen för hantering av nätverksköer fq_codel (Controlled Delay) har lägen för låg latens, låg förlust och skalbar genomströmning (L4S) lagts till.
• Utrustning
  • I amdgpu-drivrutinen har inledande stöd för DP 2.0-specifikationen (DisplayPort 2.0) och möjligheten att tunnelera DisplayPort över USB4 införts. För APU Cyan Skillfish (utrustade med GPU Navi 1x) har stöd för displaykontroller lagts till. Utökat stöd för APU Yellow Carp (mobila Ryzen 6000-processorer "Rembrandt").
  • I i915-drivrutinen har stödet för Intel Alderlake S-chips stabiliserats och stöd för Intel PXP-teknologin (Protected Xe Path) införts, vilket möjliggör organisering av en hårdvaruskyddad grafisk session på system med Intel Xe-chips.
  • I nouveau-drivrutinen har arbete genomförts för att åtgärda buggar och förbättra kodens stil.
  • Stöd för x86-kompatibla Vortex CPU:er (Vortex86MX) har lagts till. Linux har fungerat på sådana processorer tidigare, men tydlig identifiering av dessa CPU:er var nödvändig för att inaktivera skydd mot Spectre/Meltdown-attacker, som inte är tillämpliga på dessa chip.
  • Början av stödet för x86-plattformarna Surface Pro 8 och Surface Laptop Studio har lagts till.
  • En drivrutin för stöd av ljudchip som används i AMD Yellow Carp och Van Gogh APU:er har lagts till, samt stöd för ljudsystem och codec:er Cirrus CS35L41, Maxim MAX98520/MAX98360A, Mediatek MT8195, Nuvoton NAU8821, NVIDIA Tegra210, NXP i.MX8ULP, Qualcomm AudioReach, Realtek ALC5682I-VS, RT5682S, RT9120, Rockchip RV1126 och RK3568.
  • En drivrutin för ishtp_eclite har lagts till för att få tillgång till de inbyggda Intel PSE-kontrollerna (Programmable Service Engine) via ISHTP-protokollet (Integrated Sensor Hub Transport Protocol), till exempel för att hämta information om batteri, temperatur och data relaterad till UCSI (USB Type-C Connector System Software Interface).
  • En drivrutin för Nintendo Switch-spelkontroller har lagts till, som stöder Switch Pro- och Joy-Con-enheter. Stöd för Wacom Intuos BT-tabletter (CTL-4100WL/CTL-6100WL) och Apple 2021 Magic Keyboard har lagts till. Stödet för Sony PlayStation DualSense-kontroller har förbättrats. Stöd för sidoknappar på Xiaomi Mi-mus har lagts till.
  • Drivrutinen RT89 med stöd för trådlösa Realtek 802.11ax-chip har lagts till, liksom drivrutiner för Ethernet-adaptrar Asix AX88796C-SPI och switchar Realtek RTL8365MB-VC.
  • För Apple M1-chips har drivrutiner för PCI och PASemi i2c lagts till.
  • Stöd för ARM SoC, enheter och kort Raspberry Pi Compute Module 4, Fairphone 4, Snapdragon 690, LG G Watch R, Sony Xperia 10 III, Samsung Galaxy S4 Mini Value Edition, Xiaomi MSM8996 (Mi 5, Mi Note 2, Mi 5s, Mi Mix, Mi 5s Plus och Xiaomi Mi 5), Sony Yoshino (Sony Xperia XZ1 och Sony Xperia XZ Premium), F(x)tec Pro1 QX1000, Microchip LAN966, CalAmp LMU5000, Exegin Q5xR5, sama7g5, Samsung ExynosAutov9, Rockchip RK3566, RK3399 ROCK Pi 4A+, RK3399 ROCK Pi 4B+, Firefly ROC-RK3328-PC, Firefly ROC-RK3399-PC-PLUS, ASUS Chromebook Tablet CT100, Pine64 Quartz64-A, Netgear GS110EMX, Globalscale MOCHAbin 7040, NXP S32G2, Renesas R8A779M*, Xilinx Kria, Radxa Zero, JetHub D1/H1, Netronix E70K02 har lagts till.

Källa: opennet.ru