Utgivning av Linux-kärnan 5.18

Efter två månaders utveckling presenterade Linus Torvalds utgivningen av Linux-kärnan 5.18. Bland de mest anmärkningsvärda ändringarna: en stor rensning av föråldrad funktionalitet, Reiserfs-filsystemet har utgått, support för händelseavlyssning av användarprocesser har implementerats, stöd för mekanismen för att blockera utnyttjande av Intel IBT har lagts till, en lägesidentifiering för buffertöverskridning vid användning av funktionen memcpy() har inkluderats, mekanismen för att spåra funktionsanrop fprobe har lagts till, prestandan hos schemaläggaren för AMD Zen-CPU:er har förbättrats, en drivrutin för att hantera funktionaliteten hos Intel CPU:er (SDS) har inkluderats, och en del patchar för omstrukturering av rubrikfiler har integrerats. Användningen av standarden C11 har godkänts.

I den nya versionen har 16206 korrigeringar accepterats från 2127 utvecklare (i den föregående versionen var det 14203 korrigeringar från 1995 utvecklare), patchens storlek är 108 MB (ändringarna påverkade 14235 filer, 1340982 kodrader har lagts till, och 593836 kodrader har tagits bort). Ungefär 44% av alla förändringar i 5.18 är relaterade till enhetsdrivrutiner, cirka 16% är relaterade till uppdatering av kod specifik för hårdvaruarkitekturer, 11% rör nätverksstacken, 3% är relaterade till filsystem och 3% till interna kärnsystem.

De huvudsakliga nyheterna i kärnan 5.18:

• Disksubsystem, in- och utmatning och filsystem
  • I Btrfs-filsystemet har stöd för att vidarebefordra komprimerad data vid utförande av operationer för send och receive lagts till. Tidigare, vid användning av send/receive, packade den sändande sidan upp den lagrade komprimerade datan, och den mottagande sidan packade om den innan skrivning. I kärnan 5.18 ges applikationer i användarutrymmet som använder send/receive-anrop möjlighet att överföra komprimerad data utan ompackning. Denna funktionalitet har realiserats genom nya ioctl-operationer BTRFS_IOC_ENCODED_READ och BTRFS_IOC_ENCODED_WRITE, som möjliggör direkt läsning och skrivning av information till extents.

    Dessutom har prestandan hos fsync i Btrfs förbättrats. Möjligheten till deduplicering och utförande av reflink (klonande av filmetadata genom att skapa en länk till redan existerande data utan att faktiskt kopiera dem) för hela lagringssystemet har lagts till, utan att begränsa sig till monteringspunkter.

  • I läget för direkt in- och utmatning (Direct I/O) finns möjlighet att få åtkomst till krypterade filer med användning av fscrypt inline-kryptering, där krypterings- och dekrypteringsoperationer utförs av lagringskontrollern istället för kärnan. Vid vanlig kryptering som hanteras av kärnan är åtkomst till krypterade filer via Direct I/O som tidigare omöjlig, då åtkomst till filerna sker utan att gå genom kärnans buffringsmekanism.
  • NFS-servern har som standard stöd för protokollet NFSv3, vilket nu inte kräver separat aktivering och är tillgängligt med allmän aktivering av NFS. NFSv3 betraktas som den primära och alltid stödda versionen av NFS, och stödet för NFSv2 kan slutas i framtiden. Effektiviteten vid läsning av kataloginnehåll har ökat avsevärt.
  • Filsystemet ReiserFS har klassificerats som föråldrat och förväntas tas bort år 2025. Klassificeringen av ReiserFS som föråldrat kommer att minska arbetsinsatserna för att underhålla gemensamma ändringar i filsystemen relaterade till stödet för det nya API:et för montering, iomap och volymer.
  • För F2FS har möjligheten för mappning av användar-ID:n på monterade filsystem implementerats, vilket används för att matcha filer av en viss användare på det monterade externa partitionen med en annan användare i det aktuella systemet.
  • Koden för att räkna statistik i Device-mapper-handledare har omarbetats, vilket har förbättrat noggrannheten i redovisningen i sådana handledare som dm-crypt.
  • För NVMe-enheter har stöd för 64-bitars checksummer för integritetskontroll implementerats.
  • För filsystemet exfat har ett nytt monteringsalternativ "keep_last_dots" föreslagits, vilket förhindrar rensning av punkter i slutet av filnamnet (i Windows tas punkter i slutet av namnet som standard bort).
  • I EXT4 har prestandan för läget fast_commit ökat och skalbarheten har förbättrats. Monteringsalternativet "mb_optimize_scan", som möjliggör ökad prestanda under hög fragmentering av filsystemet, har anpassats för att fungera med filer med extent.
  • Stöden för skrivströmmar (write stream) i underhållssystemet för blockenheter har upphört. Denna funktion föreslogs för SSD, men fick inget genomslag och det finns idag inga enheter som stöder detta läge, och det verkar osannolikt att de kommer att dyka upp i framtiden.
• Minne och systemtjänster
  • Integreringen av ett patch-set har inletts, vilket avsevärt minskar tiden för att återkompilera kärnan genom att omstrukturera hierarkin av header-filer och minska antalet korsberoenden. I kärnan 5.18 ingår patchar som optimerar strukturen för header-filerna i schemaläggaren (kernel/sched). Jämfört med den föregående versionen har CPU-tid vid kodkompilering av kernel/sched minskat med 61% och den faktiska tiden har minskats med 3,9% (från 2,95 till 2,84 sekunder).
  • Användningen av C11-standarden, publicerad 2011, är tillåten i kärnkod. Tidigare krävdes det att kod som lades till kärnan skulle följa ANSI C-specifikationen (C89), som formulerades redan 1989. I byggscripts för kärnan 5.18 har alternativet ‘—std=gnu89’ ersatts med ‘—std=gnu11 -Wno-shift-negative-value’. Möjligheten att använda C17-standarden övervägdes, men i så fall skulle den minimi stödda versionen av GCC behöva höjas, medan inkludering av stöd för C11 passar in i de nuvarande kraven för versionen av GCC (5.1).
  • Prestandan för schemaläggning av uppgifter på AMD-processorer med Zen-mikroarkitektur har förbättrats, där varje nod med lokala minneskanaler tillhandahåller flera sista nivåns cache (LLC, Last Level Cache). I den nya versionen har obalansen i LLC mellan NUMA-noder åtgärdats, vilket har lett till en betydande prestandaförbättring vid vissa typer av belastning.
  • Verktygen för spårning av applikationer i användarutrymmet har utökats. I den nya versionen av kärnan har möjligheten lagts till för användarprocesser att skapa spårningsevenemang (User events) och skriva data till spårningsbufferten, som kan granskas via typiska spårningsverktyg för kärnan som ftrace och perf. Spårningsevenemang från användarutrymmet är isolerade från spårningsevenemang i kärnan. Status för evenemangen kan granskas via filen /sys/kernel/debug/tracing/user_events_status och registrering av ett evenemang och skrivning av data kan göras via filen /sys/kernel/debug/tracing/user_events_data.
  • En mekanism för spårning (probe) av funktionsanrop har lagts till — fprobe. API fprobe är baserat på ftrace, men är begränsat till möjligheten att fästa callback-hanterare vid funktionsstart och funktionsavslut. Till skillnad från kprobes och kretprobes, så tillåter den nya mekanismen att använda en hanterare för flera funktioner samtidigt.
  • Stödet för äldre ARM-processorer (ARMv4 och ARMv5) som inte har en minneshanteringsenhet (MMU) har upphört. Stödet för ARMv7-M-system utan MMU har bibehållits.
  • Stödet för den RISC-liknande arkitekturen NDS32, som användes i processorer från Andes Technologies, har upphört. Koden har tagits bort på grund av brist på underhåll och bristande efterfrågan på stöd för NDS32 i den huvudsakliga Linux-kärnan (de kvarvarande användarna använder specialiserade kärnor från hårdvaruleverantörerna).
  • Byggnaden av kärnan med stöd för filformatet a.out för architekturerna alpha och m68k, där detta format fortfarande används, är som standard avstängd. Stödet för det föråldrade formatet a.out kommer sannolikt att tas bort helt från kärnan inom kort. Planer för att ta bort formatet a.out har diskuterats sedan 2019.
  • Ett minimalt stöd för mekanismen vDSO (virtual dynamic shared objects) har implementerats för arkitekturen PA-RISC, vilket tillhandahåller ett begränsat antal systemanrop tillgängliga i användarutrymmet utan kontextbyte. Stödet för vDSO har möjliggjort körning med en icke-exekverbar stack.
  • Stödet för Intel HFI (Hardware Feedback Interface) har lagts till, vilket gör det möjligt för hårdvaran att överföra information om aktuell prestanda och energieffektivitet för varje CPU till kärnan.
  • En drivrutin för mekanismen Intel SDSi (Software-Defined Silicon) har lagts till, vilket gör det möjligt att hantera aktivering av ytterligare funktioner i processorn (t.ex. specialiserade instruktioner och extra cacheminne). Tanken är att chips kan levereras till ett lägre pris med låsta utökade funktioner, som sedan kan "köpas till" och aktiveras utan att byta ut hårdvaran.
  • En drivrutin för amd_hsmp har lagts till för stöd för AMD HSMP (Host System Management Port), som ger åtkomst till processorhanteringsfunktioner genom ett antal speciella register som introducerades i AMD EPYC-serverprocessorer från generation Fam19h. Till exempel kan HSMP användas för att få information om energiförbrukning och temperatur, ställa in begränsningar för klockfrekvensen, aktivera olika prestandalägen och hantera minnesinställningar.
  • I det asynkrona I/O-gränssnittet io_uring har alternativet IORING_SETUP_SUBMIT_ALL implementerats för att registrera en uppsättning filbeskrivare i en ringbuffer, samt operationen IORING_OP_MSG_RING, som gör det möjligt att skicka signaler från en ringbuffer till en annan.
  • I DAMOS (Data Access Monitoring-based Operation Schemes) har möjligheterna utökats för att övervaka minnesoperationer ur användarsystemet, vilket gör det möjligt att frigöra minne baserat på minnesanvändningsfrekvens.
  • Den tredje serien patchar med implementeringen av konceptet med minnessidor (page folios) har integrerats. Dessa liknar sammanslagna minnessidor (compound pages) men har förbättrad semantik och en mer logisk struktur för funktion.
  • Byggsystemet har nu stöd för miljövariablerna USERCFLAGS och USERLDFLAGS, som möjliggör överföring av ytterligare flaggor till kompilatorn och länkaren.
  • I eBPF-subsystemet i mekanismen BTF (BPF Type Format), som tillhandahåller information för typverifiering i BPF-pseudokod, har möjligheten att lägga till annotationer till variabler som refererar till minnesområden i användarsystemet implementerats. Annotationerna hjälper BPF-kodverifieringssystemet att mer noggrant identifiera och verifiera minnesaccess.
  • En ny minneshanterare har föreslagits för lagring av laddade BPF-program, vilket gör det möjligt att använda minnet mer effektivt i situationer med en stor mängd BPF-program som laddas.
  • I systemanropet madvise(), som erbjuder möjligheter för att optimera minneshanteringen i processen, har flaggan MADV_DONTNEED_LOCKED lagts till, vilket kompletterar den redan existerande flaggan MADV_DONTNEED, via vilken kärnan kan informera i förväg om kommande frigöring av en minnesblock, dvs. att detta block inte längre behövs och kan användas av kärnan. Till skillnad från MADV_DONTNEED är användningen av flaggan MADV_DONTNEED_LOCKED tillåten för sidor i RAM-minnet som är låsta, vilka vid anrop av madvise kan ersättas utan att deras låsta status ändras och i händelse av en efterföljande åtkomst till blocket och generering av "page fault" återlämnas med bibehållen bindning. Dessutom har en ändring lagts till som möjliggör användning av flaggan MADV_DONTNEED med stora minnesblock i HugeTLB.
• Virtualisering och säkerhet
  • För x86-arkitekturen har stöd för mekanismen för skydd av exekveringsflöden, Intel IBT (Indirect Branch Tracking), lagts till, vilket motverkar användning av tekniker för uppbyggnad av exploateringar med användning av metoder för returorienterad programmering (ROP, Return-Oriented Programming), där exploateringen bygger i form av kedjor av samtal till redan existerande bitar av maskininstruktioner i minnet, som avslutas med en återvändande instruktion (vanligtvis slutet av funktioner). Kärnan i den implementerade skyddsmetoden är att blockera indirekta övergångar till funktionskroppen genom att lägga till en särskild instruktion ENDBR i början av funktionen och tillåta exekvering via indirekt övergång endast om övergången görs till denna instruktion (indirekt anrop via JMP och CALL måste alltid träffa instruktionen ENDBR, som är placerad i början av funktionen).
  • En striktare granskning av gränserna för buffertar i funktionerna memcpy(), memmove() och memset() har lagts till, som genomförs under kompileringstiden när läget CONFIG_FORTIFY_SOURCE är aktiverat. Denna ändring innebär en kontroll av eventuellt överskridande av gränserna för element i strukturer vars storlek är känd. Det noteras att den implementerade möjligheten skulle kunna blockera alla relaterade buffertöverskridningar i kärnan som upptäckts under de senaste tre åren.
  • Den andra delen av koden för den uppdaterade implementationen av RDRAND, som ansvarar för funktionerna hos enheterna /dev/random och /dev/urandom, har lagts till. Den nya implementationen är anmärkningsvärd för att den harmoniserar arbetet hos /dev/random och /dev/urandom, och för att den lägger till skydd mot att dubbletter uppstår i strömmen av slumpmässiga tal vid uppstart. virtuella maskiner och övergår till att använda hash-funktionen BLAKE2s istället för SHA1 för blandningsoperationer av entropi. Denna förändring har ökat säkerheten för generatorn av slumpmässiga tal genom att eliminera den problematiska algoritmen SHA1 och utesluta överskrivning av initieringsvektorn för RNG. Eftersom BLAKE2s-algoritmen överstiger SHA1 i prestanda, har dess användning också haft en positiv inverkan på systemets prestanda.
  • För ARM64-arkitekturen har stöd för den nya pekarautentiseringsalgoritmen — "QARMA3" lagts till, vilket är snabbare än algoritmen QARMA samtidigt som en tillräcklig säkerhetsnivå bibehålls. Teknologin möjliggör användning av specialiserade ARM64-instruktioner för att kontrollera återgångadresser med hjälp av digitala signaturer som lagras i oanvända översta bitar av själva pekaren.
  • För ARM64-arkitekturen har stöd för att kompilera med skydd mot återkoppling av returadressen från funktionen vid buffertöverskridning i stacken implementerats i GCC 12. Skyddet går ut på att lagra returadressen i en separat "skuggstack" efter att kontrollen överlämnats till funktionen och att hämta denna adress innan man lämnar funktionen.
  • Ett nytt nyckellager (keyring) — "machine" har lagts till, som innehåller systemägarens nycklar (MOK, Machine Owner Keys), som stöds i shim-laddaren. Dessa nycklar kan användas för att signera komponenter i kärnan digitalt som laddas under faser efter den inledande bootningen (till exempel kärnmoduler).
  • Stödet för asymmetriska privata nycklar för TPM, som föreslagits i den föråldrade versionen av TPM, har tagits bort då de har kända säkerhetsproblem och inte har fått praktisk användning.
  • Skydd mot heltalsöverflyttningar har lagts till för datatyper av typen size_t. I koden används funktionerna size_mul(), size_add() och size_sub(), som möjliggör säker multiplikation, addition och subtraktion av storlekar med datatypen size_t.
  • När kärnan byggs inaktiveras flaggorna "-Warray-bounds" och "-Wzero-length-bounds", som ger varningar vid indexöverskridningar utanför arrayen och användning av arrayer med noll längd.
  • Virtio-crypto-enheten har fått stöd för kryptering med hjälp av RSA-algoritmen.
• Nätverkssystemet
  • Stöd för låst läge har lagts till i implementeringen av nätverksbryggor, vilket gör det möjligt för användaren att skicka trafik genom en port endast med en godkänd MAC-adress. Det har också lagts till funktionalitet för att använda flera strukturer för att bedöma STP-protokollets (Spanning Tree Protocol) tillstånd. Tidigare kunde VLAN endast göras med direkt bindning till STP (1:1), där varje VLAN hanterades oberoende. I den nya versionen har parameter mst_enable lagts till, där tillståndet för VLAN kontrolleras av MST-modulen (Multiple Spanning Trees) och bindningen av VLAN kan motsvara M:N-modellen.
  • Arbetet med att integrera verktyg för att spåra orsakerna till paketförluster (reason-koder) i nätverksstacken har fortsatt. Anledningen till förlusten skickas vid frigöring av minnet kopplat till paketet och gör det möjligt att beakta sådana situationer som paketförlust på grund av felaktig fyllning av fält i rubriken, upptäckta spoofing genom rp_filter, ogiltig kontrollsumma, brist på minne, aktivering av IPSec XFRM-regler, ogiltigt TCP-sekvensnummer m.m.
  • Möjligheten att överföra nätverkspaket från BPF-program som körs från användarutrymmet i BPF_PROG_RUN-läget har tillhandahållits, där BPF-program körs i kärnan men returnerar resultatet till användarutrymmet. Paket överförs med hjälp av XDP (eXpress Data Path). Live-läge för paketbearbetning stöds, där XDP-hanteraren kan omdirigera nätverkspaket i realtid till nätverksstacken eller till andra enheter. Det är också möjligt att skapa programvarugeneratorer för extern trafik eller att injicera nätverksramar i nätverksstacken.
  • För BPF-program som är kopplade till nätverkscgroups har hjälpfunktioner föreslagits för att explicit ställa in värdena som returneras av systemanrop, vilket gör det möjligt att överföra mer fullständig information om orsakerna till blockering av systemanrop.
  • Stöd för fragmenterade paket som placeras i flera buffertar har lagts till i XDP-systemet (eXpress Data Path), vilket möjliggör hantering av Jumbo-ramar i XDP och tillämpning av TSO/GRO (TCP Segmentation Offload/Generic Receive Offload) för XDP_REDIRECT.
  • Processen för att ta bort nätverksnamnrymder har avsevärt snabbats upp, vilket har efterfrågats i vissa större system med hög trafikvolym.
• Utrustning
  • I drivrutinen amdgpu är teknologin för adaptiv synkronisering FreeSync som standard aktiverad, vilket justerar uppdateringsfrekvensen på skärmen för att säkerställa smidighet och avsaknad av bildsplittring under spel och videovisning. Stöd för GPU Aldebaran har deklarerats som stabilt.
  • Stöd för Intel Alderlake N-chips och diskreta grafikkort Intel DG2-G12 (Arc Alchemist) har lagts till i drivrutinen i915.
  • Drivrutinen nouveau har fått stöd för högre bithastigheter för DP/eDP-gränssnitt och stöd för kabelförlängare lttprs (Link-Training Tunable PHY Repeaters).
  • I drm (Direct Rendering Manager) systemet har drivrutinerna för armada, exynos, gma500, hyperv, imx, ingenic, mcde, mediatek, msm, omap, rcar-du, rockchip, sprd, sti, tegra, tilcdc, xen och vc4 fått stöd för parameter nomodeset, vilket tillåter att videolägesomkoppling på kärnnivå stängs av och att hårdvaruaccelerering av rendering inte används, vilket lämnar endast funktionalitet relaterad till det systemiska framebuffer.
  • Stöd för ARM SoC Qualcomm Snapdragon 625/632 (används i smartphones som LG Nexus 5X och Fairphone FP3), Samsung Exynos 850, Samsung Exynos 7885 (används i Samsung Galaxy A8), Airoha (Mediatek/EcoNet) EN7523, Mediatek mt6582 (tablet Prestigio PMT5008 3G), Microchip Lan966, Renesas RZ/G2LC, RZ/V2L, Tesla FSD, TI K3/AM62 och i.MXRTxxxx har lagts till.
  • Stöd för ARM-enheter och kort från Broadcom (Raspberry Pi Zero 2 W), Qualcomm (Google Herobrine R1 Chromebook, SHIFT6mq, Samsung Galaxy Book2), Rockchip (Pine64 PineNote, Bananapi-R2-Pro, STM32 Emtrion emSBS, Samsung Galaxy Tab S, Prestigio PMT5008 3G tablet), Allwinner (A20-Marsboard), Amlogic (Amediatek X96-AIR, CYX A95XF3-AIR, Haochuangy H96-Max, Amlogic AQ222 och OSMC Vero 4K+), Aspeed (Quanta S6Q, ASRock ROMED8HM3), Marvell MVEBU/Armada (Ctera C200 V1 och V2 NAS), Mstar (DongShanPiOne, Miyoo Mini), NXP i.MX (Protonic PRT8MM, emCON-MX8M Mini, Toradex Verdin, Gateworks GW7903) har lagts till.
  • Stöd för ljudsystem och codec: AMD PDM, Atmel PDMC, Awinic AW8738, i.MX TLV320AIC31xx, Intel CS35L41, ESSX8336, Mediatek MT8181, nVidia Tegra234, Qualcomm SC7280, Renesas RZ/V2L, Texas Instruments TAS585M har lagts till. En grundläggande implementering av ljuddrivrutinen för DSP-chipet Intel AVS har lagts till. Drivrutinsstödet för Intel ADL och Tegra234 har uppdaterats, och det har gjorts ändringar för att förbättra ljudstödet på enheter från Dell, HP, Lenovo, ASUS, Samsung och Clevo.

  Samtidigt har den latinamerikanska Fonden för fri programvara skapat en version av den helt fria kärnan 5.18 — Linux-libre 5.18-gnu, som har rensats från element av firmware och drivrutiner som innehåller icke-fria komponenter eller kodavsnitt vars användningsområde är begränsat av tillverkaren. I den nya utgåvan har drivrutiner för MIPI DBI-paneler, VPU Amphion, WiFi MediaTek MT7986 WMAC, Mediatek MT7921U (USB) och Realtek 8852a/8852c, ljudchips från Intel AVS och Texas Instruments TAS5805M rensats. DTS-filer för olika SoC Qualcomm med processorer baserade på AArch64-arkitekturen har också rensats. Koden för rensning av blobbar i drivrutiner och subsystem för AMD GPU, MediaTek MT7915, Silicon Labs WF200+ WiFi, Mellanox Spectru Ethernet, Realtek rtw8852c, Qualcomm Q6V5, Wolfson ADSP och MediaTek HCI UART har uppdaterats.

Källa: opennet.ru