Utgivning av Linux-kärnan 6.9

Efter två månaders utveckling presenterade Linus Torvalds utgivningen av Linux-kärnan 6.9. Bland de mest anmärkningsvärda förändringarna finns: modulen dm-vdo för deduplicering och komprimering av blockenheter, direkt åtkomstläge för filer i FUSE, stöd för skapande av pidfd för individuella trådar, BPF-token mekanism, stöd för Rust på ARM64-system, nedgradering av filsystemet Ext2 till föråldrat, borttagning av den gamla NTFS-drivrutinen, stöd för Intel FRED-mekanismen.

Den nya versionen innehåller 15680 korrigeringar från 2106 utvecklare, storleken på patchen är 54 MB (ändringarna berör 11825 filer, 687954 kodrader har lagts till och 225344 kodrader har tagits bort). I den föregående versionen fanns 15641 korrigeringar från 2018 utvecklare, storleken på patchen var 44 MB. Ungefär 42% av alla förändringar i 6.9 är relaterade till enhetsdrivrutiner, cirka 17% handlar om uppdatering av kod specifik för hårdvaruarkitekturer, 13% rör nätverksstacken, 7% har att göra med filsystem och 4% med interna kärnsystem.

Huvudnyheterna i kärnan 6.9:

• Disksubsystem, in- och utmatning och filsystem
  • I Device Mapper (DM) har en ny hanterare dm-vdo (virtual data optimizer) lagts till, vilket gör det möjligt att skapa en virtuell blockenhet baserad på befintliga blockenheter som erbjuder funktioner som deduplicering av upprepade data, komprimering av data, utelämnande av tomma block och ökning av blockenhetens storlek vid behov (thin provisioning). Dessa funktioner implementeras på blockenhetsnivå och är oberoende av det använda filsystemet (till exempel kan dm-vdo implementera automatisk sammanslagning av duplicerade data och lagring av information i komprimerad form för alla filsystem). Användning av dm-vdo stöds för fysiska lagringssystem med en storlek på upp till 256 TB och skapande av logiska volymer upp till 4 PB. För hantering av vdo-partitioner rekommenderas att använda lvm. VDO-teknologin utvecklades av Permabit och blev öppen efter att företaget köptes upp av Red Hat 2017.
  • I FUSE-underdelen, som används för att implementera filsystem i användarutrymme, har en grundläggande implementering av "passthrough"-läget lagts till, vilket möjliggör direkt åtkomst till fildata på kärnnivå utan att gå igenom processen som körs i användarutrymme. Detta kan, i vissa situationer, avsevärt öka prestandan. Till exempel kan FUSE-implementationer av filsystem som arbetar i skrivskyddat läge och begränsar åtkomst till filer returnera innehållet i filer från det ursprungliga filsystemet utan att överföra dem till FUSE-processen.
  • Drivrutinen för filsystemet Ext2 har klassificerats som föråldrad (deprecated). Anledningen anges vara att drivrutinen endast stödjer 32-bitars tidsräknare i inode, som kommer att överflödas den 19 januari 2038. Istället för ext2-drivrutinen rekommenderas att använda ext4-drivrutinen, som har stöd för Ext2-filsystemet och är helt kompatibel med det, men som också kan använda tidsstämplar i ext2-partitioner som inte är påverkade av 2038-problemet om filsystemet skapats med inode-storlek större än 255 byte (i ext2-drivrutinen användes 32-bitars tidsräknare oavsett inode-storlek).
  • Den gamla NTFS-filsystemdrivrutinen har tagits bort och har ersatts av den nya NTFS3-drivrutinen som kom med version 5.15. Leverans av två drivrutiner som implementerar NTFS i kärnan anses oklokt, med hänsyn till att den gamla drivrutinen inte har uppdaterats på många år, är i ett bedrövligt skick och endast kan köras i läsläge.
  • I filsystemen zonefs och hugetlbfs har stöd för kartläggning av användaridentifierings-id för monterade filsystem lagts till, vilket används för att associera filer av en viss användare på ett monterat annat partition med en annan användare i det aktuella systemet.
  • För NFSv4 har administratörer fått möjlighet att rensa öppnings- och låsningsstatusar för filer.
  • För Ext4-filsystemet noteras endast buggfixar och uppdatering av kunit-tester.
  • I Btrfs har översättningen av funktioner till användning av minnessidor (page folios) fortsatt.
  • I XFS-filsystemet har arbetet fortsatt med implementeringen av möjligheten att använda verktyget fsck för att kontrollera och åtgärda identifierade problem i online-läge, utan att demontera filsystemet.
  • Funktionen pwritev2() har fått flaggan RWF_NOAPPEND, som gör det möjligt att ange en förskjutning för skrivning, även om filen har öppnats i läget enbart för tillägg av data i slutet av filen.
  • Nya ioctl-kommandon har lagts till: FS_IOC_GETUUID – returnerar UUID-koden för det angivna filsystemet, och FS_IOC_GETFSSYSFSPATH – anger platsen i /sys/fs för det angivna monterade filsystemet.
  • Filssystemen efs, qnx4 och coda har övergått till att använda det nya API:t för montering av partitioner.
  • Implementeringen av filoperationer som körs utan hänsyn till versaler har förbättrats. Prestandan har ökat genom att först utföra en känslig jämförelse och sedan gå tillbaka till att söka utan hänsyn till versaler. Problem vid montering av overlayfs ovanpå kataloger som har ställts in för att vara utan hänsyn till versaler har åtgärdats.
• Minne och systemtjänster
  • Stödet för Intel FRED (Flexible Return and Event Delivery) har implementerats, vilket är utformat för att öka effektiviteten och tillförlitligheten för leverans av information om låg-nivåhändelser jämfört med det nuvarande systemet IDT (Interrupt Descriptor Table). Prestandaförbättringar och minskade fördröjningar uppnås genom att händelser återförs av processorinstruktionen IRET istället för att levereras via IDT. Ökad tillförlitlighet uppnås genom separat hantering av händelseinträde i kärnkontext och användarkontext, skydd mot inbäddad NMI-exekvering och bevarande av alla CPU-register relaterade till undantaget i den utvidgade stackramen.
  • Möjligheten att optimera åtkomst till data för individuella CPU-kärnor har lagts till genom att använda namngivna adressutrymmen (Named Address Spaces) i kärnkoden, implementerade i GCC som en del av GNU C-förlängningen.
  • Flaggan PIDFD_THREAD har lagts till i funktionen pidfd_open(), vilket gör det möjligt att skapa pidfd för enskilda trådar, istället för att endast använda pidfd i sammanhanget för gruppens ledartråd. Det har också föreslagits att implementera ett pseudo-filsystem för åtkomst till pidfd genom det virtuella filsystemet. Till skillnad från identifiering av processer med pid är pidfd-koden kopplad till en specifik process och ändras inte, medan PID efter att den aktuella processen har avslutats kan knytas till en annan process.
  • I BPF-subsystemen har en BPF-tokenmekanism lagts till, vilket gör att program kan delegera åtkomstbehörigheter till privilegierade BPF-operationer selektivt; till exempel kan ett icke-privilegierat program ges tillgång till vissa BPF-subsystem utan att ge fulla CAP_BPF-rättigheter.
  • En ny typ av delad minne, bpf_arena, har lagts till i BPF-subsystemen, vilket definierar det område som är tillgängligt för delning mellan BPF-program och processer i användarutrymmet. Instruktionen may_goto har lagts till, vilket möjliggör loopar som kan avbrytas av verifieraren. Möjlighet att generera godtyckliga TCP SYN-cookies från BPF-program har lagts till, samt skapande av BPF-handlers för att bekämpa SYN-flodattacker.
  • Arbetet med att föra över ändringar från Rust-for-Linux-grenen fortsätter, kopplat till användning av Rust som det andra språket för utveckling av drivrutiner och kärnmoduler (Rust-stöd är inte aktiverat som standard och gör inte Rust till ett obligatoriskt byggberoende för kärnan). Stöd för användning av Rust med 64-bitars ARM-processorer har lagts till. Övergång har gjorts till Rust-version 1.76. Makrot ‘container_of!’ har lagts till. Istället för den instabila funktionen ‘ptr_metadata’ har den stabila metoden ‘byte_sub’ använts. Modulen ‘time’ med funktionen för tidskonvertering ‘msecs_to_jiffies()’ har lagts till.
  • Möjligheten att trunkera filer (ftruncate_file) har lagts till i io_uring-subsystemet.
  • En ny typ av arbetsköer, WQ_BH (workqueue Bottom Halves), har lagts till för asynkron exekvering av kod i kontexten av programvaruinterrupper, avsedd för användning istället för föråldrade tasklets.
  • Timerhanteringssystemet har omarbetats avsevärt, där logiken för att välja aktiv CPU-kärna för att utföra den utlösta timern har förbättrats för att inte väcka inaktiva kärnor från viloläge.
  • Möjlighet att uppdatera processorns energimodell (EM, Energy Model) under drift har implementerats, vilket kan användas för att ta hänsyn till effekten av arbetstemperaturen på CPU:ns energieffektivitet. Funktionaliteten em_cpu_energy() har avsevärt förbättrats, vilket nu körs 1,43 gånger snabbare i tester på en stationär system och 1,69 gånger snabbare i tester på RockPi 4B.
  • Stöd för körning av system baserade på ARM64-arkitekturen har lagts till i LPA2-läget med 52-bitars virtuellt adressutrymme.
  • För ARM64-system har stöd för kontinuerlig PTE (Page Table Entry)-skrivning implementerats, vilket ökar prestandan genom att förbättra effektiviteten i användningen av TLB (Translation Lookaside Buffer).
  • Patchar har antagits för att förbättra prestandan i minneshanteringssystemet genom att minska konkurrerande lås i vmalloc().
  • För LoongArch-arkitekturen har en mekanism för live patching av kärnan implementerats, vilket möjliggör tillämpning av korrigeringar på kärnan utan omstart.
  • För RISC-V-system har stöd för systemanropet membarrier() implementerats, vilket säkerställer minnesbarriärer för aktiva trådar i systemet.
  • Krav på versionen av LLVM/Clang som kan användas för att kompilera kärnan har höjts. Nu krävs minst version 13.0.1 av LLVM (tidigare stöddes kompilering med LLVM 11+).
  • Mekanismen 'User trace events', som gör det möjligt att skapa spårningsevents från användarprocesser för att övervaka aktiviteter i användarutrymmet, har fått stöd för export av händelseinformation i olika format (USER_EVENT_REG_MULTI_FORMAT).
  • I funkionsspårningsmekanismen har möjligheten att spåra tillståndet av inparametrar vid utgångsspringandet lagts till. Värdena från return-operatorn kan nu matchas med parametrarna som användes vid funktionsanropet.
  • I verktyget perf har stöd för läget för aggregatutsnitt 'cluster' ('perf stat -a —per-cluster') lagts till för att sammanfoga statistik för delade resurser. Möjlighet att använda libcapstone-biblioteket för disassemblering av processorinstruktioner ('perf script -F disasm') har också implementerats. Optimeringar för minnesanvändning har genomförts vid körning av kommandona perf report och perf annotate.
• Virtualisering och säkerhet
  • Skydd mot RFDS (Register File Data Sampling) sårbarhet har lagts till i Intel Atom-processorer, vilket gör det möjligt att extrahera kvarvarande information från registerfiler (RF, Register File) i processorn, vilka används för att gemensamt lagra innehållet i registren för alla uppgifter på samma CPU-kärna. För att blockera sårbarheten krävs en mikroprogramsuppdatering och användning av instruktionen VERW för att rensa innehållet i mikroarkitekturella buffertar vid återgång från kärnan till användarutrymmet. För att aktivera skyddet vid kärnstart kan flaggan "reg_file_data_sampling=on" anges. Information om sårbarhetens förekomst och tillgång till nödvändigt mikroprogram för att skydda kan bedömas i filen "/sys/devices/system/cpu/vulnerabilities/reg_file_data_sampling".
  • Grundläggande stöd för skydd av gästsystem har lagts till med hjälp av AMD SEV-SNP (Secure Nested Paging) för att säkerställa säker hantering av inbäddade sidtabeller i minnet och skydda mot "undeSErVed" och "SEVerity" attacker på AMD EPYC-processorer, vilket möjliggör omgåelse av skyddsmekanismen AMD SEV (Secure Encrypted Virtualization). KVM De nödvändiga ändringarna för att använda SNP planeras att läggas till i version 6.10.
  • Moduler med implementation av IMA (Integrity Measurement Architecture) och EVM (Extended Verification Module) har överförts till att använda LSM (Linux Security Modules) ramverket, vilket utan att tappa funktionalitet betydligt har förenklat koden, sammanfogat duplicerad funktionalitet och utnyttjat de tillgängliga standardmöjligheterna via LSM. IMA-modulen är avsedd för att kontrollera integriteten hos operativsystemets komponenter genom digitala signaturer och hash-värden. EVM-modulen skyddar utökade filattribut (xattrs) mot attacker som syftar till att åsidosätta deras integritet (EVM kommer inte att tillåta offline-attacker där en angripare kan ändra metadata, till exempel genom att starta från sin egen lagringsenhet).
  • Systemanropen lsm_list_modules(), lsm_get_self_attr() och lsm_set_self_attr() har omarbetats för bättre kompatibilitet med 32-bitarsmiljöer, som är avsedda för att lista laddade LSM-moduler (Linux Security Modules) och för att hämta/ställa in egenskaper för LSM-moduler. Ändringen bryter mot bakåtkompatibiliteten, men eftersom de nya systemanropen lades till i den senaste kärnversionen och ännu inte används i applikationer, ansåg Linus Torvalds att ändringen var godtagbar.
  • Ett försök gjordes att återuppta användningen av mekanismen UBSAN (Undefined Behavior Sanitizer). Problemet ligger i att kompilatorer hanterar heltalige överskridningar av tecknade och o-tecknade typer på olika sätt. Tecknade överskridningar och överskridningar av pekare tillhör kategorin av odefinierat beteende, medan o-tecknade överskridningar hanteras på ett modulärt sätt enligt 2n med endast de lägsta bitarna av resultatet bevarade ("wrap-around") och påverkas inte av odefinierat beteende. För att utesluta situationer som kan leda till odefinierat beteende kompileras kärnan med alternativet "-fno-strict-overflow", vilket leder till användning av "wrap-around" för alla heltalige överskridningar. GCC och Clang kan inte korrekt diagnostisera vissa problem vid användning av flaggan "-fno-strict-overflow", och aktiveringen av UBSAN syftar till ett samarbete med kompilatorutvecklarna för att eliminera falska positiva och identifiera heltalige överskridningar där det saknas tydliga kontroller.

    För att kontrollera möjliga överskridningar i kärnan används konstruktioner av typen "var + offset < var" (till exempel, "if (pgoff + (size > PAGE_SHIFT) < pgoff){..}"), som är kopplade till kompileringen med flaggan "-fno-strict-overflow" och täcker inte all kod där en överskridning potentiellt kan inträffa. Problemet är att vid användning av UBSAN ledde sådana kontroller till ett stort antal falska varningar, vilket gjorde att UBSAN måste stängas av år 2021. I den uppdaterade implementationen föreslås användning av speciella annotationer __signed_wrap och __unsigned_wrap, samt färdiga makron med kontroller som add_would_overflow(a, b) och add_wrap(a, b), som möjliggör separation av utvecklarnas tillåtna användning av heltalige överskridningar från oavsiktliga överskridningar som kan leda till sårbarheter. Förslaget om en mer omfattande omarbetning av kärnan med introduktion av ytterligare typdefinitioner avvisades av Linus Torvalds.

• Nätverkssystemet
  • I det nätverksbaserade subsystemet har arbete genomförts för att minska förekomsten av konkurrerande låsning ("lock contention", ett försök att få en lås som hålls av en annan tråd). Användningen av RTNL-lås har minskats.
  • möjligheten att aktivera stöd för aktiv polling av sockets (busy polling) i samband med individuella anrop av epoll. Storin och budgetparametrar kan ställas in separat från systemets standardinställningar.
  • en struktur för net_hotdata har implementerats för att öka effektiviteten av cache för de mest använda nätverkskonfigurationsvariablerna.
  • MPTCP har fått stöd för att ställa in TCP_NOTSENT_LOWAT-alternativet för sockets, vilket gör det möjligt att begränsa storleken på sändningsbuffer. I MCTP:s socket-API har stöd för nätverksidentifierare ("network ID") lagts till, vilket möjliggör användning av flera icke-överlappande MCTP-nätverk på en och samma värd.
  • IPSec har fått stöd för att omdirigera ICMP-meddelanden med felinformation (RFC 4301).
  • processen för att skanna rutter med utgånget liv har påskyndats.
  • XDP:s prestanda har förbättrats genom att mer strikt undvika allokering av stora minnesblock.
  • möjligheten att bifoga metadata till netconsole-meddelanden har lagts till.
  • I Netfilter har det blivit tillåtet att definiera tabeller från användarskiktet som kopplas till en styrande bakgrundsprocess och som inte tas bort automatiskt efter att användarapplikationen har avslutats.
  • i nftables har tillägg av element till set-grupper med sammanfallande intervall påskyndats.
• Utrustning
  • i i915-drivrutinen fortsätter arbetet med att implementera stöd för Intel LunarLake (Xe 2) chip. Nya PCI-identifikatorer för enheter baserade på Intel Arrow Lake och Alder Lake N-chip har lagts till. För Displayport har stöd för tunneling (DP tunneling) och bandbreddsallokering (bandwidth allocation) lagts till. Fastboot-läget har aktiverats för alla plattformar. Stöd för felsökningsutskrift kopplat till specifika enheter har lagts till.
  • i AMDGPU-drivrutinen har förberedelser gjorts för att implementera stöd för GPU AMD RDNA3.5 och RDNA4. Stöd för ATHUB 4.1, LSDMA 7.0, JPEG DPG, IH 7.0, HDP 7.0, VCN 5.0, SMU 13.0.6, NBIO 7.11, SDMA 6.1, MMHUB 3.3, DCN 3.5.1, NBIF 6.3.1, VPE 6.1.1 och RAS ACA-ramverket har lagts till. En parameter har lagts till i kärnmodulen för freesync_video för att aktivera experimentellt stöd för optimering av växling av videolägen med hjälp av teknik för adaptiv synkronisering FreeSync.
  • i Nouveau-drivrutinen har koden för bildskärmskontrollen översatts till att använda funktionen kmemdup().
  • Arbetet med DRM-drivrutinen (Direct Rendering Manager) Xe för GPU:er baserade på Intel Xe-arkitekturen, som används i grafikkort från Intel i Arc-serien och integrerad grafik, har fortsatt, med början från Tiger Lake-processorer.
  • DRM-drivrutinen för Mediatek MT8188 VDOSYS1-chip har lagts till.
  • Inställningar relaterade till videoundersystem har flyttats till sektionen CONFIG_VIDEO.
  • Stöd har lagts till för ARM64 SoC: Mediatek MT7981B (Filogic 820), MT7988A (Filogic 880), NXP i.MX8DXP, Renesas R8A779G2 (R-Car V4H ES2.0), R8A779H0 (R-Car V4M), TI J722S.
  • Stöd har lagts till för ARM-plattformar och enheter: Android-telefoner baserade på Tegra30-chip, Chromebook-modeller baserade på Mediatek MT8186, NAS, surfplattor och spelkonsoler baserade på Rockchips RK35xx, White Hawk-kort baserade på Renesas SoC, kort baserade på Qualcomm SM8550 (Snapdragon 8 Gen 2), Apalis Evaluation Board, Sielaff i.MX6 Solo Board, Samsung Galaxy Tab 4 10.1 LTE.
  • Koden för ljudundersystemet ALSA har refaktorerats. Stöd har lagts till för ljudsystem från Microchip SAM9x7, NXP i.MX95 och Qualcomm WCD939x. SoundWire-drivrutinen har fått stöd för ASoC med ljudkoprocessorer från AMD ACP 6.3, och för Intel-system har ett DSPless-läge implementerats. Stöd för ytterligare ljudkodekar Cirrus HD har lagts till. I virtio-drivrutinen har hanteringen av ljudenheter förbättrats.
  • Stöd för Ethernet-kontrollerna Marvell Octeon PCI Endpoint NIC VF och Intel E825-C 100G har lagts till.

Samtidigt har den latinamerikanska Stiftelsen för fri programvara bildat en version av det helt fria kärnan 6.9 — Linux-libre 6.9-gnu, rensad från firmware och drivrutiner som innehåller icke-fria komponenter eller kodavsnitt vars användning är begränsad av tillverkaren. I utgåvan 6.9 har koden för att rensa blobbar i drivrutinerna amdgpu, ath12k, adreno, btusb och r8169 uppdaterats. Rensning av den nya drivrutinen ptp_fc3 har genomförts. Blobnamnen i dts-filer (devicetree) för Aarch64-arkitekturen har rensats. Problem med rensning av i915-drivrutinen som ledde till låsning under initialisering har åtgärdats. Ändringar relaterade till hantering av blobbar som levereras i form av hexadecimala dumpningar har gjorts.

Källa: opennet.ru