Release av Linux-kärnan 5.15

Efter två månaders utveckling presenterade Linus Torvalds släppet av kärnan Linux 5.15. Bland de mest anmärkningsvärda ändringarna finns: en ny NTFS-drivrutin med skrivstöd, modulen ksmbd med implementering av en SMB-server, subsystemet DAMON för övervakning av minnesåtkomst, låsprimitive för realtidslägen, stöd för fs-verity i Btrfs, systemanropet process_mrelease för system som reagerar på minnesbrist, och modulen för fjärrattestering dm-ima.

I den nya versionen har 13499 korrigeringar gjorts av 1888 utvecklare, patchstorleken är 42 MB (ändringarna berör 10895 filer, 632522 kodrader har lagts till, och 299966 rader har tagits bort). Ungefär 45 % av alla ändringar i 5.15 är relaterade till enhetsdrivrutiner, omkring 14 % av ändringarna rör uppdatering av arkitekturnära kod, 14 % är kopplade till nätverksstacken, 6 % till filsystem och 3 % till interna kärnsystem.

Huvudsakliga nyheter:

• Disksubsystem, in- och utmatning och filsystem
  • En ny implementation av NTFS-filsystemet, öppen av företaget Paragon Software, har antagits i kärnan. Den nya drivrutinen kan fungera i skrivläge och stödjer alla funktioner i den aktuella versionen av NTFS 3.1, inklusive avancerade filattribut, åtkomstlistor (ACL), datakompressionsläge, effektiv hantering av tomrum i filer (sparse) och återställning av integritet genom att återskapa ändringar från loggen efter krascher.
  • I Btrfs-filsystemet har stöd för mekanismen fs-verity implementerats, som används för transparent kontroll av integriteten och autencitet av individuella filer baserat på kryptografiska hash-värden eller nycklar kopplade till filerna och som lagras i metadataområdet. Tidigare var fs-verity endast tillgängligt för filsystemen Ext4 och F2fs.

    I Btrfs har stöd för mappning av användaridentiteter för monterade filsystem också lagts till (tidigare stöddes detta för filsystemen FAT, ext4 och XFS). Denna funktion möjliggör matchning av filer för en viss användare på en monterad annan partition med en annan användare i det aktuella systemet.

    Bland andra förändringar i Btrfs: ökad hastighet för att lägga till nycklar i katalogens index för förbättrad filskapandeprestanda; möjlighet att använda raid0 med en enhet och raid10 med två (till exempel under omkonfigurering av arrayen); alternativet „rescue=ibadroots” för att ignorera en ogiltig extentsträd; ökad hastighet för operationen „send”; minskning av låskonflikter under omdöpningar; möjlighet att använda 4K-sektorer på system med sidstorlek 64K.

  • I XFS har möjligheten att använda filsystemdatum efter 2038 stabiliserats. En mekanism för fördröjd inaktivering av inode har implementerats, samt stöd för fördröjd installation och borttagning av filattribut. För att undvika problem har möjligheten att inaktivera diskquota för redan monterade partitioner tagits bort (quota kan tvångsurea inaktiveras, men den relaterade beräkningen kommer att fortsätta, så fullständig inaktivering kräver en ommontering).
  • I EXT4 har arbetet med att öka prestandan för skrivning till delalloc-buffertar och hantering av föräldralösa (orphan) filer som fortsätter att existera eftersom de är öppna men saknar koppling till en katalog, genomförts. Hanteringen av discard-operationer har flyttats ut från jbd2-tråden kthread för att undvika blockeringar av metadataoperationer.
  • I F2FS har alternativet „discard_unit=block|segment|section” lagts till för att koppla discard-operationer (markera frigjorda block som inte längre behöver sparas fysiskt) till justering i förhållande till block, sektor, segment eller sektion. Stöd för att spåra ändringar i latens vid in- och utdata har lagts till.
  • I filsystemet EROFS (Extendable Read-Only File System) har stöd för direkt in- och utdata för filer som sparats utan komprimering, samt stöd för fiemap, lagts till.
  • I OverlayFS har korrekt hantering av monteringsflaggor „immutable”, „append-only”, „sync” och „noatime” genomförts.
  • I NFS har hanteringen av situationer där NFS-servern slutade svara på förfrågningar förbättrats. Möjligheten till montering via en redan använd servern, men tillgänglig via en annan nätverksadress, har lagts till.
  • Förberedelser för omprogrammering av FSCACHE-underdelse har inletts.
  • Stöd för EFI-partitioner med icke-standardplacering av GPT-tabeller har lagts till.
  • I mekanismen fanotify har en ny flagga FAN_REPORT_PIDFD införts, vilket medför att pidfd anges i metadata som returneras. Pidfd hjälper till att hantera situationer med återanvändning av PID för mer exakt identifiering av processer som interagerar med spårade filer (pidfd kopplas till en specifik process och ändras inte, medan PID kan kopplas till en annan process efter att den aktuella processen kopplad till denna PID har avslutats).
  • Systemanropet move_mount() har utökats med möjlighet att lägga till monteringspunkter i befintliga delade grupper, vilket löser problem med att bevara och återställa processers tillstånd i CRIU-verktyget när det finns flera monteringsutrymmen som delas i isolerade containrar.
  • Skydd mot dolda körningsillstånd har lagts till, som potentiellt kunde leda till korruption av filer vid läsning från cache under hantering av luckor i filen.
  • Stödet för obligatoriska (mandatory) filblockeringar, implementerade genom systemanrop som leder till ändringar i filen, har avbrutits. På grund av potentiella körningsillstånd ansågs dessa blockeringar vara opålitliga och avfördes för många år sedan som föråldrade.
  • Subsystemet LightNVM, som tillät direkt åtkomst till SSD-lagringsenheten utan mellanskikt av emulering, har tagits bort. LightNVM har förlorat sin betydelse efter att NVMe-standarder infördes som möjliggör zonering (ZNS, Zoned Namespace).
• Minne och systemtjänster
  • Subsystemet DAMON (Data Access MONitor) har implementerats, vilket möjliggör spårning av aktivitet relaterad till dataåtkomst i RAM kopplad till en vald process som körs i användarutrymmet. Subsystemet gör det möjligt att analysera vilka specifika minnesområden processen har tillgått under hela sin driftstid, och vilka minnesområden som förblivit oanvända. Bland egenskaperna hos DAMON finns låg CPU-belastning, låg minnesförbrukning, hög precision samt förutsägbara konstanta overheadkostnader, oavsett storlek. Subsystemet kan användas av både kärnan för att optimera minneshantering och av verktyg i användarutrymmet för att förstå vad processen gör och optimera minnesanvändningen, till exempel genom att frigöra överflödigt minne till systemet.
  • Systemanropet process_mrelease har implementerats, vilket möjliggör en snabbare process för att frigöra minne från processer som avslutar sina körningar. Under normala omständigheter sker frigörande av resurser och avslutning av processer inte omedelbart och kan försenas av olika skäl, vilket stör arbetet hos system som verkar i användarutrymmet för tidig respons på minnesbrist, såsom oomd (tillhandahålls i systemd) och lmkd (används i Android). Genom process_mrelease-anropet kan sådana system mer förutsägbart initiera återlämnande av minne från tvångsavslutade processer.
  • Från PREEMPT_RT-grenen av kärnan, där stödet för realtidsdrift utvecklas, har varianter av primitiva mutex-blockeringar, inklusive ww_mutex, rw_semaphore, spinlock och rwlock, som baseras på RT-Mutex-subsystemet, flyttats. I SLUB slab allocator har förändringar lagts till för att förbättra prestandan i PREEMPT_RT-läget och minska påverkan på avbrott.
  • I cgroup har stöd för uppgiftsplaneraren SCHED_IDLE lagts till, vilket gör det möjligt att ge denna egenskap till alla processer inom en viss cgroup. Det vill säga att dessa processer endast kommer att startas när det inte finns några andra uppgifter som väntar på att utföras i systemet. Till skillnad från att ställa in SCHED_IDLE-attributet för varje process individuellt, tar bindning av SCHED_IDLE till cgroup hänsyn till den relativa vikten av uppgifter inom gruppen vid val av uppgift för körning.
  • Mekanismen för att spåra minnesanvändning i cgroup har utvidgats med möjligheten att övervaka ytterligare datakonstruktioner i kärnan, inklusive de som skapas för polling, signalhantering och namespaces.
  • Stöd för asynkron schemaläggning av uppgiftstilldelning till processor kärnor har lagts till på arkitekturer där vissa CPU:er tillåter körning av 32-bitarsuppgifter medan andra endast arbetar i 64-bitarsläge (t.ex. ARM). Det nya läget gör det möjligt, vid schemaläggning av 32-bitarsuppgifter, att endast beakta CPU:er som stödjer 32-bitarsuppgifter.
  • I gränssnittet för asynkron in- och utmatning io_uring har stöd införts för att öppna filer direkt i den fasta filtabellen fixed-file utan att använda en filbeskrivare, vilket möjliggör en avsevärd ökning av hastigheten för vissa typer av operationer, men strider mot den traditionella Unix-processen att använda filbeskrivare för att öppna filer.

    I io_uring för BIO-subsystemet (Block I/O Layer) har en ny mekanism för återanvändning av BIO ("BIO recycling") genomförts, vilket minskar overhead i hanteringen av intern minne och ökar antalet hanterade in- och utmatningsoperationer per sekund med ungefär 10%. io_uring har också fått stöd för systemanropen mkdirat(), symlinkat() och linkat().

  • För BPF-program har möjligheten att begära och bearbeta timerhändelser implementerats. En iterator för UNIX-socketar har också lagts till, samt funktionen att hämta och ställa in socketalternativ för setsockopt. I BTF dumper har stöd för typade data lagts till.
  • På NUMA-system med olika typer av minne som skiljer sig i prestanda, har en strategi för att flytta bortträngda minnessidor från dynamiskt minne (DRAM) till långsammare icke-flyktigt minne (Persistent Memory) implementerats istället för att radera dessa sidor när det fria utrymmet är slut. Tester har visat att denna taktik vanligtvis förbättrar prestandan på sådana system. För NUMA har möjligheten att tilldela minnessidor till en process från ett valt antal NUMA-noder också införts.
  • För ARC-arkitekturen har stöd för tre- och fyranivåers sidtabeller införts, vilket i framtiden möjliggör stöd för 64-bitars ARC-processorer.
  • För s390-arkitekturen har möjlighet att använda KFENCE-mekanismen för att upptäcka minnesfel implementerats, och stöd för detektionssystemet för dataracing KCSAN har lagts till.
  • Stöd har lagts till för att indexera meddelandelistan som skrivs ut via printk(), vilket möjliggör att extrahera alla sådana meddelanden på en gång och följa förändringar i användarutrymmet.
  • I mmap() har stödet för VM_DENYWRITE-alternativet upphört och kärnkoden har befriats från användningen av läget MAP_DENYWRITE, vilket minskade antalet situationer som leder till att skrivningar blockeras med felet ETXTBSY.
  • Ett nytt typ av kontroller, "Event probes", har lagts till i spårningssystemet, vilket gör det möjligt att koppla dem till befintliga spårningsevenemang och definiera ett eget utdataformat.
  • När kärnan byggs med kompilatorn Clang används som standard den inbyggda assemblatorn från projektet LLVM.
  • I samband med projektet för att ta bort kod från kärnan som orsakar kompilatorvarningar, genomfördes ett experiment med att som standard aktivera läget "-Werror", där kompilatorvarningar behandlas som fel. Under förberedelserna för version 5.15 började Linus endast acceptera ändringar som inte orsakade varningar vid byggandet av kärnan och aktiverade byggandet med "-Werror", men han gick senare med på åsikten att detta beslut var för tidigt och sköt upp aktiveringen av "-Werror" som standard. Hanteringen av aktiveringen av flaggan "-Werror" vid byggandet görs med hjälp av parametern WERROR, som som standard är inställd på värdet COMPILE_TEST, det vill säga den aktiveras för närvarande endast vid testbyggen.
• Virtualisering och säkerhet
  • I Device Mapper (DM) har en ny hanterare dm-ima lagts till med implementeringen av en mekanism för fjärrattestering baserat på IMA (Integrity Measurement Architecture)-systemet, vilket tillåter en extern tjänst att verifiera tillståndet för kärnsystemen för att säkerställa att de är autentiska. I praktiken gör dm-ima det möjligt att skapa lagringssystem med hjälp av Device Mapper som är kopplade till externa molnsystem, där IMA används för att verifiera autenticiteten hos den körda DM-targetkonfigurationen.
  • En ny alternativ PR_SPEC_L1D_FLUSH har implementerats i prctl(), vilket gör att kärnan börjar rensa innehållet i första nivåns cache (L1D) varje gång kontexten växlas. Detta läge möjliggör en ytterligare skydd för de mest viktiga processerna mot användningen av attacker via sidokanaler, som utförs för att avgöra data som har fastnat i cachen på grund av sårbarheter orsakade av spekulativ exekvering av instruktioner i CPU:n. Kostnaden för att aktivera PR_SPEC_L1D_FLUSH (som inte är aktiverad som standard) är en betydande minskning av prestanda.
  • Möjligheten att bygga kärnor med tillägget av GCC-flaggan «-fzero-call-used-regs=used-gpr» har realiserats, vilket säkerställer att alla register nollställs innan kontrollen återlämnas till funktionen. Denna alternativ skyddar mot informationsläckage från funktioner och minskar med 20% antalet block som är lämpliga för att bygga ROP-gadgets (Return-Oriented Programming) i exploiter.
  • Möjligheten att bygga kärnor för ARM64-arkitektur i form av kunder för Hyper-V-hypervisorn har realiserats.
  • Ett nytt ramverk för utveckling av drivrutiner «VDUSE» har föreslagits, vilket möjliggör implementering av virtuella blockenheter i användarutrymmet och tillämpning av Virtio som transportmetod för åtkomst från gästsystem.
  • En Virtio-drivrutin för I2C-bussen har lagts till, vilket möjliggör emulering av I2C-kontroller i para-virtualisering med användning av separata backends.
  • Virtio-drivrutinen gpio-virtio har lagts till, vilket gör det möjligt för gästsystem att få åtkomst till GPIO-linjer som tillhandahålls av värdsystemet.
  • Möjligheten att begränsa åtkomst till minnessidor för enhetsdrivrutiner med DMA-stöd på system utan I/O MMU (minneshanteringsenhet) har lagts till.
  • I KVM-hypervisorn har möjligheten att presentera statistik i form av linjära och logarithmiska histogram implementerats.
• Nätverkssystemet
  • Ett modul ksmbd har lagts till kärnan som implementerar en filserver som använder SMB3-protokollet. Modulen kompletterar den tidigare tillgängliga implementeringen av SMB-klient i kärnan och är, till skillnad från SMB-servern som körs i användarutrymmet, mer effektiv vad gäller prestanda, minnesanvändning och integration med kärnans avancerade funktioner. Ksmbd presenteras som en högpresterande och tillämpningsklar tillägg för inbyggda enheter, som kan integreras med verktyg och bibliotek från Samba vid behov. Av ksmbds funktioner kan nämnas förbättrat stöd för teknik för distribuerad filcache (SMB leases) på lokala system, vilket avsevärt minskar trafiken. I framtiden planeras stöd för RDMA (»smbdirect») och protokollförlängningar relaterade till förbättrad krypteringspålitlighet och digital signaturverifiering.
  • I CIFS-klienten har stödet för NTLM och mindre tillförlitliga autentiseringsalgoritmer baserade på algoritmen DES och använda i SMB1-protokollet upphört.
  • Stöd för multicast har implementerats i genomförandet av nätverksbroar för vlan.
  • I bonding-drivrutinen, som används för att agreggera nätverksgränssnitt, har stöd för XDP (eXpress Data Path) lagts till, vilket möjliggör manipulering av nätverkspaket innan de behandlas av Linux-kärnans nätverksstack.
  • I den trådlösa stacken mac80211 har stöd för 6GHz STA (Special Temporary Authorization) implementerats i lägena LPI, SP och VLP, samt möjligheten att ställa in separata TWT (Target Wake Time) i accesspunktläget.
  • Stöd för protokollet MCTP (Management Component Transport Protocol) har lagts till, vilket används för interaktion mellan styrkontroller och relaterade enheter (host-processorer, perifera enheter etc.).
  • Integrationen av MPTCP (MultiPath TCP) i kärnan har fortsatt, ett protokollutvidgning för TCP som möjliggör drift av TCP-anslutningar med paketleverans samtidigt via flera vägar genom olika nätverksgränssnitt kopplade till olika IP-adresser. I den nya utgåvan har stöd för adresser i fullmesh-läget lagts till.
  • Nya pakethanterare för nätverksflöden, inkapslade i SRv6-protokollet (Segment Routing IPv6), har lagts till i netfilter.
  • Stöd för sockmap för strömmande Unix-socketar har lagts till.
• Utrustning
  • I amdgpu-drivrutinen har stöd för APU Cyan Skillfish (utrustad med GPU Navi 1x) implementerats. För APU Yellow Carp har stöd för videokodekar implementerats. Stödet för GPU Aldebaran har förbättrats. Nya identifierare för kort baserade på GPU Navi 24 "Beige Goby" och RDNA2 har lagts till. En förbättrad implementering av virtuella skärmar (VKMS) har föreslagits. Stöd för att övervaka temperaturen av AMD Zen 3-chips har implementerats.
  • I amdkfd-drivrutinen (för diskreta GPU:er som Polaris) har en hanterare för delad virtuell minne (SVM, shared virtual memory) implementerats baserad på HMM (Heterogeneous memory management) subsystemet, som möjliggör användning av enheter med egna minneshanteringsblock (MMU, memory management unit) som kan få tillgång till huvudminnet. Genom HMM kan dessutom ett gemensamt adressutrymme mellan GPU och CPU skapas, där GPU kan få tillgång till huvudminnet för processen.
  • I i915-drivrutinen för Intel-grafikkort har användningen av minneshanteringssystemet TTM utvidgats och möjligheten att hantera energiförbrukning baserat på GuC (Graphics micro Controller) har inkluderats. Förberedelser har inletts för att implementera stöd för grafikkortet Intel ARC Alchemist och GPU Intel Xe-HP.
  • I drivrutinen nouveau har stöd för att hantera bakgrundsbelysningen av eDP-paneler med hjälp av DPCD (DisplayPort Configuration Data).
  • I drivrutinen msm har stöd lagts till för GPU Adreno 7c Gen 3 och Adreno 680.
  • För Apple M1-chippet har en drivrutin för IOMMU implementerats.
  • En ljuddrivrutin har lagts till för system baserade på APU AMD Van Gogh.
  • I staging-grenen har drivrutinen Realtek R8188EU lagts till, vilken har ersatt den gamla versionen av drivrutinen (rtl8188eu) för trådlösa chip från Realtek RTL8188EU 802.11 b/g/n.
  • Drivrutinen ocp_pt har accepterats för PCIe-kortet som utvecklas av Meta (Facebook) och inkluderar miniaturiserade atomur och GNSS-mottagare, som kan användas för att möjliggöra separat tidskoordinering. servrar synchronisering av exakt tid.
  • Stöd har lagts till för smartphones Sony Xperia 10II (Snapdragon 665), Xiaomi Redmi 2 (Snapdragon MSM8916), Samsung Galaxy S3 (Snapdragon MSM8226), Samsung Gavini/Codina/Kyle.
  • Stöd har lagts till för ARM SoC och plattor som NVIDIA Jetson TX2 NX Developer Kit, Sancloud BBE Lite, PicoITX, DRC02, SolidRun SolidSense, SKOV i.MX6, Nitrogen8, Traverse Ten64, GW7902, Microchip SAMA7, Qualcomm Snapdragon SDM636/SM8150, Renesas R-Car H3e-2G/M3e-2G, Marvell CN913x, ASpeed AST2600 (serverkort Facebook Cloudripper, Elbert och Fuji), 4KOpen STiH418-b2264.
  • Stöd har lagts till för LCD-paneler Gopher 2b, EDT ETM0350G0DH6/ETMV570G2DHU, LOGIC Technologies LTTD800480070-L6WH-RT, Multi-Innotechnology MI1010AIT-1CP1, Innolux EJ030NA 3.0, ilitek ili9341, E Ink VB3300-KCA, Samsung ATNA33XC20, Samsung DB7430, WideChips WS2401.
  • Drivrutinen LiteETH har lagts till med stöd för Ethernet-kontroller som används i programvarubaserade SoC LiteX (för FPGA).
  • I drivrutinen usb-audio har alternativet lowlatency lagts till för att hantera aktivering av arbete i läge med minimal fördröjning. Dessutom har alternativet quirk_flags lagts till för att överföra enheter-specifika inställningar.

Samtidigt har den latinska fri programvarufonden etablerat en helt fri kärna 5.15 — Linux-libre 5.15-gnu, rensad från firmware- och drivrutinskomponenter med icke-fria delar eller kodavsnitt vars användningsområde begränsas av tillverkaren. I den nya versionen har en loggning av avslutningen av rensningen implementerats. Problem med paketgenerering med användning av mkspec har åtgärdats, och stödet för snap-paket har förbättrats. Vissa varningar som visas vid bearbetning av rubrikfilen firmware.h har avlägsnats. Vissa typer av varningar ("format-extra-args", kommentarer, oanvända funktioner och variabler) tillåts nu att visas vid kompilering med "-Werror". Rensningen av drivrutinen gehc-achc har lagts till. Koden för rensning av blobbar i drivrutiner och delsystem som adreno, btusb, btintel, brcmfmac och aarch64 qcom har uppdaterats. Rensningen av drivrutiner för prism54 (borttagen) och rtl8188eu (ersatt med r8188eu) har avslutats.

Källa: opennet.ru