Lansering av Linux-kärnan 5.3

Efter två månaders utveckling presenterade Linus Torvalds år kärnlansering Linux 5.3. Bland de mest anmärkningsvärda förändringarna: stöd för AMD Navi GPU:er, Zhaoxi-processorer och Intel Speed Select för energihantering, möjligheten att använda umwait-instruktioner för att vänta utan att använda loopar,
ökar interaktiviteten med läget ‘utilization clamping’ för asymmetriska CPU:er, systemanropet pidfd_open, möjligheten att använda IPv4-adresser från nätverket 0.0.0.0/8, möjligheten till hårdvaruaccelerering av nftables, stöd för HDR i DRM-systemet, integration av hypervisorn ACRN.

I annonsen Den nya versionen av Linus påminde alla utvecklare om den viktigaste regeln för kärnutveckling - att bevara beteendets konstanthet för användarrumskomponenter. Förändringar i kärnan får på inget sätt bryta mot befintliga applikationer och orsaka regressionsproblem på användarnivå. Också, beteendeförändringar kan orsakas av inte bara ändring av ABI, borttagning av föråldrad kod eller uppkomsten av buggar, utan även indirekt påverka fungerande nyttiga förbättringar. Som ett tydligt exempel har kastats bort en användbar optimering i Ext4-koden, vilket minskar antalet åtkomster till lagringsenheten genom att inaktivera förhandsläsning av inode-tabellen vid små I/O-förfrågningar.

Optimeringen ledde till att på grund av minskad diskaktivitet så samlades entropin för den slumpmässiga talgeneratorn getrandom() långsammare, och under vissa konfigurationer kunde det på vissa villkor observeras att det hängde sig vid uppstart tills entropipoolen var fylld. Eftersom optimeringen verkligen är användbar, uppstod en diskussion bland utvecklarna där det föreslogs att åtgärda problemet genom att som standard inaktivera den blockerande läget för anropet getrandom() med tillägg av en valfri flagga för att vänta på entropi, men en sådan ändring kommer att påverka kvaliteten på slumpmässiga tal i det inledande uppstartssteget.

I den nya versionen har 15794 korrigeringar gjorts av 1974 utvecklare,
patchens storlek är 92 MB (förändringarna omfattade 13986 filer, 258419 rader kod har lagts till,
599137 rader har tagits bort). Cirka 39% av alla ändringar i version 5.3
är relaterade till enhetsdrivrutiner, cirka 12% av ändringarna har
att göra med uppdatering av kod specifik för hårdvaruarkitekturer, 11%
kopplas till nätverksstacken, 3 % – filsystem och 3 % till interna
kärnunderavdelningar.

Huvud nyheter:

• Minne och systemtjänster
  • Funktionaliteten för 'pidfd' har fortsatt att utvecklas, vilket hjälper till att hantera situationer med återanvändning av PID (pidfd kopplas till en specifik process och ändras inte, medan PID kan kopplas till en annan process efter att den aktuella processen, som är kopplad till denna PID, har avslutats). Tidigare lades
    systemanropet pidfd_send_signal() och flaggan CLONE_PIDFD i anropet clone(), vilket möjliggör att få pidfd för användning i idfd_send_signal(). När man använder anropet clone() med flaggan CLONE_PIDFD kan det uppstå problem med tjänstehanterare eller system för tvångsavslut av processer vid minnesbrist i Android-plattformen. I detta fall används anropet fork() eller clone() utan CLONE_PIDFD.

    I kärna 5.3 introducerades systemanropet pidfd_open(), vilket möjliggör att få en verifierad pidfd för en valfri befintlig process skapad utan att använda anropet clone() med flaggan CLONE_PIDFD. Stöd för polling av pidfd har också lagts till genom poll() och epoll(), vilket gör att processhanterare kan övervaka avslutandet av valfria processer utan att oroa sig för race-conditions vid tilldelning av PID till en ny process. Mekanismen för meddelande om avslutandet av en process kopplad till pidfd liknar meddelandet om avslutandet av dess barnprocess;

  • Stödet för belastningsbegränsningsmekanismen har lagts till i schemaläggaren (Utilization clamping), vilket gör att minimum- eller maximumfrekvensintervall kan hållas beroende på aktiva uppgifter på CPU. Den presenterade mekanismen påskyndar uppgifter som direkt påverkar användarupplevelsen genom att köra dessa uppgifter åtminstone vid den nedre gränsen för den "begärda" frekvensen. Lågt prioriterade uppgifter som inte påverkar användarens arbete körs med hjälp av den övre gränsen för den "tillåtna" frekvensen. Gränserna anges genom attributen sched_uclamp_util_min och sched_uclamp_util_max i systemanropet sched_setattr().
  • Stöd för energihanteringsre teknologi har lagts till Intel Speed Select, tillgänglig på vissa servrar med Intel Xeon-processorer. Den angivna teknologin möjliggör att ställa in prestanda- och bandbreddinställningar för olika kärnor av CPU:n, vilket gör det möjligt att prioritera prestanda för uppgifter som utförs på specifika kärnor, på bekostnad av prestandan på andra kärnor;
  • Processer i användarrummet har beviljats möjligheten att vänta en kort stund utan att använda cykler med hjälp av instruktionen umwait. Denna instruktion, tillsammans med instruktionerna umonitor och tpause, kommer att erbjudas i de kommande Intel-chipsen "Tremont", och möjliggör att implementera fördröjningar som är energieffektiva och inte påverkar prestandan för andra trådar när Hyper Threading används;
  • För RISC-V-arkitekturen har stöd för stora minnessidor (huge pages) lagts till;
  • I kprobes-spårningsmekanismen har möjligheten att avreferera kärnpointer till användarrummet lagts till, vilket kan användas, till exempel, för att utvärdera innehållet i strukturer som skickas till systemanrop. Möjligheten att ställa in kontroller vid laddningssteget har också lagts till.
  • I konfigurationsfilen har alternativet PREEMPT_RT lagts till för att arbeta i realtid. Själva koden för att stödja realtid ännu inte har lagts till i kärnan, men framträdandet av alternativet är ett bra tecken på att det långvariga arbetet med integrationen Realtime-Preempt-patcharna närmar sig sin slutpunkt;
  • Ett systemanrop clone3() har lagts till med en mer utbyggbar version av clone()-gränssnittet, som tillåter fler flaggor;
  • En hanterare bpf_send_signal() har lagts till, vilket tillåter BPF-program att skicka signaler till godtyckliga processer;
  • För perf-händelser i KVM-hypervisorn har en ny mekanism för filtrering av händelser lagts till, vilket gör det möjligt för administratören att bestämma vilka typer av händelser som är tillåtna eller otillåtna för övervakning på gästsidan;
  • I verifieringsmekanismen för eBPF-applikationer har möjligheten att hantera program med loopar lagts till, förutsatt att loopens körning är begränsad och inte kan leda till att gränsen för maximalt antal instruktioner överskrids;
• Disksubsystem, in- och utmatning och filsystem
  • För filsystemet XFS har möjligheten till flertrådad traversering av inode implementerats (t.ex. vid kontroll av kvoter). Nya ioctl BULKSTAT och INUMBERS har lagts till, vilket ger tillgång till funktioner som tillkommit i den femte utgåvan av filsystemformatet, såsom skapelsedatum för inode och möjligheten att ställa in parametrar för BULKSTAT och INUMBERS för varje grupp AG (Alloceringsgrupper);
  • I Ext4 fått stöd för hål i kataloger (inte bundna block).
    Säkerställd behandling av flaggan "i" (oföränderlig) för öppna filer (förbjuder skrivning i situationer där flaggan har ställts in när filen redan var öppen);
  • I Btrfs har snabb implementering av crc32c säkerställts på alla arkitekturer;
  • I CIFS har stödet för smbdirect tagits bort från experimentellt status. I SMB3 har möjligheten att använda krypteringsalgoritmer i GCM-läge lagts till. En ny monteringsalternativ har lagts till för att extrahera parametrar från ACE-poster (Access Control Entry). Prestandan för open()-anropet har optimerats;
  • I F2FS har ett alternativ lagts till för att begränsa skräpuppsamlaren vid arbete i läget checkpoint=disable. En ioctl har lagts till för att ta bort blockintervall från F2FS, vilket möjliggör justering av partitionsstorleken i farten. Möjligheten att placera en växlingsfil i F2FS med direkt in-/utdata har lagts till. Stöd för filinlåsning och blockallokering för liknande filer har lagts till för alla användare;
  • I gränssnittet för asynkron in-/utdata io_uring har stöd för asynkrona operationer sendmsg() och recvmsg() lagts till;
  • Filsystemet UBIFS har fått stöd för komprimering med hjälp av zstd-algoritmen och möjlighet till verifiering av signerade filsystemsbilder;
  • I filsystemet Ceph har stöd för SELinux säkerhetsmärken för filer lagts till;
  • För NFSv4 har en ny monteringsoption "nconnect=" implementerats för att definiera antalet etablerade anslutningar till servern. Trafiken mellan dessa anslutningar kommer att fördelas med hjälp av lastbalansering. Dessutom skapar NFSv4-servern nu katalogen /proc/fs/nfsd/clients med information om aktuella klienter, inklusive information om öppna filer;
• Virtualisering och säkerhet
  • I kärnan har en hypervisor för inbyggda enheter lagts till ACRN, som är skriven med tanke på beredskap för att utföra realtidsuppgifter och lämplighet för användning i kritiska system. ACRN säkerställer minimala overhead, garanterar låg latens och adekvat respons för interaktion med hårdvara. Virtualisering av CPU-resurser, in-/utdata, nätverksunderhåll, grafik- och ljudoperationer stöds. ACRN kan användas för att driva flera isolerade virtuella maskiner i elektroniska styrenheter, instrumentpaneler, bilinformation system, konsument-IoT-enheter och annan inbyggd teknik;
  • I User-mode Linux tillagd tidsresenärsläget, som möjliggör att sakta ner eller snabba upp tiden i UML:s virtuella miljö för att underlätta felsökning av tidsrelaterad kod. Dessutom har en parameter lagts till
    time-travel-start, som tillåter systemklockor att startas från en angiven tid i epoch-format;
  • Nya alternativ för kommandoraden i kärnan "init_on_alloc" och "init_on_free" har lagts till, som, när de anges, aktiverar nollställning av allokerade och frigjorda minnesområden (fyllning med nollor vid malloc och free), vilket förbättrar säkerheten genom extra overhead vid initialisering;
  • En ny drivrutin har lagts till virtio-iommu , med implementering av en paravirtualiserad enhet som möjliggör att skicka IOMMU-förfrågningar som ATTACH, DETACH, MAP och UNMAP, över virtio-transporter utan emulering av sidtabeller;
  • En ny drivrutin har lagts till virtio-pmem, som ger åtkomst till lagringsenheter som speglas i det fysiska adressutrymmet, såsom NVDIMM;
  • Möjligheten att koppla kryptografiska nycklar till användar- eller nätverksnamnrymder har implementerats (nycklarna blir otillgängliga utanför den valda namnrymden), liksom skydd av nycklar med hjälp av ACL;
  • I kryptosystemet har lagts till stöder en mycket snabb icke-kryptografisk hash-algoritm xxhash, vars hastighet begränsas av minnesprestanda;
• Nätverkssystemet
  • Behandling av IPv4-adresser i intervallet 0.0.0.0/8 har säkerställts, vilket tidigare inte var tillgängligt för användning. Introduktionen av detta subnät kommer att kan fördela ytterligare 16 miljoner IPv4-adresser;
  • I Netfilter för nftables har lagts till stöder mekanismer för hårdvaruaccelererad paketfiltrering genom användning av det som har lagts till i drivrutinerna Flow Block APIHela uppsättningar med regler kan överföras till nätverksadaptrar, inklusive alla kedjor. Aktivering sker genom att knyta flaggan NFT_TABLE_F_HW till tabellen. Enkla metadata för protokoll på nivå 3 och 4 stöds, åtgärder att acceptera/avvisa, matchningar baserade på IP och nätverksportar för avsändare/mottagare samt protokolltyp.
  • Tillagd inbyggt stöd för spårning av anslutningar för nätverksbryggor, vilket inte kräver användning av det emulerande lagret br_netfilter;
  • I nf_tables har lagts till stöd för SYNPROXY-modulen, som återspeglar liknande funktionalitet från iptables, samt implementering av möjligheten att kontrollera regler baserat på specifika alternativ i IPv4-headern;
  • Möjlighet att koppla BPF-program till systemanropen setsockopt() och getsockopt() har lagts till, vilket till exempel gör att man kan koppla sina egna åtkomsthanterare till dessa anrop. Dessutom har en ny hook-lägespunkt lagts till, vilket möjliggör att anropa BPF-programmet en gång per varje RTT-intervall (round-trip-time, pingtid);
  • För IPv4 och IPv6 tillagd en ny mekanism för lagring av routingdata nexthop, avsedd att öka skalbarheten hos routing-tabeller. Tester har visat att det nya systemet laddade in 743 000 rutter i kärnan på endast 4,3 sekunder;
  • För Bluetooth har möjligheten den funktionalitet som behövs för att stödja LE ping;
• Utrustning
  • Tillagd stöd för x86-kompatibla processorer från Zhaoxin, utvecklade som ett resultat av ett samarbetsprojekt mellan VIA Technologies och staden Shanghai. CPU-familjen ZX är byggd på x86-64 Isaiah-arkitekturen, vilket fortsätter utvecklingen av teknologierna VIA Centaur;
  • I DRM (Direct Rendering Manager)-subsystemet, liksom i grafiska drivrutiner som amdgpu och i915, har stöd lagts till för parsning, bearbetning och sändning av HDR-metadata (high dynamic range) via HDMI-porten, vilket gör det möjligt att använda HDR-paneler och skärmar som kan visa ytterligare ljusstyrkeområden;
  • I amdgpu-drivrutinen har grundläggande stöd för AMD NAVI GPU (RX5700) lagts till, vilket inkluderar en grundläggande drivrutin, kod för interaktion med skärmar (DCN2), stöd för GFX och beräkningar (GFX10),
    SDMA 5 (System DMA0), strömhanteringsverktyg och multimedia-kodnings-/decodingsverktyg (VCN2). Stödet för kort baserat på GPU Vega12 och Vega20 har också förbättrats i amdgpu, där ytterligare möjligheter för minneshantering och energiförbrukning har lagts till.
  • I drivrutinen amdkfd (för diskreta GPU:er, som Fiji, Tonga, Polaris) har stöd lagts till för kort baserade på GPU VegaM;
  • I DRM-drivrutinen för Intel-grafikkort för Icelake-kretsar genomförd en ny flermodig gamma-korrigering. Stöd för utmatning via DisplayPort i YCbCr4:2:0-format har lagts till. Nya firmwareversioner har lagts till GuC för SKL, BXT, KBL, GLK och ICL. Möjlighet att stänga av strömmen till skärmen i asynkront läge har implementerats. Tillagd stöd för att spara och återställa renderingskontext för Ironlake-chips (gen5) och gen4 (Broadwater – Cantiga), vilket gör det möjligt att återställa GPU:ns tillstånd från användarutrymmet när man växlar mellan olika batchoperationer;
  • I Nouveau-drivrutinen har identifiering av NVIDIA Turing TU116-chipsetet säkerställts;
  • DRM/KMS-drivrutinens funktioner för ARM Komeda-skärmbearbetare (Mali D71) har utvidgats, stöd har lagts till för skalning, delning/sammanslagning av lager, rotation, fördröjd skrivning, AFBC, SMMU och färgkodningsformaten Y0L2, P010, YUV420_8/10BIT;
  • I MSM-drivrutinen har stöd lagts till för GPU:serien A540 Adreno, som används i Qualcomm-processorer, samt stöd för DSI-kontrollern MSM8998 för Snapdragon 835;
  • Drivrutiner för LCD-paneler från Samsung S6E63M0, Armadeus ST0700, EDT ETM0430G0DH6, OSD101T2045-53TS,
    Evervision VGG804821, FriendlyELEC HD702E, KOE tx14d24vm1bpa, TFC S9700RTWV43TR-01B, EDT ET035012DM6 och VXT VL050-8048NT-C01 har lagts till;
  • Tillagd drivrutin för att aktivera decoders accelerationsfunktioner
    video, tillgänglig i SoC Amlogic Meson;
  • I v3d-drivrutinen (för Broadcom Video Core V GPU, som används i Raspberry Pi) har det kommit stöd för hantering av beräkningsshader;
  • Tillagd drivrutin för SPI-tangentbord och pekplattor som används i moderna modeller av Apple MacBook och MacBookPro;
  • Tillagd ytterligare skydd för ioctl-anrop relaterade till floppy-drivrutinen, och själva drivrutinen är markerad som föräldralös
    (“orphaned”), vilket innebär att dess testning har upphört. Drivrutinen finns fortfarande kvar i kärnan, men dess korrekta funktion garanteras inte. Drivrutinen anses vara föråldrad, eftersom det är svårt att hitta fungerande hårdvara för att testa den — alla aktuella externa lagringsenheter använder vanligtvis USB-gränssnitt.
  • Tillagd cpufreq-drivrutin för Raspberry Pi-kort som gör det möjligt att dynamiskt hantera förändringar i processorns klockfrekvens;
  • Stöd har lagts till för nya ARM SoC Mediatek mt8183 (4x Cortex-A73 + 4x Cortex-A53), TI J721E (2x Cortex-A72 + 3x Cortex-R5F + 3 DSP:er + MMA) och Amlogic G12B (4x Cortex-A73 + 2x Cortex-A53), samt kort:
    • Purism Librem5,
    • Aspeed BMC,
    • Microsoft Olympus BMC,
    • Kontron SMARC,
    • Novtech Meerkat96 (i.MX7),
    • ST Micro Avenger96,
    • Google Cheza (Qualcomm SDM845),
    • Qualcomm Dragonboard 845c (Qualcomm SDM845),
    • Hugsun X99 TV Box (Rockchip RK3399),
    • Khadas Edge/Edge-V/Captain (Rockchip RK3399),
    • HiHope RZ/G2M,
    • NXP LS1021A-TSN.

Samtidig Latinamerikansk Stiftelse för Fritt Programvara skapat
en variant fullständigt fritt kärna 5.3 — Linux-libre 5.3-gnu, rengjord från firmware och drivrutiner som innehåller icke-fri komponenter eller kodavsnitt begränsade av tillverkaren. I den nya versionen har laddning av blobar i qcom-drivrutiner, hdcp drm, allegro-dvt och meson-vdec stängts av.
Rensningskoden för blobar i drivrutiner och underavsnitt som amdgpu, i915, netx, r8169, brcmfmac, rtl8188eu, adreno, si2157, pvrusb2, touchscreen_dmi, ljuddrivare för skylake har uppdaterats, liksom dokumentationen för mikroprogrammet.

Källa: opennet.ru