Lanseringen av Linux-kärnan 5.7

Efter två månaders utveckling presenterade Linus Torvalds år kärnlansering Linux 5.7Bland de mest anmärkningsvärda förändringarna finns: ny implementering av filsystemet exFAT, modulen bareudp för att skapa UDP-tunnlar, skydd baserat på pekarautentisering för ARM64, möjligheten att bifoga BPF-program till LSM-hanterare, ny implementering av Curve25519, split-lock-detektor, BPF-kompatibilitet med PREEMPT_RT, borttagning av begränsningen på 80 tecken i koden, övervakning av CPU-temperatur i schemaläggaren, möjlighet att använda clone() för att skapa processer i en annan cgroup, samt skydd mot skrivning till minne med hjälp av userfaultfd.

I den nya versionen har 15033 korrigeringar godtagits från 1961 utvecklare,
patchstorleken är 39 MB (förändringarna berör 11590 filer, 570560 rader kod har lagts till,
297401 rader har tagits bort). Cirka 41% av alla ändringar i 5.7
är relaterade till enhetsdrivrutiner, ungefär 16% av ändringarna har
att göra med uppdatering av arkitekturanpassad kod, 13%
med nätverksstacken, 4% med filsystem och 4% med interna
kärnunderavdelningar.

Huvud nyheter:

• Disksubsystem, in- och utmatning och filsystem
  • En ny implementering av exFAT-drivrutinen har lagts till, baserad på den aktuella kodbasen 'sdfat' (2.x), som utvecklas av Samsung för sina Android-smartphones. Den tidigare tillagda drivrutinen i kärnan var baserad på utdaterad kod från Samsung (version 1.2.9) och var ungefär 10% mindre prestandakraftig än den nya drivrutinen. Tänk på att tillägget av stöd för exFAT i kärnan blev möjligt efter att Microsoft publicerade gjorde specifikationerna offentliga och möjliggjorde gratis användning av patent för exFAT i Linux.
  • I Btrfs har en ny ioctl()-kommando - BTRFS_IOC_SNAP_DESTROY_V2 - implementerats, vilket möjliggör borttagning av en del baserat på dess identifierare. Fullständig stöd för kloning av inline-extent har säkerställts. Antalet punkter för att ångra omfördelningsoperationer har utökats, vilket har minskat långa väntetider när kommandot 'balance cancel' utförs. Identifieringen av bakåtreferenser till extents har snabbats upp (t.ex. har tiden för att utföra testscenariet minskat från en timme till flera minuter). Möjligheten att bifoga varje inode i filens extentträd har lagts till. Låsstrategin som används vid skrivning till delsystem och vid undantag av NOCOW har omarbetats. Effektiviteten vid utförande av fsync för intervall har ökat.
  • I XFS har metadata-kontrollen och fsck-körningen förbättrats för aktiva partitioner. Ett bibliotek för omskrivning av btree-strukturer har föreslagits, vilket i framtiden kommer att användas för omarbetning av xfs_repair och för att implementera återställningsmöjligheter utan att mounta partitionen.
  • I CIFS har experimentellt stöd för att placera swap-partitioner i SMB3-lagringsutrymmen lagts till. POSIX-tillägg i readdir, definierade i specifikationen SMB3.1.1, har implementerats. Skrivprestanda för sidor med storlek 64KB har förbättrats när cache=strict är aktiverad och versioner av protokollet 2.1+ används.
  • Filsystemet EXT4 har övergått från bmap och iopoll till att använda iomap.
  • I F2FS har valfritt stöd för datakomprimering med zstd-algoritmen implementerats. Som standard används LZ4-algoritmen för komprimering. Stödet för kommandot 'chattr -c commit' har lagts till. Tiden för montering visas nu. Ioctl F2FS_IOC_GET_COMPRESS_BLOCKS har lagts till för att hämta information om antalet komprimerade block. Information om komprimering visas nu via statx.
  • I Ceph-filsystemet har möjlighet till lokal utförande av filskapande och borttagning (unlink) implementerats utan att vänta på svar från servern (asynkron drift). Denna ändring gör att prestandan vid användning av rsync-verktyget avsevärt förbättras.
  • I OVERLAYFS har möjlighet till att använda virtiofs som överordnat filsystem lagts till.
  • Omprogrammerad kod för väggenomgång i VFS, omarbetad kod för att parsa symboliska länkar och enhetlig väggenomgång av monteringspunkter.
  • I SCSI-underystemet kan icke-privilegerade användare är utföra ZBC-kommandon.
  • I dm_writecache har möjligheten har möjligheten till gradvis rensning av cachen baserat på parametern max_age, som anger den maximala livslängden för en block.
  • I dm_integrity har lagts till har stöd för operationen 'discard' lagts till.
  • I null_blk har lagts till kan feletsättning användas för att simulera fel under testning.
  • Tillagd möjlighet till att skicka udev-meddelanden om ändringar i storleken på blockenheten.
• Nätverkssystemet
  • I Netfilter har fören funktion introducerats som avsevärt påskyndar behandlingen av stora matchningslistor (nftables set), där kontroll av kombinationer av subnet, nätverksportar, protokoll och MAC-adresser krävs.
    Optimeringar har I nft_set_pipapo-modulen (PIle PAcket POlicies), som löser uppgiften att matcha paketets innehåll med de använda filtreringsreglerna av godtyckliga intervall i fältets tillstånd, såsom intervall av IP-adresser och nätverksportar (nft_set_rbtree och nft_set_hash hanterar matchning av intervall och direkt reflektion av värden). Den vektoriserade versionen av pipapo med 256-bitars AVX2-instruktioner på ett system med AMD Epyc 7402-processor visade en prestationsökning på 420 % vid analys av 30 000 poster som inkluderade port-protokollpar. Ökningen vid matchning av paret av nätverksadress och portnummer vid analys av 1000 poster var 87 % för IPv4 och 128 % för IPv6.
  • Tillagd bareudp-modulen, som gör det möjligt att kapsla in olika L3-protokoll i en UDP-tunnel, såsom MPLS, IP och NSH.
  • Integrationen av MPTCP (MultiPath TCP) komponenter fortsätter, en utvidgning av TCP-protokollet för att organisera TCP-anslutningar med leverans av paket simultant över flera vägar genom olika nätverksgränssnitt kopplade till olika IP-adresser.
  • Tillagd Stöd för mekanismer för hårdvaruaccelerering av inkapsling av Ethernet-ramar i 802.11 (Wi-Fi).
  • Vid flytt av en enhet från ett nätverkssynonymrum (network namespace) till ett annat säkerställs justering av åtkomsträttigheter och ägare av motsvarande filer i sysfs.
  • Möjlighet att använda flaggan SO_BINDTODEVICE för användare utan root-rättigheter har tillhandahållits.
  • Den tredje delen av patcharna har accepterats, vilket översätter verktyget ethtool från ioctl() till användning av netlink-gränssnittet. Det nya gränssnittet förenklar tillägg av utvidgningar, förbättrar felhantering, möjliggör meddelanden vid statusändring, underlättar interaktionen mellan kärnan och användarutrymmet och minskar antalet synkroniserade namngivna listor.
  • Möjlighet att använda speciella hårdvaruacceleratorer för att utföra operationsspårning har lagts till.
  • I netfilter tillagd en hook för att koppla klassificerare av utgående paket (egress), som kompletterar den tidigare närvarande hooken för inkommande paket (ingress).
• Virtualisering och säkerhet
  • En hårdvaruimplementation av pekarautentisering har lagts till (Pekarautentisering), som använder specialiserade ARM64 CPU-instruktioner för att skydda mot attacker som använder teknik för återvänder-orienterad programmering (ROP), där angriparen inte försöker placera sin kod i minnet, utan arbetar med redan existerande maskininstruktioner i inlästa bibliotek som avslutas med en återgångsinstruktion. Skyddet handlar om att använda digitala signaturer för att verifiera återgångsadresser på kärnnivå. Signaturen lagras i de oanvända övre bitarna av själva pekaren. Till skillnad från programvarulösningar sker skapandet och verifieringen av digitala signaturer med hjälp av speciella CPU-instruktioner.
  • Tillagd möjligheten att skydda minnesområdet från skrivning med hjälp av systemanropet userfaultfd(), avsett för hantering av sidfel (åtkomst till obestämda minnessidor) i användarutrymmet. Idén är att använda userfaultfd() även för att spåra överträdelser av åtkomst till sidor som är märkta som skrivskyddade och anropa en hanterare som kan reagera på sådana skrivförsök (till exempel för att hantera ändringar i processen för att skapa live-snapshots av körande processer, fastställa tillstånd vid nedladdning av minnesdumpningar till disk, implementera delat minne, spåra förändringar i minnet). Funktionalitet motsvarar användningen av mprotect() i kombination med signalhanteraren SIGSEGV, men fungerar avsevärt snabbare.
  • I SELinux har parametern "checkreqprot" förklarats som föråldrad, vilket gör det möjligt att stänga av skyddskontrollen av minnet vid hantering av regler (tillät användning av exekverbara minnesområden, oavsett bestämmelserna i de angivna reglerna). Symboliska länkar till kernfs tillåts ärva kontext från föräldrakataloger.
  • I sammansättningen påslagen modul KRSI, vilket gör det möjligt att bifoga BPF-program till alla LSM-hookar i kärnan. Ändringen möjliggör skapandet av LSM-moduler (Linux Security Module) i form av BPF-program för att lösa uppgifter inom revision och mandatkontroll.
  • Genomfört prestandaoptimering av /dev/random genom batchöverföring av CRNG-värden istället för separata instruktionanrop för RNG. Förbättrad funktionalitet för getrandom och /dev/random på ARM64-system som erbjuder RNG-instruktioner.
  • Implementering av den elliptiska kurvan Curve25519 ersattes till en variant från biblioteket HACL, för vilken det ges matematisk bevis för formell verifiering av pålitlighet.
  • Tillagd mekanism för att informera om lediga minnessidor. Genom denna mekanism kan gästsystem överföra information till värdsystemet om sidor som inte längre används, och dessa sidor kan värden återta.
  • I vfio/pci har lagts till stöd för SR-IOV (Single-Root I/O Virtualization).
• Minne och systemtjänster
  • Från 80 till 100 tecken har ökat begränsning på maximal radlängd i källtexter. Utvecklare rekommenderas fortfarande att hålla sig inom 80 tecken per rad, men det är nu inte en strikt gräns. Dessutom kommer överskridande av radlängdgränsen nu att leda till att en varning ges vid kompilering endast om verktyget checkpatch körs med alternativet "--strict’. Denna ändring gör det möjligt för utvecklare att manipulering känna sig mer avslappnade vid kodjustering och förhindra onödig radbrytning, som stör läsbarheten av koden och sökningen.
  • Tillagd stöd för blandat bootläge EFI, som gör det möjligt att starta en 64-bitars kärna från 32-bitars firmware som körs på en 64-bitars CPU utan att använda en specialiserad bootloader.
  • Aktiverad system för att upptäcka och felsöka split-locks ("split lock"), som uppstår vid åtkomst till ojusterade data i minnet, eftersom data vid utförande av en atomisk instruktion korsar två cachelinjer i CPU: n. Sådana låsningar leder till en avsevärd prestandaförlust (upp till 1000 cykler långsammare än en atomär operation med data som ligger i en cachelinje). Beroende på bootparametern "split_lock_detect" kan kärnan upptäcka sådana låsningar i realtid och ge varningar eller skicka en SIGBUS-signal till den applikation som orsakade låsningen.
  • I schemaläggaren för uppgifter finns spårning av temperaturgivarsensorer (Thermal Pressure) och realiseringen av överhettningsövervakning vid planering av uppgifter. Genom att använda den statistik som ges kan temperaturprocessorn (thermal governor) justera den maximala CPU-frekvensen vid överhettning, och schemaläggaren tar nu hänsyn till den reducerade beräkningskraften på grund av sådana frekvensjusteringar vid schemaläggning av uppgifter (tidigare reagerade schemaläggaren på frekvensändringar med viss fördröjning, och beslutade baserat på överdrivna antaganden om tillgängliga beräkningsresurser).
  • I schemaläggaren används invarianta mått för att övervaka belastningen, vilket gör det möjligt att korrekt bedöma belastningen oavsett den aktuella CPU-frekvensen. Ändringen möjliggör en mer exakt prognos av uppgifternas beteende under förhållanden med dynamisk förändring av spänning och CPU-frekvens. Till exempel, en uppgift som använde 1/3 av CPU-resurserna vid 1000 MHz, kommer att använda 2/3 av resurserna vid en sänkning av frekvensen till 500 MHz, vilket tidigare skapade en felaktig uppfattning om att den arbetade med full kapacitet (d.v.s. uppgifterna för schemaläggaren verkade större endast på grund av sänkningen av frekvensen, vilket ledde till felaktiga beslut i schedutil cpufreq governor).
  • Intel P-state-drivrutinen, som ansvarar för valet av prestandalägen, har övergått till att använda schedutil.
  • Möjligheten att använda BPF-underhållsystemet i kärnan under realtidsläge (PREEMPT_RT) har realiserats. Tidigare krävdes att BPF stängdes av vid aktivering av PREEMPT_RT.
  • En ny typ av BPF-program – BPF_MODIFY_RETURN – har lagts till, som kan kopplas till funktioner i kärnan och ändra värdet som returneras av dessa funktioner.
  • Tillagd att användningen av systemanropet clone3() för att skapa en process i en cgroup som skiljer sig från den överordnade cgroupen, vilket möjliggör för den överordnade processen att tillämpa begränsningar och aktivera redovisning direkt efter skapandet av en ny process eller tråd. Till exempel kan tjänstehanteraren direkt allokera nya tjänster i separata cgroups, och nya processer som placeras i
  • i Kbuild har lagts till stöd för miljövariabeln 'LLVM=1' för att växla till Clang/LLVM-verktyget vid kompilering av kärnan. Kraven för versionen av binutils (2.23) har höjts.
  • I debugfs har en sektion /sys/kernel/debug/kunit/ lagts till med resultaten av kunit-tester.
  • En parameter för laddning av kärnan pm_debug_messages har lagts till (analog till /sys/power/pm_debug_messages), som inkluderar debugginginformation om hur strömhanteringssystemet fungerar (användbart för att felsöka problem med viloläge och vänteläge).
  • I gränssnittet för asynkron in-/utmatning io_uring fått stöd för splice() och atomär val av buffertar.
  • Profileringen av cgroup har förbättrats med hjälp av verktygssatsen perf. Tidigare kunde perf endast profilera uppgifter i en viss cgroup och kunde inte ta reda på vilken cgroup den nuvarande provtagningen tillhörde. Nu får perf information om cgroup för varje provtagning, vilket gör det möjligt att profilera mer än en cgroup och tillämpa sortering efter
    cgroup i rapporterna.
  • I cgroupfs, ett pseudo-FS för hantering av cgroups, har stöd för utökade attribut (xattrs) lagts till, vilket gör det möjligt att till exempel lämna ytterligare information för hanterare i användarutrymmet.
  • I cgroup minneskontroller tillagdhar stöd för rekursiv skydd av värdet "memory.low" införts, vilket reglerar den minimi mängd RAM-minne som tillhandahålls för gruppmedlemmarna. Vid montering av hierarkin cgroup med alternativet "memory_recursiveprot" kommer värdet "memory.low", som har ställts in för nedre noder, automatiskt att distribueras för alla underordnade noder.
  • Tillagd ramverket Uacce (Unified/User-space-access-intended Accelerator Framework) för delning av virtuella adresser (SVA, Shared Virtual Addressing) mellan CPU och kringutrustning, vilket gör det möjligt för hårdvaruacceleratorer att få åtkomst till datakonstruktioner i huvud-CPU:n.
• Hårdvaruarkitekturer
  • För ARM-arkitekturen har möjligheten till varm borttagning av minne implementerats.
  • För RISC-V-arkitekturen har stöd för varm anslutning och frånkoppling av CPU (CPU hotplug) lagts till. För 32-bitars RISC-V har eBPF JIT implementerats.
  • Möjligheten att använda 32-bitars ARM-system för att köra KVM-gästmiljöer har tagits bort.
  • Den "fiktiva" implementeringen av NUMA för s390-arkitekturen har avlägsnats, eftersom inga användningsscenarier för att uppnå prestandaförbättring har hittats.
  • För ARM64 har stöd för tillägget AMU (Activity Monitors Unit), definierat i ARMv8.4, lagts till och erbjuder prestanda räknare som används för att beräkna skalningskorrektioner av frekvens i schemaläggaren.
• Utrustning
  • Tillagd stöd för vDPA-enheter som använder en datakanal som är i enlighet med virtio-specifikationerna. vDPA-enheter kan vara både fysiskt ansluten hårdvara och emulerade virtuella enheter.
  • I GPIO-underkategorin har det tillkommit ett nytt ioctl()-kommando för att övervaka förändringar, vilket gör det möjligt att informera processen om förändringar i tillståndet för vilken GPIO-linje som helst. Som ett exempel på hur det nya kommandot används en liknande teknik för att ändra förfrågningar, som möjliggör att ändra data i cacherade proxy (Tomcat, squid, mod_proxy) eller kringgå brandväggar genom att ange flera "GET"- eller "POST"-förfrågningar inom ett och samma HTTP-session. verktyget gpio-watch.
  • I DRM-drivrutinen i915 för Intel-grafikkort är inkluderad har standardstödet för Tigerlake-chips ('Gen12') lagts till och inledande stöd för OLED-bakgrundsbelysning. Stödet för Ice Lake, Elkhart Lake, Baytrail och Haswell-chips har förbättrats.
  • I amdgpu-drivrutinen har lagts till möjlighet att ladda firmware till USBC-chippen för ASIC. Stödet för AMD Ryzen 4000 'Renoir'-chips har förbättrats. Stöd för OLED-panelhantering har lagts till. Visning av firmwarestatus i debugfs har säkerställts.
  • I DRM-drivrutinen vmwgfx för VMware-virtualiseringssystem har stöd för OpenGL 4 i gästsysten lagts till (tidigare stöddes OpenGL 3.3).
  • En ny DRM-drivrutin tidss för TI Keystone-plattformens displaysystem har lagts till.
  • Drivrutiner för LCD-paneler har lagts till: Feixin K101 IM2BA02, Samsung s6e88a0-ams452ef01, Novatek NT35510, Elida KD35T133, EDT, NewEast Optoelectronics WJFH116008A, Rocktech RK101II01D-CT, Frida FRD350H54004.
  • I strömhanteringssystemet har lagts till stöd för Intel Jasper Lake (JSL)-plattformen baserad på Atom.
  • Stöd för bärbara datorer Pinebook Pro baserade på Rockchip RK3399, surfplattor Pine64 PineTab och smartphones PinePhone baserade på Allwinner A64.
  • Stöd för nya ljudkodekar och chip har lagts till:
    Amlogic AIU, Amlogic T9015, Texas Instruments TLV320ADCX140, Realtek RT5682, ALC245, Broadcom BCM63XX I2S, Maxim MAX98360A, Presonus Studio 1810c, MOTU MicroBook IIc.
  • Stöd för ARM-kort och Qualcomm Snapdragon 865 (SM8250), IPQ6018, NXP i.MX8M Plus, Kontron 'sl28', 11 varianter av i.MX6 TechNexion Pico, tre nya varianter av Toradex Colibri, Samsung S7710 Galaxy Xcover 2 baserad på ST-Ericsson u8500, DH Electronics DHCOM SoM och PDK2, Renesas M3ULCB, Hoperun HiHope, Linutronix Testbox v2, PocketBook Touch Lux 3.

Källa: opennet.ru