Версия на ядрото на Linux 5.7

След два месеца разработка Линус Торвалдс подадено освобождаване на ядрото Linux 5.7. Сред най-забележителните промени: нова реализация на файловата система exFAT, модул bareudp за създаване на UDP тунели, защита, базирана на удостоверяване на указател за ARM64, възможност за прикачване на BPF програми към LSM манипулатори, нова реализация на Curve25519, сплит- детектор за заключване, съвместимост на BPF с PREEMPT_RT, премахване на ограничението за размера на реда от 80 знака в кода, вземане под внимание на индикаторите за температура на процесора в планировчика на задачи, възможност за използване на clone() за създаване на процеси в друга cgroup, защита срещу запис към паметта с помощта на userfaultfd.

Новата версия включва 15033 1961 корекции от XNUMX XNUMX разработчици,
размер на корекцията - 39 MB (промените засегнаха 11590 файла, добавени 570560 реда код,
297401 премахнати реда). Около 41% от всички представени в 5.7
промените са свързани с драйвери на устройства, приблизително 16% от промените са
отношение към актуализиране на код, специфичен за хардуерни архитектури, 13%
свързани с мрежовия стек, 4% с файловите системи и 4% с вътрешните
подсистеми на ядрото.

Основната иновации:

• Дискова подсистема, I/O и файлови системи
  • Добавена е нова реализация на exFAT драйвер, основан въз основа на текущата кодова база „sdfat“ (2.x), разработена от Samsung за своите смартфони с Android. Драйверът, добавен преди това към ядрото, беше базиран на наследен код на Samsung (версия 1.2.9) и беше с около 10% зад новия драйвер по отношение на производителността. Нека припомним, че добавянето на поддръжка на exFAT към ядрото стана възможно след Microsoft публикувано публични спецификации и направи exFAT патенти достъпни за безвъзмездно използване на Linux.
  • Btrfs имплементира нова команда ioctl() - BTRFS_IOC_SNAP_DESTROY_V2, която ви позволява да изтриете подраздел по неговия идентификатор. Осигурена е пълна поддръжка за клониране на вградени екстенти. Броят на точките за анулиране на операциите по преразпределение е разширен, което намалява дългите чакания при изпълнение на командата 'отмяна на баланса'. Ускорено е определянето на препратки към екстенти (например времето за изпълнение на тестовия скрипт е намаляло от един час на няколко минути). Добавена е възможност за прикачване на файлови екстенти към всеки inode на дърво. Схемата за блокиране, използвана при запис в подраздели и при изключване на NOCOW, е преработена. Подобрена ефективност на изпълнението на fsync за диапазони.
  • XFS има подобрена проверка на метаданни и fsck за активни дялове. Предложена е библиотека за възстановяване на btree структури, която в бъдеще ще се използва за преработване на xfs_repair и прилагане на възможността за възстановяване без демонтиране на дяла.
  • Към CIFS е добавена експериментална поддръжка за поставяне на суап дял в SMB3 хранилища. Внедрени POSIX разширения за readdir, дефинирани в спецификацията SMB3.1.1. Подобрена производителност на запис за 64KB страници, когато е активиран режим cache=strict и се използват версии на протокола 2.1+.
  • FS EXT4 е прехвърлен от bmap и iopoll към използване на iomap.
  • F2FS предоставя незадължителна поддръжка за компресиране на данни с помощта на алгоритъма zstd. По подразбиране алгоритъмът LZ4 се използва за компресия. Добавена е поддръжка за командата "chattr -c commit". Осигурен е дисплей за време за монтаж. Добавен е ioctl F2FS_IOC_GET_COMPRESS_BLOCKS за получаване на информация за броя на компресираните блокове. Добавено извеждане на компресирани данни чрез statx.
  • Файловата система Ceph добави възможност за локално извършване на операции за създаване и изтриване на файлове (прекратяване на връзката), без да чака отговор от сървъра (работи в асинхронен режим). Промяната, например, може значително да подобри производителността при стартиране на помощната програма rsync.
  • Възможността за използване на virtiofs като файлова система от най-високо ниво е добавена към OVERLAYFS.
  • Пренаписан код за преминаване на пътя във VFS, кодът за анализ на символна връзка е преработен и преминаването на точката на монтиране е унифицирано.
  • В подсистемата scsi за непривилегировани потребители позволен изпълнение на ZBC команди.
  • В dm_writecache изпълнени възможност за постепенно изчистване на кеша въз основа на параметъра max_age, който задава максималния живот на блок.
  • В dm_integrity добави поддръжка за операцията "изхвърляне".
  • В null_blk добави поддръжка за заместване на грешки за симулиране на грешки по време на тестване.
  • Добавено от възможност за изпращане на udev известия за промени в размера на блоковото устройство.
• Мрежова подсистема
  • Включен Netfilter промени, което значително ускорява обработката на големи списъци със съвпадения (nftables набори), които изискват проверка на комбинация от подмрежи, мрежови портове, протокол и MAC адреси.
    Оптимизации въведени в модула nft_set_pipapo (PIle PAcket POlicies), който решава проблема със съпоставянето на съдържанието на пакет с произволни диапазони на състоянието на полето, използвани в правилата за филтриране, като диапазони на IP и мрежови портове (nft_set_rbtree и nft_set_hash манипулират съпоставяне на интервали и директно отразяване на стойности ). Версията на pipapo, векторизирана с помощта на 256-битови инструкции AVX2 на система с процесор AMD Epyc 7402, показа 420% увеличение на производителността при анализиране на 30 хиляди записа, включително комбинации порт-протокол. Увеличението при сравняване на комбинация от подмрежа и номер на порт при анализиране на 1000 записа е 87% за IPv4 и 128% за IPv6.

  • Добавено bareudp модул, който ви позволява да капсулирате различни L3 протоколи, като MPLS, IP и NSH, в UDP тунел.
  • Продължи интегрирането на компоненти MPTCP (MultiPath TCP), разширение на TCP протокола за организиране на работата на TCP връзка с доставка на пакети едновременно по няколко маршрута през различни мрежови интерфейси, свързани с различни IP адреси.
  • Добавено от поддръжка на механизми за хардуерно ускорение за капсулиране на Ethernet рамки в 802.11 (Wi-Fi).
  • Когато премествате устройство от едно мрежово пространство на имена в друго, правата за достъп и собствеността на съответните файлове в sysfs се коригират.
  • Добавена е възможност за използване на флага SO_BINDTODEVICE за не-root потребители.
  • Третата част от корекциите е приета, преобразувайки инструментариума ethtool от ioctl() към използване на интерфейса netlink. Новият интерфейс улеснява добавянето на разширения, подобрява обработката на грешки, позволява да се изпращат известия при промяна на състоянието, опростява взаимодействието между ядрото и потребителското пространство и намалява броя на именуваните списъци, които трябва да бъдат синхронизирани.
  • Добавена е възможност за използване на специални хардуерни ускорители за извършване на операции за проследяване на връзката.
  • В netfilter добавено кука за свързване на класификатори на изходящи пакети (egress), която допълва съществуващата преди това кука за входящи пакети (ingress).
• Виртуализация и сигурност
  • Добавена хардуерна реализация на удостоверяване на указателя (Удостоверяване на показалец), който използва специализирани ARM64 CPU инструкции за защита срещу атаки, използвайки техники за ориентирано към връщане програмиране (ROP), при които атакуващият не се опитва да постави кода си в паметта, а работи с части от машинни инструкции, които вече са налични в заредени библиотеки, завършвайки с инструкция за връщане на контрола. Сигурността се свежда до използването на цифрови подписи за проверка на адресите за връщане на ниво ядро. Сигнатурата се съхранява в неизползваните горни битове на самия указател. За разлика от софтуерните реализации, създаването и проверката на цифровите подписи се извършва с помощта на специални инструкции на процесора.
  • Добавено от способността да се защити област на паметта от запис чрез системно извикване userfaultfd(), предназначено да обработва грешки на страницата (достъп до страници с неразпределена памет) в потребителското пространство. Идеята е да се използва userfaultfd() както за откриване на нарушения на достъпа до страници, маркирани като защитени от запис, така и за извикване на манипулатор, който може да отговори на такива опити за запис (например за обработка на промени по време на създаването на живи моментни снимки на работещи процеси, състояние улавяне при изхвърляне на дъмпове на паметта на диск, внедряване на споделена памет, проследяване на промените в паметта). Функционалност еквивалентен използвайки mprotect() във връзка с манипулатора на сигнала SIGSEGV, но работи значително по-бързо.
  • SELinux е отхвърлил параметъра "checkreqprot", който ви позволява да деактивирате проверките за защита на паметта при обработка на правила (позволявайки използването на изпълними области на паметта, независимо от правилата, посочени в правилата). Kernfs символните връзки имат право да наследяват контекста на техните родителски директории.
  • Структурата включен модул KRSI, което ви позволява да прикачите BPF програми към всякакви LSM кукички в ядрото. Промяната ви позволява да създавате LSM модули (Linux Security Module) под формата на BPF програми за решаване на проблеми с одита и задължителен контрол на достъпа.
  • Проведено Оптимизира производителността на /dev/random чрез групиране на CRNG стойности вместо извикване на RNG инструкции поотделно. Подобрена производителност на getrandom и /dev/random на ARM64 системи, предоставящи RNG инструкции.
  • Реализация на елиптична крива Curve25519 заменени за опцията от библиотеката HACL, за което задържан математическо доказателство за формална проверка на надеждността.
  • Добавено механизъм за информиране за страници със свободна памет. Използвайки този механизъм, системите за гости могат да предават информация за страници, които вече не се използват на хост системата, а хостът може да вземе обратно данните за страницата.
  • В vfio/pci добави поддръжка за SR-IOV (Single-Root I/O Virtualization).
• Памет и системни услуги
  • От 80 до 100 знака увеличена ограничение на максималната дължина на реда в изходните текстове. В същото време на разработчиците все още се препоръчва да остават в рамките на 80 знака на ред, но това вече не е твърдо ограничение. В допълнение, превишаването на ограничението за размер на реда вече ще доведе до предупреждение за компилация само ако checkpatch се изпълнява с опцията „--strict“. Промяната ще позволи да не се разсейват разработчиците от манипулация с интервали и да се чувствате по-свободни при подравняване на кода, както и ще предотврати прекомерно прекъсване на реда, обезпокоителен разбиране на кода и търсене.
  • Добавено от поддръжка за EFI смесен режим на стартиране, който ви позволява да заредите 64-битово ядро ​​от 32-битов фърмуер, работещ на 64-битов процесор, без да използвате специализиран буутлоудър.
  • Включени система за идентифициране и отстраняване на грешки на разделени ключалки (“разделена ключалка"), което възниква при достъп до неподравнени данни в паметта поради факта, че при изпълнение на атомарна инструкция данните пресичат две линии на кеша на процесора. Такова блокиране води до значителен удар в производителността (1000 цикъла по-бавно от атомарна операция върху данни, които попадат в един кеш ред). В зависимост от параметъра за зареждане "split_lock_detect", ядрото може да открие такива заключвания в движение и да издаде предупреждения или да изпрати SIGBUS сигнал към приложението, причиняващо заключването.
  • Планировчикът на задачи осигурява проследяване на температурни сензори (Термично налягане) и се изпълнява, като се вземе предвид прегряването при поставяне на задачи. Използвайки предоставената статистика, термичният регулатор може да регулира максималната честота на процесора при прегряване и планировчикът на задачи вече взема предвид намаляването на изчислителната мощност поради такова намаляване на честотата, когато планира изпълняването на задачи (преди планировчикът отговаряше на промените често с известно забавяне, за известно време вземане на решения въз основа на завишени предположения за наличните изчислителни ресурси).
  • Планировчикът на задачи включва инвариантни показатели проследяване на натоварването, което ви позволява да оцените правилно натоварването, независимо от текущата работна честота на процесора. Промяната ви позволява по-точно да предвидите поведението на задачите при условия на динамични промени в напрежението и честотата на процесора. Например, задача, която е консумирала 1/3 от ресурсите на процесора при 1000 MHz, ще консумира 2/3 от ресурсите, когато честотата падне до 500 MHz, което преди това е създало невярно предположение, че работи на пълен капацитет (т.е. задачите се появяват по-голям за планировчика само чрез намаляване на честотата, което доведе до вземане на неправилни решения в управителя на schedutil cpufreq).
  • Драйверът на Intel P-state, който е отговорен за избора на режими на производителност, е включен в употреба график.
  • Въведена е възможност за използване на подсистемата BPF, когато ядрото работи в реално време (PREEMPT_RT). Преди това, когато PREEMPT_RT беше активиран, BPF трябваше да бъде деактивиран.
  • Добавен е нов тип BPF програма - BPF_MODIFY_RETURN, която може да бъде прикрепена към функция в ядрото и да промени стойността, върната от тази функция.
  • Добавено от възможност Използване на системното извикване clone3() за създаване на процес в cgroup, който е различен от родителската cgroup, което позволява на родителския процес да прилага ограничения и да активира отчитане веднага след създаването на нов процес или нишка. Например, мениджър на услуги може директно да разпредели нови услуги към отделни cgroups и новите процеси, когато бъдат поставени в „замразени“ cgroups, незабавно ще бъдат спрени.
  • в Kbuild добави поддръжка за променливата на средата "LLVM=1" за превключване към инструментариума Clang/LLVM при изграждане на ядрото. Изискванията за версията binutils са повишени (2.23).
  • Добавен е раздел /sys/kernel/debug/kunit/ към debugfs с резултатите от тестовете на kunit.
  • Добавен параметър за стартиране на ядрото pm_debug_messages (аналогичен на /sys/power/pm_debug_messages), който позволява извеждането на информация за отстраняване на грешки относно работата на системата за управление на захранването (полезно при отстраняване на грешки при проблеми с хибернация и режим на готовност).
  • Към асинхронния I/O интерфейс io_uring добавена поддръжка снаждане() и избор на атомен буфер.
  • Подобрено профилиране на cgroup с помощта на инструментариума за изпълнение. Преди това perf можеше да профилира само задачи в конкретна cgroup и не можеше да открие към коя cgroup принадлежи текущата проба. perf вече извлича информация за cgroup за всяка проба, което ви позволява да профилирате повече от една cgroup и да приложите сортиране по
    cgroup в отчетите.

  • cgroupfs, псевдо-FS за управление на cgroups, добави поддръжка за разширени атрибути (xattrs), с които, например, можете да оставите допълнителна информация за манипулатори в потребителското пространство.
  • В контролера на паметта на cgroup добавенои поддръжка за рекурсивна защита на стойността “memory.low”, която регулира минималното количество RAM, предоставено на членовете на групата. Когато монтирате йерархия на cgroup с опцията "memory_recursiveprot", стойността "memory.low", която е зададена за по-ниските възли, ще бъде автоматично разпределена към всички дъщерни възли.
  • Добавено Uacce (Unified/User-space-access-intended Accelerator Framework) рамка за споделяне на виртуални адреси (SVA, споделено виртуално адресиране) между процесора и периферните устройства, което позволява на хардуерните ускорители да имат достъп до структурите на данни в главния процесор.
• Хардуерни архитектури
  • За ARM архитектурата е реализирана възможността за горещо извличане на паметта.
  • За архитектурата RISC-V е добавена поддръжка за горещо включване и премахване на процесори (CPU hotplug). За 32-битов RISC-V е внедрен eBPF JIT.
  • Възможността за използване на 32-битови ARM системи за стартиране на KVM среди за гости е премахната.
  • Премахнато е „фиктивното“ изпълнение на NUMA за архитектурата s390, за което не са намерени случаи на употреба за постигане на подобрения в производителността.
  • За ARM64 е добавена поддръжка за разширението AMU (монитор на активността), дефинирано в ARMv8.4 и предоставящо броячи на производителност, които се използват за изчисляване на коефициентите за коригиране на честотата в планировчика на задачи.
• Оборудование
  • Добавено от поддръжка за vDPA устройства, които използват канал за обмен на данни, който отговаря на спецификациите на virtio. vDPA устройствата могат да бъдат или физически свързано оборудване, или софтуерно емулирани виртуални устройства.
  • В подсистемата GPIO се появи нова команда ioctl() за наблюдение на промените, която ви позволява да информирате процеса за промени в състоянието на всяка GPIO линия. Като пример за използване на новата команда предложено помощна програма gpio-watch.
  • В драйвера i915 DRM за видео карти Intel включени поддръжка по подразбиране за чипове Tigerlake (“Gen12”) и добавена първоначална поддръжка за контрол на подсветката на OLED. Подобрена поддръжка за чипове Ice Lake, Elkhart Lake, Baytrail и Haswell.
  • В драйвера amdgpu добави възможност за зареждане на фърмуер в USBC чипа за ASIC. Подобрена поддръжка за чипове AMD Ryzen 4000 "Renoir". Вече има поддръжка за управление на OLED панели. Осигурено показване на състоянието на фърмуера в debugfs.
  • Възможността за използване на OpenGL 4 в системи за гости е добавена към vmwgfx DRM драйвера за системи за виртуализация на VMware (по-рано се поддържаше OpenGL 3.3).
  • Добавен е нов DRM драйвер tidss за системата за дисплей на платформата TI Keystone.
  • Добавени драйвери за LCD панели: Feixin K101 IM2BA02, Samsung s6e88a0-ams452ef01, Novatek NT35510, Elida KD35T133, EDT, NewEast Optoelectronics WJFH116008A, Rocktech RK101II01D-CT, Frida FRD350H54004.
  • Към системата за управление на мощността добави поддръжка за базираната на Atom платформа Intel Jasper Lake (JSL).
  • Добавена е поддръжка за лаптоп Pinebook Pro, базиран на Rockchip RK3399, Pine64 PineTab таблет и смартфон PinePhone базиран на Allwinner A64.
  • Добавена е поддръжка за нови аудио кодеци и чипове:
    Amlogic AIU, Amlogic T9015, Texas Instruments TLV320ADCX140, Realtek RT5682, ALC245, Broadcom BCM63XX I2S, Maxim MAX98360A, Presonus Studio 1810c, MOTU MicroBook IIc.

  • Добавена е поддръжка за ARM платки и платформи Qualcomm Snapdragon 865 (SM8250), IPQ6018, NXP i.MX8M Plus, Kontron „sl28“, 11 опции за платки i.MX6 TechNexion Pico, три нови опции Toradex Colibri, Samsung S7710 Galaxy Xcover 2, базиран на ST -Ericsson u8500, DH Electronics DHCOM SoM и PDK2, Renesas M3ULCB, Hoperun HiHope, Linutronix Testbox v2, PocketBook Touch Lux 3.

Източник: opennet.ru