Релиз на ядрото Linux 5.1

След като работи два месеца, Линус Торвалдс представи новата версия на ядрото Linux 5.1. Сред най-значимите промени: нов интерфейс за асинхронен вход/изход io_uring, възможност за използване на NVDIMM като RAM, поддръжка на споделена виртуална памет в Nouveau, поддръжка на мащабируем мониторинг на много големи файлови системи чрез fanotify, възможност за настройка на нивата на компресия Zstd в Btrfs, нов обработчик cpuidle TEO, реализация на системни извиквания за решаване на проблема от 2038 година, възможност за зареждане от устройства device-mapper без initramfs, LSM модул SafeSetID, поддръжка на комбинирани live патчи.

Основни нововъведения:

• Дисковата подсистема, вход/изход и файловите системи
  • Въведен е нов интерфейс за асинхронен вход/изход — io_uring, който се отличава с поддръжка на polling за вход/изход и възможността за работа както с буферизация, така и без. Напомняме, че предложеният по-рано механизъм за асинхронен вход/изход «aio» не подкрепяше буфериран вход/изход, можеше да работи само в режим O_DIRECT (без буферизация и заобикаляне на кеша), имаше проблеми с блокировки поради изчакване на наличността на метаданни и показваше големи разходи поради копиране на данни в паметта.

    В рамките на API
    io_uring разработчиците се опитаха да отстранят недостатъците на стария интерфейс aio. По производителност io_uring е много близък до SPDK и значително надминава libaio при работа с включен поллинг. За използването на io_uring в крайни приложения, работещи в пространство на потребителя, е подготвена библиотека liburing, предоставяща високоуровнева обвивка над интерфейса на ядрото;
  • В механизма за проследяване на събития в FS fanotify() е добавена поддръжка за проследяване на ситуации на промяна на суперблока и структурата dirent (събития за създаване, изтриване и преместване на директории). Представените възможности помагат за решаване на проблемите с мащабируемостта, които възникват при създаване на рекурсивни проследявания на промени в много големи файлови системи чрез механизма inotify (промените в dirent преди можеха да бъдат проследявани само чрез inotify, но
    ефективността в условия на рекурсивно проследяване на големи вложени директории оставяше много за желаене). Сега подобен мониторинг може ефективно да се извършва чрез fanotify;
  • В файловата система Btrfs е добавена възможността за настройка на нивото на компресия за алгоритъма zstd, който може да се счита за оптимален компромис между бързия, но неефективен lz4 и бавния, но добре компресиращ xz. Подобно на предишното възможно задаване на нивото на компресия при използване на zlib за zstd, добавена е поддръжка на опцията за монтиране «-o compress=zstd:level». При тестове минималното първо ниво предлага компресия на данни 2.658 пъти със скорост на компресиране 438.47 MB/s, скорост на разкомпресиране 910.51 MB/s и консумация на памет от 780 MB, докато максималното 15 ниво — 3.126 пъти, но при скорост на компресиране от 37.30 MB/s, разкомпресиране 878.84 MB/s и консумация на памет от 2547 MB;
  • Добавено възможността за зареждане от файлова система, разположена на устройството device-mapper, без прилагане на initramfs. Започвайки от текущото издание на ядрото, устройството device-mapper може да се използва директно в процеса на зареждане, например, като дял с коренова ФС. Настройката на дяла се осъществява чрез зареждащия параметър «dm-mod.create». Сред разрешените за зареждане модули device-mapper са: «crypt», «delay», «linear», «snapshot-origin» и «verity»;
  • В оптимизираната за Flash файловата система F2FS е добавен флаг F2FS_NOCOW_FL, който позволява деактивиране на режима copy-on-write за определен файл;
  • Из ядрото е премахната файлова система Exofs, представляваща вариант на ext2, адаптирана за работа с обектно-базирани хранилища OSD (Object-based Storage Device). Също така е премахната поддръжка на SCSI протокол за подобни устройства за съхранение на обекти;
• Виртуализация и сигурност
  • При prctl() е добавена опция PR_SPEC_DISABLE_NOEXEC, която управлява спекулативното изпълнение на инструкции за избрания процес. Новата опция позволява селективно деактивиране на спекулативното изпълнение за процеси, които потенциално могат да бъдат атакувани чрез атака от тип Spectre. Блокировката важи до първото извикване на exec();
  • Реализиран е LSM модул SafeSetID, позволяващ на системните услуги безопасно да управляват потребителите без повишени привилегии (CAP_SETUID) и без получаване на правомощията на потребителя root. Определянето на привилегиите се осъществява чрез определяне в securityfs на правила на базата на бял списък на допустимите връзки (в формата «UID1:UID2»);
  • Добавени са нискоуровневи промени, необходими за стекова организация на зареждането на модули за безопасност (LSM). Представен е параметърът за зареждане на ядрото «lsm», позволяващ управление на това, кои модули се зареждат и в какъв ред;
  • В подсистемата за одит е добавена поддръжка на пространства от имена на файлове;
  • Разширени възможностите на GCC плъгина structleak, който позволява блокиране на потенциални изтичания на съдържанието на паметта. Осигурена е инициализация на всички променливи, които се използват в кода чрез позоваване по референция в стека;
• Мрежова подсистема
  • За сокетите е реализирана новата опция «SO_BINDTOIFINDEX», подобна на
    «SO_BINDTODEVICE», но вземаща индексния номер на мрежовия интерфейс вместо името на интерфейса;
  • В стека mac80211 е добавена възможността за назначаване на едно устройство с няколко BSSID (MAC адреси). В рамките на проекта за оптимизация на производителността на WiFi в стека mac80211 е добавен отчет за разпределението на ефирно време и възможността за разпределяне на ефирно време между няколко станции (при работа в режим на точка за достъп, разпределянето на по-малко време за предаване на бавни безжични станции, вместо равномерно разпределение на времето между всички станции);
  • Добавен е механизъм «devlink health«, предоставяща известия при възникване на проблеми с мрежовия интерфейс;
• Памет и системни услуги
  • Реализирано сигурна доставка на сигнали, взимаща предвид потенциалната повторна употреба на PID. Например, при извикване на kill, преди е могло да се случи ситуация, при която веднага след изпращане на сигнала, целевият PID е бил освободен поради завършване на процеса и зает от друг процес, което в крайна сметка е предавало сигнала на друг процес. За да се избегнат подобни ситуации, е добавен нов системен повик pidfd_send_signal, който използва файлови дескриптори от /proc/pid за осигуряване на стабилна привързаност към процеса. Дори ако PID бъде повторно използван по време на обработването на системния повик, файловият дескриптор няма да се промени и може безопасно да се използва за изпращане на сигнал до процеса;
  • Добавено възможността за използване на устройства с постоянна памет (persistent memory, например NVDIMM) като RAM. Досега подобни устройства се използваха в ядрото като устройства за съхранение, но сега могат да се използват и като допълнителна оперативна памет. Функционалността е реализирана в отговор на желанията на потребителите, готови да се справят с по-ниска производителност и желаещи да използват стандартния API за управление на паметта на ядрото на Linux, вместо да прилагат съществуващите системи за разпределение на паметта в пространството на потребителя, работещи върху mmap за dax-файла;
  • Добавен е нов обработчик за празен процесор (cpuidle, който решава кога може да се прехвърли CPU в дълбоки режими на икономия на енергия, колкото по-дълбок е режимът, толкова по-голяма икономия, но и повече време е необходимо за излизане от режима) — TEO (Timer Events Oriented Governor). До сега бяха предлагани два обработчика cpuidle — «menu» и «ladder», които се различават по хевристиката. В обработчика «menu» има известни проблеми с вземането на хевристични решения, поради което беше решено да се подготви нов обработчик. TEO се позиционира като алтернатива на обработчика «menu», позволяваща постигането на по-висока производителност при съхраняване на същото ниво на енергопотребление.
    Новият обработчик може да се активира с параметър при зареждане «cpuidle.governor=teo»;
  • В рамките на работата по отстраняване на проблема от 2038 година, причинен от преливане на 32-битовия тип time_t, в системните повици са включени опции, предлагащи 64-битови таймери за 32-битови архитектури. В резултат на това 64-битовата структура time_t може да се прилага на всички архитектури. Аналогични промени са реализирани и в мрежовата подсистема за опции timestamp на мрежовите сокети;
  • В системата за горещо налагане на пачове в ядрото (live patching) е добавена възможност «Atomic Replace» за атомарно прилагане на серия от промени към една функция. Указаната възможност позволява разпространението на сводни пачове, обхващащи незабавно няколко промени, вместо достатъчно сложния за поддържане процес на поетапно налагане на live-пачове в строго определен ред. Ако преди всяка следваща промяна трябваше да се основава на състоянието на функцията след предишната промяна, сега е възможно разпространението на незабавно няколко промени, свързани с едно изходно състояние (т.е. поддържащите могат да поддържат един своден пач спрямо основното ядро вместо верига от взаимозависими пачове);
  • Обявена остаряла поддръжка на формата за изпълними файлове a.out и
    е премахнат код за генериране на core-файлове в формат a.out, който е в забрава. Формат a.out отдавна не се прилага на системи с Linux, а генерирането на файлове a.out отдавна не се поддържа от съвременните инструментални средства в конфигурации за Linux по подразбиране. Освен това, зареждачът за a.out файлове може да бъде реализиран изцяло в пространството на потребителя;
  • В механизма за верификация на BPF-програми е добавена възможност за определяне и премахване на неизползваем код. В състава на ядрото също така са включени пачове с поддръжка на spinlock за подсистемата BPF, предоставящи допълнителни възможности за управление на паралелното изпълнение на BPF-програми;
• Оборудване
  • В драйвера Nouveau е добавена поддръжка на хетерогенно управление на паметта, осигуряваща възможност на CPU и GPU да имат достъп до общи синхронизирани области на паметта. Системата за споделена виртуална памет (SVM, shared virtual memory) е реализирана на базата на подсистемата HMM (Управление на хетерогенна памет), позволяваща използването на устройства със собствени блокове за управление на паметта (MMU, memory management unit), които могат да получават достъп до основната памет. Включително чрез HMM може да се организира съвместно адресно пространство между GPU и CPU, в което GPU може да получи достъп до основната памет на процеса. Поддръжката на SVM е включена засега само за GPU от семейството Pascal, въпреки че е осигурена поддръжка и за GPU Volta и Turing. Освен това, в Nouveau е добавен нов ioctl за управление на миграцията на области от паметта на процесите в паметта на GPU;
  • В DRM-драйвера Intel за GPU Skylake и по-нови (gen9+) включен по подразбиране режимът fastboot, който изключва ненужни смени на режимите по време на зареждане. Добавени са нови идентификатори на устройства, базирани на микроархитектурите Coffelake и Ice Lake. За чиповете Coffelake е добавена поддръжка на GVT (виртуализация на GPU). За виртуални GPU е реализирана поддръжка на VFIO EDID. За LCD панели MIPI/DSI е добавена поддръжка на елементи ACPI/PMIC. Реализирани нови TV-режими 1080p30/50/60 TV;
  • В драйвера amdgpu е добавена поддръжка на GPU Vega10/20 BACO. Реализирани са средства за управление на енергията за Vega 10/20 и таблици за управление на охлаждането на Vega 10. Добавени са нови PCI идентификатори на устройства за GPU Picasso. Добавен интерфейс за управление на планираните зависимости с цел изключване на взаимни блокировки;
  • Добавен DRM/KMS драйвер за ускорители на екранни операции ARM Komeda (Mali D71);
  • Добавена е поддръжка на екранни панели Toppoly TPG110, Sitronix ST7701, PDA 91-00156-A0, LeMaker BL035-RGB-002 3.5 и Kingdisplay kd097d04;
  • Добавена е поддръжка на звукови кодеци Rockchip RK3328, Cirrus Logic CS4341 и CS35L36, MediaTek MT6358, Qualcomm WCD9335 и Ingenic JZ4725B, както и звукова платформа Mediatek MT8183;
  • Добавена е поддръжка на NAND контролери Flash STMicroelectronics FMC2, Amlogic Meson;
  • Добавена е поддръжка на ускорители за системи на машинно обучение Habana AI;
  • Добавена е поддръжка на гигабитни Ethernet контролери NXP ENETC и безжични интерфейси MediaTek MT7603E (PCIe) и MT76x8.

Съвместно Латинокамериканският Фонд за свободен софтуер сформира
вариант напълно свободно ядро 5.1 — Linux-libre 5.1-gnu, почистено от елементи на фърмуер и драйвери, съдържащи несвободни компоненти или участъци от код, чиято област на приложение е ограничена от производителя. В новото издание е деактивирано зареждането на блобове в драйверите mt7603 и goya. Обновен е кодът за почистване на блобовете в драйверите и подсистемите wilc1000, iwlwifi, soc-acpi-intel, brcmfmac, mwifiex, btmrvl, btmtk и touchscreen_dmi. Прекратено е почистването на блобовете в буутлоудера на фърмуер lantiq xrx200 поради неговото премахване от ядрото.

Източник: opennet.ru