Версия на ядрото на Linux 5.1

След два месеца разработка Линус Торвалдс подадено освобождаване на ядрото Linux 5.1. Сред най-забележителните промени: нов интерфейс за асинхронен I/O io_uring, възможност за използване на NVDIMM като RAM, поддръжка за споделена виртуална памет в Nouveau, поддръжка за мащабируемо наблюдение на много големи файлови системи чрез fanotify, възможност за конфигуриране на Zstd компресия нива в Btrfs, нов манипулатор на cpuidle TEO, внедряване на системни извиквания за решаване на проблема 2038, възможност за зареждане от устройства за картографиране на устройства без initramfs, SafeSetID LSM модул, поддръжка за комбинирани пачове на живо.

Основната иновации:

• Дискова подсистема, I/O и файлови системи
  • Реализиран нов интерфейс за асинхронен I/O - io_uring, който се отличава с поддръжката си за I/O анкетиране и възможността за работа с или без буфериране. Нека си припомним, че предложеният по-рано асинхронен I/O механизъм „aio“ не поддържаше буфериран I/O, можеше да работи само в режим O_DIRECT (без буфериране и заобикаляне на кеша), имаше проблеми със заключването поради изчакване на наличност на метаданни и показва големи режийни разходи поради копиране на данни в паметта.

    В рамките на API
    Разработчиците на io_uring се опитаха да премахнат недостатъците на стария интерфейс на aio. от производителност io_uring е много близо до SPDK и е значително по-напред от libaio при работа с активирано гласуване. Подготвена е библиотека за използване на io_uring в крайни приложения, работещи в потребителско пространство либуринг, който предоставя рамка на високо ниво върху интерфейса на ядрото;

  • В механизма за проследяване на събития във FS fanotify() добави поддръжка за проследяване на ситуации на промяна на суперблок и структура дирент (събития за създаване, изтриване и преместване на директории). Представените функции помагат за решаване на проблемите с мащабируемостта, които възникват при създаване на рекурсивно проследяване на промени в много големи файлови системи, използвайки механизма inotify (директните промени можеха преди това да се проследяват само чрез inotify, но
    производителност в условия на рекурсивно проследяване на големи вложени директории оставя много да се желае). Сега такъв мониторинг може ефективно да се извършва чрез fanotify;

  • Във файловата система Btrfs добави възможността за персонализиране на нивото на компресия за алгоритъма zstd, което може да се счита за оптимален компромис между бързата, но неефективна lz4 и бавната, но добра компресия xz. Подобно на начина, по който преди беше възможно да се зададе нивото на компресия при използване на zlib, поддръжката за опцията за монтиране „-o compress=zstd:level“ е добавена за zstd. По време на тестването минималното първо ниво осигурява компресия на данните 2.658 пъти със скорост на компресиране 438.47 MB/s, скорост на декомпресия 910.51 MB/s и потребление на памет 780 MB, а максималното ниво 15 осигурява 3.126 пъти, но с компресия скорост 37.30 MB/s Разопаковане 878.84 MB/s и консумация на памет 2547 MB;
  • Добавено от възможността за зареждане от файлова система, разположена на устройството за картографиране на устройства, без използване на initramfs. Започвайки с текущата версия на ядрото, устройствата за картографиране на устройства могат да се използват директно по време на процеса на зареждане, например като дял с основната файлова система. Разделът се конфигурира с помощта на параметъра за зареждане „dm-mod.create“. Модулите за картографиране на устройства, разрешени за зареждане, включват: „crypt“, „delay“, „linear“, „snapshot-origin“ и „verity“;
  • Флагът F2FS_NOCOW_FL е добавен към файловата система F2FS, ориентирана към флаш устройства, което ви позволява да деактивирате режима копиране при запис за даден файл;
  • Файловата система е премахната от ядрото Exofs, който е вариант на ext2, адаптиран за работа с обектни хранилища OSD (Object-based Storage Device). Поддръжката на SCSI протокола за такива устройства за съхранение на обекти също е премахната;
• Виртуализация и сигурност
  • Добавена е опция PR_SPEC_DISABLE_NOEXEC към prctl() за контрол на спекулативното изпълнение на инструкции за избрания процес. Нова опция ви позволява селективно да деактивирате спекулативното изпълнение за процеси, които потенциално биха могли да бъдат атакувани от атака на Spectre. Заключването продължава до първото извикване на exec();
  • Реализиран LSM модул SafeSetID, което позволява на системните услуги да управляват сигурно потребителите без ескалиране на привилегии (CAP_SETUID) и без получаване на root права. Привилегиите се присвояват чрез дефиниране на правила в securityfs въз основа на бял списък с валидни обвързвания (във формата „UID1:UID2“);
  • Добавени са промени на ниско ниво, необходими за базирано на стек зареждане на модули за сигурност (LSM). Въведена е опцията за зареждане на ядрото "lsm", за да се контролира кои модули се зареждат и в какъв ред;
  • Към подсистемата за одит е добавена поддръжка за пространства от имена на файлове;
  • Разширено възможностите на плъгина GCC structleak, който ви позволява да блокирате потенциални течове на съдържание на паметта Предоставя се инициализация на всички променливи, които се използват в кода чрез референтен достъп до стека;
• Мрежова подсистема
  • За гнезда изпълнени нова опция "SO_BINDTOIFINDEX", подобна на
    "SO_BINDTODEVICE", но вземайки като аргумент индексния номер на мрежовия интерфейс вместо името на интерфейса;

  • Стекът mac80211 добави възможност за присвояване на множество BSSID (MAC адреси) на едно устройство. Като част от проект за оптимизиране на производителността на WiFi, стекът mac80211 добави отчитане на ефирно време и възможност за разпределяне на ефирно време между множество станции (когато работи в режим на точка за достъп, разпределя по-малко време за предаване на бавни безжични станции, вместо да разпределя времето равномерно между всички станции);
  • Добавен механизъм "devlink здраве“, който предоставя известия при възникване на проблеми с мрежовия интерфейс;
• Памет и системни услуги
  • Внедрено сигурна доставка на сигнал, която позволява повторно използване на PID. Например, при предишно извикване на kill може да възникне ситуация, при която веднага след изпращане на сигнал целевият PID може да бъде освободен поради прекратяване на процеса и зает от друг процес, а сигналът в крайна сметка ще бъде предаден на друг процес. За да се премахнат подобни ситуации, е добавено ново системно извикване pidfd_send_signal, което използва файлови дескриптори от /proc/pid, за да осигури стабилно свързване на процеса. Дори ако PID се използва повторно по време на обработката на системно извикване, файловият дескриптор няма да се промени и може безопасно да се използва за изпращане на сигнал към процеса;
  • Добавено от способността да се използват устройства с постоянна памет (постоянна памет, например NVDIMM модули) като RAM. Досега ядрото поддържаше такива устройства като устройства за съхранение, но сега те могат да се използват и като допълнителна RAM памет. Функцията е внедрена в отговор на желанията на потребители, които желаят да се примирят със забавяне на производителността и искат да използват собствения API за управление на паметта на ядрото на Linux, вместо да използват съществуващи системи за разпределение на паметта на потребителско пространство, работещи върху mmap за dax файл;
  • Добавен е нов манипулатор на празен режим на процесора (cpuidle, решава кога процесорът може да бъде поставен в режими за дълбоко пестене на енергия; колкото по-дълбок е режимът, толкова по-големи са спестяванията, но също толкова повече време отнема излизането от режима) - TEO (регулатор, ориентиран към събития на таймера ). Досега бяха предложени два манипулатора на cpuidle - „меню“ и „стълба“, които се различават по евристика. Манипулаторът на "менюто" има известни проблеми с вземането на евристични решения, за отстраняването на които беше решено да се подготви нов манипулатор. TEO се позиционира като алтернатива на манипулатора "меню", позволявайки по-висока производителност, като същевременно поддържа същото ниво на консумация на енергия.
    Можете да активирате новия манипулатор, като използвате параметъра за зареждане „cpuidle.governor=teo“;

  • Като част от работата по премахване проблеми от 2038 г, причинено от препълване на 32-битов тип time_t, включва системни извиквания, които предлагат 32-битови броячи за време за 64-битови архитектури. В резултат на това 64-битовата структура time_t вече може да се използва на всички архитектури. Подобни промени са въведени и в мрежовата подсистема за опции клеймото мрежови контакти;
  • В системата за горещи корекции за ядрото (корекции на живо) добави Функция „Atomic Replace“ за атомно прилагане на поредица от промени към една функция. Тази функция ви позволява да разпространявате обобщени пачове, обхващащи няколко промени наведнъж, вместо процеса на поетапно прилагане на живи пачове в строго определен ред, който е доста труден за поддържане. Докато по-рано всяка следваща промяна трябваше да се основава на състоянието на функцията след последната промяна, сега е възможно да се разпространяват няколко промени, свързани с едно първоначално състояние наведнъж (т.е. поддържащите могат да поддържат една консолидирана корекция спрямо основното ядро ​​вместо това на верига от пачове, които зависят един от друг);
  • Обявени остаряла поддръжка за формата на изпълним файл a.out и
    отстранени код за генериране на основни файлове във формат a.out, който е в изоставено състояние. Форматът a.out не се използва в Linux системи от дълго време и генерирането на a.out файлове отдавна не се поддържа от съвременните инструменти в конфигурациите на Linux по подразбиране. Освен това, товарачът за a.out файлове може да бъде внедрен изцяло в потребителското пространство;

  • Възможността за идентифициране и премахване на неизползван код е добавена към механизма за проверка на програмата BPF. Ядрото също така включва корекции с поддръжка на spinlock за BPF подсистемата, предоставяйки допълнителни възможности за управление на паралелното изпълнение на BPF програми;
• Оборудование
  • В драйвер Nouveau добави поддръжка за хетерогенно управление на паметта, което позволява на CPU и GPU да имат достъп до общи синхронизирани области на паметта. Системата за споделена виртуална памет (SVM, споделена виртуална памет) е реализирана на базата на подсистемата HMM (Heterogeneous memory management), която позволява използването на устройства със собствени модули за управление на паметта (MMU, memory management unit), които имат достъп до Главна памет. По-специално, използвайки HMM, можете да организирате споделено адресно пространство между GPU и CPU, в което GPU има достъп до основната памет на процеса. Понастоящем поддръжката на SVM е активирана само за GPU от семейство Pascal, въпреки че се предоставя поддръжка и за GPU Volta и Turing. Освен това, в Nouveau добавено нов ioctl за контрол на миграцията на области от паметта на процеса към паметта на GPU;
  • В Intel DRM драйвер за GPU Skylake и по-нова версия (gen9+) включен По подразбиране режимът за бързо зареждане елиминира ненужните промени в режима по време на зареждане. Добавено новые идентификатори на устройства, базирани на микроархитектурите на Coffelake и Ice Lake. За чипс Coffelake добави GVT поддръжка (GPU виртуализация). За виртуални графични процесори изпълнени VFIO EDID поддръжка. За LCD панели MIPI/DSI добави поддръжка на ACPI/PMIC елементи. Внедрено нови ТВ режими 1080p30/50/60 ТВ;
  • Добавена е поддръжка за Vega10/20 BACO GPU към amdgpu драйвера. Внедрено управление на захранването Vega 10/20 и контролни таблици за охлаждане Vega 10. Добавени са нови идентификатори на PCI устройства за Picasso GPU. Добавено интерфейс за управление на планирани зависимости за избягване на блокировки;
  • Добавено DRM/KMS драйвер за екранни ускорители АРМ Комеда (Мали D71);
  • Добавена е поддръжка за екранни панели Toppoly TPG110, Sitronix ST7701, PDA 91-00156-A0, LeMaker BL035-RGB-002 3.5 и Kingdisplay kd097d04;
  • Добавена е поддръжка за аудио кодеци Rockchip RK3328, Cirrus Logic CS4341 и CS35L36, MediaTek MT6358, Qualcomm WCD9335 и Ingenic JZ4725B, както и аудио платформа Mediatek MT8183;
  • Добавена поддръжка за NAND контролери Flash STMicroelectronics FMC2, Amlogic Meson;
  • Добавена поддръжка на ускорител за хардуерни системи Habana AI;
  • Добавена е поддръжка за гигабитови Ethernet контролери NXP ENETC и безжични интерфейси MediaTek MT7603E (PCIe) и MT76x8.

В същото време латиноамериканската фондация за свободен софтуер образувани
вариант напълно безплатно ядро ​​5.1 - Linux-libre 5.1-gnu, изчистени от елементи на фърмуера и драйвера, съдържащи несвободни компоненти или кодови секции, чийто обхват е ограничен от производителя. В новата версия зареждането на петна е деактивирано в драйверите mt7603 и goya. Актуализиран код за почистване на петна в драйвери и подсистеми wilc1000, iwlwifi, soc-acpi-intel, brcmfmac, mwifiex, btmrvl, btmtk и touchscreen_dmi. Почистването на петна в зареждащия софтуер на lantiq xrx200 е спряно поради премахването му от ядрото.

Източник: opennet.ru