Доклад за развитието на FreeBSD за първото тримесечие на 2020 г

публикувани доклад за развитието на проекта FreeBSD от януари до март 2020 г. Сред промените можем да отбележим:

• Общи и системни проблеми
  • Премахнаха компилатора GCC от дървото на изходния код на FreeBSD-CURRENT, както и неизползваните помощни програми gperf, gcov и gtc (компилатор на дърво на устройства). Всички платформи, които не поддържат Clang, са преминали към използване на външни инструменти за изграждане, инсталирани от портове. Базовата система доставя остаряла версия на GCC 4.2.1 и интегрирането на по-нови версии не беше възможно поради прехода на 4.2.2 към GPLv3 лиценза, който се смяташе за неподходящ за базовите компоненти на FreeBSD. Текущите версии на GCC, включително GCC 9, все още могат да бъдат инсталирани от пакети и портове.
  • Инфраструктурата за емулация на средата на Linux (Linuxulator) добави поддръжка за системно извикване на sendfile, режим TCP_CORK (необходим за nginx) и флага MAP_32BIT (решава проблема със стартирането на пакети с Mono от Ubuntu Bionic). Проблемите с разделителната способност на DNS при използване на glibc, по-нова от 2.30 (например от CentOS 8), са разрешени.
    Инфраструктурата за непрекъсната интеграция предоставя възможност за стартиране на LTP (Linux Testing Project) задания, изпълняващи Linuxulator, за да се тестват подобренията, направени в кода за поддръжка на Linux. Около 400 теста се провалят и изискват коригиране (някои грешки са причинени от фалшиви положителни резултати, някои изискват тривиални корекции, но има други, които изискват добавяне на поддръжка за нови системни извиквания за коригиране). Беше извършена работа за почистване на кода на Linuxulator и опростяване на отстраняването на грешки. Подготвени са корекции с поддръжка на разширени атрибути и системното извикване fexecve, но все още не са прегледани.

  • Продължават срещите на работната група, създадена за извършване на миграцията на изходните кодове от централизираната система за контрол на изходния код Subversion към децентрализираната система Git. В процес на изготвяне е доклад с предложения за миграция.
  • В rtld (линкер по време на изпълнение) подобрен режим на директно изпълнение (“/libexec/ld-elf.so.1 {път} {аргументи}”).
  • Проектът за fuzzing тестване на ядрото на FreeBSD с помощта на системата syzkaller продължава да се развива. През отчетния период бяха отстранени проблемите в мрежовия стек и кода за работа с таблици с файлови дескриптори, идентифицирани с помощта на syzkaller. След диагностиката на грешката бяха добавени промени към SCTP стека, за да се улесни отстраняването на грешки. Към набора stress2 са добавени правила за идентифициране на възможни регресии. Добавена е поддръжка за fuzz тестване на нови системни извиквания, включително извиквания на подсистемата copy_file_range(), __realpathat() и Capsicum. Продължава работата по покриване на емулационния слой на Linux с тестване на размиване. Ние анализирахме и елиминирахме грешките, отбелязани в последните отчети за сканиране на Coverity.
  • Системата за непрекъсната интеграция е преминала към изпълнение на всички тестове на главния клон само с помощта на clang/lld. При тестване за RISC-V е осигурено формирането на пълно дисково изображение за провеждане на тестове в QEMU с помощта на OpenSBI. Добавени са нови задачи за тестване на изображения и виртуални машини powerpc64 (FreeBSD-head-powerpc64-images, FreeBSD-head-powerpc64-testvm).
  • Работи се по прехвърляне на тестовия пакет Kyua от портовете (devel/kyua) към базовата система за решаване на проблеми (пакетите се инсталират много бавно), които възникват при използване на Kyua на нови архитектури, разработката за които се извършва с помощта на емулатор или FPGA. Интегрирането в базовата система значително ще опрости тестването на вградени платформи и интерфейс със системи за непрекъсната интеграция.
  • Беше стартиран проект за оптимизиране на производителността на драйвера на мрежовия мост if_bridge, който използва един мютекс за заключване на вътрешни данни, което не позволява постигане на желаната производителност на системи с голям брой jail среди или виртуални машини, обединени в една мрежа. На този етап са добавени тестове към кода за предотвратяване на регресии при модернизацията на работата с ключалки. Обмисля се възможността за използване на ConcurrencyKit за паралелизиране на манипулатори за пренос на данни (bridge_input(), bridge_output(), bridge_forward(), ...).
  • Добавено е ново системно извикване на sigfastblock, за да се позволи на нишка да укаже блок памет за бърз манипулатор на сигнали, за да се подобри производителността на манипулаторите на изключения.
  • Ядрото добавя поддръжка за LSE (Large System Extension) атомарни инструкции, поддържани от ARMv8.1 системи. Тези инструкции са необходими за подобряване на производителността при работа на платки Cavium ThunderX2 и AWS Graviton 2. Добавените промени откриват поддръжка на LSE и динамично активират атомарното внедряване въз основа на тях. По време на тестването използването на LSE позволи да се намали времето на процесора, прекарано при сглобяване на ядрото с 15%.
  • Извършена е оптимизация на производителността и функционалността на инструментариума е разширена за изпълними файлове във формат ELF.
    Добавена поддръжка за кеширане на информация за отстраняване на грешки на DWARF, решени проблеми в помощните програми elfcopy/objcopy, добавена обработка на DW_AT_ranges,
    readelf прилага способността за декодиране на флаговете PROTMAX_DISABLE, STKGAP_DISABLE и WXNEEDED, както и Xen и GNU Build-ID.

• сигурност
  • За да се подобри производителността на FreeBSD в облачните среди на Azure, се работи за осигуряване на поддръжка за HyperV Socket механизма, който позволява използването на интерфейс на сокет за взаимодействие между системата за гости и хост средата без настройка на мрежа.
  • Работи се за осигуряване на повтарящи се компилации на FreeBSD, което прави възможно да се гарантира, че изпълнимите файлове на системните компоненти са компилирани точно от декларираните изходни кодове и не съдържат външни промени.
  • Възможността за контролиране на включването на допълнителни защитни механизми (ASLR, PROT_MAX, пропуск в стека, W+X картографиране) на ниво отделни процеси е добавена към помощната програма elfctl
• Системи за съхранение и файлове
  • Работи се по прилагането на способността на NFS да работи по криптиран комуникационен канал, базиран на TLS 1.3, вместо да използва Kerberos (режим sec=krb5p), който е ограничен до криптиране само на RPC съобщения и се прилага само в софтуера. Новата реализация използва TLS стека, предоставен от ядрото, за да позволи хардуерно ускорение. Кодът на NFS през TLS е почти готов за тестване, но все още изисква работа за поддържане на подписани клиентски сертификати и адаптиране на TLS стека на ядрото за изпращане на NFS данни (пачовете за получаване вече са готови).
• Хардуерна поддръжка
  • Работи се по добавяне на поддръжка за китайски x86 CPU Hygon, базиран на технологиите на AMD;
  • Като част от CheriBSD, разклонение на FreeBSD за изследователска процесорна архитектура ЧЕРИ (Capability Hardware Enhanced RISC Instructions), продължава да се внедрява поддръжка за процесора ARM Morello, който ще поддържа системата за контрол на достъпа до паметта CHERI, базирана на модела за сигурност на проекта Capsicum. Чип Морело планират издаване през 2021 г. В момента работата е фокусирана върху добавянето на поддръжка за платформата Arm Neoverse N1, която захранва Morello. Беше представен първоначален порт на CheriBSD за архитектурата RISC-V. Разработката на CheriBSD продължава за референтния прототип CHERI, базиран на архитектурата MIPS64.
  • Продължава пренасянето на FreeBSD за 64-битовия SoC NXP LS1046A, базиран на процесора ARMv8 Cortex-A72 с интегрирана машина за ускоряване на обработката на мрежови пакети, 10 Gb Ethernet, PCIe 3.0, SATA 3.0 и USB 3.0. В момента драйверите QorIQ и LS1046A, GPIO, QorIQ LS10xx AHCI, VF610 I2C, Epson RX-8803 RTC, QorIQ LS10xx SDHCI се подготвят за прехвърляне към основната композиция на FreeBSD.
  • Драйверът ena е актуализиран до версия 2.1.1 с поддръжка за второ поколение мрежови адаптери ENAv2 (Elastic Network Adapter), използвани в инфраструктурата на Elastic Compute Cloud (EC2) за организиране на комуникация между EC2 възли при скорости до 25 Gb/ с. Подготвя се актуализация до ENA 2.2.0.
  • Подобренията на порта на FreeBSD за платформата powerpc64 продължават. Фокусът е върху осигуряването на качествена производителност на системи с процесори IBM POWER8 и POWER9. През отчетния период FreeBSD-CURRENT беше прехвърлен за използване на компилатора LLVM/Clang 10.0 и lld линкер вместо GCC. По подразбиране системите powerpc64 използват ELFv2 ABI и поддръжката за ELFv1 ABI е преустановена. FreeBSD-STABLE все още има gcc 4.2.1. Проблемите с драйверите за virtio, aacraid и ixl са разрешени. На системи powerpc64 е възможно да стартирате QEMU без поддръжка на Huge Pages.
  • Продължава работата по внедряването на поддръжка за RISC-V архитектурата. В сегашната си форма FreeBSD вече стартира успешно на платката SiFive Hifive Unleashed, за която са подготвени драйвери
    UART, SPI и PRCI, поддържа OpenSBI и SBI 0.2 фърмуер. През отчетния период работата беше фокусирана върху миграцията от GCC към clang и lld.

• Приложения и портова система
  • Колекцията от портове на FreeBSD е преминала прага от 39 хиляди порта, броят на незатворените PR леко надхвърля 2400, от които 640 PR все още не са сортирани. През отчетния период са направени 8146 промени от 173 разработчици. Четирима нови участници получиха права за комитиране (Loïc Bartoletti, Mikael Urankar, Kyle Evans, Lorenzo Salvadore). Добавен флаг USES=qca и премахнат флаг USES=zope (поради несъвместимост с Python 3). Работи се по премахването на Python 2.7 от дървото на портовете - всички базирани на Python 2 портове трябва да бъдат пренесени към Python 3 или ще бъдат премахнати. Мениджърът на пакети pkg е актуализиран до версия 1.13.2.
  • Актуализирани компоненти на графичен стек и портове, свързани с xorg.
    Сървърът X.org е актуализиран до версия 1.20.8 (доставена преди това в клона 1.18), което позволява на FreeBSD да използва по подразбиране udev/evdev бекенда за работа с входни устройства. Пакетът Mesa е превключен да използва разширението DRI3 вместо DRI2 по подразбиране. Работи се по запазване на графичните драйвери, стека на входните устройства и компонентите drm-kmod (порт, който позволява работата на amdgpu, i915 и radeon DRM модули, използвайки рамката на linuxkpi за съвместимост с диспечера за директно изобразяване на ядрото на Linux) актуален.

  • Работният плот на KDE Plasma, KDE Frameworks, KDE приложенията и Qt се поддържат актуални и актуализирани до най-новите версии. Към портовете е добавено ново приложение kstars (звезден атлас).
  • Извършена е работа за елиминиране на регресивни промени в мениджъра на прозорци xfwm4, които се появиха след актуализиране на Xfce до версия 4.14 (например артефакти се появиха при декориране на прозорци).
  • Портът на Wine е актуализиран, за да пусне Wine 5.0 (преди се предлагаше 4.0.3).
  • Започвайки с версия 1.14, езиковият компилатор Go добави официална поддръжка за архитектурата ARM64 за FreeBSD 12.0.
  • OpenSSH на базовата система е актуализиран до версия 7.9p1.
  • Библиотеката sysctlmibinfo2 е внедрена и поставена в портове (devel/libsysctlmibinfo2), предоставяйки API за достъп до sysctl MIB и преобразуване на имена на sysctl в идентификатори на обекти (OID).
  • Генерирана е актуализация за разпространение NomadBSD 1.3.1, което е издание на FreeBSD, адаптирано за използване като преносим десктоп, стартиращ от USB устройство. Графичната среда е базирана на мениджър на прозорци Отворена кутия. Използва се за монтиране на дискове DSBMD (поддържа се монтиране на CD9660, FAT, HFS+, NTFS, Ext2/3/4), за конфигуриране на безжична мрежа - wifimgr, а за контрол на звука - DSBMixer.
  • Започната работа относно написването на пълна документация за мениджъра на средата в затвора гърне. Pot 0.11.0 се подготвя за пускане, което ще включва инструменти за управление на мрежовия стек.

Източник: opennet.ru