Доклад за напредъка на FreeBSD Q2019 XNUMX

публикувани доклад за развитието на проекта FreeBSD от април до юни 2019 г. Сред промените можем да отбележим:

• Общи и системни проблеми
  • Основният екип реши да създаде работна група, която да проучи възможността за преместване на изходния код от централизираната система за контрол на източника на Subversion към децентрализираната система Git.
  • Проведено fuzz тестване на ядрото на FreeBSD с помощта на системата syzkaller и редица идентифицирани грешки бяха коригирани. Добавен е слой за fuzzing тестване на библиотеки за съвместимост с 32-битова среда на системи с 64-битово ядро. Въведена е възможност за стартиране на syzkaller във виртуални машини, базирани на bhyve. На следващия етап се планира да се разшири обхватът на тестването на системни повиквания, да се използва LLVM sanitizer за проверка на ядрото, да се използва netdump за запазване на дъмпове на ядрото по време на сривове по време на тестване на fuzzing и т.н.
  • Започна работа по актуализиране на изпълнението на zlib на ниво ядро. За достъп на ядрото до zlib код директорията contrib/zlib беше преименувана на sys/contrib/zlib и заглавният файл crc.h също беше преименуван, за да се избегне конфликт с zlib/crc.h. Изчистен наследен код, който зависеше от zlib и inflate. След това се планира да се осигури възможност за изграждане на ядрото едновременно със стария и новия zlib за постепенно прехвърляне към новата версия на функции, които използват компресия;
  • Инфраструктурата за емулация на Linux среда (Linuxulator) е актуализирана. Повишена поддръжка за инструменти за отстраняване на грешки в Linux, като помощната програма strace. Пакетът linux-c7-strace е добавен към портовете, който може да се използва за проследяване на изпълними файлове на Linux вместо стандартните помощни програми truss и ktrace, които все още не могат да декодират някои специфични за Linux флагове и структури. В допълнение пакетът linux-ltp с изпълними файлове на Linux Test Project е добавен и проблемите със съвместимостта с изпълними файлове, свързани с нови версии на glibc, са разрешени;
  • Изпълнението на отложени операции за невалидност в механизма pmap е прехвърлено към използването на алгоритъм за обработка на опашка, който работи без заключвания, което направи възможно решаването на проблеми с мащабируемостта при извършване на голям брой паралелни операции за декартиране;
  • Механизмът за блокиране на vnode по време на изпълнение на системни извиквания от фамилията execve() е променен, което направи възможно постигането на повишена ефективност при едновременно изпълнение на execve() за един и същ файл (например при извършване на операции на асемблиране с паралелизиране на стартирането на компилатора);
• сигурност
  • Хипервайзорът bhyve продължава да подобрява поддръжката за миграция на живо на среди за гости от един хост към друг и функцията Запазване/Възстановяване, която ви позволява да замразите системата за гости, като запазите състоянието във файл и след това възобновите изпълнението.
  • Чрез използването на библиотеката libvdsk bhyve добави поддръжка за дискови изображения във формат QCOW2. Изисква инсталация, за да работи
    специално модифицирани версия на bhyve, която е преобразувана да използва манипулатори на файлови операции, базирани на libvdsk. През отчетния период libvdsk също така извърши работа за опростяване на интегрирането на поддръжка за нови формати, подобрена производителност при четене и запис и добави поддръжка за Copy-On-Write. От останалите задачи се отбелязва интегрирането на libvdsk в основната структура на bhyve;

  • В пристанищата е добавена система за събиране на информация за трафика
    Малтрейл, което ви позволява да създавате капани за злонамерени мрежови заявки (проверяват се IP адреси и домейни от черни списъци) и да изпращате информация за откритата активност до централизиран сървър за последващо блокиране или анализ на опити за атака;

  • Към портовете са добавени платформи за откриване на атаки, анализиране на регистрационни файлове и наблюдение на целостта на файловете Wazuh (разклонение на Ossec с поддръжка за интеграция с ELK-стек);
• Мрежова подсистема
  • Драйверът ena е актуализиран, за да поддържа второ поколение мрежови адаптери ENAv2 (Elastic Network Adapter), използвани в инфраструктурата на Elastic Compute Cloud (EC2) за организиране на комуникация между EC2 възли при скорости до 25 Gb/s. Поддръжката на NETMAP е добавена към драйвера ena.
  • FreeBSD HEAD приема нов MMC/SD стек, базиран на CAM рамката и позволяващ ви да свързвате устройства със SDIO (Secure Digital I/O) интерфейс. Например, SDIO се използва в WiFi и Bluetooth модули за много платки, като Raspberry Pi 3. Новият стек също така позволява CAM интерфейсът да се използва за изпращане на SD команди от приложения в потребителското пространство, което прави възможно създаването на устройство драйвери, които работят на ниво потребител. Започна работа по създаването на драйвери за безжични чипове на Broadcom, работещи в режим FullMAC (от страната на чипа той работи с подобие на собствена операционна система с внедрявания на своя 802.11 безжичен стек);
  • Работи се по прилагането на NFSv4.2 (RFC-7862) за FreeBSD. Новата версия на NFS добавя поддръжка за функциите posix_fadvise, posix_fallocate, режимите SEEKHOLE/SEEKDATA в lseek и операцията за локално копиране на части от файл на сървъра (без прехвърляне към клиента).

    В момента FreeBSD предоставя основна поддръжка за операциите LayoutError, IOAdvise, Allocate и Copy. Всичко, което остава, е да се приложи операцията Seek, необходима за използване на lseek(SEEKHOLE/SEEKDATA) с NFS. Поддръжката на NFSv4.2 е планирана за FreeBSD 13;

• Системи за съхранение и файлове
  • Проектът за преработка на драйвера за подсистемата FUSE (Файлова система в USErspace), която позволява създаване на реализации на файлови системи в потребителското пространство, е към завършване. Първоначално предоставеният драйвер е остарял и съдържа много грешки. Като част от проекта за модернизация на драйвера беше внедрена поддръжка за протокола FUSE 7.23 (по-рано се поддържаше версия 7.8, издадена преди 11 години), беше добавен код за проверка на правата за достъп от страна на ядрото („-o default_permissions“), извиквания до Добавени са VOP_MKNOD, VOP_BMAP и VOP_ADVLOCK, възможност за прекъсване на операциите на FUSE, добавена поддръжка за неименувани канали и unix сокети във fusefs, възможност за използване на kqueue за /dev/fuse, разрешено актуализиране на параметрите за монтиране чрез „mount -u“, добавена поддръжка за експортиране на предпазители чрез NFS, внедрено отчитане на RLIMIT_FSIZE, добавени флагове FOPEN_KEEP_CACHE и FUSE_ASYNC_READ, направени са значителни оптимизации на производителността и е подобрена организацията на кеширането;
  • Поддръжката на операцията BIO_DELETE е добавена към кода на суап пейджъра, което ви позволява да използвате командата TRIM, когато премахвате блокове от SSD устройства, за да увеличите техния експлоатационен живот.
• Хардуерна поддръжка
  • Продължава работата по внедряването на поддръжка за ARM64 SoC Broadcom BCM5871X с процесори ARMv8 Cortex-A57, насочени към използване в рутери, шлюзове и мрежово съхранение. През отчетния период беше подобрена поддръжката за вътрешни и външни iProc PCIe шини, добавена беше поддръжка за BNXT Ethernet и се работи за използване на вградения крипто двигател за ускоряване на IPsec. Интегрирането на кода в клона HEAD се очаква през втората половина на годината;
  • Започна работа по поддръжката на 64-bit SoC NXP LS1046A, базиран на процесора ARMv8 Cortex-A72 с интегриран механизъм за ускоряване на обработката на мрежови пакети, 10 Gb Ethernet, PCIe 3.0, SATA 3.0 и USB 3.0. Вече е въведена поддръжка за базовата платформа (multi-user SMP) и SATA 3.0. Поддръжката на USB 3.0, SD/MMC и I2C е в процес на разработка. Плановете включват поддръжка за Ethernet, GPIO и QSPI. Приключване на работата и включване в HEAD филиала се очаква през 4-то тримесечие на 2019 г.
  • Актуализирани драйвери mlx5en и mlx5ib за адаптери Mellanox ConnectX-4 [Lx], ConnectX-5 [Ex] и ConnectX-6 [Dx] Ethernet и InfiniBand. Добавена е поддръжка за адаптери Mellanox Socket Direct (ConnectX-6), позволяващи пропускателна способност до 200Gb/s на шината PCIe Gen 3.0. За многоядрени чипове BlueField е добавена поддръжка за драйвера RShim. Пакетът mstflint с набор от диагностични помощни програми за адаптери Mellanox е добавен към портовете;
• Приложения и портова система
  • Компонентите на графичния стек са актуализирани. Драйверът drm.ko (Direct Rendering Manager) е пренесен от ядрото на Linux 5.0. Този драйвер се счита за експериментален и е добавен към дървото на портовете като graphics/drm-devel-kmod. Тъй като драйверът използва актуализираната Linux KPI рамка, за да бъде съвместим с DRM API на ядрото на Linux, за стартиране се изисква FreeBSD CURRENT. Драйверът vboxvideo.ko drm за виртуалния графичен процесор VirtualBox също е пренесен от Linux. Пакетът Mesa е актуализиран до версия 18.3.2 и е превключен да използва LLVM от порта devel/llvm80 вместо devel/llvm60.
  • Дървото на портовете на FreeBSD надхвърли 37000 2146 порта, броят на незатворените PR остава 7837. През отчетния период са направени 172 промени от 5.7 разработчици. Трима нови участници получиха комитиращи права. Сред значимите актуализации на версиите в портовете са: MySQL 3.6, Python 2.5, Ruby 4.8, Samba 1.0, Julia 68.0, Firefox 75.0.3770.100, Chromium 3.6. Всички Go портове са преобразувани да използват флага "USES=go". Добавен е флаг "USES=cabal" към мениджъра на пакети Cabal, използван за код на Haskell. Режимът на стриктна защита на стека е активиран. Стандартната версия на Python е 2.7 вместо XNUMX.
  • Изданието на помощната програма е подготвено nsysctl 1.0, който предлага аналог на /sbin/sysctl, който използва libxo за изход и предоставяне на разширен набор от опции. Nsysctl може да се използва за визуално наблюдение на състоянието на стойностите на sysctl и представяне на информация за обекти в структурирана форма. Възможен е изход във формати XML, JSON и HTML;

Източник: opennet.ru