Издание на стандартната C-библиотека Cosmopolitan 2.0, разработвана за преносими изпълними файлове

Издаден е брой на проекта Cosmopolitan 2.0, който развива стандартната C библиотека и универсален формат на изпълними файлове, който може да се използва за разпространение на програми за различни операционни системи без използване на интерпретатори и виртуални машини. Полученият чрез компилация в GCC и Clang резултат се композира в статично свързан универсален изпълним файл, който е подходящ за стартиране в натрупвания на Linux, macOS, Windows, FreeBSD, OpenBSD, NetBSD и дори да бъде извикан от BIOS. Кодът на проекта се разпространява под лицензия ISC (опростен вариант на MIT/BSD).

Контейнер для формирования универсальных исполняемых файлов основан на совмещении специфичных для разных операционных систем сегментов и заголовков (PE, ELF, MACHO, OPENBSD) в одном файле, комбинируя в нем несколько разных форматов, используемых в Unix, Windows и macOS. Для обеспечения запуска одного исполняемого файла в Windows и Unix-системах применяется трюк, связанный с кодированием файлов Windows PE в виде shell-скрипта, пользуясь тем, что Thompson Shell не использует маркер скриптов «#!». Для создания программ, включающих несколько файлов (компоновки всех ресурсов в один файл), поддерживается формирование исполняемого файла в виде специально оформленного ZIP-архива. Схема предложенного формата (пример приложения hello.com):

MZqFpD=’ BIOS BOOT SECTOR’ exec 7 $(command -v $0) printf ‘\177ELF…LINKER-ENCODED-FREEBSD-HEADER’ >&7 exec «$0» «$@» exec qemu-x86_64 «$0» «$@» exit 1 REAL MODE… ELF SEGMENTS… OPENBSD NOTE… MACHO HEADERS… CODE AND DATA… ZIP DIRECTORY…

Вначале файле указывается метка «MZqFpD», которая воспринимается как заголовок формата Windows PE. Данная последовательность также декодируется в инструкции «pop %r10 ; jno 0x4a ; jo 0x4a», а строка «\177ELF» в инструкцию «jg 0x47», которые применяются для проброса на точку входа. В Unix-системах выполняется shell-код, в котором используется команда exec с передачей исполняемого кода через неименованный канал. Ограничением предложенного метода является возможность запуска в Unix-подобных ОС только с использованием оболочек, поддерживающих режим совместимости с Thompson Shell.

Викането на qemu-x86_64 е предвидено за реализиране на допълнителна преносимост и позволява изпълнението на скомпилиран код за архитектура x86_64 на платформи, различни от x86, например, на платките Raspberry Pi и устройства на Apple, оборудвани с ARM процесори. Проектът може също да се използва за създаване на самодостатъчни приложения, работещи без операционна система (bare metal). В такива приложения към изпълняемия файл се прикрепя зареждач, а програмата играе ролята на зареждана операционна система.

В развиваемой проектом стандартной Си-библиотеке libc предложено 2024 функции (в первом выпуске было около 1400 функций). По производительности Cosmopolitan работает также быстро как и glibc и заметно опережает Musl и Newlib, при том, что Cosmopolitan по размеру кода на порядок меньше glibc и примерно соответствует Musl и Newlib. Для оптимизации часто вызываемых функций таких как memcpy и strlen, дополнительно используется техника «trickle-down performance», при которой для вызова функции применяется макрос-обвязка, в котором компилятор информируется о задействованных в процессе выполнения кода регистрах CPU, что позволяет экономить ресурсы при сохранении состояния CPU за счёт сохранения только изменяемых регистров.

Сред промените в новото издание:

• Изменена схема обращения к внутренним ресурсам внутри zip-файла (при открытии файлов теперь используются обычные пути /zip/… вместо обращения по префиксу zip:..). Аналогично для доступа к дискам в Windows предоставлена возможность использования путей вида «/c/…» вместо «C:/…».
• Предложен е нов зареждач APE (Actually Portable Executable), който определя формата на универсални изпълняеми файлове. Новият зареждач използва mmap за разполагане на програмата в паметта и вече не променя съдържанието в движение. При необходимост универсалният изпълняем файл може да бъде конвертиран в обикновени изпълняеми файлове, свързани с определени платформи.
• На платформата Linux е реализирана възможността за използване на модула на ядрото binfmt_misc за изпълнение на APE-програми. Забелязва се, че използването на binfmt_misc е най-бързият метод за стартиране.
• За Linux е предложена реализация на функционалностите на системните извиквания pledge() и unveil(), разработвани от проекта OpenBSD. Предоставя се API за използване на тези извиквания в програми, написани на C, C++, Python и Redbean, както и инструмент pledge.com за изолиране на произволни процеси.
• Для сборки задействована утилита Landlock Make — редакция GNU Make с более жёсткой проверкой зависимостей и использованием системного вызова Landlock для изоляции программы от остальной системы и повышения эффективности кэширования. В качестве опции сохранена возможности сборки и обычным GNU Make.
• Реализованы функции для многопоточности — _spawn() и _join(), представляющие собой универсальные обвязки над специфичными для разных операционных систем API. Также ведётся работа над реализацией поддержки POSIX Threads.
• Предоставя се възможност за използване на ключовата дума _Thread_local за съхранение на данни, специфични за всеки поток (TLS, Thread-Local Storage). По подразбиране C runtime инициализира TLS за основния поток, което доведе до увеличаване на минималния размер на изпълняемия файл от 12 до 16 КБ.
• В исполняемые файлы добавлена поддержка параметров «—ftrace» и «—strace» для вывода в stderr информации о всех вызовах функций и системных вызовах.
• Добавена е поддръжка на системния повик closefrom(), поддържан в Linux 5.9+, FreeBSD 8+ и OpenBSD.
• На платформата Linux производителността на повикванията clock_gettime и gettimeofday е увеличена до 10 пъти благодарение на механизма vDSO (виртуален динамично споделен обект), който позволява да се пренесе обработчикът на системно повикване в пространството на потребителя и да се избегнат контекстни превключвания.
• Математическите функции за работа с комплексни числа са пренесени от библиотеката Musl. Ускорена е работата на много математически функции.
• Предложена е функция nointernet(), която изключва мрежовите възможности.
• Добавени са нови функции за ефективно присъединяване на низове: appendd, appendf, appendr, appends, appendw, appendz, kappendf, kvappendf и vappendf.
• Добавен е защитен вариант на семейството от функции kprintf(), предназначен за работа при повишени привилегии.
• Значително е повишена производителността на реализациите SSL, SHA, curve25519 и RSA.

Източник: opennet.ru