Пускане на стандартната C библиотека Cosmopolitan 2.0, разработена за преносими изпълними файлове

Публикувана е версията на проекта Cosmopolitan 2.0, разработваща стандартната C библиотека и универсален изпълним файлов формат, който може да се използва за разпространение на програми за различни операционни системи без използването на интерпретатори и виртуални машини. Резултатът, получен чрез компилиране в GCC и Clang, се компилира в статично свързан универсален изпълним файл, който може да се изпълнява на всяка Linux дистрибуция, macOS, Windows, FreeBSD, OpenBSD, NetBSD и дори да се извиква от BIOS. Кодът на проекта се разпространява под лиценз ISC (опростена версия на MIT/BSD).

Контейнерът за генериране на универсални изпълними файлове се основава на комбиниране на сегменти и хедъри, специфични за различни операционни системи (PE, ELF, MACHO, OPENBSD) в един файл, съчетаващ няколко различни формата, използвани в Unix, Windows и macOS. За да се гарантира, че един изпълним файл работи на Windows и Unix системи, един трик е да кодирате Windows PE файлове като скриптове на обвивката, като се възползвате от факта, че Thompson Shell не използва маркера на скрипта "#!". За създаване на програми, които включват няколко файла (свързване на всички ресурси в един файл), той поддържа формирането на изпълним файл под формата на специално проектиран ZIP архив. Схема на предложения формат (примерно приложение hello.com):

MZqFpD='BIOS BOOT SECTOR' exec 7 $(команда -v $0) printf '\177ELF...LINKER-ENCODED-FREEBSD-HEADER' >&7 exec "$0" "$@" exec qemu-x86_64 "$0" "$ @" изход 1 РЕАЛЕН РЕЖИМ… ЕЛФ СЕГМЕНТИ… OPENBSD ЗАБЕЛЕЖКА… MACHO ЗАГЛАВКИ… КОД И ДАННИ… ZIP ДИРЕКТОРИЯ…

В началото на файла е посочен етикетът „MZqFpD“, който се възприема като заглавка на Windows PE формат. Тази последователност също е декодирана в инструкцията “pop %r10; jno 0x4a; jo 0x4a", и реда "\177ELF" към инструкцията "jg 0x47", които се използват за препращане към входната точка. Unix системите изпълняват shell код, който използва командата exec, като предава изпълнимия код през неименуван канал. Ограничение на предложения метод е способността да работи на Unix-подобни операционни системи само с помощта на обвивки, които поддържат режим на съвместимост на Thompson Shell.

Обаждането qemu-x86_64 осигурява допълнителна преносимост и позволява кодът, компилиран за архитектурата x86_64, да работи на различни от x86 платформи, като например платки Raspberry Pi и устройства на Apple, оборудвани с ARM процесори. Проектът може да се използва и за създаване на самостоятелни приложения, които работят без операционна система (голи метал). В такива приложения към изпълнимия файл е прикачен буутлоудър и програмата действа като стартираща операционна система.

Стандартната C библиотека libc, разработена от проекта, предлага 2024 функции (в първото издание имаше около 1400 функции). По отношение на производителността, Cosmopolitan работи толкова бързо, колкото glibc и значително изпреварва Musl и Newlib, въпреки факта, че Cosmopolitan е с порядък по-малък размер на кода от glibc и приблизително съответства на Musl и Newlib. За оптимизиране на често извиквани функции като memcpy и strlen допълнително се използва техниката „пропускане на производителност“, при която се използва макро обвързване за извикване на функцията, при което компилаторът се информира за регистрите на процесора, включени в изпълнението на кода процес, който позволява спестяване на ресурси при запазване на състоянието на процесора чрез запазване само на променливи регистри.

Сред промените в новата версия:

• Схемата за достъп до вътрешни ресурси в zip файл е променена (при отваряне на файлове вече се използват обичайните пътища /zip/... вместо префикса zip:..). По същия начин, за достъп до дискове в Windows е възможно да използвате пътища като „/c/...“ вместо „C:/...“.
• Предложен е нов APE (Actually Portable Executable) товарач, който дефинира формата на универсалните изпълними файлове. Новият товарач използва mmap, за да постави програмата в паметта и вече не променя съдържанието в движение. Ако е необходимо, универсалният изпълним файл може да бъде преобразуван в обикновени изпълними файлове, свързани с отделни платформи.
• На платформата Linux е възможно да се използва модулът на ядрото binfmt_misc за стартиране на APE програми. Отбелязва се, че използването на binfmt_misc е най-бързият метод за стартиране.
• За Linux е предложена реализация на функционалността на системните извиквания pledge() и unveil(), разработена от проекта OpenBSD. Предоставен е API за използване на тези извиквания в програми на C, C++, Python и Redbean, както и помощна програма pledge.com за изолиране на произволни процеси.
• Компилацията използва помощната програма Landlock Make - издание на GNU Make с по-строга проверка на зависимостите и използването на системното извикване на Landlock за изолиране на програмата от останалата част от системата и подобряване на ефективността на кеширането. Като опция се запазва възможността за изграждане с обикновен GNU Make.
• Внедрени са функции за многопоточност - _spawn() и _join(), които са универсални обвързвания върху API, специфични за различни операционни системи. Работи се и за внедряване на поддръжка на POSIX Threads.
• Възможно е да използвате ключовата дума _Thread_local, за да използвате отделно хранилище за всяка нишка (TLS, Thread-Local Storage). По подразбиране средата за изпълнение на C инициализира TLS за основната нишка, което доведе до увеличаване на минималния изпълним размер от 12 KB на 16 KB.
• Поддръжката на параметрите „--ftrace“ и „--strace“ е добавена към изпълними файлове за извеждане на информация за всички извиквания на функции и системни извиквания към stderr.
• Добавена е поддръжка за системното повикване closefrom(), поддържано на Linux 5.9+, FreeBSD 8+ и OpenBSD.
• На платформата Linux производителността на извикванията clock_gettime и gettimeofday е увеличена до 10 пъти чрез използване на механизма vDSO (виртуален динамичен споделен обект), който прави възможно преместването на манипулатора на системно извикване в потребителското пространство и избягване на контекстни превключвания.
• Математическите функции за работа с комплексни числа са преместени от библиотеката на Musl. Ускорена е работата на много математически функции.
• Функцията nointernet() е предложена за деактивиране на мрежовите възможности.
• Добавени са нови функции за ефективно добавяне на низове: appendd, appendf, appendr, appends, appendw, appendz, kappendf, kvappendf и vappendf.
• Добавена е защитена версия на фамилията функции kprintf(), проектирана да работи с повишени привилегии.
• Значително подобрена производителност на реализации на SSL, SHA, curve25519 и RSA.

Източник: opennet.ru