Издаване на стандартната C-библиотека Cosmopolitan 2.0, развивана за преносими изпълними файлове.

Издаден е выпуск на проекта Cosmopolitan 2.0, който развива стандартната C библиотеки и универсален формат на изпълними файлове, използваем за разпространение на програми за различни операционни системи без нужда от интерпретатори и виртуални машини. Полученият чрез компилация с GCC и Clang резултат се компилира в статически свързан универсален изпълним файл, който е подходящ за стартиране в която и да е дистрибуция на Linux, macOS, Windows, FreeBSD, OpenBSD, NetBSD и дори може да бъде извикан от BIOS. Кодът на проекта се разпространява под лиценцията ISC (опростен вариант на MIT/BSD).

Контейнерът за формиране на универсални изпълними файлове се основава на комбинирането на специфични за различни операционни системи сегменти и заглавия (PE, ELF, MACHO, OPENBSD) в един файл, комбинирайки в него няколко различни формата, използвани в Unix, Windows и macOS. За осигуряване старта на един изпълним файл в Windows и Unix системи се прилага трик, свързан с кодиране на файлове Windows PE във вид на shell скрипт, като се използва фактът, че Thompson Shell не използва маркер на скрипта «#!». За създаване на програми, включващи няколко файла (компоновки на всички ресурси в един файл), се поддържа формирането на изпълним файл под формата на специално оформен ZIP архив. Схемата на предложен формат (пример на приложение hello.com):

MZqFpD=’ BIOS BOOT SECTOR’ exec 7 $(command -v $0) printf ‘\177ELF…LINKER-ENCODED-FREEBSD-HEADER’ >&7 exec «$0» «$@» exec qemu-x86_64 «$0» «$@» exit 1 REAL MODE… ELF SEGMENTS… OPENBSD NOTE… MACHO HEADERS… CODE AND DATA… ZIP DIRECTORY…

В началото на файла е посочена етикета «MZqFpD», която се възприема като заглавие на формата Windows PE. Тази последователност също се декодира в инструкции «pop %r10 ; jno 0x4a ; jo 0x4a», а стрингът «\177ELF» в инструкцията «jg 0x47», които се използват за прехвърляне на точката на вход. В Unix системите се изпълнява shell код, в който се използва команда exec с предаване на изпълнявания код през анонимна връзка. Ограничението на предложената методология е, че е възможно стартиране в Unix-подобни ОС само с използване на черупки, които поддържат режим на съвместимост с Thompson Shell.

Виклик qemu-x86_64 е передбачено для реалізації додаткової переносимості та дозволяє виконувати скомпільований для архітектури x86_64 код на платформах, відмінних від x86, наприклад, на платах Raspberry Pi та пристроях Apple, укомплектованих процесорами ARM. Проект також може використовуватися для створення самодостатніх додатків, які працюють без операційної системи (bare metal). У таких додатках до виконавчого файлу прикріплюється завантажувач, а програма виконує роль завантажуваної операційної системи.

У розробленій проектом стандартній Сі-бібліотеці libc запропоновано 2024 функції (в першому випуску було близько 1400 функцій). За продуктивністю Cosmopolitan працює так само швидко, як і glibc, і помітно обганяє Musl і Newlib, при цьому Cosmopolitan за розміром коду в десять разів менший за glibc і приблизно відповідає Musl і Newlib. Для оптимізації часто викликаних функцій, таких як memcpy і strlen, додатково використовується техніка «trickle-down performance», при якій для виклику функції застосовується макрос-обв'язка, у якій компілятор інформується про зареєстровані у процесі виконання коду регістри CPU, що дозволяє економити ресурси при збереженні стану CPU за рахунок збереження лише змінних регістрів.

Сред промените в новия релийз:

• Змінено схему звернення до внутрішніх ресурсів всередині zip-файла (при відкритті файлів тепер використовуються звичайні шляхи /zip/… замість звернення за префіксом zip:..). Аналогічно для доступу до дисків у Windows надано можливість використання шляхів вигляду «/c/…» замість «C:/…».
• Запропоновано новий завантажувач APE (Actually Portable Executable), що визначає формат універсальних виконуваних файлів. Новий завантажувач використовує mmap для розміщення програми в пам'яті та більше не змінює вміст на льоту. За необхідності універсальний виконуваний файл може бути перетворено в звичайні виконувані файли, прив'язані до окремих платформ.
• На платформі Linux реалізовано можливість використання модуля ядра binfmt_misc для запуску APE-програм. Зазначається, що використання binfmt_misc є найшвидшим методом запуску.
• За Linux е предложена реализация на системните повици pledge() и unveil(), развивани от проекта OpenBSD. Предоставя се API за използване на тези повици в програми на C, C++, Python и Redbean, както и утилита pledge.com за изолиране на произволни процеси.
• За сборка е използвана утилитата Landlock Make — редакция на GNU Make с по-строга проверка на зависимостите и използването на системния повик Landlock за изолация на програмата от останалата система и повишаване на ефективността на кеширането. Като опция е запазена възможността за сборка и с обикновения GNU Make.
• Реализирани са функции за многопоточност — _spawn() и _join(), представляващи универсални обвивки над специфични за различни операционни системи API. Също така се работи върху реализацията на поддръжка за POSIX Threads.
• Предоставена е възможност за използване на ключовата дума _Thread_local за използване на отделни за всеки поток хранилища (TLS, Thread-Local Storage). По подразбиране C runtime инициализира TLS за основния поток, което доведе до увеличаване на минималния размер на изпълнимия файл от 12 до 16 КБ.
• В изпълнимите файлове е добавена поддръжка на параметрите „—ftrace“ и „—strace“ за извеждане в stderr информация за всички повици на функции и системни повици.
• Добавена е поддръжка на системния повик closefrom(), поддържан в Linux 5.9+, FreeBSD 8+ и OpenBSD.
• На платформата Linux производителността на повиците clock_gettime и gettimeofday е увеличена до 10 пъти благодарение на използването на механизма vDSO (virtual dynamic shared object), който позволява прехвърляне на обработчика на системния повик в пространството на потребителя и избягване на смени на контекст.
• Математическите функции за работа с комплексни числа от библиотеката Musl са прехвърлени. Ускорена е работата на много математически функции.
• Предложена е функцията nointernet(), която деактивира мрежовите възможности.
• Добавени са нови функции за ефективно прикрепяне на низове: appendd, appendf, appendr, appends, appendw, appendz, kappendf, kvappendf и vappendf.
• Добавен е защитен вариант на семейството функции kprintf(), предназначен за работа при повишени привилегии.
• Значително е повишена производителността на реализациите SSL, SHA, curve25519 и RSA.

Източник: opennet.ru