Utgivning av den standardiserade C-biblioteket Cosmopolitan 2.0, som utvecklas för bärbara körbara filer

Utgåvan av projektet Cosmopolitan 2.0 har publicerats, som utvecklar ett standard C-bibliotek och ett universellt format för körbara filer som kan användas för att distribuera program för olika operativsystem utan att använda tolkar och virtuella maskiner. Resultatet som erhålls genom att kompilera i GCC och Clang sammanställs i en statiskt länkad universell körbar fil, som är lämplig för körning i vilken distribution som helst av Linux, macOS, Windows, FreeBSD, OpenBSD, NetBSD och till och med aktivering från BIOS. Kodprojektet distribueras under ISC-licensen (en förenklad variant av MIT/BSD).

Containern för att skapa universella körbara filer är baserad på att kombinera segmentspecifika för olika operativsystem och rubriker (PE, ELF, MACHO, OPENBSD) i en fil, vilket kombinerar flera olika format som används i Unix, Windows och macOS. För att möjliggöra körningen av en körbar fil i Windows och Unix-system används ett knep som involverar att koda Windows PE-filer som ett shell-skript, med hjälp av det faktum att Thompson Shell inte använder skriptmarkörerna "#!". För att skapa program som inkluderar flera filer (sammanställning av alla resurser i en fil) stöds skapandet av en körbar fil i form av ett särskilt utformat ZIP-arkiv. Schemat för det föreslagna formatet (exempel på applikation hello.com):

MZqFpD=’ BIOS BOOT SECTOR’ exec 7 $(command -v $0) printf ‘\177ELF…LINKER-ENCODED-FREEBSD-HEADER’ >&7 exec "${0}" "${@}" exec qemu-x86_64 "${0}" "${@}" exit 1 REAL MODE… ELF SEGMENTS… OPENBSD NOTE… MACHO HEADERS… CODE AND DATA… ZIP DIRECTORY…

I början av filen anges etiketten "MZqFpD", som uppfattas som rubrik för Windows PE-formatet. Denna sekvens avkodas också i instruktionen "pop %r10 ; jno 0x4a ; jo 0x4a", och strängen "\177ELF" i instruktionen "jg 0x47", som används för att dirigera till ingångspunkten. I Unix-system körs shell-kod, där kommandot exec används med överlåtelse av körbar kod genom en namnlös kanal. En begränsning av den föreslagna metoden är att körning i Unix-liknande operativsystem endast är möjligt med hjälp av skal som stöder kompatibilitetsläget med Thompson Shell.

Anropet qemu-x86_64 är avsett för att uppnå ytterligare portabilitet och möjliggör körning av kod kompilerad för x86_64-arkitekturen på plattformar som inte är x86, till exempel på Raspberry Pi-kort och enheter från Apple, utrustade med ARM-processorer. Projektet kan också användas för att skapa fristående applikationer som fungerar utan operativsystem (bare metal). I sådana applikationer kopplas en bootloader till den exekverbara filen, och programmet fungerar som det bootbara operativsystemet.

I det standard C-bibliotek som utvecklas av projektet libc föreslås 2024 funktioner (i det första utskicket fanns det omkring 1400 funktioner). Cosmopolitan presterar lika snabbt som glibc och överträffar tydligt Musl och Newlib, samtidigt som Cosmopolitan är betydligt mindre i kodstorlek än glibc och ungefär motsvarar Musl och Newlib. För att optimera ofta anropade funktioner som memcpy och strlen används dessutom en teknik som kallas „trickle-down performance”, där en makro-wrapper används för funktionsanropet, vilket informerar kompileraren om de CPU-register som används under körningen, vilket sparar resurser genom att endast spara de föränderliga registren.

Bland förändringarna i den nya versionen:

• Schemat för att nå interna resurser inom zip-filer har ändrats (vid öppning av filer används nu vanliga sökvägar /zip/… istället för att referera med prefixet zip:..). På liknande sätt har möjlighet till användning av sökvägar av typen „/c/…” istället för „C:/…” införts för åtkomst till diskar i Windows.
• En ny bootloader APE (Actually Portable Executable) har föreslagits, som definierar formatet för universella exekverbara filer. Den nya bootloadern använder mmap för att placera programmet i minnet och ändrar inte innehållet i realtid. Om det behövs kan den universella exekverbara filen konverteras till vanliga exekverbara filer som är kopplade till specifika plattformar.
• På Linux-plattformen har möjligheten att använda kärnmodulen binfmt_misc för att köra APE-program implementerats. Det påpekas att användningen av binfmt_misc är den snabbaste metoden för att köra.
• För Linux föreslås en implementation av systemanropen pledge() och unveil(), som utvecklas av OpenBSD-projektet. Ett API erbjuds för att använda dessa anrop i program skrivna i C, C++, Python och Redbean, samt verktyget pledge.com för att isolera godtyckliga processer.
• För kompilering används verktyget Landlock Make — en version av GNU Make med strängare beroendekontroll och användning av systemanropet Landlock för att isolera programmet från resten av systemet och öka cache-effektiviteten. Möjligheten att kompilera med vanlig GNU Make har bevarats som ett alternativ.
• Funktioner för multitrådning har implementerats — _spawn() och _join(), som utgör universella wrapper runt API:er specifika för olika operativsystem. Arbetet med att implementera stöd för POSIX-trådar pågår.
• Det har tillhandahållits möjlighet att använda nyckelordet _Thread_local för att använda separata lagringsutrymmen för varje tråd (TLS, Thread-Local Storage). Som standard initialiserar C-runtime TLS för huvudtråden, vilket har lett till att den minimi storlek på den körbara filen har ökat från 12 till 16 KB.
• I de körbara filerna har stöd för parametrarna "—ftrace" och "—strace" lagts till för att skriva ut information om alla funktions- och systemanrop till stderr.
• Stöd för systemanropet closefrom() har lagts till, vilket stöds i Linux 5.9+, FreeBSD 8+ och OpenBSD.
• På Linux-plattformen har prestandan för anropen clock_gettime och gettimeofday ökat upp till 10 gånger tack vare användningen av vDSO (virtual dynamic shared object) mekanismen, som gör det möjligt att flytta systemanropsbehandlaren till användutrymmet och undvika kontextbyten.
• Matematiska funktioner för arbete med komplexa tal har överförts från Musl-biblioteket. Många matematiska funktioner har blivit snabbare.
• Funktionen nointernet() har föreslagits för att stänga av nätverksfunktioner.
• Nya funktioner för effektiv strängsammanfogning har lagts till: appendd, appendf, appendr, appends, appendw, appendz, kappendf, kvappendf och vappendf.
• En säker variant av familjen funktioner kprintf() har lagts till, avsedd för användning med höjda privilegier.
• Prestandan för implementationerna har ökat avsevärt SSL, SHA, curve25519 och RSA.

Källa: opennet.ru