Release av standard C-biblioteket Cosmopolitan 2.0, utvecklat för bärbara körbara filer

Projektet Cosmopolitan 2.0, som utvecklar ett standardbibliotek i C och ett universellt körbart format som kan användas för att distribuera program över olika operativsystem utan behov av tolkar eller virtuella maskiner, har släppts. Kompilering med GCC och Clang resulterar i en statiskt länkad universell körbar fil som kan köras på vilken distribution som helst. Linux, macOS, Windows, FreeBSD, OpenBSD, NetBSD och till och med BIOS-åtkomst. Projektets kod distribueras under ISC-licensen (en förenklad version av MIT/BSD-licensen).

Behållaren för att skapa universella körbara filer är baserad på att kombinera segment och rubriker (PE, ELF, MACHO, OPENBSD) specifika för olika operativsystem i en fil, och kombinera flera olika format som används i Unix, Windows и macOSFör att säkerställa att en körbar fil kan startas i Windows och Unix-system använder ett trick relaterat till filkodning Windows PE som ett shellskript, vilket utnyttjar Thompson Shells avsaknad av skriptmarkören "#!". För att skapa program som innehåller flera filer (kombinera alla resurser till en enda fil) kan den körbara filen skapas som ett specialformaterat ZIP-arkiv. Det föreslagna formatet (exempel: hello.com-applikation):

MZqFpD='BIOS BOOT SECTOR' exec 7 $(command -v $0) printf '\177ELF...LINKER-ENCODED-FREEBSD-HEADER' >&7 exec "$0" "$@" exec qemu-x86_64 "$0" "$@" exit 1 REAL MODE... ELF SEGMENT... OPENBSD OBS... MACHO HEADERS...KOD OCH DATA...ZIP-KATALOG...

I början av filen anges etiketten "MZqFpD", vilket uppfattas som formathuvudet Windows PE. Denna sekvens avkodas också till instruktionen "pop %r10; jno 0x4a; jo 0x4a" och strängen "\177ELF" till instruktionen "jg 0x47", vilka används för omdirigering till startpunkten. På Unix-system exekveras skalkod med hjälp av exec-kommandot, varvid den exekverbara koden skickas genom en namnlös pipe. En begränsning med den föreslagna metoden är att den bara kan köras på Unix-liknande operativsystem som använder skal som stöder Thompson Shell-kompatibilitetsläge.

Anropet qemu-x86_64 tillhandahålls för ytterligare portabilitet, vilket gör att kod som kompilerats för x86_64-arkitekturen kan köras på icke-x86-plattformar, såsom Raspberry Pi-kort och Apple-enheter utrustade med ARM-processorer. Projektet kan också användas för att skapa fristående applikationer som körs utan operativsystem (bare metal). I sådana applikationer är en bootloader kopplad till den körbara filen, och programmet fungerar som ett startbart operativsystem.

Standardbiblioteket libc, som utvecklats av projektet, erbjuder 2024 funktioner (den första utgåvan hade cirka 1400 funktioner). Prestandamässigt fungerar Cosmopolitan lika snabbt som glibc och ligger märkbart före Musl och Newlib, trots att Cosmopolitan är en storleksordning mindre än glibc i kodstorlek och är ungefär lika med Musl och Newlib. För att optimera ofta anropade funktioner som memcpy och strlen används dessutom "trickle-down performance"-tekniken, där en makrobindning används för att anropa en funktion, där kompilatorn informeras om de CPU-register som är involverade i kodkörningen, vilket gör det möjligt att spara resurser samtidigt som CPU-tillståndet bibehålls genom att endast de ändringsbara registren sparas.

Bland ändringarna i den nya utgåvan:

• Hur interna resurser nås i en zip-fil har ändrats (när filer öppnas används nu de vanliga sökvägarna /zip/… istället för att nå dem med prefixet zip:..). På liknande sätt är åtkomst till diskar i Windows Möjligheten att använda sökvägar som "/c/..." istället för "C:/..." har introducerats.
• En ny APE-laddare (Actually Portable Executable) har föreslagits, som definierar formatet för universella körbara filer. Den nya laddaren använder mmap för att placera programmet i minnet och ändrar inte längre innehållet i farten. Vid behov kan den universella körbara filen konverteras till vanliga körbara filer kopplade till enskilda plattformar.
• På plattformen Linux Möjligheten att använda kärnmodulen binfmt_misc för att starta APE-program har implementerats. Det bör noteras att binfmt_misc är den snabbaste startmetoden.
• för Linux En implementering av systemanropen pledge() och unveil() som utvecklats av OpenBSD-projektet föreslås. Ett API tillhandahålls för att använda dessa anrop i C-, C++-, Python- och Redbean-program, samt verktyget pledge.com för att isolera godtyckliga processer.
• Verktyget Landlock Make används för assembler — en version av GNU Make med en strängare beroendekontroll och användningen av Landlock-systemanropet för att isolera programmet från resten av systemet och förbättra cachningseffektiviteten. Möjligheten att bygga med vanlig GNU Make behålls som ett alternativ.
• Funktioner för multitrådning har implementerats — _spawn() och _join(), vilka är universella bindningar över API:er specifika för olika operativsystem. Arbete pågår också för att implementera stöd för POSIX-trådar.
• Möjligheten att använda nyckelordet _Thread_local för att använda TLS (Thread-Local Storage) per tråd har introducerats. Som standard initierar C-körningen TLS för huvudtråden, vilket har ökat den minsta storleken på körbara filer från 12 till 16 KB.
• Lade till stöd för parametrarna "--ftrace" och "--strace" till körbara filer för att skriva ut information om alla funktionsanrop och systemanrop till stderr.
• Lade till stöd för systemanropet closefrom(), stöds i Linux 5.9+, FreeBSD 8+ och OpenBSD.
• På plattformen Linux Prestandan för clock_gettime- och gettimeofday-anrop har ökats upp till 10 gånger genom att använda vDSO-mekanismen (virtuellt dynamiskt delat objekt), vilket gör det möjligt att flytta systemanropshanteraren till användarutrymmet och undvika kontextväxlar.
• Matematiska funktioner för att arbeta med komplexa tal har överförts från Musl-biblioteket. Arbetet med många matematiska funktioner har accelererats.
• En nointernet()-funktion har föreslagits för att inaktivera nätverksfunktioner.
• Nya funktioner har lagts till för effektiv strängtillägg: appendd, appendf, appendr, appends, appendw, appendz, kappendf, kvappendf och vappendf.
• Lade till en skyddad version av kprintf()-funktionsfamiljen, utformad för att fungera med förhöjda privilegier.
• Avsevärt förbättrad prestanda för implementeringar SSL, SHA, kurva25519 och RSA.

Källa: opennet.ru