Rapport om utvecklingen av FreeBSD för tredje kvartalet 2019

Publicerad Rapport om utvecklingen av FreeBSD-projektet från juli till september 2019. Bland ändringarna kan nämnas:

• Allmänna och systemfrågor
  • Kärnteamet har i stort sett godkänt möjligheten att inkludera kod som levereras under BSD-licens med ett tilläggsavtal om användning av patent (BSD+Patent), men beslutet om att inkludera varje komponent under denna licens måste godkännas separat;
  • Det första mötet för arbetsgruppen, som skapades för att genomföra migreringen av källkoder från det centraliserade versionshanteringssystemet Subversion till det decentraliserade systemet Git, har ägt rum. Diskussionen om lämpligheten av migreringen pågår fortfarande och det återstår att lösa många frågor (till exempel hur man ska hantera contrib/, huruvida man behöver regenerera hashar i det aktuella git-repositoriet och hur man bäst implementerar testning av commits);
  • Från NetBSD portat KCSAN-verktyget (Kernel Concurrency Sanitizer), som möjliggör att upptäcka uppkomsten av race-conditions mellan kärntrådar som körs på olika CPU;
  • Arbetet pågår för att använda den inbyggda assemblatorn i Clang (IAS) istället för assemblatorn från GNU binutils;
  • Infrastrukturen för Linux-miljöemulering (Linuxulator) har anpassats för att fungera på ARM64-arkitektur. Systemanropet "renameat2" har implementerats. Verktyget strace har förbättrats för att diagnostisera problem i Linux-exekverbara filer som körs i Linuxulator. Problemet med buggningar vid länking av exekverbara filer med den färska glibc har lösts. Portar med Linux-komponenter för Linuxulator har uppdaterats till CentOS 7.7;
  • Inom ramen för Google Summer of Code-programmet har studenterna framgångsrikt genomfört sex projekt: en enhetlig (IPv4/IPv6) ping-verktyg har utvecklats, verktyg för att testa brandväggar och upptäckta buggar i kärnan (Kernel sanitizer) har tagits fram, en modul för mac_ipacl har föreslagits, kod för komprimering av virtuell minne har skrivits och arbetet med att separera portbyggnadsprocessen från lokal installation har genomförts;
  • Projektet för fuzzing-testning av FreeBSD-kärnan fortsätter att utvecklas med hjälp av systemet syzkaller. Under den rapporterade perioden har över tio fel upptäckts och åtgärdats med hjälp av syzkaller. För att köra syzkaller i virtuella maskiner baserade på bhyve har en separat server avsatts, och med hjälp av
    Syzbot har implementerat övervakning av olika FreeBSD-subsystem i Googles infrastruktur. Information om alla kraschade händelser överförs till tjänsten backtrace.io för att förenkla deras gruppering och analys;
  • Arbetet pågår för att uppdatera implementeringen av zlib på kärnnivå.
    Koden relaterad till komprimering har översatts från zlib 1.0.4, som släpptes för över 20 år sedan, till den aktuella kodbasen zlib 1.2.11. För att enhetliggöra åtkomsten till zlib har funktionerna compress, compress2 och uncompress lagts till kärnan. Koden som möjliggör funktionen av PPP-protokollet från netgraph-subsystemet har översatts till att använda systemimplementeringen av zlib, istället för sin egen version av detta bibliotek. De nya zlib implementeringarna inkluderar också subsystemen kern_ctf.c, opencryptodeflate, geom_uzip, subr_compressor,
    if_mxge, bxe updated och ng_deflate;
  • Ett nytt kernelgränssnitt utvecklas sysctlinfo, som gör det möjligt att hitta element i sysctl-parametrars databas, som bearbetas i form av MIB (Management Information Base), och överföra information om objekt till användarutrymmet.
• Säkerhet
  • En kärnmodul har utvecklats mac_ipacl, baserad på TrustedBSD MAC Framework och implementerar ett system för åtkomstkontroll till inställningarna i nätverksstacken för jail-miljöer. Till exempel kan administratören av värdsystemet med hjälp av mac_ipacl förbjuda användaren root i jail-miljön att ändra eller ställa in IP-adresser eller parametrar för nätverksdelar för vissa nätverksgränssnitt. Det föreslagna systemet för mandatåtkomstkontroll möjliggör kan ange listor över IP-adresser och delnät som är tillåtna för Jail, förbjuda installerandet av vissa IP och delnät i Jail eller begränsa ändringen av parametrar endast för vissa nätverksgränssnitt;
  • Företaget Intel har överlåtit projektet för portningen av programvarustack TPM 2.0 (Trusted Platform Module) för interaktion med en säkerhetschip för säker beräkning, som vanligtvis används för verifierad laddning av firmware och OS-laddare. Komponenterna i stacken presenteras i form av portarna security/tpm2-tss, security/tpm2-tools och security/tpm2-abrmd. Porten tpm2-tss inkluderar bibliotek för att använda TPM2 API, tpm2-tools tillhandahåller kommandoradsverktyg för att utföra operationer med TPM, och tpm2-abrmd innehåller en bakgrundsprocess med implementation av komponenterna TPM Access Broker och Resource Manager, som multiplexar förfrågningar från olika användare av TPM till en enhet. Förutom verifierad laddning kan TPM i FreeBSD användas för att förstärka säkerheten för Strongswan IPsec, SSH och TLS genom att utföra kryptografiska operationer på en separat chip.
  • Kärnan för amd64-arkitekturen har anpassats för att kunna laddas med metoden W^X (write XOR execute), som innebär att minnessidor inte kan vara tillgängliga för både skrivning och exekvering samtidigt (kärnan kan nu laddas med exekverbara minnessidor där skrivning är förbjuden). Den nya skyddsmekanismen för kärnan har lagts till i HEAD-grenen och kommer att ingå i utgåvorna av FreeBSD 13.0 och 12.2.
  • För systemanropen mmap och mprotect. genomförd makro PROT_MAX(), som gör det möjligt att definiera en tillåten uppsättning av flaggor för åtkomstbegränsning (PROT_READ, PROT_WRITE, PROT_EXEC) vid framtida modifieringar. Med PROT_MAX() kan utvecklaren förbjuda att ett minnesområde klassificeras som exekverbart eller begära minne som inte tillåter exekvering, men som senare kan ändras till exekverbart. Till exempel kan ett minnesområde öppnas för skrivning endast under den dynamiska länkningen eller JIT-kodgenereringen, men efter att skrivningen är klar begränsas det bara till läsning och exekvering, och därför, i händelse av en kompromiss, kan inte angriparen tillåta skrivning för den aktuella minnesblocket. Förutom PROT_MAX() finns också sysctl vm.imply_prot_max, vars aktivering definierar uppsättningen av tillåtna flaggor baserat på de ursprungliga parametrarna för det första mmap-anropet.
  • För att förstärka skyddet mot utnyttjande av sårbarheter har en mekanism för randomisering av förskjutningar av pekare, som adresserar den initiala stackramen och de strukturer som placeras på stacken med information om omgivningen, programmets startparametrar och data för körbara bilder i ELF-format föreslagits utöver tekniken för randomisering av adressutrymmet (ASLR);
  • Arbetet med att ta bort den osäkra funktionen gets från libc (från och med C11-standarden har denna funktion uteslutits från specifikationen) och justeringen av portar som fortfarande använder denna funktion har genomförts. Ändringen planeras att föreslås i FreeBSD 13.0;
  • Ett experimentellt projekt har startats för att skapa verktyg för orkestrering av jail-miljöer baserat på ramen pot för att skapa och exportera bilder, utformat på liknande sätt som Docker, samt drivrutinen nomad, som tillhandahåller ett gränssnitt för dynamisk körning av applikationer i jail-miljöer. Den föreslagna modellen möjliggör separation av processerna för att skapa jail-miljöer och distribuera applikationer i dem. Ett av projektets mål är att tillhandahålla ett verktyg för att manipulera jail som containrar i stil med Docker;
• Lagringssystem och filsystem
  • Från NetBSD till verktyget "makefs" har flyttats stöd för filsystemet FAT (msdosfs). De förberedda ändringarna möjliggör skapandet av FS-bilder med FAT utan att använda drivrutinen md och utan root-behörigheter;
  • Omarbetningen av drivrutinen för FUSE (File system in USErspace) subsystemet som tillåter skapandet av filsystemimplementationer i användarutrymmet har slutförts. Den ursprungliga drivrutinen hade många fel och var baserad på version FUSE 7.8, som släpptes för 11 år sedan. Inom ramen för uppgraderingsprojektet för drivrutinen har stöd för protokollet FUSE 7.23 införts, kod för att kontrollera behörigheter på kärnans sida har lagts till ("-o default_permissions"), anrop till VOP_MKNOD, VOP_BMAP och VOP_ADVLOCK har lagts till, möjligheten att avbryta FUSE-operationer har säkerställts, stöd för namnlösa kanaler och unix-socketar i fusefs har lagts till, möjligheten att använda kqueue för \/dev\/fuse har införts, uppdatering av monteringsparametrar via "mount -u" har godkänts, stöd för export av fusefs via NFS har implementerats, RLIMIT_FSIZE har beaktats, flaggorna FOPEN_KEEP_CACHE och FUSE_ASYNC_READ har lagts till, betydande prestandaoptimeringar har genomförts och caching-strukturen har förbättrats. Den nya drivrutinen är inkluderad i brancherna head och stable\/12 (har ingått i FreeBSD 12.1);
  • Arbetet med att implementera NFSv4.2 (RFC-7862) för FreeBSD är nästan klart. Under rapporteringsperioden lades huvudfokus på testning. Tester för att kontrollera kompatibiliteten med implementationen från Linux har slutförts, men verifieringen av servern pNFS med NFSv4.2 pågår fortfarande. I allmänhet anses koden nu vara redo för integration i grenen FreeBSD head/current. Den nya versionen av NFS har fått stöd för funktionerna posix_fadvise, posix_fallocate, lägena SEEKHOLE/SEEKDATA i lseek, samt operationer för lokal kopiering av filavsnitt på servern (utan överföring till klienten);
• Stöd för hårdvara
  • Projektet för att förbättra FreeBSD:s prestanda på bärbara datorer har inletts. Den första enheten som genomgått en granskning av hårdvarustödet i FreeBSD är Lenovo X1 Carbon sjunde generationen;
  • CheriBSD, en avknoppning från FreeBSD för forskningsprocessorns arkitektur CHERI (Capability Hardware Enhanced RISC Instructions), har uppdaterats för att stödja den kommande ARM Morello-processorn, som kommer att stödja CHERI-minneshanteringssystemet baserat på Capsicum-projektets skyddsmodell. Morello-chipet planerar beräknas släppas under 2021. Utvecklarna av CheriBSD fortsätter också att följa utvecklingen av den referensprototypen av CHERI baserad på MIPS-arkitekturen;
  • Stödet för RockChip RK3399-chips, som används i RockPro64- och NanoPC-T4-kort, har utökats. Den mest betydande förbättringen har varit stödet för eMMC och utvecklingen av en ny drivrutin för den använda eMMC-kontrollern;
  • Arbetet med att implementera stödet för ARM64 SoC Broadcom BCM5871X med ARMv8 Cortex-A57-processorer, som är avsedda för användning i routrar, gateways och nätverkslagring, har fortsatt. Under rapporteringsperioden
    har stödet för iProc PCIe utökats och möjligheten att använda hårdvarukryptografiska operationer för att accelerera IPsec-arbetet har lagts till.
    Koden förväntas integreras i HEAD-grenen under fjärde kvartalet;
  • Betydande framsteg har noterats i utvecklingen av FreeBSD-porten för powerpc64-plattformen. Fokus ligger på att säkerställa bra prestanda på system med IBM POWER8 och POWER9-processorer, men valfritt stöds även drift på äldre Apple Power Mac, x500 och Amiga A1222. Grenen powerpc*/12 fortsätter att distribueras med gcc 4.2.1, medan branch powerpc*/13 snart kommer att övergå till llvm90. Av 33306 portar byggs 30514 framgångsrikt;
  • Porteringen av FreeBSD för 64-bitars SoC NXP LS1046A baserat på ARMv8 Cortex-A72-processorn med integrerad nätverkspaketaccelerationsmotor, 10 Gb Ethernet, PCIe 3.0, SATA 3.0 och USB 3.0 har fortsatt. Under rapportperioden implementerades stöd för USB 3.0, SD/MMC, I2C, nätverksgränssnittet DPAA och GPIO. Planer finns för att stödja QSPI och optimera prestandan för nätverksgränssnittet. Arbetet förväntas bli klart och inkluderas i HEAD-grenen under fjärde kvartalet 2019.
  • Drivern ena har uppdaterats med stöd för andra generationens ENAv2 (Elastic Network Adapter) nätverksadapter som används i infrastrukturen Elastic Compute Cloud (EC2) för att möjliggöra kommunikation mellan EC2-noder med hastigheter upp till 25 Gb/s. Stödet för NETMAP har lagts till och testats i ena-drivern, samt har minneslayoutanpassningen genomförts för att aktivera LLQ-läget i Amazon EC2 A1-miljöer.
• Applikationer och portsystem
  • Komponenterna i grafikstacken och portar relaterade till xorg har uppdaterats. Portar som använder USE_XORG och XORG_CAT har övergått till USES-ramverket istället för att anropa bsd.xorg.mk via bsd.port.mk. Sådana portar inkluderar nu flaggan "USES=xorg" i make-filer. Funktionaliteten av XORG_CAT har separerats från bsd.xorg.mk och aktiveras nu med flaggan "USES=xorg-cat". Verktyg har lagts till för att direkt skapa xorg-portar från git-repositoriet.
    freedesktop.org, vilket exempelvis gör det möjligt att skapa portar för ännu icke släppta versioner. I framtiden planeras verktyg för att använda byggsystemet meson istället för autotools för att bygga xorg-portar.

    Arbetet med att rensa bort gamla xorg-portar kopplade till redan avvecklade komponenter har genomförts; exempelvis har porten x11/libXp tagits bort, medan portarna x11/Xxf86misc, x11-fonts/libXfontcache och graphics/libGLw har klassificerats som föråldrade.

  • Arbetet med att förbättra stödet för Java 11 och nyare versioner på FreeBSD samt portering av vissa förändringar till Java 8 har genomförts. Efter att stöd för nya funktioner i Java 11 som Java Flight Recorder, HotSpot Serviceability Agent, HotSpot Debugger, DTrace, Javac Server, Java Sound och SCTP implementerades på FreeBSD, har fokus flyttats till att säkerställa att alla kompatibilitetstester passerar. Antalet fel under tester har minskat från 50 till 2.
  • Skrivbordet KDE Plasma, KDE Frameworks, KDE Applications och Qt hålls uppdaterade och har uppgraderas till de senaste versionerna.
  • Portarna med skrivbordet Xfce har uppdaterats till den senaste versionen. 4.14;
  • FreeBSD-portträdet har passerat gränsen på 38000 portar, antalet öppna PR överstiger lite mer än 2000, varav 400 PR fortfarande inte har behandlats. Under rapporteringsperioden har 7340 ändringar gjorts av 169 utvecklare. Två nya deltagare (Santhosh Raju och Dmitri Goutnik) har fått committers rättigheter. En ny version av paketförvaltaren pkg 1.12 har publicerats med stöd för overlay i portträdet och städning av bsd.sites.mk. Bland de betydande versionuppdateringarna i portarna märks: Lazarus 2.0.4, LLVM 9.0, Perl5.30, PostgreSQL 11, Ruby 2.6, Firefox 69.0.1, Firefox-esr 68.1.0, Chromium 76.0;
  • Utvecklingen av projektet fortsätter ClonOS, utvecklande är en specialiserad distribution för distribution av infrastruktur för virtuella servrar. När det gäller de uppgifter som löses liknar ClonOS system som Proxmox, Triton (Joyent), OpenStack, OpenNebula och Amazon AWS, med den huvudsakliga skillnaden att det använder FreeBSD och ger möjlighet att hantera, distribuera och administrera Jail-containrar i FreeBSD och virtuella miljöer baserade på hypervisorerna Bhyve och Xen. Bland de senaste förändringarna märks stödet för
    cloud-init för Linux/BSD VM och cloudbase-init för Windows VM, påbörjad övergång till att använda egna bilder, användning av Jenkins CI för testning av byggen och nytt pkg-repo för installation av
    ClonOS från paketen.

Källa: opennet.ru