Rapport om utvecklingen av FreeBSD för andra kvartalet 2019

Publicerad Rapport om utvecklingen av projektet FreeBSD från april till juni 2019. Bland förändringarna kan nämnas:

• Allmänna och systemfrågor
  • Kärnteamet har beslutat att inrätta en arbetsgrupp för att undersöka möjligheten att överföra källtexter från det centraliserade systemet för hantering av källtexter Subversion till det decentraliserade systemet Git.
  • Fuzzing-testning av FreeBSD-kärnan har genomförts med hjälp av systemet syzkaller och en rad fel som identifierades har åtgärdats. Ett lager för fuzzing-testning av bibliotek har lagts till för kompatibilitet med 32-bitarsmiljöer på system med 64-bitars kärna. Möjligheten att köra syzkaller i virtuella maskiner baserade på bhyve har implementerats. Under nästa steg planeras det att utöka testningen av systemanrop, använda LLVM-sanitizer för att kontrollera kärnan, använda netdump för att spara kärndumpar under krascher vid fuzzing-testning osv.
  • Arbetet med att uppdatera implementationen av zlib på kärnnivå har inletts. För att ge kärnan tillgång till zlib-koden har katalogen contrib/zlib döpts om till sys/contrib/zlib, och header-filen crc.h har också döpts om för att undvika konflikter med zlib/crc.h. Utdaterad kod som är beroende av zlib och inflate har rensats. Det planeras att möjliggöra kompilerings av kärnan med både den gamla och den nya versionen av zlib för att gradvis övergå till den nya versionen av funktioner som använder komprimering;
  • Infrastrukturen för emulering av Linux-miljö (Linuxulator) har uppdaterats. Stödet för Linux-felsökningsverktyg, såsom strace, har utökats. Paketet linux-c7-strace har lagts till i portarna, vilket kan användas för att spåra Linux-exekverbara filer istället för de inbyggda verktygen truss och ktrace, som ännu inte kan avkoda vissa specifika Linux-flaggor och strukturer. Dessutom har paketet linux-ltp med Linux Test Project-exekverbara filer lagts till och kompatibilitetsproblem med exekverbara filer som har länkas med nya versioner av glibc har lösts;
  • Implementeringen av operationer för fördröjd invalidation av bindningar till fysiska minnessidor (delayed invalidation) i pmap-mekanismen har övergått till att använda en låsless köhanteringsalgoritm, vilket har löst skalbarhetsproblem vid utförande av ett stort antal parallella unmap-operationer.
  • Blockering av vnode har ändrats i samband med systemanrop av typen execve(), vilket har ökat effektiviteten vid samtidig körning av execve() för samma fil (till exempel vid byggprocesser med parallell körning av kompilatorer);
• Säkerhet
  • I hypervisorn bhyve har stödet för live-migrering av gästmiljöer från en värd till en annan samt funktionaliteten för att spara/återställa fortsatts förbättras. Detta möjliggör att frysa en gästsystem och spara tillståndet i en fil för att senare återuppta körningen.
  • Genom användning av biblioteken libvdsk har stöd för diskavbildningar i QCOW2-format lagts till i bhyve. För att fungera krävs installation av
    en särskilt modifierad version av bhyve, som har omvandlats för att använda filoperationhanterare baserade på libvdsk. Under den rapporterade perioden har också arbete utförts i libvdsk för att förenkla integrationen av nytt formatstöd, förbättra läs- och skrivprestanda och lägga till stöd för Copy-On-Write. De återstående uppgifterna inkluderar integrering av libvdsk i huvudkomponenten av bhyve;
  • Till portarna har ett system för insamling av trafikdata lagts till
    Maltrail, vilket möjliggör skapande av fällor för skadliga nätverksförfrågningar (IP och domäner kontrolleras mot svarta listor) och skickar information om upptäckt aktivitet till en centraliserad server för senare blockering eller analys av attackförsök;
  • Till portarna har även plattformar för att upptäcka attacker, analysera loggar och övervaka filintegritet lagts till Wazuh (en fork av Ossec med stöd för integration med ELK-Stack);
• Nätverkssystemet
  • Den uppdaterade ena-drivern stöder andra generationens nätverksadaptrar ENAv2 (Elastic Network Adapter), som används i Elastic Compute Cloud (EC2) för att organisera kommunikation mellan EC2-noder med hastigheter upp till 25 Gb/s. I ena-drivern har stöd för NETMAP lagts till.
  • I FreeBSD HEAD har en ny MMC/SD-stack antagits, baserad på CAM-ramverket, som gör det möjligt att ansluta enheter med SDIO (Secure Digital I/O) gränssnitt. SDIO används exempelvis i WiFi och Bluetooth-moduler på många plattor, som Raspberry Pi 3. Den nya stacken möjliggör också användning av CAM-gränssnittet för att skicka SD-kommandon från användarrum-applikationer, vilket ger möjlighet att skapa enhetsdrivrutiner som fungerar på användarnivå. Arbetet med att utveckla drivrutiner för Broadcom:s trådlösa chip, som fungerar i FullMAC-läget (chipet kör en liknande operativsystemimplementation med sin egen trådlösa stack för 802.11), har påbörjats.
  • Arbetet med att implementera NFSv4.2 (RFC-7862) för FreeBSD pågår. Den nya versionen av NFS har lagt till stöd för funktioner som posix_fadvise, posix_fallocate, och lägena SEEKHOLE/SEEKDATA i lseek, samt operationer för lokal kopiering av fildelar på servern (utan att överföra till klienten).

    För närvarande har FreeBSD redan implementerat grundläggande stöd för operationerna LayoutError, IOAdvise, Allocate och Copy. Återstår att implementera operationen Seek, som är nödvändig för att använda lseek(SEEKHOLE/SEEKDATA) med NFS. Stödet för NFSv4.2 planeras att inkluderas i FreeBSD 13.

• Lagringssystem och filsystem
  • Projektet för att omarbeta drivrutinen för FUSE (File system in USErspace) närmar sig sitt slut, vilket möjliggör skapande av filsystemimplementationer i användarrummet. Den ursprungligen levererade drivrutinen är föråldrad och innehåller många fel. Inom ramen för projektet för att modernisera drivrutinen har stöd för protokollet FUSE 7.23 implementerats (tidigare version 7.8 stöddes, släppt för 11 år sedan), kod har lagts till för att kontrollera åtkomsträttigheter på kärnnivå ("-o default_permissions"), anrop av VOP_MKNOD, VOP_BMAP och VOP_ADVLOCK har lagts till, möjlighet att avbryta FUSE-operationer har säkerställts, stöd för namnlösa rör och Unix-sockets i fusefs har lagts till, möjligheten att använda kqueue för /dev/fuse har införts, uppdatering av monteringsparametrar via "mount -u" har godkänts, stöd för att exportera fusefs via NFS har implementerats, hantering av RLIMIT_FSIZE har införts, flaggor som FOPEN_KEEP_CACHE och FUSE_ASYNC_READ har lagts till, betydande prestandaoptimeringar har genomförts och cacheorganisationen har förbättrats.
  • I koden för sidbyte av minnesutrymmet i växlingsminnet (swap pager) har stöd för operationen BIO_DELETE lagts till, vilket gör det möjligt att använda kommandot TRIM vid borttagning av block från SSD-enheter för att öka deras livslängd.
• Stöd för hårdvara
  • Arbetet med att implementera stöd för ARM64 SoC Broadcom BCM5871X med ARMv8 Cortex-A57-processorer, som riktar sig mot användning i routrar, gateways och nätverkslagring, fortsätter. Under rapportperioden har stödet för interna och externa iProc PCIe-bussar förbättrats, stöd för BNXT Ethernet har lagts till, och arbete pågår för att aktivera den inbyggda kryptomotoren för att snabba upp IPsec. Integrationen av koden i HEAD-grenen förväntas under andra halvåret.
  • Arbetet med att stödja den 64-bitars SoC NXP LS1046A baserad på ARMv8 Cortex-A72-processorn med en integrerad motor för acceleration av nätverkspaketbehandling, 10 Gb Ethernet, PCIe 3.0, SATA 3.0 och USB 3.0 har inletts. Stöd för grundplattformen (multi-user SMP) och SATA 3.0 har redan implementerats. Stöd för USB 3.0, SD/MMC och I2C är under utveckling. Planer finns för stöd för Ethernet, GPIO och QSPI. Arbetet beräknas vara klart och ingå i HEAD-grenen under fjärde kvartalet 2019.
  • Drivrutinerna mlx5en och mlx5ib för Ethernet- och InfiniBand-adaptrar från Mellanox ConnectX-4 [Lx], ConnectX-5 [Ex] och ConnectX-6 [Dx] har uppdaterats. Stöd för Mellanox Socket Direct-adaptrar (ConnectX-6) har lagts till, vilket möjliggör en bandbredd på upp till 200 Gb/s på PCIe Gen 3.0. För multiprocessorchipparna "BlueField" har stöd för RShim-drivrutinen lagts till. Paketet mstflint med ett set diagnosverktyg för Mellanox-adaptrar har lagts till portarna.
• Applikationer och portsystem
  • Komponenterna i det grafiska stapeln har uppdaterats. Drivrutinen drm.ko (Direct Rendering Manager) har portats från kärna Linux 5.0. Denna drivrutin betraktas som experimentell och har lagts till i portträdet som graphics/drm-devel-kmod. Eftersom drivrutinen använder det uppdaterade ramverket Linux KPI för kompatibilitet med DRM API i Linux-kärnan, krävs FreeBSD CURRENT för att den ska fungera. Även drm-drivrutinen vboxvideo.ko för virtuell GPU i VirtualBox har portats från Linux. Mesa-paketet har uppdaterats till version 18.3.2 och konverterats till att använda LLVM från porten devel/llvm80 istället för devel/llvm60.
  • FreeBSD:s portträd har passerat 37000 portar, och antalet öppna PR har hållit sig på 2146. Under rapporteringsperioden har 7837 ändringar genomförts av 172 utvecklare. Tre nya deltagare har fått committrättigheter. Bland de betydande versionuppdateringarna i portarna finns: MySQL 5.7, Python 3.6, Ruby 2.5, Samba 4.8, Julia 1.0, Firefox 68.0, Chromium 75.0.3770.100. Alla portar skrivna i Go har konverterats för att använda flaggan „USES=go“. Flaggan „URES=cabal“ har lagts till för paketmanagern Cabal, som används för Haskell-kod. Strikt läge för stackskydd har aktiverats. Python 3.6 föreslås som standard i stället för 2.7.
  • En release av verktyget nsysctl 1.0, som erbjuder en alternativ version av /sbin/sysctl, som använder libxo för utmatning och ger en utökad uppsättning alternativ. Nsysctl kan användas för att tydligt övervaka tillståndet för sysctl-värden och presentera information om objekt i strukturerad form. Utmatning i formaten XML, JSON och HTML är möjlig;

Källa: opennet.ru