NBD-VRAM publicerad

Öppet projekt publicerat NBD-VRAM, som gör det möjligt att använda en del av NVIDIA GPU:s videominne som swap-utrymme i Linux. Projektet är främst inriktat på bärbara datorer med lödd RAM, där RAM inte kan utökas, men det finns ett dedikerat NVIDIA RTX/GTX grafikkort med oanvänt VRAM. Koden är skriven i C och shell och distribueras under licensen MIT.

Idén med NBD-VRAM är enkel: om systemet redan börjar använda swap på SSD, kan vi lägga till ett mellanlager innan SSD – videominnet. Författaren ger ett exempel med en bärbar dator med RTX 3070 Laptop: från 8 GB VRAM tilldelades 7 GB för swap, och tillsammans med RAM, zram och SSD swap fick systemet cirka 46 GB adresserbart minne. Den föreslagna ordningen för överflöde är sådan: först används RAM, sedan VRAM som snabb swap, därefter zram, och först då SSD.

Tekniskt sett lägger NBD-VRAM inte till en ny kärndrivrutin. En liten demon tilldelar grafikminnet via CUDA Driver API, och ger det till Linux-kärnan som en blockenhet via NBD — Network Block Device — ovanpå en Unix-socket. Efter anslutning via standard nbd-client dyker /dev/nbdX upp i systemet, som kan partitioneras som vanlig swap genom mkswap och aktiveras via swapon.

Författaren betonar särskilt att detta tillvägagångssätt valdes på grund av begränsningarna hos konsumentgrafikkort från NVIDIA. En mer direkt väg genom NVIDIA P2P API på GeForce, enligt honom, stöter på EINVAL, eftersom motsvarande funktioner i praktiken endast är tillgängliga för professionella och servermodeller. Alternativet med direkt åtkomst till BAR1 fungerade inte heller: endast ett litet avbildat område var tillgängligt, och läsning från resten returnerade nollor. NBD-tillvägagångssättet kringgår denna begränsning, eftersom det använder vanliga CUDA-kopior cuMemcpyHtoD och cuMemcpyDtoH.

Funktioner

• Användning av VRAM som vanlig Linux-swap. Efter att ha startat demon tillhandahåller den videominne som /dev/nbd0 eller annan NBD-enhet, som för kärnan ser ut som en vanlig blockenhet.

• Fungerar utan egen kärnmodul. Projektet kräver inte att skriva, kompilera och underhålla en separat kernelmodul, använder inte interna symboler från NVIDIA-drivrutinen och ska klara kärn- och drivrutinsuppdateringar utan att behöva kompilera om.

• Inriktning på konsument-NVIDIA GPU. Kravena innefattar NVIDIA GPU med CUDA-stöd, inklusive konsument RTX/GTX-kort, officiell NVIDIA-drivrutin med libcuda.so.1, nbd-modul i Linux-kärnan, nbd-client, gcc och make. CUDA Toolkit behövs inte.

• systemd-integration. Installation via install.sh lägger till tjänsten vram-swap-nbd, som kan startas via systemctl; efter installationen aktiveras tjänsten för automatisk start vid uppstart.

• Konfigurering av storlek och prioritet för swap. I systemd-enheten kan VRAM_SETUP_SIZE_MB anges, det vill säga det övre gränsvärdet för tilldelad VRAM, och VRAM_SWAP_PRIORITY, vilket innebär prioriteten för swap-enheten. Ju högre prioritet, desto tidigare kommer Linux att använda detta swap-lager.

• Automatisk minskning av begärd storlek. Om den begärda mängden VRAM inte är tillgänglig försöker demon att minska storleken i block om 512 MiB för att fortfarande kunna allokera tillgänglig mängd, till exempel om en del av minnet redan är upptaget av kompositorn eller en grafisk session.

• Testscenarier. I arkivet finns test-nbd.sh för röktest med skrivning/läsning på 1 MiB och test-fill.sh för stresstest av hela VRAM-partitionen.

• Uppgiven prestanda runt 1,3 GB/s. På RTX 3070 Laptop mätte författaren sekventiell skrivning av 7 GB i block om 4 MB på ungefär 1,3 GB/s.

Användningsscenarier

Bärbara datorer med integrerad RAM. Det främsta scenariot är moderna bärbara datorer där 16 eller 32 GB RAM redan inte räcker, men att utöka den är omöjligt. Om en sådan maskin har ett dedikerat RTX-kort kan en del av VRAM användas som ett extra swap-lager. Detta gör inte VRAM till fullvärdig RAM men kan rädda systemet från att plötsligt gå in i långsam SSD-swap eller från OOM-killer vid toppbelastningar.

Tunga arbetsmiljöer för utvecklare. IDE, webbläsare med dussintals flikar, Docker-containrar, lokala databaser, byggande av stora projekt och testmiljöer kan lätt skapa kortvariga toppar i minnesanvändningen. I ett sådant scenario kan NBD-VRAM fungera som en buffert: inte snabba upp vanligt arbete, utan mildra ögonblicket när RAM tar slut.

Minska belastningen på SSD-swap. Om swap på SSD används ofta, är det inte bara långsammare utan skapar också onödig skrivning på lagringsenheten. VRAM-swap kan sättas med högre prioritet så att systemet först avlastar sidor till videominnet vid minnesbrist och först därefter använder SSD. Detta är särskilt relevant för bärbara datorer, där SSD ofta också är svåråtkomlig eller dyr att byta ut.

Kombination med zram. Författaren beskriver direkt ett schema där VRAM swap får högre prioritet och tar första "översvämningen" av minnet, zram används på nästa nivå och SSD förblir sista försvarslinjen. Detta schema kan vara fördelaktigt för arbetsstationer och bärbara datorer, där det är viktigare att upprätthålla systemets responsivitet vid minnesbrist än att uppnå maximal förutsägbarhet i fördröjningar.

Lokala AI/LLM-uppgifter kring GPU, men inte istället för VRAM för modellen. NBD-VRAM ökar inte den videominne som är tillgänglig för CUDA-programmet som VRAM för modellen. Detta är ett omvänt scenario: inte RAM används som VRAM, utan VRAM används som swap för vanlig Linux-minne. Därför kommer projektet inte direkt att tillåta att ladda in en större modell i GPU. Men det kan vara användbart på en maskin där en webbläsare, IDE, indexerare, Python-miljöer och containrar körs bredvid LLM-inferens och systemets RAM börjar ta slut.

Hemmabaserade och experimentella arbetsstationer. Projektet är intressant för användare vars grafikkort ofta står stilla utanför spel, rendering eller ML-uppgifter. Till exempel kan 8–12 GB VRAM på en skrivbords-GeForce tillfälligt omvandlas till ett extra lager swap för tunga uppgifter som kompilering, databehandling eller körning. virtuella maskiner.

Begränsningar

NBD-VRAM är inte en ersättning för RAM-minne. Åtkomst till sådan swap går genom kedjan kernel swap → /dev/nbdX → nbd-drivrutin → Unix-socket → demon → CUDA-kopiering → VRAM, så fördröjningar och beteende kommer att skilja sig från verkligt RAM. Det är snarare ett nödläge eller ett intermediärt lager mellan RAM och SSD, snarare än ett sätt att "lägga till minne" utan konsekvenser.

Projektet är också beroende av den officiella NVIDIA-stacken med CUDA. Nouveau/Nova passar inte för det, eftersom libcuda.so.1 krävs. Phoronix noterar också, att NBD-VRAM skapades specifikt för konsument-NVIDIA GPU:er, där alternativa metoder genom NVIDIA P2P API inte fungerar.

I det stora hela är NBD-VRAM en liten men intressant systemhack för Linux: den gör inga mirakel och ersätter inte en RAM-uppgradering, men möjliggör användning av oanvänd videominne som ett extra lager swap innan SSD:n. För laptops med fastlödd minne och diskret RTX-kort kan detta visa sig vara ett praktiskt sätt att klara av toppbelastningar utan omedelbara appnedgångar eller smärtsamma övergångar till långsam lagring.

Källa: linux.org.ru