NBD-VRAM on avaldatud

Avalikustatud avatud projekt NBD-VRAM, mis võimaldab kasutada osa NVIDIA GPU graafikamuistest kui swap-ruumi Linuxis. Projekt on suunatud eelkõige sülearvutitele, mille operatiivmälu on joodetud, kus RAMi ei saa laiendada, kuid süsteemis on eraldi NVIDIA RTX/GTX graafikakaart, millel on kasutamata VRAM. Kood on kirjutatud C ja shellis ning seda levitatakse litsentsi alusel MIT.

NBD-VRAMi idee on lihtne: kui süsteem hakkab juba vahetama SSD-le, võib SSD ette paigaldada veel ühe vahekihina — graafikamuistest. Autor toob näite sülearvutist, mis RTX 3070 Laptop: 8 GB VRAMist eraldati 7 GB swapiks ning kokku, koos RAMi, zrami ja SSD swapiga, sai süsteem umbes 46 GB adresseeritavat mälu. Eeldatav ülevoolu järjekord on järgmine: esmalt kasutatakse RAMi, seejärel VRAMi kiire swapina, seejärel zrami ja lõpuks SSD-d.

Tehniliselt ei lisa NBD-VRAM uut kernelidraiverit. Väike deemon eraldab graafikakaardi mälu läbi CUDA Driver API, seejärel edastab selle Linuxi tuumale plokk-seadmest läbi NBD — Network Block Device — Unix-soketi peal. Pärast ühendamist standardse nbd-clientiga ilmub süsteemi /dev/nbdX, mida saab tavalise swapina mälestada läbi mkswap ja aktiveerida läbi swapon.

Autor rõhutab, et selline lähenemine on valitud NVIDIA tarbija graafikakaartide piirangute tõttu. Otsene tee NVIDIA P2P API kaudu GeForce'ile, tema sõnul, takerduks EINVAL-ile, kuna vastavad omadused on tegelikult saadaval ainult professionaalsetele ja serveri mudelitele. Otsene suhtlemine BAR1-ga ei toimi ka: saadaval on vaid väike kaart, samas kui ülejäänud osa lugemine tagastab nullid. NBD-lähenemine ületab selle piirangu, kuna kasutab tavalisi CUDA-kopimisi cuMemcpyHtoD ja cuMemcpyDtoH.

Võimalused

• VRAMi kasutamine kui tavaline Linuxi swap. Pärast käivitamist annab deemon graafikamuistest kui /dev/nbd0 või muu NBD-seade, mis tuuma jaoks näeb välja nagu tavaline plokk-seade.

• Töötamine ilma oma kernelimoodulita. Projekt ei nõua eraldi kernelimooduli kirjutamist, koostamist ja hooldamist, ei kasuta NVIDIA-draiveri sisemisi sümboleid ja peaks taluma tuuma ja draiveri uuendusi ilma uuesti koostamiseta.

• Suunitlus tarbija NVIDIA GPU-dele. Nõuetes on välja toodud NVIDIA GPU-d, mis toetavad CUDA-d, sealhulgas tarbija RTX/GTX kaardid, ametlik NVIDIA draiver koos libcuda.so.1, Linuxi tuuma nbd moodul, nbd-client, gcc ja make. CUDA Toolkit ei ole sel juhul vajalik.

• systemd-integratsioon. Paigaldamine läbi install.sh lisab teenuse vram-swap-nbd, mida saab käivitada läbi systemctl; pärast paigaldamist aktiveeritakse teenus automaatseks käivitamiseks käivitamisel.

• Swap suuruse ja prioriteedi seadistamine. systemd-unit'is saab määrata VRAM_SETUP_SIZE_MB, mis on määratud eraldatud VRAMi ülemiseks piiriks, ja VRAM_SWAP_PRIORITY, mis on swap-seadme prioriteet. Mida kõrgem on prioriteet, seda varem Linux seda swap-kihti kasutab.

• Automaatne nõutud suuruse vähendamine. Kui nõutav VRAM maht ei ole saadaval, üritab deemon suurust vähendada 512 MiB blokina, et ikkagi eraldada saadaval maht, näiteks kui osa mälu on juba hõivatud komposiitoriga või graafilise sessiooniga.

• Kontrollskriptid. Kataloogis on test-nbd.sh smoki-testimiseks, kirjutades/ lugedes 1 MiB ja test-fill.sh kogu VRAM-osa koormustestmiseks.

• Teatatud jõudlus umbes 1,3 GB/s. RTX 3070 Laptop-l mõõtis autor järjestikuse kirjutamise 7 GB suurustes blokides 4 MB umbes 1,3 GB/s tasemel.

Rakendusskenaarid

Sülearvutid, millel on joodetud RAM. Peamine stsenaarium on kaasaegsed sülearvutid, kus 16 või 32 GB operatiivmälu on juba liiga vähe, kuid seda ei saa laiendada. Kui sellises seadmes on eraldi RTX-kaart, saab osa VRAMist kasutada lisanduvaks swap-kihtiks. See ei muuda VRAMi täieõiguslikuks RAM-iks, kuid võib päästa süsteemi järsust aeglasemasse SSD swapi minemisest või OOM-tapjast tipnõudluse korral.

Arendaja raske töökeskkond. IDE, brauser kümnete vahelehtedega, Docker-konteinerid, kohalikud andmebaasid, suurte projektide koostamine ja testkeskkonnad loovad kergesti lühiajalisi mälu tarbimise tippusid. Sellises stsenaariumis võib NBD-VRAM toimida puhvrina: ei kiirenda tavapärast tööd, vaid leevendab hetke, kui RAM lõpeb.

SSD swapi koormuse vähendamine. Kui SSD swap on sageli kasutuses, ei ole see mitte ainult aeglasem, vaid loob ka liigset kirjutamist salvestusseadmest. VRAM-swap'i võib seadistada kõrgema prioriteediga, et RAM-i ülevoolu korral süsteem esiteks nihutaks lehti graafikamuistesse ja alles seejärel pöörduda SSD poole. See on eriti aktuaalne sülearvutite puhul, kus SSD on ka sageli eemaldamatu või kallis vahetada.

Zrami kombinatsioon. Autor kirjeldab selgelt skeemi, kus VRAM-i swap saab kõrgemat prioriteeti ja aktsepteerib esimese „mälu üleujutuse”, zram kasutatakse järgmise astmena ning SSD jääb viimaseks kaitseliiniks. Selline skeem võib olla kasulik tööjaamade ja sülearvutite jaoks, kus on tähtsam säilitada süsteemi reageerimisvõime mälu nappuse korral kui saavutada maksimaalne viivituste prognoositavus.

Kohalikud AI/LLM-ülesanded GPU ümber, kuid mitte VRAM-i mudeli asemel. NBD-VRAM ei suurenda videomälu, mis on saadaval CUDA-rakendusele nagu VRAM mudeli jaoks. See on vastupidine stsenaarium: mitte RAM-i kasutatakse VRAM-ina, vaid VRAM-i kasutatakse Linuxi tavalise mälu swapina. Seetõttu ei võimalda projekt otse laadida GPU-sse suuremat mudelit. Kuid see võib olla kasulik masinal, kus koos LLM-i järeldusprotsessiga töötavad brauserid, IDE-d, indekseerijad, Python-keskkonnad ja konteinerid, ning süsteemi RAM hakkab otsa saama.

Kodus ja eksperimentaalsetes tööjaamades. Projekt on huvitav kasutajatele, kelle graafikakaart jääb sageli tühjaks väljaspool mänge, renderdamist või ML-ülesandeid. Näiteks 8–12 GB VRAM-i desktopi GeForce'i saab ajutiselt muuta täiendavaks swap-kihiks raskete kompileerimise, andmete töötlemise või käitamise ülesannete jaoks. virtuaalmasinad.

Piirangud

NBD-VRAM ei ole operatiivmälu asendamine. Juhtimine sellesse swap-i toimub kettina kernel swap → /dev/nbdX → nbd-draiver → Unix-soket → demon → CUDA-kopeerimine → VRAM, seega viivitused ja käitumine on erinevad kui tõelisel RAM-il. See on pigem hädaolukorra või vahekiht RAM-i ja SSD vahel kui viis „mälu lisamiseks” ilma tagajärgedeta.

Samuti on projekt seotud ametliku NVIDIA ja CUDA-stekiga. Nouveau/Nova ei sobi selleks, kuna nõutakse libcuda.so.1. Phoronix märgib samuti, et NBD-VRAM on loodud just tarbijate NVIDIA GPU-de jaoks, kus alternatiivsed lähenemisviisid läbi NVIDIA P2P API ei toimi.

Kokkuvõttes on NBD-VRAM väike, kuid huvitav süsteemi häkk Linuxile: see ei tee imesid ega asenda RAM-i uuendamist, kuid võimaldab kasutada tühjaks jäävat videomälu täiendava swap-etapis enne SSD-d. Sülearvutite jaoks, kus mälu on keevitatud ja kus on diskreetne RTX-kaart, võib see olla praktiline viis püsida tipukoormuste ajal ilma rakenduste kohese kokkuvarisemise või valuliku aeglase salvestusse minekuta.

Allikas: linux.org.ru