Avaldatud NBD-VRAM

Avaldatud avatud projekt NBD-VRAM, mis võimaldab kasutada osa NVIDIA GPU videomälust Linuxi swap-ruumina. Projekt on suunatud peamiselt sülearvutitele, millel on joodetud muutmälu, kus RAM-i ei saa laiendada, kuid millel on diskreetne NVIDIA RTX/GTX graafikakaart, millel on kasutamata VRAM. Kood on kirjutatud C-s ja shellis, jaotatakse litsentsi alusel MIT.

NBD-VRAM idee on lihtne: kui süsteem hakkab juba SSD-le swapima, saab SSD ette seada ühe vahekihina - videomälu. Autor toob näiteks sülearvuti, millel on RTX 3070 Laptop: 8 GB VRAM-ist eraldati 7 GB swap-iks, ja koos RAM-i, zram ja SSD swapiga sai süsteem umbes 46 GB adresseeritavat mälu. Oodatav täitmisjärjekord on järgmine: esmalt kasutatakse RAM-i, seejärel VRAM-i kiire swapina, seejärel zrami ning alles seejärel SSD-d.

Tehniliselt NBD-VRAM ei lisa uut kernel’i draiverit. Väike demon eraldab graafikakaardi mälu läbi CUDA Driver API, seejärel edastab selle Linuxi kerneli jaoks plokkseadmeks läbi NBD — Network Block Device — Unix-soketi peal. Pärast ühendamist tavalise nbd-clientiga ilmub süsteemis /dev/nbdX, mida saab tavalise swapina mkswapiga vormindada ja swaponiga sisse lülitada.

Autor rõhutab eraldi, et selline lähenemine on valitud NVIDIA tarbijagraafikakaartide piirangute tõttu. Otsemineku tee läbi NVIDIA P2P API GeForce’ile, tema sõnul, takerdub EINVAL-i, kuna vastavad võimalused on tegelikult saadaval ainult professionaalsetes ja serverimudelites. Variant otse BAR1-le pöörduda ei töötanud samuti: saadaval on vaid väike kaardistatud ala, samas kui ülejäänud osa lugemine tagastab nullid. NBD-lähenemine ületab selle piirangu, kasutades tavalisi CUDA kopeerimisi cuMemcpyHtoD ja cuMemcpyDtoH.

Võimalused

• Videomälu kasutamine tavalise Linuxi swapina. Pärast käivitamist pakub demon videomälu kui /dev/nbd0 või muud NBD-seadet, mis kernelile näeb välja nagu standardne plokkseade.

• Töötamine ilma eraldi kernel’i moodulita. Projekt ei nõua eraldi kernel mooduli kirjutamist, kompileerimist ja hooldamist, ei kasuta NVIDIA draiveri sisemisi sümboleid ja peaks taluma kernel'i ja draiveri uuendusi ilma ümberkompileerimiseta.

• Suunatus tarbijate NVIDIA GPU-dele. NVIDIA GPU nõuded CUDA toe ja tarbijate RTX/GTX kaardiga, ametlik NVIDIA draiver libcuda.so.1, Linuxi tuuma nbd moodul, nbd-client, gcc ja make. CUDA Toolkit ei ole vajalik.

• systemd integreerimine. Installimine läbi install.sh lisab vram-swap-nbd teenuse, mida saab käivitada läbi systemctl; pärast installimist on teenus automaatselt lubatud käivituma süsteemi käivitamisel.

• Swap suuruse ja prioriteedi seadistamine. systemd-unitis saab määrata VRAM_SETUP_SIZE_MB, see tähendab maksimaalset eraldatavat VRAM-i, ja VRAM_SWAP_PRIORITY, see tähendab swap-seadme prioriteeti. Mida kõrgem on prioriteet, seda varem Linux kasutab seda swap-kihina.

• Automaatne vajalikku suurust vähendamine. Kui nõutav VRAM-i maht pole saadaval, üritab demon vähendada suurust 512 MiB plokkides, et ikkagi eraldada saadaval maht, näiteks juhul, kui osa mälu on juba hõivatud komposiitori või graafilise seansi poolt.

• Kontrollimisstsenaariumid. Repositooriumis on test-nbd.sh smoketest 1 MiB kirjutamise/lugemisega ja test-fill.sh VRAM-i osa stressitestimiseks.

• Kinnitatud jõudlus umbes 1,3 GB/s. RTX 3070 Laptopiga mõõtis autor järjestikust kirjutamist 7 GB plokkidena 4 MB, umbes 1,3 GB/s tasemel.

Rakenduste stsenaariumid.

Sülearvutid, kus RAM on jootetud. Peamine stsenaarium on kaasaegsed sülearvutid, kus 16 või 32 GB RAM on juba ebapiisav, kuid seda pole võimalik laiendada. Kui sellises masinas on diskreetne RTX kaardiga, saab osa VRAM-ist kasutada täiendava swap-kihina. See ei muuda VRAM-i täielikuks RAM-iks, kuid võib päästa süsteemi aeglustava SSD swapist või OOM-killerist tipukoormuste eel.

Raskete arendustöökeskkondade jaoks. IDE, veebibrauserid tosinate vahelehtede, Docker konteinerite, kohalike andmebaaside, suurte projektide ehitamise ja testimiskeskkondadega loovad kergesti lühiajalisi mälutarbimise tippe. Sellises stsenaariumis võib NBD-VRAM töötada puhverena: mitte kiirendama tavapärast töötlemist, vaid leevendama hetke, kui RAM on otsas.

SSD swap-i koormuse vähendamine. Kui swap SSD-l kasutatakse tihti, ei ole see mitte ainult aeglasem, vaid loob ka tarbetut kirjutamist salvestusse. VRAM-swap võib seada kõrgema prioriteedi, et RAM-i ülemäärasuse korral süsteem esmalt vabastaks leheküljed videomälusse ja alles seejärel pöörduda SSD poole. See on eriti asjakohane sülearvutite puhul, kus SSD on sageli ka mittevahetatav või kallis asendada.

Kombinatsioon zram-iga. Autor kirjeldab otse skeemi, kus VRAM swap saab kõrgema prioriteedi ja aktsepteerib esimesena 'mälu ülejooksu', zram kasutatakse järgmisel tasemel ja SSD jääb viimaseks kaitseliiniks. Selline skeem võib olla kasulik tööjaamade ja sülearvutite puhul, kus on tähtsam säilitada süsteemi reageerimisvõime mälu puudumisel kui saavutada maksimaalne viivituste prognoositavus.

Kohalikud AI/LLM-ülesanded GPU ümber, kuid mitte VRAM-i asemel mudeli jaoks. NBD-VRAM ei suurenda CUDA-rakendusele kättesaadavat videomälu nagu VRAM mudeli jaoks. See on vastupidine stsenaarium: mitte RAM ei kasutata VRAM-ina, vaid VRAM-i kasutatakse Linuxi tavalise mäluna. Seetõttu ei võimalda projekt otseselt laadida GPU-sse suuremat mudelit. Kuid see võib olla kasulik masinal, kus LLM-analüüsi kõrval töötavad brauserid, IDE, indekseerijad, Python-ümbrikud ja konteinerid ning süsteemi RAM hakkab otsa saama.

Kodused ja eksperimentaalsed tööjaamad. Projekt huvitab kasutajaid, kelle graafika kaart tihti mängudest, renderdamisest või ML-ülesannetest enam-vähem seisab. Näiteks 8–12 GB VRAM-desktop GeForce saab ajutiselt muuta täiendavaks swap-kihiks raskete kompileerimise, andmete töötlemise või käivitamise ülesannete jaoks. virtuaalmasinate.

Piirangud

NBD-VRAM ei asenda operaatiivs mälu. Sellise swap-i juurde pääsemine toimub ahelas kernel swap → /dev/nbdX → nbd-draiver → Unix-soket → daemon → CUDA-kopeerimine → VRAM, seega viivitused ja käitumine erinevad tõelisest RAM-ist. See on pigem hädaolukorra või vahekiht RAM-i ja SSD vahel kui viis "mälu lisamiseks" ilma tagajärgedeta.

Samuti on projekt seotud ametliku NVIDIA stakiga koos CUDA-ga. Nouveau/Nova ei sobi selleks, kuna on vajalik libcuda.so.1. Phoronix märkis samuti, et NBD-VRAM on loodud just tarbijatele mõeldud NVIDIA GPU-de jaoks, kus alternatiivsed lähenemised NVIDIA P2P API kaudu ei toimi.

Lõppkokkuvõttes on NBD-VRAM väike, kuid huvitav süsteemihäkk Linuxile: see ei tee imesid ega asenda RAM-i uuendamist, kuid võimaldab kasutada ooteolekus olevat graafikamuistut kui lisast swap-ruumi enne SSD-d. Sülearvutitele, mille mälu on joodetud ja millel on diskreetne RTX-kaart, võib see osutuda praktiliseks viisiks üleelada tipukoormusi ilma rakenduste kohese kokkuvarisemiseta või valuliku üleminekuta aeglasele salvestusseadmele.

Allikas: linux.org.ru