NBD-VRAM veröffentlicht

Ein Open-Source-Projekt wurde veröffentlicht NBD-VRAM, wodurch Sie einen Teil des NVIDIA-GPU-Videospeichers als Auslagerungsspeicher nutzen können in LinuxDas Projekt richtet sich primär an Laptops mit fest verlötetem Arbeitsspeicher (RAM), der nicht erweiterbar ist, aber über eine dedizierte NVIDIA RTX/GTX-Grafikkarte mit ungenutztem Videospeicher (VRAM) verfügt. Der Code ist in C und Shell geschrieben und wird unter einer Lizenz vertrieben. MIT.

Die Idee hinter NBD-VRAM ist einfach: Wenn das System bereits mit dem Auslagern von Daten auf die SSD beginnt, kann man eine weitere Zwischenschicht – den Videospeicher – vor die SSD schalten. Der Autor nennt als Beispiel einen Laptop. RTX 3070-LaptopVon den 8 GB VRAM waren 7 GB als Auslagerungsspeicher reserviert. Zusammen mit RAM, zRAM und SSD-Auslagerungsspeicher verfügte das System über insgesamt ca. 46 GB adressierbaren Speicher. Die erwartete Reihenfolge des Speicherüberlaufs ist wie folgt: Zuerst wird der RAM genutzt, dann der VRAM als schneller Auslagerungsspeicher, dann der zRAM und erst dann die SSD.

Technisch gesehen fügt NBD-VRAM keinen neuen Kernel-Treiber hinzu. Ein kleiner Daemon allokiert den Grafikspeicher über CUDA-Treiber-APIund gibt es dann an den Kern weiter. Linux als Blockgerät durch NBD — Netzwerkblockgerät — über einen Unix-Socket. Nach der Verbindung mit dem Standard-nbd-Client erscheint /dev/nbdX im System, das mit mkswap als reguläres Swap-Laufwerk eingebunden und mit swapon aktiviert werden kann.

Der Autor betont, dass dieser Ansatz aufgrund der Beschränkungen von NVIDIA-Grafikkarten für Endverbraucher gewählt wurde. Ein direkterer Ansatz über die NVIDIA P2P-API auf GeForce-Grafikkarten führt laut seiner Aussage zu einem EINVAL-Fehler, da die entsprechenden Funktionen praktisch nur für professionelle und Servermodelle verfügbar sind. Auch der direkte Zugriff auf BAR1 schlug fehl: Nur ein kleiner Bereich des Speicherbereichs ist zugänglich, und das Lesen des restlichen Bereichs liefert Nullen. Der NBD-Ansatz umgeht diese Einschränkung durch die Verwendung der standardmäßigen CUDA-Kopieroperationen cuMemcpyHtoD und cuMemcpyDtoH.

Capabilities

• VRAM wird wie gewohnt verwendet Linux Wechsel. Nach dem Start stellt der Daemon den Videospeicher als /dev/nbd0 oder ein anderes NBD-Gerät bereit, das dem Kernel als normales Blockgerät erscheint.

• Funktioniert ohne eigenes Kernelmodul. Das Projekt erfordert weder das Schreiben, Erstellen noch die Wartung eines separaten Kernelmoduls, verwendet keine internen NVIDIA-Treibersymbole und sollte Kernel- und Treiberaktualisierungen ohne erneutes Kompilieren überstehen.

• Fokus auf NVIDIA-Grafikkarten für Endverbraucher. Voraussetzungen sind eine CUDA-fähige NVIDIA-GPU, einschließlich Consumer-RTX/GTX-Karten, ein offizieller NVIDIA-Treiber mit libcuda.so.1 und das nbd-Kernelmodul. Linux, nbd-client, gcc und make. Das CUDA Toolkit wird nicht benötigt.

• Systemintegration. Die Installation via install.sh fügt den vram-swap-nbd-Dienst hinzu, der über systemctl gestartet werden kann; nach der Installation ist der Dienst so konfiguriert, dass er beim Systemstart automatisch gestartet wird.

• Swap-Größe und Priorität festlegen. In systemd-unit können Sie VRAM_SETUP_SIZE_MB, die Obergrenze des zugewiesenen VRAM, und VRAM_SWAP_PRIORITY, die Priorität des Auslagerungsgeräts, festlegen. Je höher die Priorität, desto früher wird der Speicher ausgelagert. Linux wird diese Tauschschicht verwenden.

• Die angeforderte Größe wird automatisch reduziert. Wenn die benötigte Menge an VRAM nicht verfügbar ist, versucht der Daemon, die Größe in 512-MiB-Blöcken zu reduzieren, um dennoch die verfügbare Menge zuzuweisen, beispielsweise wenn ein Teil des Speichers bereits vom Compositor oder der Grafiksitzung belegt ist.

• Testszenarien. Das Repository enthält test-nbd.sh für einen Smoke-Test mit 1 MiB Lese-/Schreibzugriff und test-fill.sh für einen Stresstest der gesamten VRAM-Partition.

• Die angegebene Leistung beträgt etwa 1,3 GB/s. Auf einem Laptop mit RTX 3070 maß der Autor sequentielle Schreibvorgänge von 7 GB in 4-MB-Blöcken mit ungefähr 1,3 GB/s.

Szenarios

Laptops mit fest verlötetem Arbeitsspeicher. Das Hauptszenario sind moderne Laptops, bei denen 16 oder 32 GB RAM nicht mehr ausreichen, eine Erweiterung aber nicht möglich ist. Verfügt ein solches Gerät über eine dedizierte RTX-Grafikkarte, kann ein Teil des VRAM als zusätzliche Auslagerungsschicht genutzt werden. Dadurch wird der VRAM zwar nicht zu vollwertigem RAM, aber es kann verhindern, dass das System unter Volllast plötzlich auf die langsame SSD-Auslagerung umschaltet oder aufgrund eines Speichermangels abstürzt.

Stark beanspruchte Arbeitsumgebungen für Entwickler. IDEs, Browser mit Dutzenden von Tabs, Docker-Container, lokale Datenbanken, große Projekt-Builds und Testumgebungen können leicht kurzfristige Spitzen im Speicherverbrauch verursachen. In solchen Szenarien kann NBD-VRAM als Puffer fungieren: Es beschleunigt nicht die reguläre Arbeit, sondern mildert den Moment ab, in dem der Arbeitsspeicher knapp wird.

Reduzierte Auslastung des SSD-Swap-Speichers. Die häufige Nutzung des Auslagerungsspeichers auf einer SSD verlangsamt nicht nur das System, sondern verursacht auch unnötige Schreibvorgänge. Der VRAM-Auslagerungsspeicher kann eine höhere Priorität erhalten, sodass das System bei vollem RAM zuerst Seiten in den Videospeicher auslagert und erst dann auf die SSD zugreift. Dies ist besonders wichtig für Laptops, da die SSD oft fest verbaut oder teuer zu ersetzen ist.

Kombination mit ZRAM. Der Autor beschreibt anschaulich ein Schema, bei dem der VRAM-Swap höhere Priorität erhält und als erstes auf den Speicher zugreift, anschließend der zRAM verwendet wird und die SSD die letzte Verteidigungslinie darstellt. Dieses Schema eignet sich für Workstations und Laptops, bei denen die Systemreaktionsfähigkeit unter Speicherdruck wichtiger ist als eine maximale Vorhersagbarkeit der Latenz.

Lokale KI/LLM-Aufgaben um die GPU herum, aber nicht anstelle des VRAM für das Modell. NBD-VRAM erhöht nicht den für eine CUDA-Anwendung verfügbaren Videospeicher (VRAM) für dieses Modell. Es ist vielmehr das Gegenteil: Anstatt dass RAM als VRAM verwendet wird, dient VRAM als Auslagerungsspeicher für den regulären Speicher. LinuxDaher erlaubt das Projekt kein direktes Laden größerer Modelle auf die GPU. Es könnte jedoch auf einem Rechner nützlich sein, auf dem neben LLM-Inferenz auch ein Browser, eine IDE, Indexer, Python-Umgebungen und Container laufen und auf dem der Arbeitsspeicher knapp wird.

Heim- und experimentelle Arbeitsplätze. Das Projekt ist interessant für Nutzer, deren Grafikkarten außerhalb von Spielen, Rendering oder ML-Aufgaben häufig ungenutzt bleiben. Beispielsweise können 8–12 GB VRAM einer Desktop-GeForce-Grafikkarte vorübergehend in eine zusätzliche Auslagerungsschicht für rechenintensive Kompilierungs-, Datenverarbeitungs- oder Startvorgänge umgewandelt werden. virtuelle Maschinen.

Einschränkungen

NBD-VRAM ist kein Ersatz für RAM. Der Zugriff auf diesen Auslagerungsspeicher erfolgt über folgende Kette: Kernel-Swap → /dev/nbdX → NBD-Treiber → Unix-Socket → Daemon → CUDA-Kopie → VRAM. Daher unterscheiden sich Latenz und Verhalten von echtem RAM. Es handelt sich eher um eine Ausweichlösung oder Zwischenschicht zwischen RAM und SSD als um eine Möglichkeit, den Arbeitsspeicher ohne Nachteile zu erweitern.

Das Projekt benötigt außerdem den offiziellen CUDA-Stack von NVIDIA. Nouveau/Nova sind dafür nicht geeignet, da sie libcuda.so.1 benötigen. Phoronix auch vermerktNBD-VRAM ist speziell für NVIDIA-GPUs für Endverbraucher konzipiert, bei denen alternative Ansätze über die NVIDIA P2P API nicht funktionieren.

Letztendlich ist NBD-VRAM ein kleiner, aber interessanter Systemhack für LinuxEs vollbringt keine Wunder und ersetzt keine RAM-Aufrüstung, ermöglicht aber die Nutzung des ungenutzten Videospeichers als zusätzlichen Auslagerungsspeicher vor der SSD. Bei Laptops mit fest verlötetem Speicher und dedizierter RTX-Grafikkarte kann dies eine praktische Möglichkeit sein, Lastspitzen abzufangen, ohne dass es zu sofortigen Programmabstürzen oder zu schmerzhaften Datenverlusten durch ein langsameres Laufwerk kommt.

Source: linux.org.ru