Utgåvan ZLUDA 5, en universell öppen implementation av CUDA-teknologi

Andrzej Janik presenterade ZLUDA 5, en öppen implementation av CUDA-teknologi. Projektets syfte är att möjliggöra körning av oförändrade CUDA-applikationer på system med GPU:er som inte är NVIDIA, med prestanda nära den hos applikationer som körs utan mellanlager. Projektkoden är skriven i Rust och sprids under licenserna MIT och Apache 2.0.

ZLUDA 5 blev den andra betydande versionen av projektet, som formades efter att kodbasen rensats från kod utvecklad under Andrzejs tid på AMD. Sedan 2022 har Andrzej arbetat på AMD med att skapa ett lager för GPU-kompatibilitet med CUDA, men projektet lades ned 2024. Enligt kontraktets villkor och efter att ha fått tillstånd att publicera från en representant på AMD, öppnade Andrzej koden för arbete som gjorts under tiden på AMD och som möjliggör körning av CUDA-applikationer ovanpå ROCm-stacken och runtime HIP (Heterogeneous-computing Interface for Portability).

Förra året tvingades Andrzej ta bort koden från öppen tillgång efter ett brev från jurister som klargjorde att tillståndet som gavs i e-postkonversationen inte hade någon juridisk giltighet. Efter detta började Andrzej arbeta med en ny version av ZLUDA, baserad på en kodbas som existerade före hans tid på AMD. För närvarande är utvecklingen fokuserad på att köra applikationer som använder CUDA för att snabba upp maskininlärningsrelaterade uppgifter. Projektet är för närvarande begränsat till arbete med AMD-GPU:er, men kommer i framtiden att anpassas för Intel-GPU:er.

Nyckelförbättringar i den nya versionen:

• Initierat stöd för att köra ramverken llm.c, Llama.cpp och PyTorch ovanpå ZLUDA för att utföra stora språkmodeller med CUDA-optimeringar som används för NVIDIA-GPU:er.
• Initierat stöd för att köra applikationer som använder cuBLAS, cuBLASLt och nvml-bibliotek för att öka prestandan.
• Tillagd mellanlager zluda_trace för spårning av applikationer som använder CUDA. Med zluda_trace kan man diagnostisera problem och identifiera brister i ZLUDA som hindrar normal körning av applikationen.
• Ett kommandoradsverktyg, zoc (ZLUDA offline-kompilator), har presenterats, vilket gör det möjligt att kompilera filer med NVIDIA PTX-instruktioner till ett mellanliggande format för AMD RDNA (denna funktionalitet var tidigare tillgänglig i form av bibliotekfunktioner).
• Det har implementerats en cachningsmekanism för GPU-kärnorna i PTX-modulens laddare. Cachning möjliggör att undvika att resurssky consuming kompilering av PTX-instruktioner (Parallel Thread Execution) till maskinkod för en given GPU körs om.
  
  Källa: opennet.ru