Andrzej Janik bemutatta a ZLUDA 5-öt, a CUDA technológia nyílt forráskódú megvalósítását. A projekt célja, hogy lehetővé tegye a módosítatlan CUDA alkalmazások futtatását olyan rendszereken, amelyek nem NVIDIA GPU-val rendelkeznek, közel az azonnali futtatás teljesítményéhez. A projekt kódja Rust nyelven készült, és az MIT és Apache 2.0 licensz alatt terjesztik.
A ZLUDA 5 a projekt második jelentős kiadása, amely Andrzej AMD-nél végzett munkája során a kódbázis tisztítása után jött létre. 2022 óta Andrzej az AMD-nél dolgozott a GPU AMD és a CUDA közötti kompatibilitás rétegének létrehozásán, de 2024-ben a projektet leállították. A szerződés feltételeivel összhangban és az AMD képviselőjétől kapott közzétételi engedély után Andrzej nyilvánosságra hozta az AMD-nél végzett munka során megszerzett kódot, amely lehetővé teszi a CUDA alkalmazások futtatását a ROCm rendszer és a HIP (Heterogén számítási interfész hordozhatósághoz) felett.
Tavaly Andrzej kénytelen volt eltávolítani a kódot a nyilvános hozzáférésből egy ügyvédi levelet követően, amelyből kiderült, hogy az emailes levelezés során adott engedély jogi érvénye kétséges. Ezt követően Andrzej új ZLUDA kiadáson kezdett dolgozni, amely a munkája előtt létező kódalapra épül. A jelenlegi verzió a CUDA-t használó alkalmazások futtatására összpontosít a gépi tanulási feladatok gyorsításában. A projekt jelenleg az AMD GPU-kkal működik, de később az Intel GPU-kra is adaptálva lesz.
A legújabb kiadás kulcsfontosságú fejlesztései:
- Kezdeti támogatást kapott a llm.c, Llama.cpp és PyTorch keretrendszerek ZLUDA feletti indításához, amely lehetővé teszi a nagy nyelvi modellek CUDA-optimalizációk által történő futtatását, amelyek az NVIDIA GPU-kra vonatkoznak.
- Kezdeti támogatás valósult meg a teljesítményjavítást szolgáló cuBLAS, cuBLASLt és nvml könyvtárak használatának indításához.
- Megjelent a zluda_trace réteg a CUDA-t használó alkalmazások nyomkövetésére. A zluda_trace segítségével diagnosztizálhatóak a problémák és az ZLUDA-ban lévő hiányosságok az alkalmazás normál futtatásában.
- Bemutatásra került a zoc (ZLUDA offline compiler) parancssori segédprogram, amely lehetővé teszi az NVIDIA PTX utasításfájlok AMD RDNA köztes reprezentációra történő lefordítását (korábban ez a funkció könyvtári függvények formájában volt elérhető).
- A PTX modulbetöltőjében megvalósult a GPU magokon végrehajtott műveletek gyorsítótárazási mechanizmusa. A gyorsítárazás lehetővé teszi a PTX (Parallel Thread Execution) utasítások gépi kódra való lefordításának erőforrás-igényes műveleteinek újbóli végrehajtásának elkerülését egy adott GPU számára.
Forrás: opennet.ru
