Andrzej Janik esitles ZLUDA 5, avatud rakendust CUDA tehnoloogiale. Projekti eesmärk on võimaldada töötada muutmata CUDA rakendustel GPU-dega, mis ei ole NVIDIA, pakkudes jõudlust, mis on lähedane rakenduste jõudlusele, mida täidetakse ilma kihtideta. Projekti kood on kirjutatud keeles Rust ja levitatakse litsentside MIT ja Apache 2.0 alusel.
ZLUDA 5 on teine oluline projekti väljaanne, mis on loodud pärast koodibaasi puhastamist Andrzeji töö käigus AMD-s arendatud koodist. Alates 2022. aastast töötas Andrzej AMD-s, et luua kiht, mis toetab AMD GPU-de ühilduvust CUDA-ga, kuid 2024. aastal projekt lõpetati. Vastavalt lepingu tingimustele ja pärast AMD esindaja avaldust lubada avaldamist avas Andrzej oma soovituste koodi, mis loodi tema töö ajal AMD-s ja mis võimaldab CUDA rakendusi käitada ROCm kihi ja HIP (Heterogeneous-computing Interface for Portability) runtime'i kohal.
Eelmisel aastal pidi Andrzej avatud juurdepääsu sulgema pärast advokaatide kirja, mis selgitas, et e-posti vahetuses antud luba ei ole juriidiliselt siduv. Pärast seda hakkas Andrzej töötama ZLUDA uue väljaande kallal, mis põhineb koodibaasil, mis eksisteeris enne tema töö algust AMD-s. Käesolevas vormis on arendus keskendunud rakenduste käitamisele, mis kasutavad CUDA-d masinõppega seotud ülesannete kiirendamiseks. Projekti hetkejaoks on piiratud töötamine AMD GPU-del, kuid tulevikus kohandatakse see ka Intel GPU-dele.
Uue väljaande põhieesmärgid:
- Kasutusele on võetud esialgne tugi llm.c, Llama.cpp ja PyTorch raamistike käitamiseks ZLUDA kohal, et töötada suuremate keelemudelitega, kasutades CUDA optimeerimisi, mis on rakendatud NVIDIA GPU-dele.
- Käivitati esialgne tugi rakenduste käitamiseks, mis kasutavad jõudluse parandamiseks raamatukogusid cuBLAS, cuBLASLt ja nvml.
- Lisatud on zluda_trace kiht rakenduste jälgimiseks, mis kasutavad CUDA-d. zluda_trace abil on võimalik diagnoosida probleeme ja tuvastada ZLUDA puudusi, mis takistavad rakenduse normaalset täitmist.
- Esitati käsurežiimi utiliit zoc (ZLUDA offline kompilaator), mis võimaldab kompileerida NVIDIA PTX-i käske AMD RDNA vahevormiks (varem oli see funktsionaalsus saadaval teekide funktsioonidena).
- PTX moodulite laadijas on rakendatud GPU südamike täitmise mehaanika vahemälu. Vahemälu aitab vältida korduvaid ressursimahukaid PTX (Paralleelne Thread Execution) käsu kompileerimise operatsioone masinkoodiks antud GPU jaoks.
Allikas: opennet.ru
