Väljaanne ZLUDA 5, universaalne avatud CUDA tehnoloogia implementeerimine.

Andrzej Janik tutvustas ZLUDA 5, avatud lähtekoodiga CUDA tehnoloogia teostust. Projekti eesmärk on võimaldada muutmata CUDA rakenduste käivitamist GPU-de süsteemides, mis erinevad NVIDIA GPU-dest, saavutades jõudluse, mis on lähedane rakenduste jõudlusele, mida täidetakse ilma kihistusteta. Projekti kood on kirjutatud Rusti keeles ja levitatakse MIT ja Apache 2.0 litsentside alusel.

ZLUDA 5 on olnud projekti teine oluline väljaanne, mis on kujundatud pärast koodibaasi koristamist Andrzeja töötamise ajal AMD-s kirjutatud koodist. Alates 2022. aastast töötas Andrzej AMD-s, et luua GPU AMD ühilduvuse kiht CUDA-ga, kuid 2024. aastaks projekt lõpetati. Vastavalt lepingu tingimustele ja pärast AMD esindajalt avaldamisluba saamist, avas Andrzej oma AMD-s töötamise ajal loodud koodid, mis võimaldavad käitada CUDA rakendusi ROCm-i ja HIP (Heterogeneous-computing Interface for Portability) töötlusstack'i peal.

Eelmisel aastal pidi Andrzej avatud lähtekoodiga koodi eemaldama pärast advokaatide kirja, milles anti mõista, et e-kirjade vahetuses antud luba ei oma õiguslikku jõudu. Pärast seda alustas Andrzej uue ZLUDA versiooni kallal töötamist, mis põhineb koodibaasil, mis eksisteeris enne Andrzeji töö algust AMD-s. Praeguses vormis on arendus keskendunud rakenduste täitmisele, mis kasutavad CUDA-d masinõppega seotud ülesannete kiirendamiseks. Projekt piirab esialgu tööd AMD GPU-dega, kuid tulevikus kohandatakse seda Intel GPU-dele.

Uue väljaande peamised täiustused:

• Lisatud algne tugi llm.c, Llama.cpp ja PyTorch raamistikku käivitamisele ZLUDA peal, et täita suuri keelemudeleid NVIDIA GPU-de jaoks CUDA-optimeeringutega.
• Töötab algne tugi rakenduste käitamiseks, mis kasutavad jõudluse tõstmiseks cuBLAS, cuBLASLt ja nvml teeke.
• Lisatud zluda_trace kiht rakenduste jälgimiseks, mis kasutavad CUDA-d. Zluda_trace abil saab diagonaalmeid probleeme ja tuvastada ZLUDA puudusi, mis takistavad rakenduse normaalset täitmist.
• Esitatud on käsurea utiliit zoc (ZLUDA offline kompilaator), mis võimaldab kompileerida NVIDIA PTX-i käskluse faile AMD RDNA vahevormiks (varem oli see funktsionaalsus saadaval raamatukogufunktsioonide kujul).
• PTX moodulite laadimisprogrammis on rakendatud GPU tuumade töötluse vahemälu mehhanism. Vahemälu võimaldab vältida ressursimahukate PTX (Parallel Thread Execution) käskluste kompileerimise täiendavat täitmist valitud GPU jaoks.
  
  Allikas: opennet.ru