Një zhvillues i Valve ka optimizuar drajverin RADV që të funksionojë me Llama.cpp.
Baza e kodit që qëndron në themel të Mesa 25.3 përfshin ndryshime që përmirësojnë ndjeshëm performancën e motorit Llama.cpp për ekzekutimin e modeleve të mëdha gjuhësore kur përdoret backend-i Vulkan në sisteme me GPU AMD dhe drajverin Mesa RADV. Drajveri i optimizuar RADV është 31% më i shpejtë se drajveri AMDVLK dhe grupi ROCm në disa teste llama-bench kur përpunohen kërkesat (testet "pp" janë […]
