Valve 개발자는 Llama.cpp와 함께 작동하도록 RADV 드라이버를 최적화했습니다.

Mesa 25.3의 기반 코드베이스에는 AMD GPU와 Mesa RADV 드라이버가 설치된 시스템에서 Vulkan 백엔드를 사용할 때 대규모 언어 모델을 실행하는 Llama.cpp 엔진의 성능을 크게 향상시키는 변경 사항이 포함되어 있습니다. 최적화된 RADV 드라이버는 일부 llama-bench 테스트에서 신속한 처리("pp" 테스트) 측면에서 AMDVLK 드라이버 및 ROCm 스택보다 31%, 토큰 생성("tg" 테스트) 측면에서 4% 더 빠릅니다. 이러한 최적화는 Vulkan RADV 드라이버와 ACO 셰이더 컴파일러 개발에 참여한 Valve의 Rhys Perry가 수행했습니다.

출처 : opennet.ru