Os desenvolvedores de Mozilla lanzaron a primeira versión de llamafile, unha utilidade para crear executábeis universais para executar grandes modelos de linguaxe de aprendizaxe automática (LLM). Usando llamafile, podes coller un ficheiro GGUF con parámetros de modelo de aprendizaxe automática e convertelo nun executábel que se poida executar en seis sistemas operativos diferentes en hardware con procesadores AMD64 e ARM64. O kit de ferramentas está escrito en C/C++ e distribúese baixo a licenza Apache 2.0.
Para executar os modelos, utilízase a estrutura llama.cpp, que implementa o modelo LLaMA en C/C++. Esta estrutura compílase nun ficheiro executábel universal no formato APE (Actually Portable Executable), que se combina co ficheiro do modelo. O código compilado está vinculado á biblioteca C estándar de Cosmopolitan, que permite a creación de ensamblaxes de aplicacións que se executan en Linux, FreeBSD, macOS, OpenBSD, NetBSD e WindowsO código consérvase nas versións para as arquitecturas AMD64 e ARM64 e tamén inclúe compoñentes para descargar cálculos ás GPU NVIDIA (utilízase CUDA).
Fonte: opennet.ru
