Los desarrolladores de Mozilla han presentado la primera versión de la herramienta llamafile, que permite crear archivos ejecutables universales para ejecutar grandes modelos de lenguaje de aprendizaje automático (LLM). Con llamafile, puedes tomar un archivo con los parámetros del modelo de aprendizaje automático en formato GGUF y convertirlo en un archivo ejecutable que se puede ejecutar en seis sistemas operativos diferentes en hardware con procesadores AMD64 y ARM64. La herramienta está escrita en C/C++ y se distribuye bajo la licencia Apache 2.0.
Para la ejecución de los modelos se utiliza el marco llama.cpp con la implementación del modelo LLaMA en C/C++, que se compila en un archivo ejecutable universal en formato APE (Actually Portable Executable), que se combina con el archivo del modelo. El código compilado se vincula con la biblioteca estándar de C Cosmopolitan, que permite crear compilaciones de aplicaciones que se ejecutan en Linux, FreeBSD, macOS, OpenBSD, NetBSD y Windows. El código se guarda en versiones para arquitecturas AMD64 y ARM64, e incluye componentes para realizar cálculos en GPU NVIDIA (utiliza CUDA).
Fuente: opennet.ru
