Os desenvolvedores da empresa Mozilla apresentaram a primeira versão da ferramenta llamafile, que permite criar arquivos executáveis universais para rodar grandes modelos de linguagem de aprendizado de máquina (LLM). Com o llamafile, é possível pegar um arquivo com os parâmetros do modelo de aprendizado de máquina no formato GGUF e transformá-lo em um arquivo executável que pode ser executado em seis sistemas operacionais diferentes em hardware com processadores AMD64 e ARM64. A ferramenta foi escrita em C/C++ e é distribuída sob a licença Apache 2.0.
Para a execução dos modelos, foi utilizado o framework llama.cpp, que implementa o modelo LLaMA em C/C++ e compila-se em um arquivo executável universal no formato APE (Actually Portable Executable), sendo combinado com o arquivo do modelo. O código compilado é vinculado à biblioteca padrão C Cosmopolitan, que permite criar compilações de aplicativos executáveis em Linux, FreeBSD, macOS, OpenBSD, NetBSD e Windows. O código é mantido em versões para as arquiteturas AMD64 e ARM64 e também inclui componentes para realizar cálculos na GPU NVIDIA (usando CUDA).
Fonte: opennet.ru
