Mozilla 的开发人员推出了 llamafile 实用程序的第一个版本，它允许您创建用于运行大型机器学习语言模型 (LLM) 的通用可执行文件。 使用 llamafile，您可以获取 GGUF 格式的机器学习模型参数文件，并将其转换为可执行文件，该文件可以在 AMD64 和 ARM64 硬件上的六种不同操作系统上运行。 该工具包是用 C/C++ 编写的，并根据 Apache 2.0 许可证分发。
为了执行这些模型，我们使用了 llama.cpp 框架，该框架用 C/C++ 实现了 LLaMA 模型。该框架被编译成 APE（Actually Portable Executable，实际可移植可执行文件）格式的通用可执行文件，并与模型文件合并。编译后的代码链接到标准的 Cosmopolitan C 库，从而可以创建可在 C++ 环境下运行的应用程序程序集。 Linux, 自由系统, macOSOpenBSD、NetBSD 和 Windows该代码保留了 AMD64 和 ARM64 架构的版本，并且还包含将计算卸载到 NVIDIA GPU（使用 CUDA）的组件。
来源： opennet.ru
