Первый выпуск инструмента llamafile от Mozilla

Разработчики из компании Mozilla представили первый выпуск утилиты llamafile, позволяющей создавать универсальные исполняемые файлы для запуска больших языковых моделей машинного обучения (LLM). При помощи llamafile можно взять файл с параметрами модели машинного обучения в формате GGUF и преобразовать его в исполняемый файл, который может запускаться в шести различных операционных системах на оборудовании с процессорами AMD64 и ARM64. Инструментарий написан на С/С++ и распространяется под лицензией Apache 2.0.

Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).

Источник: opennet.ru