Първо издание на инструмента llamafile от Mozilla

Разработчиците от Mozilla представиха първото издание на утилита llamafile, която позволява създаването на универсални изпълними файлове за стартиране на големи езикови модели за машинно обучение (LLM). С llamafile можете да вземете файл с параметри на модела в GGUF формат и да го преобразувате в изпълним файл, който може да се стартира на шест различни операционни системи на хардуер с AMD64 и ARM64 процесори. Инструментариумът е написан на C/C++ и се разпространява под лицензия Apache 2.0.

За изпълнението на моделите е използван рамка llama.cpp с реализация на модела LLaMA на C/C++, която се компилира в универсален изпълним файл в APE (Actually Portable Executable) формат, комбиниран с файла на модела. Компилираният код е свързан със стандартната C библиотека Cosmopolitan, което позволява създаването на приложения, които могат да се стартират в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Кодът се запазва в варианти за архитектури AMD64 и ARM64 и включва компоненти за прехвърляне на изчисления на NVIDIA GPU (използва се CUDA).

Източник: opennet.ru