Разработчиците от Mozilla представиха първото издание на утилитата llamafile, която позволява създаването на универсални изпълними файлове за стартиране на големи езикови модели на машинно обучение (LLM). С помощта на llamafile можете да вземете файл с параметри на модел на машинно обучение във формат GGUF и да го преобразувате в изпълним файл, който може да се стартира в шест различни операционни системи на оборудване с процесори AMD64 и ARM64. Инструментът е написан на C/C++ и се разпространява под лицензия Apache 2.0.
За изпълнението на моделите се използва рамката llama.cpp с реализация на модела LLaMA на C/C++, която компилира до универсален изпълним файл в формат APE (Actually Portable Executable), комбиниран с файла на модела. Компилираният код се свързва със стандартната библиотека на C, Cosmopolitan, което дава възможност за създаване на приложения, които могат да работят в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Кодът се запазва във варианти за архитектурите AMD64 и ARM64 и включва компоненти за прехвърляне на изчисления на GPU от NVIDIA (използва се CUDA).
Източник: opennet.ru
