Mozilla-utviklere har gitt ut den første utgivelsen av llamafile, et verktøy for å lage universelle kjørbare filer for å kjøre store maskinlæringsspråkmodeller (LLM). Ved hjelp av llamafile kan du ta en GGUF-fil med parametere for maskinlæringsmodeller og konvertere den til en kjørbar fil som kan kjøre på seks forskjellige operativsystemer på maskinvare med AMD64- og ARM64-prosessorer. Verktøysettet er skrevet i C/C++ og distribuert under Apache 2.0-lisensen.
Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).
Kilde: opennet.ru
