Utviklerne fra Mozilla har lansert den første versjonen av verktøyet llamafile, som gjør det mulig å lage universelle kjørbare filer for å kjøre store språkmodeller for maskinlæring (LLM). Med llamafile kan du ta en fil med parametere for en maskinlæringsmodell i GGUF-format og konvertere den til en kjørbar fil som kan kjøres på seks forskjellige operativsystemer på maskinvare med AMD64- og ARM64-prosessorer. Verktøysettet er skrevet i C/C++ og distribueres under Apache 2.0-lisens.
For å kjøre modellene brukes rammeverket llama.cpp med implementeringen av LLaMA-modellen i C/C++, som kompileres til en universell kjørbar fil i APE-format (Actually Portable Executable), som kombineres med modellfilen. Den kompilerte koden knyttes til standard C-biblioteket Cosmopolitan, som gir mulighet for å lage applikasjonsbygg som kan kjøres på Linux, FreeBSD, macOS, OpenBSD, NetBSD og Windows. Koden bevares i varianter for AMD64- og ARM64-arkitekturer, og inkluderer også komponenter for å gjøre beregninger på NVIDIA GPU (ved hjelp av CUDA).
Kilde: opennet.ru
