Udviklerne fra Mozilla har præsenteret den første version af værktøjet llamafile, der muliggør oprettelse af universelle eksekverbare filer til kørsel af store sprogmodeller for maskinlæring (LLM). Med llamafile kan du tage en fil med parametre til maskinlæringsmodellen i GGUF-format og konvertere den til en eksekverbar fil, der kan køre på seks forskellige operativsystemer på hardware med AMD64 og ARM64 processorer. Værktøjet er skrevet i C/C++ og distribueres under Apache 2.0-licensen.
For at køre modellerne anvendes rammeværket llama.cpp med implementeringen af LLaMA-modellen i C/C++, som kompilere til en universel eksekverbar fil i APE-format (Actually Portable Executable), der kombineres med modelfilen. Den kompilerede kode bindes til den standard C-bibliotek Cosmopolitan, som muliggør oprettelse af applikationer, der kan køre på Linux, FreeBSD, macOS, OpenBSD, NetBSD og Windows. Koden gemmes i versioner til AMD64 og ARM64-arkitekturer og inkluderer også komponenter til at udføre beregninger på NVIDIA GPU'er (CUDA anvendes).
Kilde: opennet.ru
