Mozilla-utviklere har gitt ut den første utgivelsen av llamafile, et verktøy for å lage universelle kjørbare filer for å kjøre store maskinlæringsspråkmodeller (LLM). Ved hjelp av llamafile kan du ta en GGUF-fil med parametere for maskinlæringsmodeller og konvertere den til en kjørbar fil som kan kjøre på seks forskjellige operativsystemer på maskinvare med AMD64- og ARM64-prosessorer. Verktøysettet er skrevet i C/C++ og distribuert under Apache 2.0-lisensen.
For å kjøre modellene brukes llama.cpp-rammeverket, som implementerer LLaMA-modellen i C/C++. Dette rammeverket kompileres til en universell kjørbar fil i APE-formatet (Actually Portable Executable), som kombineres med modellfilen. Den kompilerte koden er koblet til standard Cosmopolitan C-biblioteket, som tillater opprettelse av applikasjonsassembleringer som kjører i Linux, FreeBSD, macOS, OpenBSD, NetBSD og WindowsKoden beholdes i versjoner for AMD64- og ARM64-arkitekturene, og inkluderer også komponenter for avlasting av beregninger til NVIDIA GPU-er (CUDA brukes).
Kilde: opennet.ru
