De ontwikkelaars van Mozilla hebben de eerste versie van de tool llamafile gepresenteerd, waarmee universele uitvoerbare bestanden kunnen worden gemaakt voor het draaien van grote taalmodellen voor machine learning (LLM). Met llamafile is het mogelijk om een bestand met modelparameters in het GGUF-formaat om te zetten in een uitvoerbaar bestand dat op zes verschillende besturingssystemen kan draaien op hardware met AMD64- en ARM64-processoren. De tool is geschreven in C/C++ en wordt verspreid onder de Apache 2.0-licentie.
Voor de uitvoering van de modellen wordt het framework llama.cpp gebruikt, dat de LLaMA-modelimplementatie in C/C++ bevat en dat compileert naar een universeel uitvoerbaar bestand in APE-formaat (Actually Portable Executable), dat wordt samengevoegd met het modelbestand. De gecompileerde code is verbonden met de standaard C-bibliotheek Cosmopolitan, die de mogelijkheid biedt om applicaties te creƫren die draaien in Linux, FreeBSD, macOS, OpenBSD, NetBSD en Windows. De code wordt opgeslagen in varianten voor de AMD64- en ARM64-architecturen en bevat ook componenten voor het uitvoeren van berekeningen op NVIDIA GPU's (met CUDA).
Bron: opennet.ru
