Die Entwickler von Mozilla haben die erste Version des Tools llamafile vorgestellt, mit dem universelle ausführbare Dateien zur Ausführung großer Sprachmodelle für maschinelles Lernen (LLM) erstellt werden können. Mit llamafile kann eine Datei mit den Parametern eines maschinellen Lernmodells im GGUF-Format genommen und in eine ausführbare Datei umgewandelt werden, die auf sechs verschiedenen Betriebssystemen auf Hardware mit AMD64- und ARM64-Prozessoren ausgeführt werden kann. Das Werkzeug ist in C/C++ geschrieben und wird unter der Lizenz Apache 2.0 vertrieben.
Für die Ausführung der Modelle wird das Framework llama.cpp verwendet, das das Modell LLaMA in C/C++ implementiert und in eine universelle ausführbare Datei im APE-Format (Actually Portable Executable) kompiliert wird, das mit der Modell-Datei kombiniert wird. Der kompilierte Code wird mit der Standard-C-Bibliothek Cosmopolitan verknüpft, die es ermöglicht, Anwendungsbuilds zu erstellen, die unter Linux, FreeBSD, macOS, OpenBSD, NetBSD und Windows ausgeführt werden können. Der Code wird in Varianten für die Architekturen AMD64 und ARM64 gespeichert und enthält auch Komponenten für das Auslagern von Berechnungen auf NVIDIA-GPUs (CUDA wird verwendet).
Quelle: opennet.ru
