Die Entwickler von Mozilla haben die erste Version des Tools llamafile vorgestellt, das die Erstellung universeller ausführbarer Dateien zur Nutzung großer Sprachmodelle für maschinelles Lernen (LLM) ermöglicht. Mit llamafile können Sie eine Datei mit den Parametern eines maschinellen Lernmodells im GGUF-Format nehmen und in eine ausführbare Datei umwandeln, die auf sechs verschiedenen Betriebssystemen auf AMD64- und ARM64-Prozessoren ausgeführt werden kann. Das Tool ist in C/C++ geschrieben und wird unter der Apache 2.0-Lizenz verbreitet.
Für die Durchführung von Modellen wird das Framework llama.cpp verwendet, das die LLaMA-Modelle in C/C++ implementiert und in eine universelle ausführbare Datei im APE-Format (Actually Portable Executable) kompiliert, die mit der Modell-Datei verbunden ist. Der kompilierte Code bindet sich an die Standard-C-Bibliothek Cosmopolitan, die die Erstellung von Anwendungs-Builds ermöglicht, die unter Linux, FreeBSD, macOS, OpenBSD, NetBSD und Windows ausgeführt werden können. Der Code wird für die Architekturen AMD64 und ARM64 gespeichert und enthält auch Komponenten zur Auslagerung von Berechnungen auf NVIDIA-GPUs (unter Verwendung von CUDA).
Quelle: opennet.ru
