A Mozilla fejlesztői bemutatták a llamafile eszköz első kiadását, amely lehetővé teszi univerzális végrehajtható fájlok létrehozását nagy nyelvi modellek (LLM) elindításához. A llamafile segítségével egy GGUF formátumú gépi tanulási modell paramétereit tartalmazó fájl átírható olyan végrehajtható fájlra, amely hat különböző operációs rendszeren futtatható AMD64 és ARM64 architektúrájú processzorokon. Az eszköz C/C++ nyelven készült, és Apache 2.0 licenc alatt áll.
A modellek futtatásához a llama.cpp keretrendszert használják, amely a C/C++ nyelvű LLaMA modellt valósítja meg, és univerzális végrehajtható fájl formátumban (APE - Actually Portable Executable) fordítja, amely a modell fájllal egyesül. A lefordított kód a Cosmopolitan standard C könyvtárral kapcsolódik, amely lehetővé teszi Linux, FreeBSD, macOS, OpenBSD, NetBSD és Windows operációs rendszerekre készült alkalmazáscsomagok létrehozását. A kód az AMD64 és ARM64 architektúrákra készült változatokban áll rendelkezésre, és tartalmazza az NVIDIA GPU-n történő számításokhoz szükséges elemeket (CUDA használatával).
Forrás: opennet.ru
