A Mozilla fejlesztői bemutatták a llamafile segédprogram első kiadását, amely lehetővé teszi univerzális futtatható fájlok létrehozását nagyméretű gépi tanulási nyelvi modellek (LLM) futtatásához. A llamafile használatával GGUF formátumú gépi tanulási modell paraméterfájlt készíthet, és végrehajtható fájllá alakíthatja, amely hat különböző operációs rendszeren futhat AMD64 és ARM64 hardveren. Az eszközkészlet C/C++ nyelven íródott, és az Apache 2.0 licenc alatt terjeszthető.
A modellek végrehajtásához a llama.cpp keretrendszert használják, amely C/C++ nyelven valósítja meg az LLaMA modellt. Ez a keretrendszer egy univerzális, APE (Actually Portable Executable) formátumú futtatható fájlba van lefordítva, amelyet a modellfájllal kombinálnak. A lefordított kód a szabványos Cosmopolitan C könyvtárhoz van kapcsolva, amely lehetővé teszi olyan alkalmazás-összeállítások létrehozását, amelyek C/C++ nyelven futnak. Linux, FreeBSD, macOS, OpenBSD, NetBSD és WindowsA kód az AMD64 és ARM64 architektúrákhoz készült verziókban is megmarad, és tartalmaz olyan komponenseket is, amelyekkel a számítások átháríthatók az NVIDIA GPU-kra (CUDA használatával).
Forrás: opennet.ru
