Vývojári z Mozilly predstavili prvé vydanie pomôcky llamafile, ktorá vám umožňuje vytvárať univerzálne spustiteľné súbory na spustenie veľkých modelov strojového učenia (LLM). Pomocou llamafile môžete vziať súbor parametrov modelu strojového učenia vo formáte GGUF a previesť ho na spustiteľný súbor, ktorý môže bežať na šiestich rôznych operačných systémoch na hardvéri AMD64 a ARM64. Toolkit je napísaný v C/C++ a distribuovaný pod licenciou Apache 2.0.
Na spúšťanie modelov sa používa framework llama.cpp s implementáciou modelu LLaMA v C/C++, ktorý je skompilovaný do univerzálneho spustiteľného súboru vo formáte APE (Actually Portable Executable) v kombinácii so súborom modelu. Kompilovaný kód je prepojený so štandardnou knižnicou Cosmopolitan C, čo umožňuje vytvárať zostavy aplikácií, ktoré bežia na Linuxe, FreeBSD, macOS, OpenBSD, NetBSD a Windows. Kód je uložený vo verziách pre architektúry AMD64 a ARM64 a obsahuje aj komponenty na presun výpočtov na GPU NVIDIA (pomocou CUDA).
Zdroj: opennet.ru
