Vývojáři z firmy Mozilla představili první verzi nástroje llamafile, který umožňuje vytvářet univerzální spustitelné soubory pro spouštění velkých jazykových modelů strojového učení (LLM). S pomocí llamafile můžete vzít soubor s parametry modelu strojového učení ve formátu GGUF a převést ho na spustitelný soubor, který může běžet na šesti různých operačních systémech na hardware s procesory AMD64 a ARM64. Nástroj je napsán v C/C++ a distribuuje se pod licencí Apache 2.0.
Pro provádění modelů se využívá framework llama.cpp s implementací modelu LLaMA v C/C++, který se kompiluje do univerzálního spustitelného souboru ve formátu APE (Actually Portable Executable), což je sloučeno se souborem modelu. Zkompilovaný kód se spojuje se standardní knihovnou C Cosmopolitan, která umožňuje vytvářet aplikace spuštěné v Linuxu, FreeBSD, macOS, OpenBSD, NetBSD a Windows. Kód je uchován ve variantách pro architektury AMD64 a ARM64 a zahrnuje také komponenty pro využití výpočtů na GPU NVIDIA (používá se CUDA).
Zdroj: opennet.ru
