Razvijači iz kompanije Mozilla predstavili su prvo izdanje alata llamafile, koji omogućava kreiranje univerzalnih izvršnih datoteka za pokretanje velikih jezičnih modela mašinskog učenja (LLM). Uz pomoć llamafile možete uzeti datoteku s parametrima modela mašinskog učenja u formatu GGUF i pretvoriti je u izvršnu datoteku koja se može pokretati na šest različitih operativnih sistema na opremi s procesorima AMD64 i ARM64. Alat je napisan na C/C++ i distribuira se pod licencom Apache 2.0.
Za izvođenje modela korišten je okvir llama.cpp s implementacijom modela LLaMA na C/C++, koji se kompilira u univerzalnu izvršnu datoteku u formatu APE (Actually Portable Executable), koja se spaja s datotekom modela. Kompilirani kod se povezuje sa standardnom C bibliotekom Cosmopolitan, čime se omogućava kreiranje aplikacija koje se mogu izvoditi na Linuxu, FreeBSD, macOS, OpenBSD, NetBSD i Windowsu. Kod se čuva u varijantama za arhitekture AMD64 i ARM64, a također uključuje komponente za izvođenje izračuna na GPU-ima NVIDIA (koristeći CUDA).
Izvor: opennet.ru
