Razvijalci iz podjetja Mozilla so predstavili prvo različico orodja llamafile, ki omogoča ustvarjanje univerzalnih izvršnih datotek za zagon velikih jezikovnih modelov strojnega učenja (LLM). Z llamafile lahko vzamete datoteko s parametri modela strojnega učenja v formatu GGUF in jo pretvorite v izvršno datoteko, ki se lahko zažene v šestih različnih operacijskih sistemih na strojni opremi s procesorji AMD64 in ARM64. Orodje je napisano v C/C++ in se distribuira pod licenco Apache 2.0.
Za izvajanje modelov je uporabljen okvir llama.cpp z implementacijo modela LLaMA v C/C++, ki se prevede v univerzalno izvršno datoteko v formatu APE (Actually Portable Executable), združeno z datoteko modela. Skompilirana koda se poveže s standardno C knjižnico Cosmopolitan, ki omogoča ustvarjanje gradbenih aplikacij, ki se izvajajo v Linuxu, FreeBSD, macOS, OpenBSD, NetBSD in Windows. Koda je shranjena v različicah za arhitekture AMD64 in ARM64 ter vključuje komponente za prenose izračunov na GPU NVIDIA (uporablja se CUDA).
Izvor: opennet.ru
