Mozilla arendajad esitlesid llamafile utiliiti esimest väljaannet, mis võimaldab luua universaalseid täitmisfaile suurte masinõppe keelemudelite (LLM) käivitamiseks. Llamafile abil saab võtta masinõppemudeli parameetrite faili GGUF formaadis ja muuta selle täitmisfailiks, mida saab käivitada kuues erinevas operatsioonisüsteemis, mis on varustatud AMD64 ja ARM64 protsessoritega. Tööriist on kirjutatud C/C++ ja levitatakse Apache 2.0 litsentsi alusel.
Mudelite käitamiseks kasutatakse raamistikku llama.cpp, mis sisaldab LLaMA mudeli C/C++ teostust ning kompileeritakse universaalseks täitmisfailiks APE (Actually Portable Executable) formaadis, mis on seotud mudeli failiga. Kompileeritud kood sidus standardse C teegiga Cosmopolitan, mis võimaldab luua rakenduse versioone, mida saab käivitada Linuxis, FreeBSD-s, macOS-is, OpenBSD-s, NetBSD-s ja Windowsis. Kood salvestatakse AMD64 ja ARM64 arhitektuuride variandina ning sisaldab ka komponente arvutuste edasiviimiseks NVIDIA GPU-le (kasutades CUDA).
Allikas: opennet.ru
