Mozilla arendavad esitlesid esimese versiooni utiliidist llamafile, mis võimaldab luua universaalseid käivitatavaid faile suurte masinõppe keelemudelite (LLM) käivitamiseks. Llamafile'i abil saab võtta masinõppe mudeli parameetrite faili GGUF formaadis ja muuta selle käivitatavaks failiks, mida saab käivitada kuues erinevas operatsioonisüsteemis AMD64 ja ARM64 protsessoritega seadmetes. Tööriist on kirjutatud C/C++ ja sellele kehtib Apache 2.0 litsents.
Mudelite täitmiseks kasutatakse raamistikku llama.cpp, mis implementeerib LLaMA mudeli C/C++ keeles, mis kompileeritakse universaalseks käivitatavaks failiks APE (Actually Portable Executable) formaadis, mis on ühendatud mudeli failiga. Kompileeritud kood seondub standardse C-i teegiga Cosmopolitan, mis võimaldab luua rakenduste kompilatsioone, mida saab käitada Linuxis, FreeBSD, macOS, OpenBSD, NetBSD ja Windowsis. Kood salvestatakse AMD64 ja ARM64 arhitektuuride variantides ning sisaldab ka komponente arvutuste läbiviimiseks NVIDIA GPU-del (kasutatakse CUDA-d).
Allikas: opennet.ru
