Dezvoltatorii de la Mozilla au lansat prima versiune a utilitarului llamafile, care permite crearea de fișiere executabile universale pentru rularea unor mari modele de limbaj învățate prin mașină (LLM). Cu llamafile, poți lua un fișier cu parametrii modelului de învățare automată în format GGUF și să-l transformi într-un fișier executabil ce poate fi rulat pe șase sisteme de operare diferite pe hardware cu procesoare AMD64 și ARM64. Instrumentul este scris în C/C++ și este distribuit sub licența Apache 2.0.
Pentru executarea modelelor este utilizat framework-ul llama.cpp, care implementează modelul LLaMA în C/C++, compilat într-un fișier executabil universal în format APE (Actually Portable Executable), combinat cu fișierul modelului. Codul compilat se leagă de biblioteca standard C Cosmopolitan, oferind posibilitatea de a crea aplicații care pot rula în Linux, FreeBSD, macOS, OpenBSD, NetBSD și Windows. Codul este disponibil în variante pentru arhitecturile AMD64 și ARM64, și include, de asemenea, componente pentru executarea calculelor pe GPU NVIDIA (folosind CUDA).
Sursa: opennet.ro
