Deweloperzy z firmy Mozilla zaprezentowali pierwszą wersję narzędzia llamafile, które umożliwia tworzenie uniwersalnych plików wykonywalnych do uruchamiania dużych modeli językowych uczenia maszynowego (LLM). Dzięki llamafile można wziąć plik z parametrami modelu uczenia maszynowego w formacie GGUF i przekształcić go w plik wykonywalny, który może być uruchamiany na sześciu różnych systemach operacyjnych na sprzęcie z procesorami AMD64 i ARM64. Narzędzie jest napisane w C/C++ i jest dystrybuowane na licencji Apache 2.0.
Do realizacji modeli wykorzystywany jest framework llama.cpp z implementacją modelu LLaMA w C/C++, który kompiluje się do uniwersalnego pliku wykonywalnego w formacie APE (Actually Portable Executable), łączonego z plikiem modelu. Skopiowany kod jest powiązany ze standardową biblioteką C Cosmopolitan, co pozwala na tworzenie aplikacji uruchamianych w Linux, FreeBSD, macOS, OpenBSD, NetBSD i Windows. Kod jest przechowywany w wariantach dla architektur AMD64 i ARM64, a także zawiera komponenty do przenoszenia obliczeń na GPU NVIDIA (wykorzystuje CUDA).
Źródło: opennet.ru
