Mozilla хөгжүүлэгчид том хэмжээний машин сурах хэлний загваруудыг (LLM) ажиллуулахад зориулагдсан бүх нийтийн гүйцэтгэгч программуудыг бий болгох llamafile-ийн анхны хувилбарыг гаргалаа. Llamafile ашиглан та машин сургалтын загварын параметр бүхий GGUF файлыг авч, AMD64 болон ARM64 процессортой техник хангамж дээр зургаан өөр үйлдлийн систем дээр ажиллах боломжтой гүйцэтгэгдэх файл болгон хөрвүүлэх боломжтой. Хэрэгслийн хэрэгсэл нь C/C++ хэл дээр бичигдсэн бөгөөд Apache 2.0 лицензийн дагуу түгээгддэг.
Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).
Эх сурвалж: opennet.ru
