Mozilla geliştiricileri, büyük makine öğrenimi dili modellerini (LLM) çalıştırmak için evrensel yürütülebilir dosyalar oluşturmanıza olanak tanıyan llamafile yardımcı programının ilk sürümünü sundu. Llamafile kullanarak GGUF formatındaki bir makine öğrenimi modeli parametre dosyasını alıp AMD64 ve ARM64 donanımındaki altı farklı işletim sisteminde çalışabilen yürütülebilir bir dosyaya dönüştürebilirsiniz. Araç seti C/C++ dilinde yazılmıştır ve Apache 2.0 lisansı altında dağıtılmaktadır.
Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, Ücretsiz BSD, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).
Kaynak: opennet.ru
