Mozilla geliştiricileri, büyük makine öğrenimi dili modellerini (LLM) çalıştırmak için evrensel yürütülebilir dosyalar oluşturmanıza olanak tanıyan llamafile yardımcı programının ilk sürümünü sundu. Llamafile kullanarak GGUF formatındaki bir makine öğrenimi modeli parametre dosyasını alıp AMD64 ve ARM64 donanımındaki altı farklı işletim sisteminde çalışabilen yürütülebilir bir dosyaya dönüştürebilirsiniz. Araç seti C/C++ dilinde yazılmıştır ve Apache 2.0 lisansı altında dağıtılmaktadır.
Modelleri çalıştırmak için, C/C++ dilinde LLaMA modelini uygulayan llama.cpp çerçevesi kullanılır. Bu çerçeve, model dosyasıyla birleştirilen APE (Actually Portable Executable) formatında evrensel bir yürütülebilir dosyaya derlenir. Derlenen kod, standart Cosmopolitan C kütüphanesine bağlanır ve bu da çalıştırılabilen uygulama derlemelerinin oluşturulmasına olanak tanır. Linux, Ücretsiz BSD, macOSOpenBSD, NetBSD ve WindowsKod, AMD64 ve ARM64 mimarileri için sürümler halinde saklanmaktadır ve ayrıca hesaplamaları NVIDIA GPU'larına aktarmak için bileşenler de içermektedir (CUDA kullanılmaktadır).
Kaynak: opennet.ru
