Gli sviluppatori di Mozilla hanno presentato la prima versione dell'utility llamafile, che consente di creare file eseguibili universali per l'esecuzione di grandi modelli di linguaggio di machine learning (LLM). Con llamafile, è possibile prendere un file con i parametri di un modello di machine learning nel formato GGUF e convertirlo in un file eseguibile, che può essere eseguito su sei diversi sistemi operativi su hardware con processori AMD64 e ARM64. Lo strumento è scritto in C/C++ e distribuito con licenza Apache 2.0.
Per l'esecuzione dei modelli è utilizzato il framework llama.cpp, che implementa il modello LLaMA in C/C++, compilato in un file eseguibile universale nel formato APE (Actually Portable Executable), unito al file del modello. Il codice compilato è collegato con la libreria standard C Cosmopolitan, che consente di creare build di applicazioni eseguibili su Linux, FreeBSD, macOS, OpenBSD, NetBSD e Windows. Il codice è disponibile per le architetture AMD64 e ARM64 e include anche componenti per delegare i calcoli alla GPU NVIDIA (utilizzando CUDA).
Fonte: opennet.ru
