Gli sviluppatori di Mozilla hanno presentato il primo rilascio dell'utilità llamafile, che consente di creare file eseguibili universali per l'esecuzione di grandi modelli di linguaggio di apprendimento automatico (LLM). Con llamafile è possibile prendere un file con i parametri del modello di apprendimento automatico nel formato GGUF e convertirlo in un file eseguibile in grado di essere eseguito su sei diversi sistemi operativi su hardware con processori AMD64 e ARM64. L'utensile è scritto in C/C++ e distribuito sotto licenza Apache 2.0.
Per l'esecuzione dei modelli è utilizzato il framework llama.cpp con l'implementazione del modello LLaMA in C/C++, che viene compilato in un file eseguibile universale nel formato APE (Actually Portable Executable), unito al file del modello. Il codice compilato è collegato alla libreria standard C Cosmopolitan, che consente di creare build di applicazioni in grado di essere eseguite su Linux, FreeBSD, macOS, OpenBSD, NetBSD e Windows. Il codice è disponibile in versioni per le architetture AMD64 e ARM64 e include anche componenti per l'elaborazione su GPU NVIDIA (utilizza CUDA).
Fonte: opennet.ru
