Les développeurs de Mozilla ont présenté la première version de l'outil llamafile, qui permet de créer des fichiers exécutables universels pour exécuter de grands modèles de langage d'apprentissage automatique (LLM). Avec llamafile, vous pouvez prendre un fichier avec les paramètres d'un modèle d'apprentissage automatique au format GGUF et le convertir en un fichier exécutable pouvant fonctionner sur six systèmes d'exploitation différents sur du matériel avec des processeurs AMD64 et ARM64. L'outil est écrit en C/C++ et est distribué sous la licence Apache 2.0.
Pour exécuter les modèles, le cadre llama.cpp implémente le modèle LLaMA en C/C++, qui est compilé en un fichier exécutable universel au format APE (Actually Portable Executable), couplé avec le fichier du modèle. Le code compilé se lie à la bibliothèque standard C Cosmopolitan, permettant de créer des assemblies d'applications exécutables sous Linux, FreeBSD, macOS, OpenBSD, NetBSD et Windows. Le code est conservé dans des variantes pour les architectures AMD64 et ARM64, et inclut également des composants pour le calcul sur les GPU NVIDIA (utilisant CUDA).
Source : opennet.ru
