Mozilla の開発者は、大規模な機械学習言語モデル (LLM) を実行するための汎用実行可能ファイルを作成できる llamafile ユーティリティの最初のリリースを発表しました。 llamafile を使用すると、機械学習モデルのパラメーター ファイルを GGUF 形式で取得し、AMD64 および ARM64 ハードウェア上の 2.0 つの異なるオペレーティング システムで実行できる実行可能ファイルに変換できます。このツールキットは C/C++ で書かれており、Apache XNUMX ライセンスに基づいて配布されます。
モデルを実行するには、C/C++ での LLaMA モデルの実装とともに llama.cpp フレームワークが使用されます。これは、モデル ファイルと結合されて、APE (Actually Portable Executable) 形式のユニバーサル実行可能ファイルにコンパイルされます。コンパイルされたコードは標準の Cosmopolitan C ライブラリにリンクされているため、Linux、FreeBSD、macOS、OpenBSD、NetBSD、および Windows 上で動作するアプリケーション ビルドを作成できます。コードは AMD64 および ARM64 アーキテクチャのバージョンで保存され、NVIDIA GPU に計算をオフロードするためのコンポーネントも含まれています (CUDA を使用)。
出所： オープンネット.ru
