Таҳиягарон аз Mozilla версияи аввалини утилитаи llamafile -ро пешниҳод карданд, ки ба шумо имкон медиҳад файлҳои иҷрошавандаи универсалиро барои иҷро кардани моделҳои забони омӯзиши мошинсозӣ (LLM) эҷод кунед. Бо истифода аз llamafile, шумо метавонед файли параметри модели омӯзиши мошинро дар формати GGUF гиред ва онро ба файли иҷрошаванда табдил диҳед, ки метавонад дар шаш системаи амалиётии гуногун дар сахтафзори AMD64 ва ARM64 кор кунад. Маҷмӯаи абзор дар C/C++ навишта шудааст ва таҳти иҷозатномаи Apache 2.0 паҳн карда шудааст.
Барои иҷрои моделҳо, чаҳорчӯбаи llama.cpp истифода мешавад, ки модели LLaMA-ро дар C/C++ амалӣ мекунад. Ин чаҳорчӯба ба файли иҷрошавандаи универсалӣ дар формати APE (Actually Portable Executable) тартиб дода мешавад, ки бо файли модел якҷоя карда мешавад. Коди тартибдодашуда ба китобхонаи стандартии Cosmopolitan C пайваст карда шудааст, ки имкон медиҳад маҷмӯаҳои барномаҳое, ки дар ... кор мекунанд, эҷод карда шаванд. Linux, FreeBSD, macOS, OpenBSD, NetBSD ва WindowsКод дар версияҳои меъмории AMD64 ва ARM64 нигоҳ дошта мешавад ва инчунин ҷузъҳоро барои бор кардани ҳисобҳо ба GPU-ҳои NVIDIA дар бар мегирад (CUDA истифода мешавад).
Манбаъ: opennet.ru
