Toleo la kwanza la zana ya llamafile ya Mozilla

Wasanidi programu kutoka Mozilla waliwasilisha toleo la kwanza la matumizi ya llamafile, ambayo hukuruhusu kuunda faili zinazoweza kutekelezeka kwa ajili ya kuendesha miundo mikubwa ya lugha ya kujifunza kwa mashine (LLM). Kwa kutumia llamafile, unaweza kuchukua faili ya kigezo cha kigezo cha mashine ya kujifunza katika umbizo la GGUF na kuibadilisha kuwa faili inayoweza kutekelezeka ambayo inaweza kufanya kazi kwenye mifumo sita tofauti ya uendeshaji kwenye maunzi ya AMD64 na ARM64. Zana ya zana imeandikwa katika C/C++ na kusambazwa chini ya leseni ya Apache 2.0.

Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, BSD ya Bure, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).

Chanzo: opennet.ru