Mozilla developer များသည် ကြီးမားသော machine learning language model (LLM) ကိုအသုံးပြုရန်အတွက် universal executables များကိုဖန်တီးရန် အသုံးဝင်သည့် llamafile ၏ပထမဆုံးထွက်ရှိမှုကိုထုတ်ပြန်ခဲ့သည်။ llamafile ကိုအသုံးပြုခြင်းဖြင့်၊ သင်သည် စက်သင်ယူမှုစံနှုန်းသတ်မှတ်ချက်များပါရှိသော GGUF ဖိုင်ကိုယူနိုင်ပြီး AMD64 နှင့် ARM64 ပရိုဆက်ဆာများဖြင့် ဟာ့ဒ်ဝဲလ်ရှိ လည်ပတ်မှုစနစ်ခြောက်ခုတွင် လည်ပတ်နိုင်သည့်စနစ်တစ်ခုအဖြစ်သို့ ပြောင်းလဲနိုင်သည်။ ကိရိယာအစုံကို C/C++ ဖြင့် ရေးသားထားပြီး Apache 2.0 လိုင်စင်အောက်တွင် ဖြန့်ဝေထားသည်။
Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной Си-библиотекой Cosmopolitan дающей возможность создавать сборки приложений, запускаемые в Linux, FreeBSD၊ macOS, OpenBSD, NetBSD နှင့် Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, и также включает компоненты для выноса вычислений на GPU NVIDIA (используется CUDA).
source: opennet.ru
