Mozilla ishlab chiquvchilari llamafile-ning birinchi versiyasini chiqardilar, bu katta mashina o'rganish tili modellarini (LLM) ishlatish uchun universal bajariladigan dasturlarni yaratish uchun yordam dasturi. Llamafile-dan foydalanib, siz mashinani o'rganish modeli parametrlari bilan GGUF faylini olishingiz va uni AMD64 va ARM64 protsessorlari bo'lgan apparatda olti xil operatsion tizimda ishlay oladigan bajariladigan faylga aylantirishingiz mumkin. Asboblar to'plami C/C++ tilida yozilgan va Apache 2.0 litsenziyasi ostida tarqatilgan.
Modellarni bajarish uchun LLaMA modelini C/C++ tilida amalga oshiradigan llama.cpp freymvorkidan foydalaniladi. Ushbu freymvork APE (Aktually Portable Executable) formatidagi universal bajariladigan faylga kompilyatsiya qilinadi, u model fayli bilan birlashtiriladi. Kompilyatsiya qilingan kod standart Cosmopolitan C kutubxonasiga bog'langan bo'lib, u quyidagi tilda ishlaydigan dastur yig'ilishlarini yaratish imkonini beradi. Linux, FreeBSD, macOS, OpenBSD, NetBSD va WindowsKod AMD64 va ARM64 arxitekturalari uchun versiyalarda saqlanadi va shuningdek, hisoblashlarni NVIDIA GPUlariga yuklash uchun komponentlarni o'z ichiga oladi (CUDA ishlatiladi).
Manba: opennet.ru
