Mozilla әзірлеушілері llamafile бірінші шығарылымын шығарды, бұл үлкен машиналық оқыту тілі үлгілерін (LLM) іске қосу үшін әмбебап орындалатын файлдарды жасауға арналған утилита. Llamafile көмегімен сіз машиналық оқыту үлгісінің параметрлері бар GGUF файлын алып, оны AMD64 және ARM64 процессорлары бар аппараттық құралда алты түрлі операциялық жүйеде жұмыс істей алатын орындалатын файлға түрлендіруге болады. Құралдар жинағы C/C++ тілінде жазылған және Apache 2.0 лицензиясы бойынша таратылады.
Модельдерді орындау үшін LLaMA моделін C/C++ тілінде жүзеге асыратын llama.cpp фреймворкі қолданылады. Бұл фреймворк APE (Actually Portable Executable) форматындағы әмбебап орындалатын файлға компиляцияланады, ол модель файлымен біріктіріледі. Компиляцияланған код Cosmopolitan C стандартты кітапханасымен байланыстырылған, ол ... тілінде жұмыс істейтін қолданбалы жинақтарды жасауға мүмкіндік береді. Linux, FreeBSD, macOS, OpenBSD, NetBSD және WindowsКод AMD64 және ARM64 архитектураларының нұсқаларында сақталған, сонымен қатар есептеулерді NVIDIA GPU-ларына жүктеуге арналған компоненттерді қамтиды (CUDA қолданылады).
Ақпарат көзі: opennet.ru
