Zhvilluesit nga kompania Mozilla prezantuan versionin e parë të utilitetit llamafile, i cili mundëson krijimin e skedave ekzekutivë universale për ekzekutimin e modeleve të mëdha të gjuhëve të mësimit të makinerive (LLM). Me ndihmën e llamafile, mund të merrni një skedë me parametrat e një modeli të mësimit të makinerive në formatin GGUF dhe ta transformoni atë në një skedë ekzekutive që mund të ekzekutohet në gjashtë sisteme operuese të ndryshme në hardware me procesorë AMD64 dhe ARM64. Ky mjet është shkruar në C/C++ dhe shpërndahet nën licencën Apache 2.0.
Për ekzekutimin e modeleve përdoret struktura llama.cpp me implementimin e modelit LLaMA në C/C++, i cili kompilohet në një skedë ekzekutive universale në formatin APE (Actually Portable Executable), e cila bashkohet me skedën e modelit. Kodi i kompiluar lidhet me bibliotekën standarde të gjuhës C, Cosmopolitan, e cila mundëson krijimin e aplikacioneve që mund të ekzekutohen në Linux, FreeBSD, macOS, OpenBSD, NetBSD dhe Windows. Kodi ruhet në variante për arkitekturat AMD64 dhe ARM64, dhe përfshin gjithashtu komponentë për shfrytëzimin e llogaritjeve në GPU-në NVIDIA (përdor CUDA).
Burimi: opennet.ru
