Zhvilluesit nga Mozilla prezantuan lëshimin e parë të mjetit llamafile, i cili ju lejon të krijoni skedarë të ekzekutueshëm universalë për ekzekutimin e modeleve të mëdha të gjuhës së mësimit të makinerive (LLM). Duke përdorur llamafile, mund të merrni një skedar parametri të modelit të mësimit të makinës në formatin GGUF dhe ta shndërroni atë në një skedar të ekzekutueshëm që mund të funksionojë në gjashtë sisteme operative të ndryshme në harduerin AMD64 dhe ARM64. Paketa e veglave është shkruar në C/C++ dhe shpërndahet nën licencën Apache 2.0.
Për të ekzekutuar modelet, përdoret framework-u llama.cpp, i cili zbaton modelin LLaMA në C/C++. Ky framework kompilohet në një skedar universal ekzekutues në formatin APE (Actually Portable Executable), i cili kombinohet me skedarin e modelit. Kodi i kompiluar është i lidhur me bibliotekën standarde Cosmopolitan C, e cila lejon krijimin e asambleve të aplikacioneve që funksionojnë në Linux, FreeBSD, macOS, OpenBSD, NetBSD dhe WindowsKodi ruhet në versionet për arkitekturat AMD64 dhe ARM64, dhe gjithashtu përfshin komponentë për transferimin e llogaritjeve në GPU-të NVIDIA (përdoret CUDA).
Burimi: opennet.ru
