Papërmbajtësit nga kompania Mozilla paraqitën lëshimin e parë të utilitarit llamafile, i cili lejon krijimin e skedarëve universale ekzekutivë për ekzekutimin e modeleve të mëdha të gjuhëve të mësimit të makinerisë (LLM). Me llamafile, mund të merrni një skedar me parametrat e modelit të mësimit të makinerisë në formatin GGUF dhe ta transformoni atë në një skedar ekzekutiv, i cili mund të ekzekutohet në gjashtë sisteme operative të ndryshme në pajisje me procesorë AMD64 dhe ARM64. Mjeti është shkruar në C/C++ dhe shpërndahet nën licencën Apache 2.0.
Për të ekzekutuar modelet, përdoret kuadri llama.cpp me implementimin e modelit LLaMA në C/C++, i cili kompilon në një skedare ekzekutive universale në formatin APE (Actually Portable Executable), i bashkangjitur me skedarin e modelit. Kodi i kompiluar lidhet me bibliotekën standarde të gjuhës C Cosmopolitan, duke mundësuar krijimin e ndërtimëve të aplikacioneve që mund të ekzekutohen në Linux, FreeBSD, macOS, OpenBSD, NetBSD dhe Windows. Kodi ruhet në variante për arkitekturat AMD64 dhe ARM64, dhe gjithashtu përfshin komponentët për zbaticimin e llogaritjeve në GPU NVIDIA (përdor CUDA).
Burimi: opennet.ru
