Hönnuðir frá Mozilla kynntu fyrstu útgáfuna af llamafile tólinu, sem gerir þér kleift að búa til alhliða keyrsluskrár til að keyra stór vélanám tungumálalíkön (LLM). Með því að nota llamafile geturðu tekið færibreytuskrá fyrir vélanámslíkan á GGUF sniði og umbreytt henni í keyrsluskrá sem getur keyrt á sex mismunandi stýrikerfum á AMD64 og ARM64 vélbúnaði. Verkfærakistan er skrifuð í C/C++ og dreift undir Apache 2.0 leyfinu.
Til að keyra líkönin er llama.cpp ramminn notaður við útfærslu LLaMA líkansins í C/C++, sem er sett saman í alhliða keyrsluskrá á APE (Actually Portable Executable) sniði, ásamt líkanskránni. Kóðinn sem settur er saman er tengdur við staðlaða Cosmopolitan C bókasafnið, sem gerir það mögulegt að búa til forritasmíðar sem keyra á Linux, FreeBSD, macOS, OpenBSD, NetBSD og Windows. Kóðinn er vistaður í útgáfum fyrir AMD64 og ARM64 arkitektúra og inniheldur einnig íhluti til að hlaða út útreikningum á NVIDIA GPU (með CUDA).
Heimild: opennet.ru
