Cyflwynodd datblygwyr o Mozilla y datganiad cyntaf o'r cyfleustodau llamafile, sy'n eich galluogi i greu ffeiliau gweithredadwy cyffredinol ar gyfer rhedeg modelau iaith dysgu peiriannau mawr (LLM). Gan ddefnyddio llamafile, gallwch chi gymryd ffeil paramedr model dysgu peiriant mewn fformat GGUF a'i throsi'n ffeil gweithredadwy a all redeg ar chwe system weithredu wahanol ar galedwedd AMD64 ac ARM64. Mae'r pecyn cymorth wedi'i ysgrifennu yn C/C ++ a'i ddosbarthu o dan drwydded Apache 2.0.
I weithredu'r modelau, defnyddir y fframwaith llama.cpp, sy'n gweithredu'r model LLaMA yn C/C++. Mae'r fframwaith hwn yn cael ei lunio i ffeil weithredadwy gyffredinol yn y fformat APE (Actually Portable Executable), sy'n cael ei gyfuno â'r ffeil model. Mae'r cod wedi'i lunio wedi'i gysylltu â'r llyfrgell safonol Cosmopolitan C, sy'n caniatáu creu cydosodiadau cymwysiadau sy'n rhedeg yn Linux, FreeBSD, macOS, OpenBSD, NetBSD a WindowsCedwir y cod mewn fersiynau ar gyfer pensaernïaethau AMD64 ac ARM64, ac mae hefyd yn cynnwys cydrannau ar gyfer dadlwytho cyfrifiadau i GPUs NVIDIA (defnyddir CUDA).
Ffynhonnell: opennet.ru
