Thaisbean luchd-leasachaidh bho Mozilla a’ chiad fhoillseachadh den ghoireas llamafile, a leigeas leat faidhlichean so-ghnìomhaichte uile-choitcheann a chruthachadh airson modalan cànain ionnsachadh innealan mòra (LLM) a ruith. A’ cleachdadh llamafile, faodaidh tu faidhle paramadair modal ionnsachaidh inneal a ghabhail ann an cruth GGUF agus a thionndadh gu faidhle so-ghnìomhaichte as urrainn ruith air sia siostaman obrachaidh eadar-dhealaichte air bathar-cruaidh AMD64 agus ARM64. Tha an inneal air a sgrìobhadh ann an C / C ++ agus air a chuairteachadh fo chead Apache 2.0.
Gus na modailean a chuir an gnìomh, tha am frèam llama.cpp air a chleachdadh le buileachadh a’ mhodail LLaMA ann an C/C ++, a tha air a chur ri chèile ann am faidhle so-ghnìomhaichte uile-choitcheann ann an cruth APE (Actually Portable Executable), còmhla ris an fhaidhle mhodail. Tha an còd cruinnichte ceangailte ris an leabharlann àbhaisteach Cosmopolitan C, ga dhèanamh comasach togalaichean tagraidh a chruthachadh a ruitheas air Linux, FreeBSD, macOS, OpenBSD, NetBSD agus Windows. Tha an còd air a shàbhaladh ann an dreachan airson ailtireachd AMD64 agus ARM64, agus tha e cuideachd a ’toirt a-steach co-phàirtean airson àireamhachadh a luchdachadh sìos gu NVIDIA GPUs (a’ cleachdadh CUDA).
Source: fosgailtenet.ru
