Cov neeg tsim khoom Mozilla tau tso tawm thawj qhov kev tso tawm ntawm llamafile, ib qho cuab yeej siv rau kev tsim cov executables thoob ntiaj teb rau kev khiav cov qauv lus kawm tshuab loj (LLM). Siv llamafile, koj tuaj yeem coj cov ntaub ntawv GGUF nrog cov qauv kev kawm tshuab thiab hloov nws mus rau hauv ib qho executable uas tuaj yeem khiav ntawm rau lub operating system sib txawv ntawm cov khoom siv nrog AMD64 thiab ARM64 processors. Cov cuab yeej no yog sau ua C/C++ thiab faib raws li daim ntawv tso cai Apache 2.0.
Yuav kom ua tiav cov qauv, siv lub llama.cpp framework, uas siv LLaMA qauv hauv C/C++. Lub framework no tau muab tso ua ke rau hauv cov ntaub ntawv executable thoob ntiaj teb hauv hom ntawv APE (Actually Portable Executable), uas tau muab tso ua ke nrog cov ntaub ntawv qauv. Cov lej uas tau muab tso ua ke tau txuas nrog lub tsev qiv ntawv Cosmopolitan C tus qauv, uas tso cai rau kev tsim cov ntawv thov sib dhos uas khiav hauv Linux, FreeBSD, macOS, OpenBSD, NetBSD thiab WindowsCov lej khaws cia rau hauv cov qauv rau AMD64 thiab ARM64 architectures, thiab kuj suav nrog cov khoom rau kev xa cov kev suav mus rau NVIDIA GPUs (CUDA siv).
Tau qhov twg los: opennet.ru
