Ua hōʻike nā mea hoʻomohala mai Mozilla i ka hoʻokuʻu mua ʻana o ka pono llamafile, kahi e hiki ai iā ʻoe ke hana i nā faila hiki ke hoʻokō ʻia no ka holo ʻana i nā kumu hoʻohālike ʻōlelo aʻo nui (LLM). Ma ka hoʻohana ʻana i ka llamafile, hiki iā ʻoe ke lawe i kahi faila hoʻohālikelike hoʻohālike mīkini ma ka format GGUF a hoʻololi iā ia i faila hiki ke holo ma nā ʻōnaehana hana ʻeono ma AMD64 a me ARM64. Ua kākau ʻia ka pahu hana ma C/C++ a māhele ʻia ma lalo o ka laikini Apache 2.0.
No ka hoʻokō ʻana i nā hiʻohiʻona, hoʻohana ʻia ka llama.cpp framework me ka hoʻokō ʻana i ke kumu hoʻohālike LLaMA i C/C++, i hoʻohui ʻia i loko o kahi faila hiki ke hoʻokō ʻia ma ke ʻano APE (Actually Portable Executable), i hui pū ʻia me ka faila kumu. Hoʻopili ʻia ka code i hui ʻia i ka waihona Cosmopolitan C maʻamau, e hiki ai ke hana i nā hale noi e holo ana ma Linux, FreeBSD, macOS, OpenBSD, NetBSD a me Windows. Mālama ʻia ke code i nā mana no AMD64 a me ARM64 architectures, a me nā ʻāpana no ka hoʻoiho ʻana i nā helu i NVIDIA GPUs (me ka hoʻohana ʻana iā CUDA).
Source: opennet.ru
