Utvecklarna frÄn Mozilla har presenterat den första versionen av verktyget llamafile, vilket möjliggör skapandet av universella körbara filer för att köra stora sprÄkmodeller för maskininlÀrning (LLM). Med llamafile kan man ta en fil med parametrar för en maskininlÀrningsmodell i GGUF-format och konvertera den till en körbar fil som kan köras pÄ sex olika operativsystem pÄ hÄrdvara med AMD64- och ARM64-processorer. Verktyget Àr skrivet i C/C++ och distribueras under Apache 2.0-licensen.
För att köra modellerna anvÀnds ramverket llama.cpp, som implementerar LLaMA-modellen i C/C++ och kompileras till en universell körbar fil i APE-format (Actually Portable Executable), som sammanfogas med modellfilen. Den kompilerade koden lÀnkas till det standard C-biblioteket Cosmopolitan, vilket möjliggör skapandet av applikationsbyggnader som kan köras pÄ Linux, FreeBSD, macOS, OpenBSD, NetBSD och Windows. Koden sparas i varianter för AMD64- och ARM64-arkitekturer och inkluderar ocksÄ komponenter för att utföra berÀkningar pÄ NVIDIA GPU:er (CUDA anvÀnds).
KĂ€lla: opennet.ru
