{"id":111878,"date":"2023-11-30T21:10:14","date_gmt":"2023-11-30T19:10:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla"},"modified":"2023-11-30T21:10:14","modified_gmt":"2023-11-30T19:10:14","slug":"pervyj-vypusk-instrumenta-llamafile-ot-mozilla","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/news\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla","title":{"rendered":"Den f\u00f6rsta utg\u00e5van av verktyget llamafile fr\u00e5n Mozilla","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Utvecklarna fr\u00e5n Mozilla har presenterat den f\u00f6rsta versionen av verktyget llamafile, vilket m\u00f6jligg\u00f6r skapandet av universella k\u00f6rbara filer f\u00f6r att k\u00f6ra stora spr\u00e5kmodeller f\u00f6r maskininl\u00e4rning (LLM). Med llamafile kan man ta en fil med parametrar f\u00f6r en maskininl\u00e4rningsmodell i GGUF-format och konvertera den till en k\u00f6rbar fil som kan k\u00f6ras p\u00e5 sex olika operativsystem p\u00e5 h\u00e5rdvara med AMD64- och ARM64-processorer. Verktyget \u00e4r skrivet i C\/C++ och distribueras under Apache 2.0-licensen. <\/p>\n
F\u00f6r att k\u00f6ra modellerna anv\u00e4nds ramverket llama.cpp, som implementerar LLaMA-modellen i C\/C++ och kompileras till en universell k\u00f6rbar fil i APE-format (Actually Portable Executable), som sammanfogas med modellfilen. Den kompilerade koden l\u00e4nkas till det standard C-biblioteket Cosmopolitan, vilket m\u00f6jligg\u00f6r skapandet av applikationsbyggnader som kan k\u00f6ras p\u00e5 Linux, FreeBSD, macOS, OpenBSD, NetBSD och Windows. Koden sparas i varianter f\u00f6r AMD64- och ARM64-arkitekturer och inkluderar ocks\u00e5 komponenter f\u00f6r att utf\u00f6ra ber\u00e4kningar p\u00e5 NVIDIA GPU:er (CUDA anv\u00e4nds). \n K\u00e4lla: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"