{"id":111878,"date":"2023-11-30T21:10:14","date_gmt":"2023-11-30T19:10:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla"},"modified":"2023-11-30T21:10:14","modified_gmt":"2023-11-30T19:10:14","slug":"pervyj-vypusk-instrumenta-llamafile-ot-mozilla","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla","title":{"rendered":"Den f\u00f8rste udgave af v\u00e6rkt\u00f8jet llamafile fra Mozilla","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Udviklerne fra Mozilla har pr\u00e6senteret den f\u00f8rste version af v\u00e6rkt\u00f8jet llamafile, der muligg\u00f8r oprettelse af universelle eksekverbare filer til k\u00f8rsel af store sprogmodeller for maskinl\u00e6ring (LLM). Med llamafile kan du tage en fil med parametre til maskinl\u00e6ringsmodellen i GGUF-format og konvertere den til en eksekverbar fil, der kan k\u00f8re p\u00e5 seks forskellige operativsystemer p\u00e5 hardware med AMD64 og ARM64 processorer. V\u00e6rkt\u00f8jet er skrevet i C\/C++ og distribueres under Apache 2.0-licensen. <\/p>\n
For at k\u00f8re modellerne anvendes rammev\u00e6rket llama.cpp med implementeringen af LLaMA-modellen i C\/C++, som kompilere til en universel eksekverbar fil i APE-format (Actually Portable Executable), der kombineres med modelfilen. Den kompilerede kode bindes til den standard C-bibliotek Cosmopolitan, som muligg\u00f8r oprettelse af applikationer, der kan k\u00f8re p\u00e5 Linux, FreeBSD, macOS, OpenBSD, NetBSD og Windows. Koden gemmes i versioner til AMD64 og ARM64-arkitekturer og inkluderer ogs\u00e5 komponenter til at udf\u00f8re beregninger p\u00e5 NVIDIA GPU'er (CUDA anvendes). \n Kilde: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"