{"id":111878,"date":"2023-11-30T21:10:14","date_gmt":"2023-11-30T19:10:14","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla"},"modified":"2023-11-30T21:10:14","modified_gmt":"2023-11-30T19:10:14","slug":"pervyj-vypusk-instrumenta-llamafile-ot-mozilla","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/novosti-interneta\/pervyj-vypusk-instrumenta-llamafile-ot-mozilla","title":{"rendered":"Die erste Version des Tools llamafile von Mozilla","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Entwickler von Mozilla haben die erste Version des Tools llamafile vorgestellt, das die Erstellung universeller ausf\u00fchrbarer Dateien zur Nutzung gro\u00dfer Sprachmodelle f\u00fcr maschinelles Lernen (LLM) erm\u00f6glicht. Mit llamafile k\u00f6nnen Sie eine Datei mit den Parametern eines maschinellen Lernmodells im GGUF-Format nehmen und in eine ausf\u00fchrbare Datei umwandeln, die auf sechs verschiedenen Betriebssystemen auf AMD64- und ARM64-Prozessoren ausgef\u00fchrt werden kann. Das Tool ist in C\/C++ geschrieben und wird unter der Apache 2.0-Lizenz verbreitet. <\/p>\n
F\u00fcr die Durchf\u00fchrung von Modellen wird das Framework llama.cpp verwendet, das die LLaMA-Modelle in C\/C++ implementiert und in eine universelle ausf\u00fchrbare Datei im APE-Format (Actually Portable Executable) kompiliert, die mit der Modell-Datei verbunden ist. Der kompilierte Code bindet sich an die Standard-C-Bibliothek Cosmopolitan, die die Erstellung von Anwendungs-Builds erm\u00f6glicht, die unter Linux, FreeBSD, macOS, OpenBSD, NetBSD und Windows ausgef\u00fchrt werden k\u00f6nnen. Der Code wird f\u00fcr die Architekturen AMD64 und ARM64 gespeichert und enth\u00e4lt auch Komponenten zur Auslagerung von Berechnungen auf NVIDIA-GPUs (unter Verwendung von CUDA). \n Quelle: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"