Mozilla esimene tööriista llamafile vÀljaanne

Mozilla arendavad esitlesid esimese versiooni utiliidist llamafile, mis vĂ”imaldab luua universaalseid kĂ€ivitatavaid faile suurte masinĂ”ppe keelemudelite (LLM) kĂ€ivitamiseks. Llamafile'i abil saab vĂ”tta masinĂ”ppe mudeli parameetrite faili GGUF formaadis ja muuta selle kĂ€ivitatavaks failiks, mida saab kĂ€ivitada kuues erinevas operatsioonisĂŒsteemis AMD64 ja ARM64 protsessoritega seadmetes. Tööriist on kirjutatud C/C++ ja sellele kehtib Apache 2.0 litsents.

Mudelite tĂ€itmiseks kasutatakse raamistikku llama.cpp, mis implementeerib LLaMA mudeli C/C++ keeles, mis kompileeritakse universaalseks kĂ€ivitatavaks failiks APE (Actually Portable Executable) formaadis, mis on ĂŒhendatud mudeli failiga. Kompileeritud kood seondub standardse C-i teegiga Cosmopolitan, mis vĂ”imaldab luua rakenduste kompilatsioone, mida saab kĂ€itada Linuxis, FreeBSD, macOS, OpenBSD, NetBSD ja Windowsis. Kood salvestatakse AMD64 ja ARM64 arhitektuuride variantides ning sisaldab ka komponente arvutuste lĂ€biviimiseks NVIDIA GPU-del (kasutatakse CUDA-d).

Allikas: opennet.ru

Osta usaldusvÀÀrne veebimajutus DDoS-kaitsega veebisaitidele, VPS VDS serverid đŸ”„ Osta usaldusvÀÀrne veebimajutus DDoS-kaitsega veebisaitidele, VPS VDS serverid - ProHoster