Οι προγραμματιστές από τη Mozilla παρουσίασαν την πρώτη έκδοση του βοηθητικού προγράμματος llamafile, το οποίο σας επιτρέπει να δημιουργείτε γενικά εκτελέσιμα αρχεία για την εκτέλεση μεγάλων μοντέλων γλωσσών μηχανικής εκμάθησης (LLM). Χρησιμοποιώντας το llamafile, μπορείτε να πάρετε ένα αρχείο παραμέτρων μοντέλου μηχανικής εκμάθησης σε μορφή GGUF και να το μετατρέψετε σε ένα εκτελέσιμο αρχείο που μπορεί να εκτελεστεί σε έξι διαφορετικά λειτουργικά συστήματα σε υλικό AMD64 και ARM64. Η εργαλειοθήκη είναι γραμμένη σε C/C++ και διανέμεται με την άδεια Apache 2.0.
Για την εκτέλεση των μοντέλων, χρησιμοποιείται το πλαίσιο llama.cpp με την υλοποίηση του μοντέλου LLaMA σε C/C++, το οποίο μεταγλωττίζεται σε ένα γενικό εκτελέσιμο αρχείο σε μορφή APE (Actually Portable Executable), σε συνδυασμό με το αρχείο μοντέλου. Ο μεταγλωττισμένος κώδικας συνδέεται με την τυπική βιβλιοθήκη Cosmopolitan C, καθιστώντας δυνατή τη δημιουργία εκδόσεων εφαρμογών που τρέχουν σε Linux, FreeBSD, macOS, OpenBSD, NetBSD και Windows. Ο κώδικας αποθηκεύεται σε εκδόσεις για αρχιτεκτονικές AMD64 και ARM64 και περιλαμβάνει επίσης στοιχεία για τη μεταφόρτωση υπολογισμών σε GPU της NVIDIA (με χρήση CUDA).
Πηγή: opennet.ru
